Дальневосточный федеральный округ

Наше решение представляет собой сервис для автоматического подсчёта количества моржей на аэрофотоснимках.

Наше решение позволяет с минимальными затратами человеческих ресурсов подсчитывать моржей на больших объёмах фотографий. Достаточно лишь загрузить фотографии в сервис и получить готовый результат!

Стек решения: Python, OpenCV, PyTorch, Streamlit

Уникальность: наше решение хорошо работает со снимками сделанными с разной высоты. Так же предоставляет интуитивно понятный интерфейс для работы с большим количеством фото.

1. State of the art подходы к задаче детекции и сегментации.
2. Классические модели для детекции: detectron2, yolo5. Модель сегментации Unet c предобученными весами на Imagenet. Crowed-counting и построение тепловой карты
3. Легко встраивается в готовые системы. Возможность загрузки на небольшие компьютеры, которые дрон может поднять. Не нужен интернет

Реализация представляет собой приложение с микросервисной архитектурой, которое разворачивается локально (оффлайн). Пользовательский интерфейс (фронтенд) позволяет загружать изображения и получать результаты обработки. Результатом является изображение с отмеченными молодыми и взрослыми моржами, а также с их количественным подсчётом. Фронтенд обращается к бэкенду, который отвечает за запуск нейронной сети и постобработку результатов.

Преимущества описанной архитектуры:

• позволяет легко подключить альтернативные варианты пользовательского интерфейса, например, десктопное приложение с возможностью редактирования ответов нейронной сети;
• есть возможность развернуть приложение в облачной инфраструктуре с масштабированием на множество пользователей;
• легкость и гибкость в добавлении нового функционала.

Уникальность:Ключевой особенностью решения является алгоритм объединения объектов, найденных нейронной сетью после прохождения окном по всему кадру, позволяет достигать высокого качества нахождения мелких объектов на снимке. Данный алгоритм основан на геометрической работе с полигонами, выделяющими объект.

Стек технологий:

• PytTorch + MMDetection для обучения и запуска моделей
• Shapely для полигональной постобработки
• FastAPI для реализации бэкенда
• Streamlit для интерфейса пользователя
• SQLModel для работы с БД