Уральский федеральный округ

◊ Реализация в виде web-сервиса:

Наше решение - это web-сервис, позволяющий выполнять поиск изображений в облачном хранилище по набору тэгов и визуальным признакам. В дополнении к этому, сервис позволяет добавлять новые изображения в базу и автоматически проставлять соответствующие тэги. В реализации поискового движка используются самые современные нейросетевые алгоритмы.

◊ Уникальность:

* Алгоритм поиска изображений учитывает не только тэги, но и визуальные признаки. 

* Реализована логика обработки дубликатов изображений. 

* Имеется возможность добавлять новые категории тэгов и автоматически создавать размеченную выборку для дальнейшего дообучения новых классификаторов.

◊ Стек технологий:

* Обучение нейросетей - Pytorch, Pytorch Metric Learning

* Инференс нейросетей - Triton Inference Server

* Backend - FastAPI, MongoDB, Elasticsearch, Yandex S3

- Frontend - Vue.js, Tailwind, Vuetify

Реализация в виде web-сервиса (дополнение к уже существующему сайту Lizaalert.org):

Мы представляем систему классификации фото и видео материалов, каждый из которых содержит определенный список тэгов, созданных с использованием технологий искусственного интеллекта.

На основе собранных с места проведения работ фотографий на сайте появляется раздел “Фотобанк”, в котором можно будет найти вышеназванный материал, а также провести поиск по тэгам с целью просмотра конкретных изображений.

Фотографии могут быть загружены на сайт модераторами, а также всеми желающими (с прохождением модерации). Возможно внедрение новых тэгов.

◊ Уникальность: 1) Программный модуль с визуальным интерфейсом на базе технологий искусственного интеллекта, автоматически классифицирующий фото по тэгам. 2) Возможность добавления новых тэгов. 3) Понятный и минималистичный интерфейс, схожий с популярными социальными сетями

◊ Стек технологий: HTML, CSS, React.js, mySQL, библиотека для Python TensorFlow

Решение представляет собой сервис, позволяющий совершать поиск по содержанию фотографий, без необходимости ручной разметки.

Технические особенности: Нейросеть - pyTorch: основа resnet34 для извлечения фичей, после, на каждый признак по полносвязному слою на 512 нейронов с выходом на количество категорий.

Бэкэнд представляет из себя REST-API сервис. Сервис написан на языке Python, используя фреймворк FastAPI. Для хранения данных используется база данных PostgreSQL, для связи с ней используется асинхронная библиотека asyncpg. Сервис запускается на ASGI сервере Uvicorn. Для интеграции с Yandex S3 используется асинхронная библиотека yandex-s3. Деплой бэкэнда осуществляется средствами docker на сервера Digital Ocean.

Фронтенд написан на NodeJS, в качестве главного фреймворка для написания UI, был выбран фреймворк React. Для стилизации компонентов был выбран стиль Material UI (т.к. он больше подходит для прикладного ПО). Фронтенд запускается на сервере NextJS. Деплой решения также осуществляется средствами docker на сервера Digital Ocean. Но развертывание решения допустимо на любом подходящем сервисе облачных вычислений.

Решение специально заточено под существующий датасет и под существующую базу данных, что упростит её интеграцию.