Южный федеральный округ

Краткое описание решения

Для решения задачи распознавания текста на фотографиях, сделанных в естественных условиях, был использован следующий алгоритм:

1. На первом шаге мы меняем контрастность и ряд других параметром исходного изображения;
2. На втором шаге мы передаём полученное изображение в первую нейросеть CRAFT. Её задача - определение положения текста на фотографии (детекция). Также на данном этапе изображение обрезается по границам;
3. Далее в полученных областях с текстом вторая нейросеть ResNet-BiLSTM-Attn распознает текст. 
4. При необходимости этот текст изменяется алгоритмом корректировки, проверяется на этичность. После этого результат выдаётся на Front-end, где отображает пользователю.

Технические особенности:

Machine Learning, Python, pandas, PyTorch, OpenCV, CRAFT, ResNet-BiLSTM-Attn

Уникальность:

Несмотря на то, что решение частично состоит из элементов OCR-решений, уникальностью является его архитектура.

Описание разработанного сервиса:

Нашей командой реализован Телеграм-бот, куда пользователь может посылать изображения и получать в разных видах расшифровку текста на них.

Варианты использования:

• По умолчанию бот принимает картинку и присылает картинку с выделенными и подписанными областями с текстом.
• Хранение информации с документов - бот принимает фото документов и выдает текстовую расшифровку документа, которую удобно сохранить
• Поиск по объектам на местности - бот принимает фото дорожных знаков, надписей и т.д. и перенаправляет найденный текст на поиск в Яндекс, для удобного поиска адресов, организаций и похожей информации
• Озвучивание текстов для слабовидящих - бот озвучивает текст на фотографии

Технические особенности:

В нашем решении применяется микросервисная архитектура, что унифицирует взаимодействия между объектами и позволяет легко масштабироваться в независимости от количества хостингов и подключенных устройств.

Уникальность:

1) В боте предусмотрены 4 варианта использования, рассчитанные для различных пользовательских сценариев

2) Выход модели распознавания текста корректируется с помощью nlp-технологий и разработанных эвристик

3) Подготовлен датасет для обучения модели, на котором дообучена наша модель.

Стек технологий:

EasyOCR - модель для детекции и последующего распознавания текста на изображениях

DeepPavlov - nlp-модель проверки и исправления ошибок в распознанных словах.

Docker - система контейнеризации для сепарирования различных частей архитектуры и их взаимосвязи

API Telegram - API для создания телеграм-бота