Приволжский федеральный округ

Решение позволяет предсказать товарную номенклатуру по ее описанию с точностью >90% Наше решение представляет из себя веб-сервис с формой входа в личный кабинет таможенного работника с помощью логина и пароля. Для проверки правильности определения кода ему доступна форма ввода описания товара. Перед отправкой данных в модель проводится предварительная обработка данных (приведение к нижнему регистру, удаление знаков препинания, удаление предлогов, лемматизация, стемминг). На выходе пользователь получает результат в виде всплывающего окна с предсказанием товарного кода 4мя алгоритмами (SGD, RuBert, LSTM, каскадный классификатор); наиболее вероятный результат выделен цветом. Введенные в систему коды товаров поступают в сервис дообучения.

Уникальность решения:

• Возможность дообучения модели внутри товарных групп (При поступлении новых данных можно дообучить только часть товарных позиций внутри товарных групп (первые кандидаты на дообучение - группы 50, 80, 88, 97, 93, 36))
• Возможность добавления в каскад следующих уровней (Каскадная система позволяет добавлять позиции рекуррентно, выделяя из датасета подмножества тренировочные данные по интересующей товарной позиции/субпозциии)
• Apache Airflow для контроля и запуска дообучения модели
• Личный кабинет таможенного работника и участника ВЭД

Стек технологий:

• DeepPavlov Transformers
• PyTorch
• Angular
• Flask
• Airflow (контроль запуска и дообучения модели) (изменено)

Мы представляем систему контроля верного присвоения ТН ВЭД ЕАЭС товарной позиции.

Система контроля позволяет по текстовому вводу пользователю быстро получить код ТН ВЭД ЕАЭС, а также позволяет проверить правильность выбранного кода инспектором по табличным данным. Все это возможно выполнить с любого устройства через веб интерфейс и телеграмм-бота.

Стек решения: NLP, Python, telebot.

Уникальность: подбор кода по текстовой информации, помощь в подборе параметров, проверка по табличным данным, телеграмм-бот.

Решение:

Наше решение представляет собой веб-приложение с открытым API. Пользователю предлагается ввести на естественном языке описание товара для сопоставления товарного кода. Согласно введенным данным по нескольким моделям машинного обучения выводится таблица соответствия описания номенклатуре, по которой пользователь уточняет свою категорию. Также предлагаем более интерактивный вариант определения номенклатуры - посредством графового представления в виде дерева разделы - группы - подгруппы и так далее.

Стэк технологий:

Django (DRF), Node js, Vue3, scipy, sklearn, nltk, pandas, numpy, Docker (docker-compose).

Технические особенности:

Отмечу, что для создания MVP мы обучались на 100 тысячах записей полностью покрывая разделы 1-24, поскольку не обладаем большими вычислительными мощностями, однако предоставляем алгоритм для обучения на полной выборке пользовательских данных.

Мы решили отойти от нейросетей к традиционным алгоритмам машинного обучения поскольку для решения большинства задач обработки естественного языка используют одинаковую последовательность действий - стемминг, лемматизация, токенизация - векторизация - классификация на основе близости векторов в N-мерном пространстве. При этом нейросети больше по размеру и дольше обучаются, не сильно выигрывая в точности алгоритмам машинного обучения. В этом кейсе для создания быстрого, адаптивного и точного решения достаточно будет TfidfVectorizer и логистической регрессии на размеченных классах в выборке. Точность определения составила 97.03%.

Уникальность:

Решение полностью сопровождает пользователя на пути к определению правильной классификации, обладает высокой скоростью работы, удобно разворачивается на сервере одной командой и имеет открытый API, что позволяет применять её в других разработках.