Программные продукты и системы

За счет смыслового анализа, а не механического сопоставления слов, SC позволяет значительно эффективнее обрабатывать сложные  и многословные запросы и обеспечивает более точное соответствие пользовательским ожиданиям.

Апробация метода классификации текстов

Сфера ЖКХ послужила примером для апробации метода на процедуре обработки жалоб граждан. Одна из проблем – формирование заявок для дальнейшей обработки уполномоченными органами. В общем виде процесс обработки жалобы в текстовом формате и принятие решение о ее классификации по категориям включает следующие этапы.

Этап 1: сбор неструктурированных сообщений из различных источников, например, из чатов соцсетей. Для дальнейшей оптимизации нужно использовать ограничение на минималь- ное количество слов.

Этап 2: фильтрация данных для корректности дальнейшей обработки и минимизации вычислительной сложности, что по сути есть  бинарная классификация, где 0 – обращение  не содержит жалобу, 1 – обращение является жалобой.

Этап 3: предобработка текста жалобы, включающая в себя удаление стоп-слов, приведение слов в сообщении к единой форме (единственное число, нижний регистр, начальная форма).

Этап 4: классификация текста жалобы – ран- жирование по категориям, соответствующим функциям местного органа исполнительной власти (муниципалитета).

Этап 5: обработка жалобы по процессу, определяемому муниципалитетом.

Этап 6: предоставление ответа гражданам или публикация ответа на государственном ресурсе.

Категории, они же классы, в основном соответствуют категориям ГИС ЖКХ и рейтингу основных проблем в сфере ЖКХ на основе об- ращений граждан за 2022-й год по версии Национальной программы «ЖКХ Контроль»: водоснабжение и канализация, электрообеспечение, отопление, благоустройство парковых зон, уборка территории, обслуживание дорог.

На рисунке 1 приведена структурно-функциональная схема сбора жалоб из различных источников и введены следующие обозначения:

Extract service (сервис извлечения) – часть ETL-процесса, отвечающего за сбор (извлечение) необработанных данных из различных  источников и их подготовку для дальнейшей обработки, очистки и загрузки в централизованное хранилище: 1 – извлечение сообщений из социальной сети ВКонтакте (VK); 2 – извлечение сообщений из мессенджера Telegram;  3 – очистка массива сообщений в соответствии  с алгоритмом фильтрации; 4 – передача отфиль- трованного массива сообщений на Coordinator service (координатор услуг), отвечающий за связывание, управление и синхронизацию различных процессов, людей или технологий для достижения общей цели; 5 – запись в БД обработанной жалобы, классификация сообщения (отнесение сообщения к определенной категории жалоб); Forming service (формирующая услуга) – процесс создания, оформления и подготовки данных до их финальной отправки или обработки: 6 – формирование структуры обращения; 7 – формирование обращения в уполномоченные органы; Complaint handling tracking system – система отслеживания обработки жа- лоб: 8 – обработка обращения ответственными органами; Report service (служба отчетности) – серверная платформа для создания, доставки отчетов и управления ими: 9 – мониторинг обработки обращений; 10 – запрос адресов обратной связи для последующей отправки ответа гражданам; Руководство – лицо, принимающее решение по жалобе: 11 – получение руководством статистической информации по обращениям; Report service (сервис процессинга) – техно- логическая система, обеспечивающая автоматическую обработку, проверку и подтверждение обращений: 12 – отправка ответа гражданам по жалобам.

Этап фильтрации данных подразумевает сравнение текста обращения с текстом эталонной жалобы. Каждый i-й текст преобразуется  в вектор Тi методом TF-IDF – каждому слову присваивается вес, показывающий его важность:

где TF(w, t) – частота слова w в документе t;  N – общее количество текстов (обращений или эталонных жалоб); TN – количество документов, содержащих слово w.

Для получения эталонного вектора жалобы необходимо усреднить все векторы известных жалоб:

Для j-го текста обращения сообщения вычислим косинусное сходство с эталоном:

где q − угол между векторами.

Установим порог косинусного сходства, например 0,7, тогда правило бинарной классификации текста обращения будет следующим:

Дополнительно можно составить список триггерных слов, например, «жалоба», «претензия», «недоволен», «верните деньги», «ужасный сервис» и если в тексте обращения есть хотя бы одно, то повышать вес важности слова в векторе Тi.

Этап предобработки включает последовательность следующих процедур: токенизация – разбиение текста на слова; лемматизация – приведение слов к начальной форме («ужасен» → «ужасный»), к одному регистру; удаление стоп-слов (союзов, предлогов, местоимений); очистка от спецсимволов (эмодзи, знаков препинания). Например, жалоба «За прошедшую зиму на улице Становая потрескалась вся плитка» после фильтрации получит следующий вектор слов [«прошедший», «зима», « улица», «становой», «трескаться», «плитка»].

На этапе классификации жалоб определяется DL между эталонными жалобами каждой категории и поступившими.

Жалоба «В доме на улице Юбилейной из крана течет грязная вода»:

[«тротуар», «плохо», «уложить»] = 10

[«дорога», «много», «яма»] = 10

[«зима», «трескаться», «плитка»] = 10

[«асфальт», «уложить», «неровно»] = 10

[«парк», «вывозить», «мусор»] = 10

[«парк», «мало», «зелень»] = 10

[«дорожка», «парк», «грязный»] = 6

[«парк», «завять», «дерево»] = 10

[«грязный», «вода», «кран»] = 4

[«канализационный», «люк», «закры- вать»] = 10

[«давно», «менять», «трубы»] = 10

[«канализация», «ремонтировать»] = 9

Суммируем результаты DL по категориям:

«Проблемы с дорожным покрытием» =  = 10 + 10 + 10 + 10 = 40; «Проблемы с благоустройством парков» = 10 + 10 + 10 + 6 = 36; «Проблемы с водоснабжением и канализацией» = 4 + 10 + 10 + 9 = 33. Вывод: жалоба  «В доме на улице Юбилейной из крана течет грязная вода» относится к категории «Проблемы с водоснабжением и канализацией».

Рассмотрим важные аспекты составления эталонных выборок для категорий.

Для обеспечения точности работы метода следует определить базовую длину строки и задать эталонные строки с разницей в одно слово от нее. Если базовая длина равна трем словам, как в приведенном примере, то длина эталонной может быть от 2 до 4 слов, что обосновано спецификой вычисления DL. Если в одной из категорий строки будут существенно короче, чем в остальных, вероятность ошибки резко возрастает.

Немаловажно и количество эталонных строк в категориях: с одной стороны, необходимо поддерживать равное количество эталонных примеров в каждой категории, с другой – экспериментально определить предельное число строк в категориях.

Анализ результатов

Предложенный метод оценивался по метрикам точности, времени выполнения, MAE, RMSE, SC. Для чистоты эксперимента аналогичные оценки качества классификации текста получены и для базового метода, не учитывающего семантическую близость слов в сравниваемых строках текста.

Эксперимент проводился для всех категорий жалоб. В каждом эксперименте длина строки L в словах варьировалась следующем образом: L Î [5–9], L Î [10–20], L Î [20–30].

На рисунке 2 приведена гистограмма оценки точности базового и предложенного методов классификаторов текстов.

Оценка точности для базового классификатора текстов неудовлетворительная. Несмотря на то, что с увеличением количества ключевых слов в эталонной жалобе точность выросла  с 0,28 для L Î [5–9] до 0,68 для L Î [20–30], дальнейшее пополнение эталонной жалобыключевыми словами не приводит к улучшению качества классификатора базовым методом. Это вполне ожидаемый результат, так как метод необучаем, к тому же трудно выявить новые ключевые слова для описания проблемы, поскольку в подобного рода обращениях граждан подразумеваются ограниченные по объему сообщения. Предложенный метод демонстрирует точность выше 0,9 уже при L Î [5–9] и достигает 0,97 при L Î [20–30], что для обработки текстов является высоким результатом.

В таблице приведены сравнительные оценки базового и предложенного методов классификации текстов по остальным метрикам.

Анализ результатов оценки качества позволяет сделать вывод о преимуществе предложенного метода и его применения на практике в реальных системах обработки небольших текстов, где не требуется применять ресурсоемкие методы ИИ.

Заключение

В работе рассмотрены теоретические основы расстояния DL и предложен новый метод классификации небольших текстов, основанный на расстоянии DL в комбинации с семантической близостью слов, со взвешиванием операций редактирования и с порядком важности слов.