Дипломная работа: Речевые маркеры интолерантности и компьютерные инструменты их выявления

Затем в рамках основного теста программой были обработаны 10 текстов: по два отрывка из авторских статей изданий «Аргументы и Факты» и «Грани», по два отрывка новостных статей с сайтов изданий «Газета. Ru» и «РИА Новости», а также два отрывка статьи отрытой интернет-энциклопедии «Луркоморье». Все отрывки представлены в Приложении 2. Сводные результаты работы программы в сравнении с работой человека представлены в таблице ниже:

Таблица 2 - Соответствие маркеров, выделенных программой и выделенных человеком

Как можно видеть из таблицы 2, в среднем программа обращается к пользователю менее чем в четверти случаев, причём основные трудности, как уже сказано выше, связаны с именами собственными, их производными и сокращениями, а также с редкими и/или специфическими для конкретной области словами, обсценной лексикой и намеренным искажением написания слова (такие слова по решению пользователя могут не заноситься в словарь, но всё равно учитываются в общем подсчёте).

Стоит обратить внимание на метрики точности программы, полученные по результатам тестирования. Они представлены в таблице ниже:

Таблица 3 - Метрики точности программы, основанной на словарях

Из таблицы 3 можно видеть, что программа показывает достаточно высокие результаты, особенно на текстах из новостных сводок (№№ 5-8), которые содержат исключительно фактическую информацию без авторской оценки. Ошибки могут быть связаны с несколькими факторами. Так, программа не может разрешать семантическую неоднозначность, а также иронию, сарказм и другие приёмы, которые не маркируются специфической лексикой. Однако алгоритм чаще маркирует нейтральные слова как интолерантные, а не наоборот, и оба типа ошибок могут исправляться пользователем путём редактирования словарей, что также позволит уменьшить число случаев обращения программы к пользователю при длительном использовании. Хотя стоит заметить, что снизить это число до абсолютного нуля не представляется возможным, так как в большинстве текстов найдутся неизвестные программе имена, фамилии или названия, а также во многих текстах авторы будут специально искажать слова, что также не будет входить в поле распознавания программы. Однако, если пользователю необходим только поиск определённых маркеров, он может пользоваться программой без режима «ручного корректирования», что значительно упростит работу тем исследователям, кто уже знает, маркеры какого типа хочет найти в тексте.

3.2 Классификаторы на основе методов машинного обучения

В ходе данной работы были опробованы 3 алгоритма: Наивный Байесовский классификатор, логистическая регрессия и случайный лес. Все классификаторы были обучены и протестированы на одних и тех же данных.

3.2.1 Тренировочные данные и процесс обучения

Для корректной работы алгоритмы должны быть обучены на большом количестве правильно размеченных данных - текстах с указанием их тональности (положительная/нейтральная или отрицательная). Так как собрать корпус достаточного размера с равным количеством положительных и отрицательных примеров не представляется возможным, было решено использовать готовый корпус коротких текстов на русском языке, собранный на основе постов микроблоггинговой платформы twitter Ю.В. Рубцовой Рубцова Ю. В. Построение корпуса текстов для настройки тонового классификатора // Программные продукты и системы, 2015, №1(109), - С.72-78. От тренировочных корпусов отзывов эту коллекцию отличает то, что микроблоги более общетематические, они охватывают больше предметных областей, менее структурированы, а значит, классификатор обучится нескольким разнообразным паттернам, в них более сильно выражены эмоционально-оценочные коннотации. От корпусов новостей они отличны более широкой охватываемой тематикой, а также тем, что их возможно разделить по полярности, в то время как новости более нейтральны и более узкоспециализированы.

Кроме того, основное назначение алгоритмов в рамках данной задачи - не классификация сама по себе, а анализ того, как определённые слова влияют на результаты классификации, что также обосновывает использование корпуса твитов для обучения, так как в результате алгоритмы будут получать конкретные вероятности того, что текст положителен или отрицателен. При этом итоговый результат классификации не настолько важен, хотя, как показала проверка классификаторов, они корректно определяют новостные тексты как «неотрицательные».

Таким образом, обучающая выборка состояла из 114 991 позитивной и 111 923 негативных записей, при этом из 12 атрибутов были выделены 2, необходимых для классификации: класс сообщения и его текст. Все тексты были лемматизированы при помощи инструмента MorphAnalyzer библиотеки pymorhy2 Korobov M.: Morphological Analyzer and Generator for Russian and Ukrainian Languages // Analysis of Images, Social Networks and Texts, pp 320-332 (2015). и преобразованы в матрицы, где каждое слово представлено как его метрика Tf-Idf (произведение отношения числа вхождений слова к числу слов в документе и обратной частоты документа, используется для оценки важности слова в тексте) с помощью инструмента TfIdfVectorizer библиотеки sklearn, применённого с параметрами по умолчанию. Затем преобразованные тексты были разделены для применения кросс-валидации с помощью метода KFold. Классификаторы также применялись с параметрами по умолчанию.

Для оценки качества обучения использовались следующие метрики качества:

Accuracy - доля правильно классифицированных объектов;

Precision - доля истинно положительных объектов;

Recall - доля всех найденных положительных объектов;

F-measure -

Результаты всех классификаторов даны в таблице ниже:

Таблица 4 - Значения метрик качества обученных классификаторов

3.2.2 Принцип работы основного алгоритма

Так как классификаторы обучены на коротких текстах, решено использовать два вида классификации: на уровне абзаца и на уровне предложения. Для этого текст первоначально разбивается на абзацы либо предложения, затем каждая часть лемматизируется и очищается от пунктуационных знаков и заимствований на иностранных языках. Затем алгоритм проходит по множеству слов текста и для каждого слова создаёт новый объект, получающийся из старого путём удаления всех вхождений данного слова. Все полученные объекты (основной текст и его варианты) трансформируются аналогично объектам тренировочной выборки. Для основного объекта делается предсказание выбранным классификатором, в результате чего алгоритм получает вероятности принадлежности объекта к негативному и позитивному классам. Затем такие же предсказания делаются для каждого из полученных вариантов, и в отдельный словарь для конкретного слова записывается разница вероятностей по типу: {w: pmain(-1) - pnew(-1)}, где w - удаляемое из текста слово, pmain(-1) - вероятность основного текста принадлежать к негативному классу, pnew(-1) - вероятность варианта текста без данного слова принадлежать к негативному классу.

После записи разниц вероятностей для всего множества слов текста алгоритм сортирует их по убыванию и извлекает слова, для которых эта разница больше определённого порогового значения threshold, установленного 0.1. Эти слова, как наиболее влияющие на вероятность текста принадлежать к негативно-оценочному классу, считаются принадлежащими к интолерантной лексике.

3.2.3 Тестирование и результаты

Все классификаторы были протестированы на тех же десяти текстах, на которых тестировалась программа на основе словарей. Результаты тестирования представлены в таблицах ниже:

Таблица 5 - Результат тестирования Наивного Байесовского классификатора