ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ
ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ
«НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ
«ВЫСШАЯ ШКОЛА ЭКОНОМИКИ»
Факультет гуманитарных наук
Программа подготовки бакалавров по направлению
45.03.03 «Фундаментальная и прикладная лингвистика»
ВЫПУСКНАЯ КВАЛИФИКАЦИОННАЯ РАБОТА
Речевые маркеры интолерантности и компьютерные инструменты их выявления
Шакирова Карина Александровна
Рецензент к. филол. н., доц.
Научный руководитель д. филол. н., проф. Т.В. Романова
Нижний Новгород, 2018
Оглавление
Введение
Глава 1. Интолерантность речевого поведения; языковые маркеры интолерантного речевого поведения
1.1 Понятие «толерантность»: история становления
1.2 Интолерантность как тип речевого поведения
1.3 Языковые маркеры интолерантного речевого поведения
Глава 2. Компьютерные инструменты анализа текста
2.1 Анализ тональности (sentiment analysis)
2.1.1 Экспертный анализ тональности
2.1.2 Автоматический анализ тональности
2.2 Автоматическая классификация текстов
Глава 3. Автоматическое выявление маркеров интолерантности текста
3.1 Программа на основе словарей
3.1.1 Подготовка опорных словарей
3.1.2 Принцип работы алгоритма
3.1.3 Интерфейс программы
3.1.4 Тестирование и результаты работы
3.2 Классификаторы на основе методов машинного обучения
3.2.1 Тренировочные данные и процесс обучения
3.2.2 Принцип работы основного алгоритма
3.2.3 Тестирование и результаты
3.3 Итоги исследования
Заключение
Библиографический список
Приложения
Введение
В наше время глобализация, демократизация и межкультурная коммуникация на всех уровнях приводят к тому, что разные социальные, религиозные, политические группы с кардинально отличающимися убеждениями регулярно взаимодействуют и сталкиваются, а средства массовой информации освещают подобные случаи столкновений, дебатов и других форм взаимодействия. Информация, которую люди получают из открытых источников, в частности средств массовой информации, оказывает большое воздействие на их собственную точку зрения и, как следствие, на позицию всего общества. То, как подаётся тот или иной факт и связанные с ним обстоятельства, может значительно повлиять на общественное мнение, а определённые маркеры, определяющие тональность отношения автора к тому или иному компоненту события, могут кардинальным образом изменить восприятие описываемой проблемы. В таких ситуациях особенно важным становится вопрос о сохранении речевой толерантности, которой журналисты обязаны придерживаться в отношении всех участников ситуации. Однако средства массовой информации часто используют речевую манипуляцию для влияния на мнение своей аудитории, и в таких случаях инструментом манипуляции становится не только толерантность, но и её антипод - речевая интолерантность.
Множество исследователей посвятили свои работы изучению толерантности: истории происхождения и развития этого понятия (С.Д. Бакулина, К.Дж. Недерман, М.Б. Хомяков), её выражению в устной и письменной речи (В.Г. Красных, Т.В. Романова, И.А. Стернин, К.М. Шилихина), особенно в политическом дискурсе (Т.А. Шаповалова). Исследователи выявили, как толерантность связана с манипулятивными техниками (С.Г. Кара-Мурза, Т.В. Маркелова, Т.А. Шаповалова) и опровергли сложившееся мнение о «благости» и необходимости толерантности самой по себе (К.Дж. Недерман). Однако интолерантность, прямой антипод этого понятия, остаётся за рамками исследований и не обращает на себя такого же внимания учёных. Это может быть связано с тем, что в современном мире толерантность рассматривается как одно из необходимых качеств, именно поэтому её изучение считается более актуальным, чем изучение интолерантности, которой необходимо избегать. Особенно недостаточно изучены маркеры интолерантного речевого поведения. Это можно объяснить тем, что, в отличие от маркеров толерантности, маркеры интолерантности всегда заметны в тексте и кажутся очевидными. Однако их анализ может дать исследователю понимание того, какая именно интолерантность и по отношению к чему выражена в тексте, какова коммуникативная интенция автора. Такой анализ может использоваться как в лингвистической экспертизе, так и в работах по анализу толерантной и интолерантной лексики СМИ и любых других текстов, содержащих маркеры различных типов интолерантного речевого поведения.
Однако при работе с большими объёмами текстов выявление подобных маркеров вручную может быть достаточно трудоёмким и занимать много времени. Автоматическое выделение соответствующих маркеров могло бы помочь исследователям, сократив время обработки материала и упростив выявление интолерантной лексики. Разумеется, последнее слово, как и итоговый анализ, соответствующий поставленной задаче, всегда остаётся за экспертом, но программа может выдать ему готовый список маркеров гораздо быстрее, чем это было бы сделано вручную. Также при наличии конкретных словарей, можно было бы оптимизировать поиск необходимой лексики, что дало бы значительный прирост производительности на большом объёме данных, а значит, позволило бы исследователям анализировать больше материала и делать более объективные выводы, чем если бы они занимались выделением маркеров самостоятельно. Данная работа отличается от других похожих работ в данной области (создание лексикона Н.В. Лукашевич, автоматическое создание словаря оценочной лексики Н.В. Лукашевич и И.И. Четвёркина, создание корпуса текстов о толерантности А.Ю. Малафеева и Е.А. Ореховой) тем, что концентрируется не на создании словаря как такового и не на сборе корпуса текстов, а на разработке приложения, которое помогло бы другим исследователям быстро и удобно обрабатывать тексты и извлекать из них интолерантную и негативно-оценочную лексику, необходимую в рамках поставленной задачи, для дальнейшего анализа. Также стоит отметить, что данное исследование является продолжением моих курсовых работ 1-3 курсов.
В качестве материала исследования были выбраны тексты из корпуса Ю.В. Рубцовой Рубцова Ю. В. Построение корпуса текстов для настройки тонового классификатора // Программные продукты и системы, 2015, №1(109), - С.72-78, а также словари лексикона RuSentiLex 2017 года Loukachevitch N., Levchik A. Creating a General Russian Sentiment Lexicon. In Proceedings of Language Resources and Evaluation Conference LREC-2016, 2016., а также маркеры, обнаруженные в результате предыдущих исследований мною авторских статей газеты «Аргументы и Факты» Шакирова К.А. Языковые и речевые маркеры толерантности и интолерантности публицистического текста. Курсовая работа 3 курса., которые использовались для построения базовых словарей нейтральной и интолерантной лексики. Для тестирования были отобраны тексты новостных сводок, авторские статьи и статьи из свободной интернет-энциклопедии. Стоит заметить, что среди СМИ интолерантные маркеры в основном употребляются только в статьях из авторских колонок, в отличие от новостных сводок, которые состоят только из чётко обозначенных фактов и не содержат каких-либо манипулятивных компонентов, чётко выраженных показателей речевой толерантности или интолерантности. Также текстовые материалы СМИ не содержат экстремистской и/или обсценной лексики, в отличие от блогов и интернет-ресурсов, не причисленных к СМИ. Поэтому для тестирования выделения маркеров были отобраны как новостные сводки и авторские статьи, так и отрывки с других ресурсов, не подверженных цензуре и редактированию, что позволяет охватить разные степени выражения интолерантного речевого поведения. Общий объём словарей составил 22000 слов, объём корпусов текстов для тестирования - 10600 и 576 словоформ.
Объектом исследования являются речевые маркеры интолерантного речевого поведения.
Предмет исследования - компьютерные инструменты выявления интолерантных маркеров.
Цель работы - применить компьютерные инструменты, в частности классификаторы на базе машинного обучения и поиск на основе словарей, к задаче автоматического выделения маркеров интолерантности текста, проанализировать результаты работы обоих типов программ и определить, какой из них более пригоден к выполнению задачи.
Выдвигается следующая гипотеза: программные инструменты могут выделять из текста интолерантную лексику, при этом программа на базе словарей действует эффективнее, но программа на основе методов машинного обучения способна выявлять слова, не относящиеся напрямую к маркерам интолерантности, но влияющие на общий уровень толерантности текста. лексический маркер интолерантный программа
Цель и гипотеза определяют соответствующие задачи:
проанализировать имеющиеся подходы к определению толерантности и интолерантности речевого поведения;
определить типы лексических маркеров интолерантного речевого поведения;
отобрать материал для исследования;
собрать базовые словари нейтральной и интолерантной лексики;
написать программу на основе словарей;
написать классификатор на базе методов машинного обучения с использованием отобранного материала в качестве обучающей выборки;
оценить качество выделения программами интолерантной лексики.
Методологической основой исследования послужили теоретические работы Романовой Т.В., Шаповаловой Т.А. и Воронцовой Т.А. по толерантности, интолерантности и средствам их выражений в речи, а также Ричерта У. и Коэльо Л.П. по классификаторам на основе машинного обучения. При выполнении работы использовались следующие методы:
метод сплошной выборки при отборе текстов для выбора слов;
методы машинного обучения, на основе которых работают классификаторы;
метод лингвистического наблюдения и описания при ручном выделении маркеров и корректировке словарей;
анализ влияния определённых слов текста на уровень его интолерантности;
сравнение результатов работы программ с работой эксперта-человека.
Цель и задачи исследования определяют структуру работы, состоящей из введения, трёх глав, заключения, списка литературы и приложений. Введение содержит общую характеристику проблемы, обоснование её актуальности и практической значимости, формулировки гипотезы, цели и задач исследования, а также определение методологической основы и методов выполнения исследования.
Первая глава «Интолерантность речевого поведения; языковые маркеры интолерантного речевого поведения» посвящена определению необходимой для исследования теоретической платформы. На этом этапе проводится анализ разработанности проблемы, обзор имеющихся взглядов на проблему в целом и отдельные её аспекты: толерантность и интолерантность речевого поведения и их языковые маркеры. В главе подробно рассматривается история изучения понятий «толерантность» и «интолерантность», при этом делается акцент на характеристиках и особенностях последней. Также разбираются виды маркеров интолерантного речевого поведения и суммируются выводы предыдущих исследований, даётся обоснование возможности автоматического выявления маркеров.
Вторая глава «Компьютерные инструменты анализа текста» посвящена обзору существующих методов работы с текстом в рамках задач анализа тональности и автоматической классификации. Подробно разбираются подходы к анализу тональности и существующие инструменты для осуществления автоматического анализа. Также анализируются методы машинного обучения для автоматической классификации текстов и возможность совместного использования этих методов, делается вывод о том, какие инструменты лучше использовать для осуществления текущей задачи.
Третья глава «Автоматическое выявление маркеров интолерантности текста» включает в себя описание практической части работы. Обосновывается выбор обучающих данных и базовых словарей, объясняются принципы работы алгоритма на основе словарей и классификаторов на базе методов машинного обучения. Результаты работы программ анализируются и сравниваются друг с другом и с работой человека. Делаются выводы о преимуществах и недостатках каждого подхода, а также общие выводы о возможностях использования программ.
В заключении обобщаются результаты исследования, подтверждается выдвинутая гипотеза, делаются предположения о дальнейшем улучшении алгоритмов и их практическом применении. Приложения содержат набор текстов, использовавшихся для тестирования программ, а также коды написанных программ.
Глава 1. Интолерантность речевого поведения; языковые маркеры интолерантного речевого поведения
В данной работе исследуются языковые средства, маркирующие интолерантное речевое поведение автора публицистического текста, и компьютерные инструменты, которые могут применяться для их автоматического выявления. До рассмотрения собственно программных средств необходимо осветить два теоретических аспекта проблемы: что такое интолерантное речевое поведение и какими языковыми средствами и речевыми приёмами оно маркируется. Разные аспекты этой проблемы рассматривали многие исследователи: так, Т.А. Шаповалова, Т.А. Воронцова, И.А. Стернин, К.М. Шилихина, Т.Г. Винокур, Т.В. Романова изучали речевое поведение и связанную с ним проблему толерантности и интолерантности, С.Д. Бакулина, М.Б. Хомяков и К.Дж. Недерман изучали историю и типологию толерантности, а такие учёные, как В.В. Красных, Т.В. Маркелова, Т.А. Шаповалова исследовали различные феномены, маркирующие интолерантное речевое поведение.
1.1 Понятие «толерантность»: история становления
«Интолерантность» в рамках гуманитарных и социологических наук определяется как «нетерпимость, агрессивность, несклонность к компромиссу», противоположность толерантности https://dic.academic.ru/dic.nsf/enc_philosophy/2371, https://dic.academic.ru/dic.nsf/efremova/275407 (дата обращения - 08.04.18г). Она изучается в связи с толерантностью и через толерантность, как её антипод. Поэтому необходимо определить понятие толерантности в культурном и историческом аспектах.
Слово «толерантность» относительно недавно стало часто употребляться в СМИ и повседневной речи, что может быть объяснено тем, что понимание толерантности в сознании людей претерпело некоторые изменения. Согласно учебному пособию С. Д. Бакулиной http://www.universalinternetlibrary.ru/book/65385/chitat_knigu.shtml (дата обращения - 08.04.18г), в эпоху Античности “tolerantia” означало “пассивное терпение, добровольное перенесение страданий”. С XVI в., когда к существующим значениям добавляются значения “позволения” и “сдержанности”, толерантность начинает трактоваться как уступка в вопросе о религиозной свободе -- разрешение со стороны государства и официальной церкви отправления других религиозных культов. Веротерпимость является исторически первой и доминирующей формой проявления толерантности. Для деятелей эпохи Реформации (XVI-нач. XVII в.) было характерно осмысление толерантности как свободы совести верующего. В период конфессионального соперничества ради утверждения в обществе толерантности предлагалось забыть о догматических разногласиях и помнить об идентичности христианской моральной доктрины, основу которой составляет любовь к ближнему, милосердие, праведная жизнь. Отказ от насилия как от неприемлемого средства приобщения человека к вере и акцент на искренности убеждений, которая возможна только при условии добровольного вступления в общину верующих, -- вот два основных аргумента в пользу толерантности, которые сохранялись и в XVII, и в XVIII вв. Третьим аргументом была защита сильного централизованного государства, отсюда - неизбежность трактовки толерантности как средства избегания социальной нестабильности, а также всевозможные ограничения сферы действия данного принципа. Особая роль в теоретическом осмыслении и практическом воплощении принципа толерантности принадлежит эпохе Просвещения, провозгласившей свободу совести и слова. Благодаря просветителям, в особенности французским, понятие толерантность вошло в политический словарь.