Отражение зрительных паттернов в описательном дискурсе: экспериментальное исследование
О.Н. Прокофьева
аспирант кафедры общего и сравнительного языкознания; преподаватель кафедры второго иностранного языка Московского государственного лингвистического университета
Аннотация
Считается, что окулографический анализ способен углубить знания о когни-тивных процессах и механизмах, сопровождающих дискурсивную деятельность, следовательно, их можно исследовать при помощи полимодального эксперимента, где в качестве стимула выступают изображения, а участникам дается целевая уста-новка на их спонтанное описание. Представленные в статье результаты получены при проведении эксперимента и продолжают исследования влияния зрительного восприятия, а именно, характера и порядка фиксаций, на построение дескриптива. Распределение фиксаций фокального и поискового типов зрения обнаруживают сходства с использованием участниками когнитивных механизмов описания кон-кретизации и генерализации соответственно: сопоставляются доли групп, началь-ные элементы зрительных и дискурсивных цепочек и их сложность. Дополнительно рассматривается роль жестов.
Ключевые слова: описательный дискурс; зрительное восприятие; тип зрения; жесты; полимодальный эксперимент.
Abstract
когнитивный дискурсивный знание
Traces of visual patterns in descriptive discourse: experimental study
O.N. Prokofieva
PhD student, Department of General and Comparative Linguistics;
Department of Second Foreign Languages, Lecturer,
Moscow State Linguistic University
The article dwells upon the assumption that eye tracking may give an insight into cognitive mechanisms underlying discourse structure. Thus, a multimodal experiment was conducted where participants were asked to carefully study the stimulus material (four paintings) and describe it orally afterwards. The article centres on the possible correlation between the pattern of visual perception (fixations of different types) and that of discourse. The patterns tend to coincide in their initial components as well as their complexity. The research also reveals a correlation between the patterns and gesture use.
Key words: descriptive discourse; visual perception; vision type; gestures; multi-modal experiment.
Введение
Каждый дискурс как зафиксированное языковое явление пред-ставляет собой конечный продукт сложнейшей цепочки событий и переплетения влияния множества прагматических и когнитивных факторов. При этом, если речь идет об описательном дискурсе, пред-ставляется возможным сопоставить его с предшествующим ему вос-приятием стимула, в частности наиболее доступной и наглядной вы-ступает работа с визуальным стимульным материалом, где в качестве наблюдаемых единиц можно взять характеристики зрительной пер-цепции. Представленные в статье данные получены при проведении подобного исследования и продолжают начатое ранее исследование влияния зрительного восприятия на построение описательного дис-курса [Ирисханова, Прокофьева 2017; Прокофьева 2018]. Доказыва-ется, что как когнитивный фактор, оказывающий влияние на постро-ение дискурса, в зрительной перцепции можно выделить характер и порядок фиксаций, которые образуют характерный для смотрящего «рисунок» зрительного восприятия стимула. Ключевыми понятиями для данной цепочки выступают два типа зрения: фокальный (более длительные фиксации, более короткие саккады) и поисковый (более длительные саккады, более короткие саккады) [Величковский 2006]. Цепочка фиксаций соотносится с характером фокусирования в речи, а именно: механизмами описания - конкретизация (более детальное представление референта) и генерализация (более обобщенное пред-ставление референта) соответственно. За основу берется предположе-ние, что как при зрительном восприятии, так и при построении дис-курса участники способны менять характер фокусирования, а именно: то больше сосредотачиваться на деталях, то, наоборот, пытаться сконструировать более общую картину, сформулировать свои эмоции и общее ощущение от референта. Иными словами, участники могут в какой-то степени или приблизиться к референту, или отдалиться от него. В терминах когнитивной грамматики они выбирают меж-ду тем, чтобы отдать в определенный момент дискурса предпочте-ние схематизации (schematisation) или спецификации (specification), положиться на механизм наведения или приближения (zoom in), когда в фокус внимания попадает «ближайший концептуальный диапазон» (immediate scope), или же сделать шаг назад, совершить ментальное отдаление (zoom out), чтобы охват фокуса стал шире, возможно, включил в себя то, что называется «максимальным диапазоном» (maximal scope) [Langacker 2008].
Результатом исследования следует считать выведение определен-ных параллелей и закономерностей между модальностями относи-тельно ментального наведения (zoom in) и отдаления (zoom out) при фокусировании. Особый интерес исследования также заключается в том, чтобы отдельно учесть полимодальность производимого дис-курса и проанализировать связь не только между зрительной перцеп-цией и речью, но и жестикуляцией участников. Опираясь на положе-ние о синхронизации речи и жестов в процессе построения дискурса, на то, что эти модальности (как и зрительная перцепция в данном случае) восходят к одним «точкам роста» [McNeil 1992], можно пред-положить, что жесты способны не только дублировать информацию, представленную в речи, но и вносить свой уникальный семантиче-ский вклад в полимодальные единства «языковое выражение + жест», который, вероятно, продиктован в какой-то степени зрительной пер-цепцией описываемого стимула. Таким образом, можно обнаружить прямую связь между жестами и зрительной перцепцией, а также, воз-можно, пересмотреть предопределяющую роль языкового выражения по отношению к жестикуляции, ведь даже при одинаковом вербаль-ном конструировании образа могут встречаться различные жесты (как показано, например, в [Alibali, Kita, Young 2000]).
1.Метод исследования и материал
1.1. Сбор данных
Материалом исследования стали данные полимодального экс-перимента по 10 участникам, каждому из которых последовательно представлены четыре картины в качестве стимульного материала. Один стимул демонстрируется 40 секунд, затем участник описывает этот стимул неограниченное количество времени своему слушателю. Процедура повторяется четыре раза (по количеству стимулов). Экс-перимент построен таким образом, что участник вынужден конструи-ровать образ стимульного материала дважды: при создании личного ментального образа картины во время зрительной перцепции стиму-ла, что фиксируется окулографом, и во время монологического спон-танного описания этого стимула без опоры на него, что фиксируется на камеру. На обоих этапах участника просят следовать установке, с одной стороны, максимально подробно описать содержание стиму-ла, с другой - передать эмоции и идеи, которые, по его или ее мне-нию, хотел вложить в свое произведение художник. Таким образом, участник минимально ограничен в характере рассмотрения стимуль-ного материала и его устного описания. В результате сбора данных, для сопоставления по каждому стимулу каждого участника можно рассмотреть два способа конструирования одного и того же стимула (во время зрительной перцепции и порождения дискурса) и выделить определенные связи между ними. Однако, принимая во внимание различия в модальностях и их неодновременное протекание, следует заранее допустить невозможность полного совпадения зрительного и дискурсивного паттерна участников. Тем интереснее представляют-ся те элементы, которые обнаруживают параллели.
1.2 Обработка и анализ окулографических данных
Для получения цепочки зрительной перцепции из данных, со-бранных при помощи айтрекера, взяты только фиксации. Каждая фик-сация отнесена к фокальному типу зрения (группа B) или поисковому типу зрения (группа А), при этом фиксации дольше 300 мс относятся к фокальному, а менее 300 мс - к поисковому типу зрения [Велич- ковский 2006]. В таком виде цепочка представляет собой длинную череду А и B (обычно более 100 элементов-фиксаций), набравшуюся за 40 секунд просматривания. Одним из способов обработки окулографических данных является вычисление доли фиксаций группы А и группы В, исходя из общей длительности фиксаций на стимуле - при этом учитывается не количество фиксаций, а их суммарная длительность, так как фиксации поискового зрения (группы А) имеют «больше шансов» чаще мелькать в паттерне в силу того, что по своей природе они короче, чем фиксации фокального зрения (группы B). Так как грань между двумя типами зрения получает очень резкое разграничение (рубеж в 300 мс), также принято решение принимать за смену типа зрения только три подряд идущие фиксации одной группы, что позволяет сократить цепочки минимум до 1 (переход на другой тип зрения при таком подсчете не наблюдается на протяжении всего изучения картины), максимум 11 элементов (участник 10 раз меняет тип зрения при рассматривании картины). Таким образом, сокращенные цепочки передают частоту смены типа зрения, что также можно назвать сложностью рисунка зрительной перцепции. Для определения типа начального элемента зрительной цепочки также учитывается первый «сгусток» трех подряд идущих фиксаций одного типа.
1.3 Обработка и анализ данных по речи участников
Для выделения когнитивных механизмов описания текст делится на элементарные дискурсивные единицы (ЭДЕ), которые приблизительно равняются клаузе или ее части (подробнее об ЭДЕ в [Рассказы о сновидениях ... 2009]). Исходя из их семантики, дис-курсивные единицы распределяются относительно двух когнитивных механизмов описания, выделенных в целях данного исследования и предположительно являющихся одними из более близких аналогов фокального vs. поискового типа зрения при зрительной перцепции: когнитивного механизма описания конкретизация и когнитивного механизма описания генерализация.
За основу берется предположение, что как при восприятии стимула, так и при его последующем реконструировании в процессе построения дискурса, человек склонен прибегать к похожим процессам фокусирования. С одной стороны, исследователя может заинтересовать то, насколько и какой элемент выделен при (ре)конструировании образа, что можно условно назвать «силой фокусирования» и определить через длительность фиксаций на объекте при зрительном восприятии и количество упоминаний этого же объекта (в том числе, в фокусе) при построении дискурса (в частности, соотносимого со зрительной перцепцией) [Ирисханова, Прокофьева 2017]. С другой стороны, возникает вопрос о том, не насколько и какой, но как элемент выделен. Например, исходя из положений когнитивной грамматики Р. Лэнекера, одним из механизмов конструирования мира является способность к схематизации (schematisation) и спецификации (specification) [Lan-gacker 2008]. Так, одно и то же событие может быть описано с большей долей схематизации и с меньшей долей спецификации или наоборот. Можно привести следующий пример Р. Лэнекера, где слева направо событие описывается всё менее и менее схематично, то есть более и более точно и детализированно: Something happened. ^ A person per-ceived a rodent. ^ A girl saw a porcupine. ^ An alert little girl wearing glasses caught a brief glimpse of a ferocious porcupine with sharp quills. (Что-то случилось. ^ Человек увидел грызуна. ^ Девочка увидела дикобраза. ^ Взволнованная маленькая девочка в очках мельком уви-дела рассерженного дикобраза с острыми иголками.) Данная цепоч-ка представляет собой перемещение по континууму от схематизации к спецификации. Если рассмотреть стимул как описываемое событие, то каждая ЭДЕ представляет собой новое звено в цепочке описания, которое будет ближе к тому или иному концу континуума, то есть боль-ше отвечать принципу схематизации (описывать стимул отдаленно, в общих чертах, больше опираться на эмоции и впечатление от картины целиком) или спецификации (описывать детально, точно, конкретно, больше опираться на точное расположение элементов картины и их форму, цвет). При этом, так как описание по своей природе включает в себя акцент скорее не на динамическом событии, а на статическом, то в фокус попадают скорее не действия, а объекты. В связи с этим можно проследить аналогию с другим континуумом, а именно: конкретности и абстрактности [Кубрякова, Ирисханова 2007]: конец шкалы схема-тизация в данном случае соотносится с абстрактностью, а противопо-ставленная ей спецификация - с конкретностью. Из этого получаем, что когнитивный механизм описания конкретизация - способ пред-ставления стимула в описательном дискурсе, при котором говорящий сосредотачивается на более частных и мелких референтах, лежащих на шкале абстрактности-конкретности ближе к конкретности. В про-тивовес ему, механизм описания генерализация - способ представления стимула в описательном дискурсе, при котором говорящий сосредота-чивается на и / или реферирует к более общим понятиям, лежащим на шкале абстрактности - конкретности ближе к абстрактности.
Обработка и учет только ЭДЕ, которые произнесены говорящим до того, как его или ее монолог прерван слушателем, дают возмож-ность проследить, как выстраивается фокусирование участника на реконструируемом образе стимульного материала, то есть как сменя-ют друг друга ЭДЕ, отнесенные к механизму описания конкретизация и генерализация. Получившиеся дискурсивные цепочки в среднем включают от 10 до 20 элементов - наблюдается больший разброс по участникам и стимулам, чем в зрительных цепочках, так как говоря-щие ограничены только целевой установкой, но не ограничены во вре-мени или длине ЭДЕ. Длительность ЭДЕ и скорость их произнесения не сопоставима и зачастую индивидуальна, следовательно, доля ЭДЕ, соотнесенных с механизмом конкретизация (группа К), и доля ЭДЕ, соотнесенных с механизмом генерализация (группа А), высчитана относительно общего количества ЭДЕ в описании по всему стимулу. Далее, как и ранее при обработке данных по зрительной перцепции, особую важность имеет первый элемент рисунка дискурсивного фо-кусирования. Не менее важной является и сложность дискурсивной цепочки (частота смен типа), но ввиду большей осознанности и, как следствие, весомости дискурсивных элементов по сравнению с фикса-циями, которые не всегда могут полностью осознаваться человеком (то есть во время фиксаций может не происходить когнитивная обработ-ка данных, на которые направлен зрительный фокус, как, например, в тот момент, когда внимание смотрящего направлено внутрь себя и он смотрит «в пустоту» [Fazekas, Nanay 2018]), смена типа фокусиро-вания (с группы К на группу А или наоборот) засчитывается при двух и более подряд идущих элементах. Сложность цепочки варьируется по участникам и стимулам от 2 до 9 элементов.
В результате, в качестве материала для анализа выступают 40 це-почек зрительного восприятия, которые сравниваются и сопоставля-ются с 40 дискурсивными цепочками соответствующих описаний. Сопоставление цепочек происходит с трех точек зрения:
1) доля единиц группы А для зрительной перцепции относитель-но доли единиц группы А для дискурса (сопоставление «зри-тельной» группы В относительно «дискурсивной» группы К будет аналогичным, так как все элементы в рамках одной мо-дальности разделены лишь на две группы),
2) начальный элемент зрительной и соотносимой с ней дискур-сивной цепочки,
3) сложность зрительной и соотносимой с ней дискурсивной це-почки.
1.4 Обработка и анализ данных по жестам участников
Отдельный интерес в исследовании представляет жестовый ком-понент дискурса, ведь вполне допустимо, что часть информации в спонтанном дискурсе может быть передана именно жестикуляцией. Изначально жесты не являются обязательным компонентом дискурса, в рамках исследуемого эксперимента никому из участников не дают-ся установки на жестикуляцию, она не упомянается при инструкта-же, но все участники прибегают к ней как к наиболее естественной для них форме коммуникации (проведенный ранее анализ фокальных речевых единиц показал, что три четверти из них сопровождаются жестикуляцией [Прокофьева 2018]). При этом, если какой-то рефе-рент описан не только при помощи речи, но и жестом, вне зависи-мости от функции последнего, можно говорить о том, что референт получает выдвижение (salience) с точки зрения модальности жестов. Учитывая вторичную по отношению к речи роль жестов, также заключаем, что количество жестов вне зависимости от их функции может говорить о своеобразной сложности «жестового паттерна» - чем больше жестов, тем выше сложность. Для данного исследования представляется важным рассмотреть как общее количество жестов в монологическом описании (сумма жестов для 10 участиков и 4 стимулов: 1006 при разбросе от 7 до 50 в одном монологе), так и количество жестов, которые можно непосредственно соотнести с объектами из стимульного материала (309 при разбросе от 0 до 20). Отдельно изучаются жесты, сопровождающие начальный элемент дискурсивной цепочки (встречаются в 25 из 40 рассмотренных случаев), в том числе рассматривается их функция.
2.Результаты полимодального исследования
2.1 Соотношение доли «поисковых» фиксаций и «генерализационных» ЭДЕ
При сопоставлении доли единиц группы А для зрительной пер-цепции (поисковое зрение) с долью единиц группы А для дискурса (ЭДЕ, характеризующихся когнитивным механизмом описания гене-рализация) выявлено, что они не обнаруживают прямой зависимости друг от друга. Рассмотренные по эксперименту данные показывают, что нельзя утверждать, что чем больше участник отдает предпочтение поисковому типу зрения при восприятии стимула, тем вероятнее он прибегнет при описании этого стимула к механизму описания гене-рализация, зачастую уйдет в описание смысла изображения, эмоций, которые он или она получили от него. При отдельном рассмотрении данных по четырем стимулам, среднее отклонение доли «поисковых» фиксаций от доли «генерализационных» ЭДЕ составляет 19,3 для сти-мула 1; 19,3 - для стимула 2; 15,3 - для стимула 3; 9,2 - для стимула 4 (порядок стимулов строго фиксирован для всех участников). Таким образом, наблюдается тенденция на сближение зрительных и дис-курсивных характеристик. Также можно отметить индивидуальные различия по участникам, но при среднем отклонении зрительных по-казателей от речевых в 15,8 единиц кажется, что, исключая выбросы, цепочки должны обнаруживать определенное сходство. Возникает вопрос: почему же отсутствует прямая корреляция?
Возможный ответ заключается в том, что доля фиксаций, относя-щихся к поисковому зрению, в среднем равняется доле фиксаций, от-носящихся к фокальному, то же наблюдается при распределении ЭДЕ относительно механизмов описания генерализация и конкретизация. С одной стороны, это объясняет сложность проведения корреляцион-ного анализа (если часто показатели близки к половине всех элемен-тов, но при этом хаотично меняют свое положение относительно 50 % то в чуть большую, то в чуть меньшую сторону, то трудно говорить о корреляции так таковой). С другой стороны, такое равномерное представление элементов разных типов подчеркивает важность обеих групп как в конструировании посредством перцепции, так и в вер-бальном реконструировании стимула и рисунке фокусирования как таковом. Более того, оно невольно оказывается еще одним сходством при сопоставлении интересующих нас показателей.
Наконец, принимая во внимание большое количество факторов, ко-торые могут подействовать на зрительное или вербальное поведение участников (индивидуальные особенности, вырабатывание привычки к заданию, характеристики стимульного материала и др.), большее сход-ство цепочек можно было бы считать лишь простым совпадением.