Посмотрите на вазу: как языковые маркеры влияют на глазодвигательную активность (на материале жанра экскурсии)
М.В. Лиханов, И.А. Куликов
Экспериментально исследуется проблема влияния типа лексического маркера на глазодвигательную активность адресата. В ходе эксперимента 1 было выяснено, что время-до-цели меняется в зависимости от типа использованного маркера. Локативный и визуально-локативный типы маркера показали наименьшее время-до-цели. Эксперимент 2 подтвердил результаты первого эксперимента, однако наименьшее время-до-цели показали визуальные маркеры. Более того, время осмотра объекта изменяется в зависимости от категории маркера.
Ключевые слова: глазодвигательная активность; внимание; жанр экскурсионной метки; экскурсант; время осмотра; вре-мя-до-цели.
TAKE A LOOK AT THE VASE: LEXICAL MARKERS AFFECT OCULOMOTOR ACTIVITY (ON THE MATERIAL OF EXCURSION GENRE)
Maxim V. Likhanov, Tomsk State University (Tomsk, Russian Federation). Ivan A. Kulikov, Tomsk State University (Tomsk, Russian Federation)
Keywords: oculomotor activity; attention; excursion genre; excursionist; time-on-target; time-to-target.
The present paper is devoted to an investigation of the role of lexical markers, which are used by the tour guide to guide the excursionist's attention during an excursion. The aim of this study was to check whether the addressee's eye movements will vary as afunction of the marker category used by the tour guide. In order to do so, the authors conducted two eye tracker studies, allocating head-mounted and stationary eye tracker in Study 1 and Study 2, respectively. In Study 1, the authors checked whether the effectiveness of the tour guide manipulation of the addressee's eye movements, manifested in time-to-target, would vary as a function of the marker category. In Study 1, data from 30 participants were analysed (age, M - 18.1, SD = 1.1, 14 female). The eye movements of the participants were recorded individually during the excursion in the Museum of Rare Books, Tomsk State University. The text of the excursion was individual for each participant. The data were recorded in a natural environment, the tour guide was not advised on the usage of any special markers and talked freely. An ANOVA with repeated measures were used with marker category as an independent variable and time-to target (time from the nomination of object to the first fixation on it, TtT) as a dependent variable. The effect of gesture was controlled. The data showed four distinct categories of a lexical marker: visual-locative, locative, indicative and zero. Results of the first study showed that TtT varies as a function of the marker category used, F (2.259, 65.52) = 111.95, p<.05, with locative and visual-locative markers having the smallest TtT. In Study 2, the authors checked whether the effectiveness of the tour guide manipulation of the addressee's eye movements, manifested in time-to-target and time-on-target, would vary as a function of the marker category. The data from 42 participants were analysed (age, M = 21.5, SD = 2.2; 28 female). The participants were presented with a photo of the museum screen while listening to the recorded text on rare books. The text was the same for each participant. The order of markers was pseudorandomised for each participant to account for the effects of first encounter. Each participant was presented with one marker from a category, which was picked by experts as an iconic for the category. Marker categories were adjusted and now five categories were used: visual, visual-locative, locative, indicative and zero. The TtT and the time-on target (dwell time on a target, ToT) were investigated. An ANOVA with repeated measures was used with the marker category as an independent variable and time-to-target as a dependent variable. Also, an ANOVA with repeated measures was used with the marker category as an independent variable and ToT as a dependent variable. The data from Study 2 replicated the findings of the head- mounted eye tracker study; although, the pattern of the results was slightly different. TtT varied as a function of the marker category, F (2.44, 100.16) = 13.94, p=.0001. In this study, the visual marker category had the smallest TtT. The results of the study showed that ToT also varied as a function of the marker category, F (2.21, 84.02) = 11.02, p=.0001. The post-hoc test showed significant differences in ToT between the zero category and all other categories. The smallest ToT was shown by the zero category. Overall, the results are discussed in the framework of semantic differences between categories and in the more general language-mediated eye movement paradigm. The data bring evidence that the addressee's eye movements indeed vary as a function of the marker category, with visual, visual-locative and locative being the most effective.
Введение
Современные экспериментальные методы (в частности, айтрекер) позволяют исследовать взаимодействие лингвистических стимулов и референтов в реальном мире с позиции глазодвигательной активности [1.С. 1105-1122].Исследования последовательно показывают, что адресат использует визуальную информацию, чтобы ограничить набор возможных целевых референтов [2. С. 409-436; 3. С. 95-127].Все большее количество исследований свидетельствует в пользу того, что информация, заложенная в лексему, используется для формирования ожидания объекта, следующего за этой лексемой [4.С. 1995-2024].
Первыми это продемонстрировали Гэрри Альтманн и ЮкиКамиде в 1999 г. [5.С. 247-264]. Ученые показали, что распределение внимания участников было связано с тем предложением, которое они слышали. Например, если участники слышали глагол «есть», «ожидающие» глаза двигались в сторону съедобных объектов в визуальной сцене, заданной простыми рисунками и пиктограммами. Позже ученые обнаружили, что для этого адресат пользуется окружающим контекстом, заданным визуальной информацией из реального мира [6. С. 55-71; 7. С. 455-469].
Дальнейшие исследования показали, что направление движения взгляда связано с речью и в фотореалистичных сценах [8.С. 208-216]. Участник исследования смотрел на фотографию одновременно с тем, как ему зачитывались заранее записанные предложения, в которых упоминался какой-либо объект с фотографии. Ученые наблюдали фиксацию на объекте спустя значительный промежуток времени (~ 2 500 мс) после его номинации. Этот эффект был позже реплицирован в серии экспериментов [4.С. 1995-2024]. Результаты исследований позволяют сделать вывод, что мозг использует контекстуальную информацию из окружающего мира и направляет взгляд на объект в визуальном поле, максимально релевантный лексической информации. Например, когда объект назван, но отсутствует, участники фиксируются на контекстно релевантных объектах (например, на столе, если услышали глагол «есть»). Во втором эксперименте ученые показали, что взгляд движется в сторону релевантных объектов, даже если сцена исчезает после предъявления лексического стимула, делая вывод о том, что «ожидающие» движения глаз базируются на контекстуальной информации в памяти, на основании которой принимается решение. Таким образом, мы можем сказать, что мозг использует доступную визуальную информацию и фиксируется на релевантном объекте после его номинации.
В предыдущих исследованиях связи движений глаз и лексических единиц, как правило, использовались слова, не указывающие напрямую на необходимость визуальной активности. В этом контексте остается неясным то, как движения глаз связаны с лексикой, содержащей такое указание. Цель данной статьи - исследовать глазодвигательную активность под руководством лексического стимула, содержащего указание на объект интереса. Экскурсионная коммуникация позволяет исследовать глазодвигательную активность под руководством лексического стимула ввиду своей специфики как полисемиотичной системы [10.С. 90-93], где рассказ неразрывно связан с показом. В ситуации общения у экскурсовода появляется необходимость в жанре, выполняющем прагматическую функцию и служащем для максимально эффективного и быстрого связывания объекта показа и той информации, которая ему посвящена, - жанре экскурсионной метки.
Исследуя тексты экскурсий, мы обнаружили, что жанр обслуживается гетерогенными по своему семантическому значению единицами-маркерами, среди которых выделяются следующие категории: локативные, визуально-локативные, нулевые и указательные, в соответствии с наличием или отсутствием соответствующих семантических компонентов выполняющие, однако, одну функцию - указания на объект, о котором идет речь. Например, единица «посмотрите здесь», относящаяся к визуально-локативной категории, используется наравне с единицей «это», относящейся к указательной категории. Ввиду того, что жанр предполагает управление глазодвигательной активностью слушателя, возникает вопрос: меняются ли как-то характеристики этой активности экскурсанта при использовании экскурсоводом единиц разных категорий.
Опираясь на вышесказанное, мы выдвинули гипотезу о том, что эффективность управления глазодвигательной активностью экскурсанта изменяется в зависимости от категории маркера указания на объект, использованного адресантом-экскурсоводом.
Мы проверили данную гипотезу в двух экспериментах на разных выборках.
Исследование 1 - «разведочный» эксперимент
Введение
Для исследования коммуникативно-прагматического аспекта экскурсионной коммуникации в первом исследовании мы стремились приблизить ситуацию экспериментального общения между адресантом и адресатом к реальной экскурсионной коммуникации, поэтому остановились на полевом дизайне исследования и использовании мобильного айтрекера. Такой тип айтрекера позволяет проводить исследования вне лабораторных условий, использовать более экологи- чески-валидное окружение и исследовать сложные виды взаимодействия участника исследования с окружающим миром, однако накладывает ряд ограничений, касающихся точности замеров: ограничение доступных метрик и наличие шума в статистических данных, вызванного, например, жестами экскурсовода.
Для исследования степени эффективности управления глазодвигательной активностью экскурсанта мы остановились на показателе «время-до-цели», позволяющем отследить, насколько быстро происходила первая фиксация на объекте показа после его номинации.
Мы выдвинули гипотезу о том, что эффективность управления глазодвигательной активностью экскурсанта, выраженная во времени-до-цели, изменяется в зависимости от категории маркера указания на объект, использованного адресантом. Эффект жеста контролировался.
Методы
Участники. 30 человек (возраст, M= 18,1, SD= 1,1; 14 женщин) приняли участие в исследовании. Все участники заполнили информированное согласие. Все участники обладали хорошим зрением, не имели травм головы и получили баллы по курсам за участие. Исследование было проведено в соответствии с Федеральным законом Российской Федерации «О персональных данных» (152-ФЗ) и Этическим кодексом психолога, принятым 14 февраля 2012 г. V съездом Российского психологического общества.
Процедура. Участники заходили в Музей книги Научной библиотеки ТГУ по одному, на них надевались очки SMIEyeTrackingGlassesv.1.8 (далее ETG), и экскурсовод проводил индивидуальную экскурсию для каждого. Экскурсовод всегда работал только с одним экскурсантом. Нами были предварительно отобраны четыре экскурсионных витрины, имеющие филологическую специфику (две, посвящены литературе XX в. и еще две - цензуре), которые экскурсовод мог посещать в произвольном порядке, руководствуясь своей логикой и логикой экскурсии. Условия проведения экскурсии были максимально приближены к естественным, что делает исследование экологически валидным (Ecologicalvalidity), но снижает экспериментальный контроль (ExperimentalControl). Движения глаз были записаны на протяжении осмотра всех четырех витрин.
Стимулы. Экскурсионные объекты были отобраны так, чтобы в экскурсии присутствовали как экспонаты, при осмотре которых экскурсант фокусировал взгляд на мелких деталях объекта, так и экспонаты, где требовалось осмотреть объекты целиком. Все стимулы были естественными и являлись частью выставки Музея книги Научной библиотеки ТГУ. В качестве экскурсионных объектов использовались экспонаты, представленные в витринах музея (см. пример витрины в Приложении 1).
Для сохранения естественного течения экскурсии ее текст был индивидуален для каждого из участников. Использование маркеров указания на объект и их категории не обсуждались с экскурсоводом. По результатам предварительного анализа речевые маркеры адресанта включали следующие категории:
- локативные: «наверху слева» + номинация, «здесь справа» + номинация;
- визуально-локативные: «посмотрите вверху» + номинация, «здесь можете видеть» + номинация;
- нулевые: только номинация;
- указательные: «вот» + номинация.
Оборудование. Для записи движений глаз были
использованы очки-айтрекерSMIETGv.1.8, соединенные с записывающим устройством на базе КПК. Заявленные производителем характеристики:
- частота видеорегистрации 30 Гц;
- пространственная разрешающая способность 0,1°;
- точность определения направления 0,5°;
- диапазон регистрации глаз 80° по горизонтали, 60° по вертикали.
Обработка данных. Для обработки данных использовали стандартное программное обеспечением BeGazev3.5. Записанные данные импортировались в программу, в которой выполнялись обработка и экспорт количественных показателей глазодвигательной активности. Программа SonyVegasv.10 использовалась для корректировки измерений времени аудио. Категории маркера указания на объект были выделены на основе представленности или отсутствия семантического компонента.
Статистика. Для проверки гипотезы был использован однофакторный дисперсионный анализ с повторяющимися измерениями (RepeatedmeasuresANOVA), где время-до-цели было использовано в качестве зависимой переменной, а категория маркера - в качестве независимой.
Время-до-цели считалось как время от начала фонации слова, номинирующего объект, до первой фиксации на объекте. Ввиду того, что экспериментальные исследования последовательно демонстрируют, что движения глаз, происходящие при посредничестве речи (language-mediatedeye-movements), как правило, начинаются спустя 200 мс после начала фонации стимула-слова (см.: [9.С. 151-171] для обсуждения), время-до-цели, меньшее 200 мс, было удалено как противоречащее теоретическим выкладкам до усреднения внутри участника. Два выброса было удалено для первого участника и для семнадцатого(+/- 3,29 8Б). После этого распределение времени- до-цели внутри категорий маркера для всех участников стало соответствовать критерию нормальности.
Время жеста считалось как время от начала фонации слова, номинирующего объект, до конца движения руки экскурсовода, указывающего на объект речи. Жест всегда следовал за началом фонации номинации объекта. Две пробы без жеста были удалены из дальнейшего анализа, оставив 206 проб с жестом (М = 126,5, 8Б = 35,81). Для контроля времени жеста были посчитаны стандартизованные регрессионные остатки, где время жеста использовалось в качестве независимой переменной, а время-до-цели - зависимой (М = 0, 8Б = 1). Таким образом, мы убрали влияние жеста на время-до- цели. Эти регрессионные остатки использовались в качестве нового показателя времени-до-цели в дальнейшем анализе. лексический маркер глазодвигательный экскурсант
Вследствие того, что количество объектов показа было примерно одинаковым у всех экскурсантов (автор-экскурсовод мог говорить, а мог и пропускать некоторые объекты, но в среднем их количество оставалось единым), количество маркеров в одной экскурсии в среднем почти не менялось (M = 30,8, SD = 1,2). Однако количество маркеров в каждой из категорий варьировало между людьми (M = 7,8, SD = 1,2; M = 6,2, SD = 0,8; M = 7,7, SD = 0,5; M = 7,3, SD = 1,1 для локативных, визуально-локативных, нулевых и указательных соответственно). Для дальнейшего анализа мы использовали среднее время-до-цели для каждой категории внутри отдельного человека.