ны выяснить, сколько людей работает к подчинении у респондента и каков их уровень образования.
Конечно, иногда ответ лишь на один из этих пяти вопросов позволит обеспечить нормальную кодировку профессии. Легко закодировать, например, «водитель, занимающийся частным извозом». Однако, как знают те, кто действительно кодировал десятки тысяч профессий, часто отпеты на первый из выше перечисленных вопросов неясны или внодят в заблуждение, и мы никогда заранее не знаем, какие комбинации ответе» на пять вопросов обеспечат точную кодировку. Невозможно закодировать профессии «менеджера» или «инженера» без дополнительной информации. Некоторые, называющие себя менеджерами, управляют заводами, а некоторые — киоском. Некоторые инженеры на самом деле выполняют работу обычных рабочих. Говоря о своей профессии, некоторые люди называют специальность, по которой они получили образование, а не ту специальность, по которой они реально работают. Согласно МОТ, преподаватели ПТУ должны кодироваться иначе, чем преподаватели средних школ. Медсестры со специальным образованием кодируются по-другому, чем те, кто его нс получил.
Вопросы о том, чем занят работник, и что производит его предприятие, выявляют случаи, в которых названия нс совпадают с реальностью. Пример из советских времен — так называемые «подснежники» (например, заводские художники, для которых нс было места в штатном расписании, зачислялись на инженерные должности. Только вопрос о том, чем он обычно занимается на работе, мог выявить этот факт).
Образование — другая переменная, которую измерить сложнее, чем можно было бы подумать. Ведь в число респондентов входят люди, ходившие в школу 70 лет назад, и люди, учившиеся в разных странах, так что они представляют удивительное многообразие образовательных систем и периодов обучения. Нам хотелось бы, чтобы можно было ограничиться одним простым вопросом об уровне образования, и, по общему мнению, это может быть действительно удовлетворительным решением, когда образование нс является значимой переменной. Однако, поступив таким образом, мы порождаем ошибку, которая может быть неприемлима в исследованиях, серьезно рассматривающих вопрос об образовании. Как показало наше исследование, если за кажущимся простым вопросом об уровне образования следуют вопросы об особенностях образования, полученного респондентами, то выясняется, что некоторые из тех, кто говорит, что имеет среднее специальное образование, называют такие специальности профессионально-технического образования как слесарь и должны быть закодированы как получившие профессионально-техническое образование. Аналогично, некоторые из тех, кто говорит, что имеет «незаконченное высшее образование», учились в вузе всего один год, а это, согласно определению Госкомстата, не подпадает под подобную формулировку.
Важно, чтобы вопросник отражал реальность такой, какой ее видят респонденты, а не такой, какой ее видят исследователи. Плохие вопросники порой заставляют респондентов отвечать в тех категориях, которые в их ситуации лишены смысла. Например, менеджера могут спросить, является ли его завод государственной собственностью или уже приватизирован, тогда как этот завод на самом деле изначально был основан как частный, т.е. не вписывается ни в одну из этих категорий. Также порой государство может владеть компанией с юридическим
статусом частной. Вопросник должен включать все возможности. Респонденты обычно теряют интерес к вопросникам, отражающим невежество исследователей, и в любом случае такой вопросник приводит к ошибочным результатам.
Чтобы избежать подобных проблем, исследователям часто до написания вопросника проводят углубленные интервью или фокус-группы. Когда готов первый черновой вариант вопросника, нужно провести пилотажные исследования с тем, чтобы опробовать новый вопросник в различных ситуациях с несколькими респондентами. В ходе пилотажного исследования респондентов нужно иногда спрашивать, что они имели в виду, давая определенный ответ, для того, чтобы убедиться, что их способ мышления совпал с тем, что предполагали исследователи. Очевидно, что интервьюеры, проводящие пилотажный опрос, должны быть достаточно опытными для того, чтобы детально объяснить все происходившее в ходе пилотажного исследования авторам анкеты, обеспечив тем самым хорошую обратную связь. Фокус-группа, состоящая из этих интервьюеров, может стимулировать гораздо лучшую обратную связь, чем разговор с каждым из них по отдельности. Если пилотажное исследование проводится серьезно, а не просто ради того, чтобы удовлетворить клиентов, должно быть отпущено достаточно времени для анализа его результатов, введения изменений и повторного проведения пилотажного исследования в случае необходимости.
Полевая работа охватывает все этапы от печати окончательного варианта вопросника до доставки заполненных анкет обратно в исследовательский центр. Поскольку мы не пытаемся здесь предложить развернутый учебник по всем аспектам проведения социологического обследования, .\гы остановимся только на двух существенных моментах, которые кажутся легкими или даже скучными, но которым на деле часто уделяют мало внимания: подготовка интервьюеров и контроль.
Подготовка интервьюеров. Все организации, занимающиеся изучением общественного мнения, уверяют нас как в том. что их выборки репрезентативны, так и в том, что их интервьюеры проходят специальную подготовку. Однако довольно часто у этих организаций нет стандартного написанного курса и нет письменных или устных экзаменов, а подготовка интервьюеров сводится к тому, что в течение дня просматривается конкретная анкета, по которой они должны начать работать чем быстрее, тем лучше. Иногда обучение проводит администратор, который и сам не является специалистом по проведению интервью. Напротив, в крупных исследовательских центрах, занимающихся проведением социологических обследований, общая подготовка по принципам интервьюирования длится несколько дней, и проводится людьми, хорошо знающими работу интервьюера. Достаточно большое количество интервьюеров отсеивается в ходе подготовки, когда становятся очевидными их неспособность строго следовать инструкциям или отсутствие способностей к тому, чтобы заставить респондента свободно себя чувствовать в их присутствии. (Других увольняют после нескольких первых полевых интервью.) Почему столько шума насчет подготовки?
О важности серьезной подготовки интервьюеров свидетельствует следующий забавный случай. В 1992 г. мы пригласили в Москву пятьдесят супервайзеров (людей, отвечающих за работу с интервьюерами на местах) со всего бывшего
Советского Союза для того, чтобы продемонстрировать, как надо с надлежащим качеством подготовить десять новых интервьюеров в течении нескольких дней. На первом этапе обучавшиеся слушали двухчасовую лекцию о принципах хорошего интервьюирования. Лекция касалась таких тем, как дословное воспроизведение текста вопроса без каких-либо комментариев, изучение возможностей получить от респондентов более полные ответы, не оказывая на них при этом давления. Лекция сопровождалась аудио- и видеозаписями с примерами.
Однако, учиться интервьюировать — то же, что учиться плавать. Простое прослушивание лекций о том, как это делать, недостаточно для того, чтобы этому научиться. Нужно попробовать под присмотром опытного инструктора, который сможет заметить ошибки и отработает с вами их постепенное преодоление. Так что после лекции интервьюеры шли в специально отведенные комнаты, где опытный преподаватель проходил с ними через еще одиннадцать этапов подготовки (детально описанных ниже) в течение следующих трех дней. Пятьдесят супервайзеров наблюдали за этой подготовкой с помощью скрытых камер в соседней аудитории.
На одном из этапов подготовки инструктор выполнял роль респондента, а сидящие вокруг стола обучающиеся по очереди опрашивали его, зачитывая закрытые вопросы с фиксированными вариантами ответов. В процессе обучения «респондент» задает иногда вопросы — порой такие же сложные как те, что получаешь от реальных респондентов. Обучающийся, получивший такой вопрос, задает, если нужно, уточняющие вопросы, после чего все десять участников заполняют вопросник, как будто они слышали ответ от респондента, которого сами опрашивали. Приблизительно каждые пятнадцать минут преподаватель останавливает процедуру и сравнивает ответы, записанные десятью обучающимися. Так как все они слышали совершенно идентичные ответы, можно предположить, что все десять обвели одни и те же варианты в своих анкетах. К удивлению супервайзеров, наблюдающих процесс подготовки по телевизору, обучающиеся часто записывают разные ответы и даже затевают жаркие споры о том, чей вариант правилен.
Например, один вопрос звучал следующим образом: «Сколько человек работает на предприятии, где Вы работаете?». Предлагались следующие варианты: 1:
2-10; 11-50; 51-100: 101-500; 501-1000: >1000 и затрудняюсь ответить. Изображавший респондента преподаватель дал следующий ответ: «Не знаю. Может быть сто. Похоже, что их число растет. Сейчас псе так меняется.» Некоторые обучающиеся обвели вариант затрудняюсь ответить, потому что он сказал «Я не знаю» и не был уверен относительно точного числа работающих; некоторые обвели вариант «51-100», а некоторые — «101-500», потому что он заметил, что это число возможно увеличивается.
Этот пример показывает все катастрофические последствия неадекватной подготовки интервьюеров. Социологи хотят изучить различия между респондентами, а неразличим в том, как интервьюеры задают вопросы или записывают ответы. Единственным шансом добиться этого является их серьезная подготовка.
Тот факт, что некоторые люди уже работали в качестве интервьюеров, не означает того, что им не нужна подготовка. Конечно, порой опыт помогает; однако, зачастую, как показывает практика, так называемые опытные интервьюеры на самом деле не имеют должной подготовки и нарушают многое основные правила. Если, что бывает крайне редко, они готовы заново изучить общие принципы, они будут полезны для исследования, в противном случае из них получатся очень плохие интервьюеры. Плохие привычки исправить сложно.
Интервьюеры должны стремиться стать «пустым сосудом»: они должны быть открыты всему, что захочет в них влить респондент и должны донести полученное обратно в исследовательский центр, не расплескав ни капли. Среди худших интервьюеров можно назвать социологов, которые, в силу своего понимания принципов социологии, считают своим долгом «помочь» респонденту сказать что-нибудь полезное: Поступая таким образом, они вносят различия в исходный стимул, о чем говорилось в предыдущем разделе. Плохими интервьюерами могут быть и учителя: привыкнув всю свою жизнь оценивать учеников, они и респондентам могут показывать свое одобрение или неодобрение. Некоторые респонденты могут несколько изменить свои ответы, чтобы избежать морального неодобрения интервьюеров.
Ниже мы приводим один из вариантов программы подготовки начинающих интервьюеров. Несколько этапов (включая, как минимум, 1, 2, 8 и 10) необязательно включать в программу для опытных интервьюеров, уже хорошо зарекомендовавших себя.
1) Лекция об общих принципах face-to face интервью.
2) Знакомство с новыми интервьюерами, выяснение их опыта или реакции на лекцию. Подготовка не должна проходить в приказном порядке; если она «формальна», интервьюеры часто нарушают правила именно поэтому. Вместо этого, обучение должно убедить интервьюеров в мудрости правил. Установление личных контактов — прекрасный способ сформировать у интервьюеров желание не разочаровать вас. Это упражнение также позволяет обучающимся привыкнуть выступать перед своей группой, что важно на дальнейших стадиях обучения.
3) Попросите интервьюеров прочесть всю анкету заранее, затем самостоятельно ее заполнить. Они должны вслух прочесть все части, которые должен услышать респондент, и отметить все, что было непонятно. После этого они должны самостоятельно заполнить вопросник, как будто сами являются респондентами. При этом они должны делать заметки о всех проблемах, неясностях, которые приходят им в голову во время заполнения. Если хотите собрать анкеты, заранее их об этом предупредите.
4) Покажите интервьюерам видеозапись хорошего интервью, проведенного по анкете, с которой им предстоит работать, сделайте комментарий, иллюстрирующий идеи вводной лекции. Для начинающих интервьюеров важно видеть положительные примеры с тем, чтобы знать, к чему стремиться. Наглядные материалы стоят тысяч слов. Для опытных интервьюеров наблюдение за интервью — хороший способ познакомиться с новым вопросником, с которым им предстоит работать. Можно также попросить присутствующих заполнить анкету, пока они слушают запись.
5) Познакомьте их с письменными инструкциями по заполнению анкеты. Хорошие обследования обычно включают в себя различные письменные инструкции относительно анкеты: например, как исправлять ответы (корректировать или вычеркивать), как показать, что были заданы уточняющие открытые вопросы и т.п. Они также включают письменные инструкции, объясняющие, как поступать с некоторыми сложными пунктами вопросника. Например, что делать, сли респондент спрашивает, как определять число детей — включая родных и
приемных, или только родных: или насколько детально должна быть описана работа респондента; или считать ли респондента, находящегося в декретном отпуске, работающим или нет.
7) Изобразите из себя респондента, а обучающиеся по очереди будут зачитывать вопросы, как они это делали бы ни настоящем интервью. Это особенно важная часть общей подготовки, обычно требующая как минимум четырех часов работы с небольшой группой интервьюеров. В ходе реальных интервью респонденты часто дают неполные, не относящиеся кделу или неопределенные ответы. Интервьюеры должны потренироваться задавать уточняющие вопросы, используя техники, перечисленные во вводной лекции, т.е. не нарушающие основные правила.
8) Пусть интервьюеры потренируются интервьюировать в группах по три человека. Интервьюеры разбиваются на группы по трое. Один изображает интервьюера, другой — респондента, третий — наблюдателя, который смотрит, хорошо ли работает интервьюер. Преподаватель!!, возможно, несколько других опыт-ных интервьюеров ходят между группами и также наблюдают. Время от времени преподаватель прерывает процесс с тем, чтобы провести небольшое обсуждение. Затем члены каждой тройки меняются ролями так, чтобы по завершении упражнения каждый попробовал бы все три роли. Это прекрасная возможность для вас увидеть, кто из обучающихся хорошо справляется с работой.
9) Раздайте интервьюерам письменные упражнения, проверяющие их способность правильно реагировать на определенные сложные ситуации при заполнении анкеты. Такие упражнения выполняют две задачи. Во-первых, они дают еще одну возможность проверить, усвоили ли интервьюеры навыки уточнения ответов, показанные во вводной лекции. Во-вторых, они позволяют выяснить, научились ли они принимать во внимание инструкции по отдельным вопросам, о которых говорилось в пункте 5.
10) Проверьте все административные вопросы, относящиеся к исследованию. Это включает в себя такие проблемы как график проведения исследования, место его проведения, оплату, возврат и исправление некачественно заполненных анкет ит.п.
11) Дайте обучающимся потренироваться в понимании респондентов — пусть они примут участие в ролевой игре. Во-первых, повторите замечания, освещенные в конце вводной лекции — как отвечать на ряд вопросов, задаваемых респондентами, т.е. почему я, для чего это нужно и т.п. Затем попросите их поработать парами: один изображает из себя респондента, порой следуя заранее разработанному сценарию;
другой работает интервьюером. После этого дайте им поменяться ролями. Обратите внимание на тех, кто удачно и естественно общался с респондентами.
12) Интервьюеры должны заполнить хотя бы одну настоящую анкету — опросить реального респондента (желательно не родственника). Если анкета длинная и сложная, им может понадобиться сделать дна или три реальных интервью. Они могут просто выбрать респондента случайным образом. Если они заполняют более одной анкеты, пусть это будут особо сложные респонденты. Лучше всего будет организовать групповую дискуссию всех интервьюеров, проведших свои пробные реальные интервью. Это позволит им обменяться своим опытом и услышать ваше мнение. Если подобное невозможно, обсудите хотя бы с каждым из интервьюеров приобретенный им опыт.
13) Проанализируйте их работу после каждого из трех первых или более настоящих интервью, делайте это до тех пор, пока они не продемонстрируют собственную
компетентность. Дайте им возможность обсудить трудности, с которыми они сталкиваются, то, что у них не получается. Обратите особенное внимание на переходы и открытые вопросы. Время от времени просите записывать интервью на магнитофон или присутствуйте на одном из интервью даже опытных интервьюеров. Это поможет выявить интервьюеров, которые становятся небрежными.
Контроль в процессе сбора данных. Все исследовательские организации должны опасаться возможности халтурной работы на местах. Стандартный подход — посылать независимых контролеров для случайной (или систематической) проверки примерно десяти процентов сделанных интервью. Если проверка показывает возможности некачественной, халтурной работы определенного интервьюера, остальные заполненные им анкеты также должны быть проверены. Аналогично, если есть основания предполагать, что несколько интервьюеров на данном участке схалтурили, возможно, качество всей работы окажется спорным. В нашем собственном обследовании мы выявили несколько человек, сдававших нам халтуру, среди которых была даже жена директора института. От всей работы, ими сделанной, мы отказались. В прошлом нам несколько раз приходилось выбрасывать всю работу, сделанную в конкретной выборочной точке.
В ходе проверки недостаточно просто спрашивать респондента о том, проводил ли интервьюер интервью. Некоторые основные фактические вопросы, могущие повлиять на дальнейший ход опроса (вопросы-фильтры, определяющие, какие блоки будут затронуты), должны быть заданы снова для того, чтобы удостовериться, что интервьюер не сочинил эти ответы с тем, чтобы пропустить целые разделы анкеты. Например, работающий может быть записан как безработный с тем, чтобы пропустить большой раздел вопросов по работе. Более того, нужно отобрать вопросы из всего опросника, чтобы убедиться в том, что интервьюер прошел через всю анкету, а не только ее конец и начало. Результаты поверки должны быть письменно изложены и должны быть доступными клиентам. Первоклассные организации могут посылать старших инспекторов, чтобы проверить также и самих проверяющих. Любой исследовательский центр, занимающийся крупными обследованиями, но никогда не обнаруживающий халтуры, просто не выполняет своей работы. Он сам выдает халтуру своим клиентам.
Когда анкеты впервые привозят после их заполнения, они должны быть проверены на наличие очевидных ошибок и закодированы, а лишь затем переданы тем, кто осуществляет ввод данных. Сначала анкеты проверяют на наличие непредвиденных проблем. Одно из стандартных правил для интервьюеров гласит, что если они видят, что ответ респондента вполне правомерен, но не вписывается ни в одну из предложенных альтернатив, они должны в анкете описать эту ситуацию, а не вносить ответ. Например, в вопросе о родственных связях между ребенком и респондентом, респондент может указать, что ребенок приемный, а не родной. Если у интервьюера нет инструкций, как кодировать ребенка — как «родного» или как «неродного», интервьюер пишет «приемный ребенок» на полях анкеты и предоставляет возможность кодировщикам принять решение позднее. Это позволяет исследователям решать, как поступать с непредвиденными ответами единообразно для всех интервью.
Помимо непредвиденных ответов большинство анкет включает в себя так называемые вопросы с вариантом «другое, уточните что именно»: респонденту предлагают несколько альтернатив ответа, но ему также разрешают вписать ответы, которых нет в списке альтернатив. Также в анкетах бывают открытые вопросы. Обычно ответам на них может быть присвоен код до того, как начат ввод данных. Важно, чтобы кодировка была последовательной, и чтобы решения о том, как кодировать ответы, были письменно задокументированы.
Однако, мы предпочитаем другой подход к кодировке открытых и полуоткрытых вопросов. В наше время использование многозначных переменных не представляет больших трудностей. Таким образом, ответственные за ввод данных просто вводят текст ответов на открытые и полуоткрытые вопросы в базу данных. Это позволяет всем пользователям базы использовать любую кодировку, которая им будет удобна, не возвращаясь к самим исходным анкетам. Помимо того, когда мы проводим самостоятельное кодирование этих ответов, мы свободно можем использовать компьютерные программы, помогающие нам быть последовательными. Например, при кодировке профессии, компьютерная программа считывает ответы на все соответствующие вопросы (упомянутые выше в разделе о вопросниках) и предлагает код, одобренный для аналогичных ситуаций в прошлом. Это увеличивает и скорость кодировки, и ее согласованность.
Когда анкета доходит до тех, кто непосредственно занят вводом данных, у них должна быть возможность выполнять свои обязанности без принятия каких-либо важных решений. Единственной их задачей должен быть перевод цифр и слов из анкеты в компьютерный файл, а если у них есть какие-то проблемы, они должны обращаться копытному кодировщику. Профессиональные стандарты требуют, чтобы данные вводились дважды двумя независимыми операторами, и чтобы каждое несовпадение между ними проверялось с помощью изучения анкеты. Часто можно слышать от организаций, проводящих опросы общественного мнения, что они провели исследование и только один процент цифровых значений не совпал с исходными после первого ввода, так что второй ввод данных неоправдан. К сожалению, они не предоставляют каких-либо методологических публикаций, обосновывающих эти заверения. Однако, предположим, что они правы. К сожалению, ошибка на уровне одного процента не повод для рздости. Она может пршксти к существенному снижению корреляций, например, с 0,50 до 0,20. Важно понимать, что ошибки ввода данных не распределены случайным образом вокруг правильного значения. Из-за расположения цифр на клавиатуре вполне может по ошибке вместо «4» нажать «7», а вместо «б» — «1». Таким образом, ошибка на три единицы более вероятна, чем ошибка на две единицы. Следовательно, двойной ввод de rigour*