хозяйств дала месячную среднюю равную 3900 руб. Наконец, предположим, что мы и дальше продолжим в том же духе. строя миллионы выборок по 500 домохозяйств, каждый раз рассчитывая средний месячный доход домохозяйства. По завершении этой процедуры мы изучаем выборочное распределение значений среднего дохода в миллионах этих выборок с тем, чтобы посмотреть, как часто выборки показывали результаты, близкие к популяционной средней 2400 руб., и как часто результаты выборок значительно отклонялись от правильного ответа. Предположим, «что в этом гипотетическом эксперименте 95% выборок имели средний доход, варьирующийся в пределах от 1500 до 3300 руб. (2400±900). Грубо говоря, это то, что имеют в виду под 95%-ным доверительным интервалом.
Будете ли Вы уверенно себя чувствовать при подобной процедуре построения выборок? Скорее всего, нет. Очевидно, что процедура, использованная для построения выборок, приводила к результатам, значительно варьировавшимся от выборки к выборке. Если нам нужно построить лишь одну выборку с использованием этой процедуры, то в результате мы можем получить данные, существенно отличающиеся от реального параметра генеральной совокупности. Какой смысл использовать процедуру, которая может один раз показать 1500, а другой — 3900 руб.? Про такую выборку говорят, что у нес низкая точность, или, что то же самое, что у нее большая стандартная ошибка. Ясно, что мы бы предпочли выборочную процедуру, в которой при подобном эксперименте 95% средних попадут, скажем, между 2300 и 2500 руб. Тогда, если мы строим только одну выборку, у нас будет существенная уверенность в том, что данные выборки будут недалеки от правильного ответа — параметра генеральной совокупности — 2 400 руб.
К сожалению, мы никогда нс сможем провести подобный эксперимент, чтобы определить стандартную ошибку (неточность) выборочной процедуры. Проведение исследований, основанных на двух или даже трех выборках, было бы слишком дорогостоящим и врсмснссмким, так что пусть кто-нибудь другой проводит эти миллионы исследований с тем, чтобы вычислить 95%-ный доверительный интервал. На помощь приходит математическая статистика. Если воспользоваться вероятностным принципом построения выборки, то на основе единственной выборочной совокупности можно оценить точность, значение которой мы бы получили, только построив миллионы выборок, как в рассмотренном выше гипотетическом эксперименте.
Любой читатель, прослушавший курс статистики, слышал о формуле стандартной ошибки среднего, используемой при подсчете 95%-ного доверительного интервала. Однако студентам редко объясняют, что эта формула применима только в простых случайных выборках, т.е. выборках, построенных на основе списка всех членов совокупности, и в которых все члены этой совокупности имеют равную вероятность быть выбранными в ходе единственного этапа (ступени). При построении выборки по стране в целом почти всегда используют несколько ступеней построения выборки: например, сперва случайным образом выбирают несколько районов, затем в выбранных районах отбираются несколько округов, после чего в выбранных округах отбирают домохозяйства, и, наконец, из каждого отобранного домохозяйства выбирают одного индивида. При многоступенчатой выборке стандартные формулы из учебников обычно недооценивают стандартную ошибку, возможно даже занижают ее раза в 3 или больше. Другими словами, они переоценивают точность. Специалисты по построению выборок, профессио-
нально этим занимающиеся, используют более сложные формулы для рассмотрения ситуации, подобной той, что упоминалась выше, когда 800 домохозяйств в 100 местоположениях могли обеспечить ту же точность, что и 6400 домохозяйств в 25 местоположениях. Однако, как мы говорили выше, это будет верно лишь в том случае, если выборка вероятностная.
Вероятностные выборки. Что такое «вероятностная выборка»? Это выборка в которой соблюдены два условия: во-первых, все элементы генеральной совокупности имеют определенную вероятность попасть в выборку; во-вторых, вероятность выбора каждого элемента может быть рассчитана. (Когда вероятность может быть рассчитана, необязательно, чтобы все элементы имели равную вероятность быть выбранными. Другими словами, в выборке вы можете превысить долю людей определенной национальности или возраста, если вы можете рассчитать предел этих диспропорций.
К сожалению, очень немногие выборки индивидов, домохозяйств или предприятий в России удовлетворяют этим двум требованиям. Это относится даже к выборкам, построенным государственными организациями в прошлом. Соответственно, очень небольшое число российских выборок отвечает пяти выше перечисленным критериям. В этом случае мало оснований для уверенности в том, что результаты действительно отражают реальность. Мощь математической статистики не может быть полноправно использована для расчета точности или доверительных интервалов. Невозможно минимизировать издержки при заданном уровне точности.
Приведенное выше определение «вероятностной выборки» довольно абстрактно. Давайте немного оживим его, рассмотрев двенадцать выборочных процедур, которые не удовлетворяют одному или обоим условиям:
•Любая выборка, в которой участники сами себя выбирают (так называемая выборка «добровольцев»), например, отвечая на просьбу газеты или звоня по одному из телефонных номеров на телеэкране, если одобряют предложение, и по другому — если не согласны с ним. Многие другие члены генеральной совокупности не имели возможности поучаствовать, так что первое условие нарушено. Даже среди тех, кто читает или смотрит телевизор, скорее всего ответят те, кто действительно неравнодушен к теме обсуждения. Мы не можем просчитать вероятность того. что они ответят, поэтому второе условие также нарушено.
•Любая выборка, в которой интервьюеру дается свобода выбора респондента. Подобная ошибка просто недопустима: она нарушает второе условие и вводит неизмеримое искажение, так как интервьюеры в некоторой степени, возможно, бессознательно, стремятся отобрать тех людей, с которыми, по их предположению, им будет удобно провести интервью. Независимый наблюдатель должен иметь возможность подтвердить, что интервьюер имел дело только с теми респондентами, что были отобраны согласно строгим правилам, находящимся вне контроля интервьюера.
• Методы снежного кома, в которых некоторые люди, участвовавшие в опросе, предлагают других, которые могли бы стать его участниками. Вновь оба условия вероятностной выборки нарушены. Нет способа подсчитать вероятность того, что данный чело век о кажется в выборке.
• Уличные экспресс-интервью, в которых интервьюерам надо опрашивать прохожих, готовых поучаствовать в опросе, до тех пор, пока они не заполнят определенные квоты по конкретным категориям людей. Этот способ вновь нарушает оба условия: люди, не находящиеся на улице, лишаются возможности быть выбранными, а люди, находящиеся на улице, различаются степенью своей готовности принять участие в опросе в зависимости от того, насколько они, например, заняты или самоуверенны.
• Телефонные опросы в районах, где многие жители не имеют телефонов. Нарушено первое условие. Второе условие также может быть нарушено, даже если телефоны есть у большинства (см. ниже).
•Выборки,'исходящие из удобства исследователей, т.е. такие, в которых компании, занимающиеся опросами общественного мнения, работают в городах, где у них есть хорошие друзья и связи, или там, куда относительно удобно добраться. Оба условия вероятностной выборки нарушены, поскольку жители тех городов, которые компании считают неудобными, не имеют возможности попасть в выборку, и мы не можем подсчитать вероятность того, что исследовательский центр сочтет некоторые районы неудобными.
• Выборки, основанные на «типичных» городах или домохозяйствах. Единицы, которые, с точки зрения опрашивающей организации, не являются «типичными», не могут быть выбраны, и мы не можем просчитать вероятность того, что организаторы исследования сочтут города и людей, их населяющих, типичными. Более того, цель социологии — не просто измерение средних; часто гораздо более важно измерить разброс, а для этого нужно, чтобы не только наиболее типичные, но все виды населенных пунктов и людей, имели возможность попасть в выборку.
• Выборки, в которых замена используется для «корректировки» выборки с тем, чтобы ответить за тех, кто не был опрошен или недостаточно представлен в выборке по тем или иным причинам. Мы не можем просчитать вероятность того, что кого-то не включили, а кого-то заменили. Более того, стратегия, лежащая в основе подобной замены, основана на ошибочном мнении. Предполагается, что индивид с определенными демографическими характеристиками может играть в обществе ту же роль, что и другой индивид с аналогичными демографическими характеристиками, которого не смогли найти или который отказался принять участие в исследовании. Однако демографические характеристики объясняют менее 25% вариации большинства явлений, подобных доходу. Неизмеряемые признаки (такие, например, как честолюбие), которые по определению не могут быть использованы для того, чтобы провести замену, объясняют вариацию гораздо лучше, чем измеряемые демографические признаки. Поскольку замена на основе этих неизмеряемых, но наиболее важных признаков невозможна, важно обеспечить опрос максимально возможного числа изначальных респондентов, не используя замену. Конечно, невозможно опросить все 100%, поэтому даже самые профессиональные выборки могут быть смешены, и такое смещение должно быть изучено. Однако специалисты по выборкам не считают, что замена решит проблему, так как, поступая таким образом, мы нарушаем условия расчета точности, и также получаем ложное чувство надежности. Более того, свободное использования замены увеличивает вероятность того, что интервьюеры не станут достаточно усердствовать, пытаясь уговорить настоящих респондентов принять участие в исследовании, особенно, когда им платят за проведенные интервью, а не за время, потраченное ими на повторное обращение к респондентам.
• Выборки, построенные на основе неправильных единиц отбора. Предполо-
жим, что построена отличная выборка для домохозяйств, и каждое домохозяйство имеет равную вероятность быть выбранным. Однако, предположим, что исследователи хотят получить выборку индивидов, так что один индивид из каждого домохозяйства выбирается случайным образом. Одинокий человек (например, пожилая женщина) имеет 100%-ную вероятность быть опрошенным в отобранном домохозяйстве; напротив, молодой человек, живущий с двумя родителями в выбранном домохозяйстве, будет отобран с вероятностью 33,3%. Если у исследовательской организации нет данных о том. сколько подходящих индивидов проживает в каждом домохозяйстве (или по данному номеру телефона, если проводится телефонный опрос), невозможно рассчитать с какой вероятностью был выбран респондент, т.е. нарушено второе условие.
'Выборки, основанные на устаревших списках. Незарегистрированные граждане не могут быть выбранными по устаревшим или неполным спискам, в которых они даже не упомянуты. Эти люди неким неизмеримым образом отличаются от тех, кто зарегистрирован как проживающий в данном населенном пункте.
• Большинство выборок, основанных на маршрутных методах, в которых интервьюер начинает в определенной точке и продолжает двигаться от одного дома кдругому согласно некоему правилу. Улицы и здания различаются по размерам, но в России эта разница редко принимается в расчет при построении выборки. Следовательно, невозможно подсчитать вероятность того, что индивиды попадут в выборку. Этот метод особенно неудачен, если интервьюеры не могут вновь вернуться, чтобы найти тех, кого не было дома, когда они пытались установить контакт в первый раз. Если интервьюерам позволено продолжать маршрут и переходить к следующим домам на своем пути до тех пор, пока не будет набрано достаточное количество респондентов, — используется некая форма замены. (Некоторые менее критичные замечания поданному методу представлены ниже.)
• Квотные выборки, в которых интервьюерам нужно опросить определенное количество людей с определенным набором демографических характеристик. Предположим, например, что интервьюер получил задание опросить не более 5 женщин со средним образованием старше 65 лет. Такой подход нарушает первое условие, так как женщины из той же возрастной группы, но не имеющие среднего образования, не могут попасть в выборку. Нарушено и второе условие, так как обычно невозможно подсчитать вероятность попадания в выборку данного респондента, что может разрушить оценки вариации выборки. Эта процедура особенно нежелательна и бесчестна, когда исследовательская организация уверяет весь мир в том, что нс использует юютную выборку, а наделе раздает квоты интервьюерам, чтобы любым способом преодолеть значительное различие между характеристиками своих респондентов и характеристиками населения в целом, отраженными в данных переписей. Мы подчеркиваем, что соответствие выборочных характеристик и тех, что измерены в ходе переписи населения, необязательно отражает высокое качество выборки. Если для достижения этого соответствия использовались искусственные, не основанные на принципе случайного отбора процедуры, выборка не способна удовлетворять условиям вероятностной выборки.
* * *
К сожалению, хотя Россия заслужено славится своими специалистами в области математики и статистики, многие полагают, что она отстает в реальной практике построения выборок для больших территорий. В период с 30-х и до конца 80-х годов в Советском Союзе было разрешено только несколько обследований, проведенных по всесоюзной выборке, так что у практиков было мало возможностей экспериментировать, и у них не было необходимости включаться в профессиональный диалог специалистов по выборкам всего мира. Вместо этого им часто приходилось использовать выборки предприятий. Это было связано, во-первых, с позицией властей по проведению социологических исследований, и, во-вторых, с тем, что единственная категория заказчиков — партийные и государственные органы — интересовались данными в отраслевом разрезе. Изредка удавалось построить выборку для одного города, и для той ситуации и тех условий, в которых они работали, это было действительно важным вкладом в развитие выборочных исследований. С начала 90-х годов, когда возникла необходимость выдавать результаты быстро и дешево, большинство исследовательских организаций пошло по пути использования выборок, не удовлетворяющих на всех своих этапах требованиям для вероятностных выборок. Таким образом, для уверенности в том, что эти обследования не являются смещенными, мало оснований; точность не может быть правильно рассчитана; невозможно провести расчеты, позволяющие сравнить различные схемы построения выборки с тем, чтобы выбрать наиболее дешевый из обеспечивающих заданный уровень точности.
Так как данная статья не является учебником по социологическим обследованиям, мы не собираемся рассматривать все аспекты разработки вопросника. Однако нам хотелось бы осветить некоторые менее очевидные стандарты, о которых часто забывают при разработке вопросников для face-to-face интервью в России.
Первое требование: вопросы должны быть написаны так ясно, чтобы практически любой респондент мог ответить на них без каких-либо объяснений или комментариев со стороны интервьюера. Если интервьюеры должны что-либо разъяснять, то различия в их разъяснениях могут испортить результаты. Давно известно, что изменение даже одного слова в вопросе может кардинально повлиять на ответы. Когда исследователи анализируют данные, им нужно анализировать разницу между респондентами, а не случайную разницу в словах, которые респонденты слышали во время интервью. Важно, чтобы каждый респондент получал бы один и тот же стимул, а это требует, чтобы вопросы были без длинных формулировок или сложных слов, которые могут запутать некоторых респондентов.
Следовательно, нужно, чтобы вопросы были написаны в точности так, как их должны зачитывать интервьюеры. Например, если мы хотим получить список всех членов домохозяйства, нельзя просто написать заголовок «СПИСОК ЧЛЕНОВ ДОМОХОЗЯЙСТВА», оставив устную формулировку вопроса на усмотрение интервьюера. Последний может по невниманию заменить слова «члены домохозяйства» на «члены семьи», а ведь разница между этими двумя понятиями весьма существенна: члены семьи по определению связаны по крови или браку; члены домохозяйства — не обязательно. Чтобы избежать подобного рода ошибок, мы должны сказать интервьюеру, какие точно слова ему следует произнести: «Теперь я собираюсь спросить Вас о членах Вашего домохозяйства. Под «домохозяйством» я понимаю всех людей, проживающих вместе с Вами и разделяющих с Вами свои расходы. Назовите мне, пожалуйста, их имена и отчества, начиная со старших».
Принцип, что все респонденты должны получать один и тот тот же исходный стимул, создает специфические трудности в тех исследованиях, где требуется перевод вопросника. Используем пример из нашего опыта и рассмотрим перевод одного из вопросников для изучения общественного мнения с русского на один из осетинских диалектов. Понятно, что осетинский вопросник должен быть переведен обратно на русский язык независимыми переводчиками на первом этапе проверки качества перевода. Как это всегда бывает в случае честного обратного перевода, возможные несостыковки можно выявить при сравнении двух русских версий. Затем каждая такая несостыковка должна быть разрешена с помощью двуязычных экспертов. Если в вопросе, сформулированном по-русски, использован разговорный язык, осетинский вопросник должен быть в такой же степени разговорным при выражении той же мысли. Каждый нюанс русского варианта должен быть схвачен в осетинском. В противном случае русские (наряду с осетинцами, которые предпочитают быть опрошенными по-русски) и осетин-цы, предпочитающие осетинский вариант вопросника, получат разные стимулы;
любая разница в полученных данных может быть скорее вызвана различиями в вопросниках, чем реальными различиями. В рассматриваемом нами случае оказалось, что осетинский вопросник был написан более литературным языком, и его пришлось полностью переделать. Только через пару месяцев удалось получить вопросник удовлетворительного качеств»».
Упомянем еще одно требование: вопросник должен быть составлен таким образом, чтобы быть удобным для интервьюеров и респондентов, а не максимизировать удобство или экономить место для исследователей. Сложные таблицы, с помощью которых можно элегантно разместить большое количество информации на небольшом пространстве, могут затруднить работу интервьюеров и запутать их, увеличивая тем самым количество ошибок. Аналогично, очень маленькие вопросники могут быть столь сложными для прочтения, что интервьюеры не смогут непринужденно вести себя, и тем самым будут держать респондентов в напряжении; вопросники с очень маленьким форматом могут привести к тому, что интервьюеры будут ненамеренно пропускать слова, потому что им неудобно их читать. Это, в свою очередь, также исказит результаты.
Поскольку беспечности и неточностям нет места в науке, вопросники должны быть составлены таким образом, чтобы минимизировать разного рода ошибки. Рассмотрим сложности, возникающие при установлении профессий респондентов — важной задачи многих социологических обследований благосостояния граждан. За десятилетия ведущие социологические центры во всем мире, изучающие профессии, пришли к твердому убеждению: для того, чтобы правильно и точно закодировать профессии всех работающих респондентов, всегда нужно задавать четыре-пять вопросов: Кем вы работаете? Название профессии, по которой вы фактически работаете? Чем вы, в основном, заняты на рабочем месте? Где вы работаете? Чем занимается эта организация? Помимо того. чтобы должным образом закодировать профессии согласно стандартам Международной Организации Труда (МОТ), онидолж-
Конечно, во всех странах, где проводятся социологические обследования, можно найти исследовательские центры с дурной репутацией. Более того, некоторые уважаемые западные фирмы, занимающиеся маркетинговыми исследованиями, по-прежнему полагаются на очень тщательно организованные маршрутные или квотные методы в тех редких случаях, когда они не могут воспользоваться настоящими вероятностными выборками по телефонным номерам. (В республиках бывшего Советского Союза мы знаем как минимум одну вполне приемлемую маршрутную процедуру, которая учитывает различный размер зданий и домохозяйств). Однако авторитетные маркетинговые агентства на Западе имеют в своем распоряжении недорогие и детальные данные переписей практически по каждому кварталу в стране. Более того, они осуществляют обязательный строгий контроль с тем, чтобы убедиться, что интервьюеры действительно следовали правилам отбора респондентов. Они также обычно представляют расчеты, показывающие, что их данные приблизительно соответствуют несмещенной выборке.
До сих пор мы подробно рассматривали распространенные выборочные процедуры, ослабляющие цепочку между респондентом и социологом. Мы не описали метода построения хорошей вероятностной выборки. Пространный пример реальной выборки мы приведем в следующей нашей статье об обследовании РМЭЗ. Однако, сейчас мы предлагаем рассмотреть очень простой пример, демонстрирующий возможность выполнения двух условий вероятностной выборки, сформулированных в начале данного раздела. Предположим, что мы составляем список всех районов Российской Федерации и должны выбрать из них 100 случайным образом. Далее предположим, что для каждого из этих 100 отобранных районов нам нужно составить список всех избирательных участков и отобрать из них 20
случайным образом. К этому моменту мы отобрали 2000 избирательных участков. Наконец, предположим, что нам надо составить хороший список всех избирателей в каждом из этих 2000 избирательных участков и отобрать случайным образом по 25 избирателей в каждом из них. Так мы получим вероятностную выборку из 50000 избирателей. Ее можно считать вероятностной, так как каждый избиратель страны имел вероятность быть отобранным и (предположим, что данные о количестве избирателей общедоступны) можно рассчитать вероятность выбора каждого.
Кстати, важно понять, что вероятностная выборка — необходимое, но не достаточное условие построения первоклассной выборки. А если мы случайным образом отобрали только один район на первом этапе, один участок в этом районе на втором этапе и четырех человек из этого участка на третьем этапе? Мы получим вероятностную выборку из четырех человек, которая однако будет — в связи с огромной стандартной ошибкой — бесполезной. Что касается вероятностной выборки, описанной в предыдущем абзаце, она действительно даст очень точные результаты для всей страны. Однако на самом деле специалисты по построению выборок будут считать ее дилетантской. Они видоизменят ее таким образом, чтобы получить даже большую точность при опросе 50000 избирателей или чтобы получить ту же точность, но при опросе меньшего количества людей. Однако детали подобного подхода выходят за рамки данной статьи.