Главное в социологическом опросе — сформировать надежную связь между респондентом и социологом. Можно представить эту связь как цепочку, имеющую как минимум шесть звеньев: выборка, вопросник, сбор данных, кодировка, ввод данных и чистка данных. Если хотя бы одно из этих звеньев слабо, цепочка может прерваться. Как известно, цепочка сильна настолько, насколько сильно ее самое слабое звено. Зачем нужен превосходный вопросник, если интервьюеры или не читают эти замечательные вопросы так, как они были написаны автором, или, что еще хуже, лишь делают вид, что проводят опрос, а на самом деле заполняют опросники сами или просят об этом своих знакомых? Зачем нужны высококлассные интервьюеры, если они пропускают при опросе тех, кого относительно сложно застать дома? А ведь такие люди отличаются от тех, кого легко застать дома, — хотя бы тем, что больше вероятность того, что они работают. Зачем нужны отличные выборка, вопросник и собственно сбор данных, если те, кто обеспечивает их ввод, набирают цифры, неточно отражающие ответы респондентов?
Конечно, даже если какие-то из этих шести связей и окажутся слабыми, исследователи все равно получат данные, которые можно обработать на компьютере, и смогут написать элегантные отчеты с впечатляющими графиками. Однако полученные при этом выводы нс будут отражать имеющихся реалий. Иногда
•Порой и правительство допускает серьезные просчеты. Так, например, несколько лет назад правительство, основываясь на данных низкокачественного маркетингового исследования, истратило внушительную сумму на выпуск новых долларовых монет. В дальнейшем же выяснилось. что люди терпеть не могут крупные монеты и отказываются от них в магазинах, предпочитая традиционные легкие бумажные купюры. В конце концов правительство было вынуждено сдаться и изъять монеты из обращения.
низкое качество опросов достаточно очевидно, например, в том случае, когда службы общественного мнения представляют ошибочные прогнозы результатов выборов. Низкое качество опросов очевидно и тогда, когда какие-то характеристики респондентов значительно отличаются от аналогичных данных переписи:
например, согласно данным опроса, 29% обследованных взрослых имеют высшее образование, тогда как, согласно переписи, доля имеющих высшее образование взрослых меньше в два с лишним раза.
Однако чаще всего оценить валидность данных опроса очень сложно, так как опрос, по определению, используется для того, чтобы изучить что-то ранее неизвестное. Порой объективных стандартов для проверки точности исследования просто не существует. В такой ситуации единственным критерием, подтверждающим, что данные имеет смысл анализировать, является точное соблюдение процедур построения шести звеньев цепочки между респондентом и исследователем.
В этой связи за последние пятьдесят лет ведущие исследовательские организации мира, занимающиеся проведением опросов (такие, например, как Исследовательский Центр при Мичиганском университете или Центр NORC при Чикагском университете) разработали процедуры, уделяющие внимание каждой мелочи. Конечно, исследование, проводимое с соблюдением всех этих стандартов, дороже тех, что проводят многие центры изучения общественного мнения, снижающие стандарты из желания сэкономить или извлечь прибыль. Однако, когда речь идет о правительственной программе, оперирующей миллиардами рублей, или когда данные необходимы для обоснования серьезного научного исследования, экономия за счет использования данных ненадежного незадокументированного исследования является мнимой экономией. В долгосрочном плане ошибочные данные, полученные в ходе масштабного, но некачественного опроса, обойдутся дороже, чем небольшое число исследований, соответствующих высоким международным стандартам.
В данном случае мы не хотим сказать, что международные стандарты не допускают неких компромиссов, позволяющих оставаться в рамках бюджета. Даже исследовательские организации мирового уровня могут сознательно сократить затраты путем, например, опроса меньшего числа респондентов, чем стоило бы, или их опроса в меньшем количестве мест, чем нужно было бы, путем исключения районов с территориально рассредоточенным населением или исключения полезных открытых вопросов, кодировка которых обойдется недешево. Однако есть ряд стандартов, которые они соблюдают неукоснительно, а именно: построение обоснованной выборки, обеспечение хорошей подготовки интервьюеров, контроль их работы, позволяющий удостовериться, что они действительно выполнили данное им задание именно так, как это необходимо. Авторитетные исследовательские организации очень неохотно снижают собственные требования к исследованию, тогда как организации более низкого уровня, нередко управляемые теми, кто и не знал никогда, как проводятся первоклассные исследования, легко находят компромисс, отказываясь, например, от интенсивных систематических проверок, проводя подготовку интервьюеров за один день (а иногда и за пару часов), используя выборки, которые скорее удобны, чем точны, или пренебрегая написанием детальной документации по использованным ими процедурам.
МИР РОССИИ. 1999. N1-2
КАК ИЗУЧАТЬ СЕГОДНЯШНЮЮ РОССИЮ
М.С. Сваффорд, М.С. Косолапов, П.М. Козырева
На Западе индустрия социологических обследований процветает уже несколько десятилетий. В 90-е годы социологические обследования становятся популярными и в России, однако их качество — из-за, недостаточности опыта российских практиков — является зачастую неудовлетворительным. В этой связи полезной — как для специалистов, •так и широкого круга читателей — может оказаться предлагаемая Вашему вниманию статья: в се первой частей, публикуемой в атом номере, рассматриваются принятые в западной практике принципы, и стандарты проведения социологических обследований. Во второй части, которая будет опубликована в следующем номере журнала, будут рассмотрены результаты Российского мониторинга экономического состояния и здоровья населения, проводимого в нашей стране с 1993 г. с учетом общепринятых в мировой практике стандартов.
В 90-х годах социологические обследования стали очень популярны в России. Газеты и телевидение постоянно обрушивают на нас их результаты и предлагают поверить, что данные, полученные на основе опроса небольшой части населения, действительно отражают российские реалии. Следует ли нам доверять этим данным?
Крупные телевизионные сети и крупнейшие газеты США, пытаясь обеспечить надежность приводимых данных, добровольно подписали соглашение, запрешаю-щее сообщать о результатах национальных опросов, не убедившись в их соответствии высоким профессиональным стандартам. Если же они публикуют данные, не удовлетворяющие данным стандартам, они должны заранее четко предупредить своих читателей об этом. Правительство США еще более требовательно, чем средства массовой информации, поскольку финансовые потери от использования данных низкокачественных обследований при формировании государственной политики могут
• Данная статья может быть использована в качестве учебного материала к курсу «Методика и техника социолгических исследовании».
достигать сотен миллиардов долларов. Так, к примеру, на обследование для изучения потребления электроэнергии домохозяйстиами каждого региона США, правительство страны с готовностью выделило несколько десятков тысяч долларов только на построение выборки и гораздо больше — собственно на проведение опроса.*
Поскольку обследования, построенные по территориальному принципу (в отличие от тех, что построены по предприятиям) стали проводиться в России относительно недавно, до сих пор не вполне однозначны стандарты их качества. В данной статье мы рассмотрим эти стандарты, стараясь избегать сугубо технических терминов. Даже тем читателям, которые не собираются проводить собственных обследований, будет полезно познакомиться с этими стандартами, чтобы иметь возможность оценить качество данных, с которыми они сталкиваются на работе или в прессе. Подобная информация еще более важна для тех людей, кому по долгу службы может потребоваться выбрать из нескольких исследовательских организаций ту, которой можно поручить проведение обследования. В конце концов, понимание данных стандартов поможет тем, кто прочтет нашу следующую статью о Российском мониторинге экономического состояния и здоровья населения (РМЭЗ) — широкомасштабном опросе домохозяйств и индивидов Российской Федерации, проводимом с учетом этих стандартов с 1992 г.
Пока мы только в общих чертах рассматривали стандарты первоклассных опросов. Теперь рассмотрим их более подробно, уделяя больше внимания выбор-
кам и подготовке интервьюеров, коротко остановимся на разработке инструментария, кодировке, вводе данных и корректировке. Российский мониторинг экономического состояния и здоровья населения (РМЭЗ) был разработан в соответствии со всеми вышеупомянутыми стандартами, поэтому рассматривая последние, мы также рассмотрим и важнейшие аспекты проведения этого исследования (которое будет обсуждаться в нашей следующей статье).
Для рядовых граждан свойственно делать выводы об обществе, в котором они живут, на основе своих контактов с другими людьми, которых они встречают непосредственно, дома и на работе, или опосредованно, через средства массовой информации. Однако в действительности никто не контактирует с неким случайным срезом общества. Люди чувствуют себя наиболее комфортно среди себе подобных. Поэтому у людей с хорошим образованием подавляющее большинство среди знакомых будут составлять люди с хорошим образованием; у москвичей среди знакомых будет гораздо больше москвичей, чем жителей отдаленных сельских регионов; у верующих, как правило, среди знакомых больше верующих людей, чем у остальных граждан и т.д. Хотя телевидение увеличивает количество наших контактов, однако телевизионные интервью с рядовыми гражданами также не отражают реального разнообразия обществ;!: ведущие стараются отобрать людей, помогающих поддержать их точку зрения или способных привлечь зрителей чем-то необычным.
Склонность людей выбирать себе подобных порой нейтрализуется социальной структурой. Работа может систематически заставлять нас общаться с большим количеством людей, не похожих на нас самих. Само понятие социальной структуры предполагает отсутствие случайностей и социальных отношениях. Врачи видят слишком много малолетних и стариков, налоговые инспекторы — непропорционально большое число высокооплачиваемых индивидов.
Социолога должны каким-то образом выити за рамки представлений рядовых граждан об обществе, преодолеть сложившуюся схему, опирающуюся на бессистемный личный опыт. Их основной инструмент для достижения этого — построение выборки, гарантирующей охват всего спектра людей, интересных для конкретного исследования. Если постросниие выборки проведено небрежно или непрофессионально, вполне можно нс достичь данной цели.
Первым шагом при построении выборки является определение генеральной совокупности, параметры которой мы хотим описать: например, это может быть генеральная совокупность всех работающих, всех домохозяйств или всех предприятий страны. Из-за нехватки времени или средств мы редко проводим перепись, которая по определению стремится охватить 100% выделенной генеральной совокупности. Следовательно, нам приходится формировать выборочную совокупность (выборку). При этом мы надеемся, что статистика, основанная на выборочных данных, будет достаточно точно отражать те параметры, которые мы бы измерили, будь у нас возможность провести перепись. Мы, конечно, знаем, что почти всегда у нас будет присутствовать некоторая случайная ошибка. Почему же мы полагаем, что выборочная совокупность должным образом представляет генеральную?
Многие организации, проиодяшне социологические обследования, просто ограничиваются заявлениями о том, что их выборка репрезентативна. Даже худшие из этих организаций настаивают на репрезентативности своей выборки. Но если задать им вопрос, что имеется в виду под этой «репрезентативностью», они ответят, что это коммерческая тайна или выдадут краткое описание, которое столь неполно, что специалист по выборке просто не сможет его оценить. Забавно, но понятие «репрезентативный» в учебниках по построению выборок не используется. Это не технический термин из лексикона математической статистики. С точки зрения точных наук это слово бесполезно, потому что для разных людей оно означает разное. Под этим словом исследовательские организации могут, к примеру, подразумевать, что выборка содержит «типичных» индивидов (домохозяйства или города); что хотя бы несколько представителей всех относящихся к делу групп присутствуют в выборке — несколько пенсионеров, несколько молодых частных предпринимателей, несколько пожилых предпринимателей и т.п;
или что демографические характеристики людей в выборке практически совпадают с данными переписей. Однако ни один из этих критериев не обеспечивает соответствия выборки профессиональным стандартам.
Каковы, в таком случае, критерии, подтверждающие, что выборка должным образом описывает интересующую нас генеральную совокупность? Проиллюстрируем пять основных критериев соответствия выборки профессиональным стандартам на примере утверждений о доходах домохозяйств. Начнем с наиболее очевидного и постараемся минимизировать обсуждение технических деталей.
1) Любая выборка должна обеспечивать расчет несмещенных оценок изучаемого явления. Если в реальности 25% домохозяйств, состоящих их двух человек, имеют доходы менее 900 рубл. в месяц, выборка не должна показывать, что таковых, например, 42% (что может произойти, если не опрашивались, например, работающие, которых труднее застать дома). Если оценки смещены, ответственные за принятие решений могут совершить серьезные ошибки при определении способов решения экономических проблем и распределении ограниченных финансовых ресурсов.
2) Любая выборка должна обеспечивать расчет ошибок выборки (случайные ошибки, неточность выборки), сопровождающих любое выборочное обследование. Она должна позволять статистикам делать заявления подобные следующему: «Средний доход по изучаемой совокупности составил 1200 руб. в месяц и при доверительном интервале 95% варьирует в пределах ± 4% (т.е. ± 48 руб. от 1152 руб. до 1248 руб. в месяц)». Значение «точности» подобнее рассматривается и следующем параграфе.
3) Любая выборка должна обеспечивать требуемый уровень точности за минимальную сулшу денег, или же она должна добиваться максимально возможной точности в рамках имеющихся средств. Другими словами, если правительству необходимы данные по статистике доходов с точностью ± 7%, специалисты по выборке должны иметь возможность определить, что одна модель (дизайн) выборки, обеспечивающая требуемый уровень точности, может стоить в два раза дороже другой, более эффективной и обеспечивающей тот же уровень точности. Большие по объему выборки не обязательно лучше! Например, при определенных обстоятельствах 800 домохозяйств, тщательно отобранных в 100 населенных пунктах страны, могут обеспечить примерно такой же уровень точности, что и 6400 домохозяйств, отобранных в 25 населенных пунктах. Затраты на добавление 75 населенных пунктов надо сравнить с затратами на добавление 5600 интервью с
тем, чтобы определить, какой из вариантов дешевле. Опытный специалист по выборкам, использующий подходящую методику их построения, может помочь оценить это до начала исследования, сэкономив таким образом заказчику или исследователю крупную сумму денег.
4) Построение выборки должно быть относительно быстрым и легким. После того, как создана исходная схема выборки (что происходит примерно раз в пять лет), хорошо организованному исследовательскому центру обычно требуются считанные дни для того, чтобы построить качественную выборку.
5) Любая выборка должна быть четко письменно задокументирована таким образом, чтобы эксперты могли оценить, насколько она соответствует трем вышеприведенным критериям. Документация должна содержать достаточно подробностей о каждом этапе отбора для того, чтобы любая стадия выборочной процедуры могла быть повторена в будущем. Она должна охватывать все стадии от отбора регионов или городов на первом этапе до дословного текста инструкций, которым следовали интервьюеры при отборе респондентов на последнем этапе. Для российской выборки такой документ в норме должен состоять как минимум из 25-50 страниц. Дополнительно — еще на 20-40 страницах — следует показать, насколько хорошо была реализована выборка.
Почему важно использовать вероятностную выборку. Как мы уже упоминали выше, специалисты, проводящие социологические обследования, обычно хотят измерить некие характеристики всего населения — например, долю совершеннолетних безработных на 31 марта или средний доход домохозяйств в июне, или разброс доходов домохозяйста (например, какой процент домохозяйств имел в июне доходы меньше тысячи или больше четырех тысяч рублей). Чтобы сэкономить время и деньги, они вместо сплошного обследования строят выборки в надежде, что статистические данные, полученные на их основе, будут приблизительно соответствовать параметрам всего населения. Они никогда не могут знать наверняка, в какой мере результаты выборочного обследования окажутся близкими к результатам, которые они бы получили, опросив все население. Однако, если они строят вероятностную выборку (определение смотри ниже), они могут рассчитать точность выборки и удовлетворить выдвинутым выше критериям.
Чтобы понять, что мы подразумеюсм под «точностью», рассмотрим следующий гипотетический эксперимент. Предположим, что мы уже провели перепись всех 900000 домохозяйств конкретной области, и уже знаем, что средний месячный доход домохозяйств составляет 2400 руб. Поскольку мы знаем этот параметр, нам нс нужно строить выборку. Однако, в качестве эксперимента, предположим, что мы в любом случае строим выборку, чтобы проверить, в какой мере ее результаты соответствуют результатам по генеральной совокупности в целом. Если выборочные результаты близки кданным по всей совокупности, в будущем мы сможем использовать эту выборку вместо того, чтобы платить за всю перепись.
Предположим, что мы построили выборку из 500 домохозяйств области и выяснили средний доход домохозяйства по данной выборке — 2600 руб. в месяц, т.е. на пару сотен рублей больше, чем по совокупности в целом (2400 руб.). Затем мы поместим эти 500 домохозяйств обратно в список 900000 домохозяйств и сделаем новую выборку из 500 домохозяйств. Предположим, что во второй раз средний доход оказался всего лишь 1700 руб., т.е. слишком низким. Далее продолжаем эксперимент в том же духе. Предположим, что третья выборка из 500 домо-