Статья: К вопросу о научной осмысленности применения веб-скрейпинга как метода сбора данных в социологических исследованиях

К вопросу о научной осмысленности применения веб-скрейпинга как метода сбора данных в социологических исследованиях

О.В. Вилкова

Статья посвящена современному методу сбора открытых интернет-данных - веб- скрейпингу - и научной осмысленности его использования в социологических исследованиях. Основываясь на концепциях цифровой социологии, приводятся методологические и технические возможности и ограничения веб-скрейпинга. С позиции философии науки обосновывается место, отводимое веб-скрейпингу в структуре социологического знания. Приведен обзор недавних социологических исследований с применением данного метода.

Ключевые слова: веб-скрейпинг, цифровая социология, социология интернета, методы социологических исследований.

веб скрейпинг социологический

Olga V. Vilkova, Higher School of Economics (Moscow, Russian Federation).

WEB SCRAPING AS A METHOD OF DATA EXTRACTION IN SOCIOLOGICAL STUDIES: ON SCIENTIFIC APPLICABILITY

Keywords: web scraping; digital sociology; sociology of Internet; methods of sociological studies.

The article is devoted to a modern method of data extraction from the Web, web scraping, and its scientific significance and applicability in sociological studies. Based on trends across empirical sociological studies, concepts of digital sociology, science and technology studies (STS), computational sociology, and issues raised at recent international committees' meetings, the current research gives a definition of web scraping and presents an overview of its both methodological and technical opportunities, challenges, and limitations. Advantages and shortcomings are classified across a set of methodological, technical, judicial, ethic, financial, and professional issues and can serve as a perfect framework to be referenced to while weighing risks and rewards at the stage of research design. Comparison with conventional sociological methods, such as survey, in-depth interview or focus group, which lack response rates and have semantic distortions, holds prospects for web scraping as for a method that enables information extraction towards entire population in a timely and structured manner. According to sociology and the philosophy of science, the research aims to determine a place for the method of web scraping in the structure of sociological and scientific knowledge. By alleging to theories of scientific revolutions, science of synergies and the Vienna Circle ideas, the present study tries to prove that, under the circumstances of a shifting reality, scientific knowledge transforms correspondingly, and research questions imposed to the relevance and scientific meaningfulness of the new theory and its new methods are extremely prompt and expose the necessity of methodology conceptualization. This research is designed to overcome the stigmatization around studies, in which informational bases are mainly constituted by web-platform data. Dealing with online platforms, web scraping is successfully embedded into digital sociology and has potential in covering topics on platform economy. This article urges modern sociologists not to be frightened of learning new instruments and turning their research into interdisciplinary sociological studies. Web scraping benefits interdisciplinary research at the expense of its ability in the simplification of scientific verification processes.

Введение

С ростом цифровизации и постиндустриальными изменениями в социологической науке выделилось отдельное направление - цифровая социология. В 2015 г. на первой в мире конференции по цифровой социологии этой предметной области было дано определение субдисциплины, которая изучает цифровые средства, платформы и технологии как элементы повседневности, а также их влияние на поведение человека в группе - с использованием методов извлечения данных цифровых платформ [1. Р. 1]. Сегодня социологи вынуждены применять новые подходы к изучению трансформирующихся социальных реалий. Объектом исследования становится не индивид, а «со- циотехнический гибрид» (пользователь приложения, вебсайта, гаджета) и его «методологический аккаунт»; гаджеты накапливают информацию о социальном поведении, доступную для анализа, - так называемые большие социологические данные [2. С. 21].

Цифровая социология активно развивается, чувствительно реагируя на социально-экономические и политические изменения. В 2017 г. после голосования по Brexit и провозглашения нового президента США Д. Трампа выходит книга Нортье Маррес, значимого теоретика цифровой социологии, «Digital Sociology: The Reinvention of Social Research». В книге Маррес анализирует релевантность методов анализа цифровых данных для решения социологических задач. Книга оказалась востребованной, поскольку была издана после событий, породивших дискуссии о роли социальных сетей, медиа, фей- ковых новостях и инструментах их идентификации. Проявило интерес к цифровой социологии и отечественное академическое сообщество: в конце лета 2018 г. в Государственном университете управления учреждается журнал «Цифровая социология».

Несмотря на признание академической актуальности, цифровая социология подвергается критике в отношении методов сбора и анализа данных.

Д. Фаррелл и Дж. Петерсен, считавшиеся пионерами веб-технологий в социологии и призывавшие к сбору и анализу неструктурированных интернет-данных [3. Р. 1], в последних работах используют интернет для сбора структурированной информации - отдавая предпочтение интернет-опросам [4. Р. 1]. Анализ интернет-данных ученые считают проблематичным в силу возможного нарушения приватности данных и несоответствия показателям теоретической рамки исследования [5. Р. 2] (табл. 1).

Таблица 1. Критические положения несоответствия измерений, проводимых методами цифровой социологии, теоретической рамке исследования

Социологические исследования используют современные стратегии анализа данных, опираясь на теоретические описания их преимуществ [9. C. 132; 10. C. 4]. Однако исследования, системно описывающие возможности и ограничения метода сбора данных цифровой социологии - веб-скрейпинга - и его научной осмысленности, отсутствуют. В условиях тренда на доказательную социальную науку, призывающую «идти от данных» [11. C. 217], применение веб-скрейпинга актуализируется. Работа ставит задачей систематизировать возможности и ограничения веб-скрейпинга для преодоления стигматизации вокруг сбора интернет-данных в социологических исследованиях.

Веб-скрейпинг в социологических исследованиях: определение,возможности, ограничения

Веб-скрейпинг (син. парсинг, скрин-скрейпинг, веб-кроулинг) - практика сбора открытых данных с загруженных веб-страниц и форм, не предназначенных для этого (т.е. в большинстве случаев в обход интерфейсных правил пользования вебсайтом, API и других ограничений). Сбор открытых данных осуществляется автоматической программой (парсером), которая обращается к веб-серверу для запроса данных и их последующей обработки.

Открытые данные представляют собой информацию в машиночитаемом формате, которая может свободно и бесплатно использоваться, перерабатываться и распространяться. Данные, полученные путем авторизации на вебресурсах, защищенные авторскими правами и не подлежащие свободному распространению, открытыми не являются. Если технически и существует способ извлечения, возможность использования в исследованиях должна согласовываться с источником.

Веб-скрейпинг обладает комплексом преимуществ и ограничений, сгруппированных вокруг методологических, технических, правовых, финансовых факторов.

Возможности веб-скрейпинга.

Методологические.

Полнота данных. С использованием веб-скрейпинга у социолога появляется возможность однозначно выделить генеральную совокупность объекта исследования при условии, что интернет-данные достаточны для проработки исследовательской проблемы. Становится выполнимым выделение списка всех контрагентов, их индивидуальных характеристик, оценка интернет- рынка - другими методами получить подобные данные без прямого взаимодействия с собственниками платформ невозможно. Открытые данные даже в качестве неосновного источника дополнят описание объекта.

По сравнению с конвенциональными методами сбора данных (опросы, интервью), веб-скрейпинг элиминирует проблему низкого количества откликов в опросах [5. Р. 2; 12. С. 163], телефонных звонках и при личных обращениях [13. Р. 5].

Качество данных. Скрейпинг, в отличие от канонических способов сбора данных, не связан с отклонениями человеческого фактора: неправильной интерпретацией вопросов интервьюером и респондентом [14. C. 602]. Исключается необходимость валидации интервью на соблюдение программы исследования (корректности отбора респондента и поставленных вопросов, длительности интервью, соответствия ответов вопросам по понятийным критериям) [15. C. 123], допустимого уровня когнитивной нагрузки интервьюера [16. С. 627]. У социолога появляется шанс зафиксировать реальное поведение индивидов, минуя призму восприятия.

Стратегия исследования. Социолог исходит не из теорий, а из доступных данных веб-платформ, которые могут являться маркерами наиболее значимых социальных явлений.

Открывается возможность использовать интернет-данные если не как самостоятельный метод исследования, то как отправную точку для углубления методологии конвенциональных методов сбора данных. Так, анализ распределений генеральной совокупности способствует формированию более надежных стратификационных критериев подбора информантов либо точечной рассылки опросников.

Технические.

Используя парсер, исследователь налаживает прямую связь с источником данных, создает информационную базу; ее можно обновлять на регулярной основе, отслеживать историю изменений.

Правовые, этические.

Часто существует возможность получить открытые данные, не нарушая правовые и этические аспекты распространения и использования информации, поскольку четкого регулирования на российском законодательном уровне скрейпинг не имеет. Согласно ст. 5 закона «Об информации, информационных технологиях и о защите информации» информация может свободно передаваться в случае отсутствия ограничений к доступу и распространению в других федеральных законах [17. Ст. 5]. В соответствии с этим скрейпинг является законным при соблюдении установленных законодательством РФ ограничений: не нарушаются авторские права; не допускается сбор сведений, составляющих коммерческую тайну; не допускается ограничение конкуренции. Сбор персональных данных пользователей социальных сетей может осуществляться только при согласии [18. Ст. 9]; при этом персональными данными является любая информация, относящаяся прямо или косвенно к субъекту [Там же. Ст. 3].

В международном законодательстве скрейпинг также не получил четкого определения, его юридические рамки прецедентно обрисовываются в судебной практике США (табл. 2).

Таблица 2. Наиболее заметные судебные дела, связанные с правомерностью скрейпинга

Финансово-экономические.

Стоимость сбора данных, по сравнению с конвенциональными методами, может быть ниже, поскольку исключаются затраты на поиск и подбор интервьюеров, оценку их деятельности, поиск информантов, проведение интервью / опросов, аппроксимацию выборочных оценок на генеральную совокупность.

Ограничения веб-скрейпинга.

2.1. Методологические.

Объект исследования. Ограниченная область применения: подходит для исследования объектов / явлений, которые могут быть описаны исключительно интернет-данными (блогосфера, взаимодействие через соцсети, цифровые биржи), либо исследование предполагает методику соотнесения онлайн- и офлайн-статусов индивидов [6. C. 30].

Стратегия исследования. Социолог вынужден руководствоваться data- driven подходом: отталкиваться не от теории и операционализации понятий, гипотез, а от данных. Маррес рекомендует на каждом из этапов работы с цифровыми данными обращаться к теоретической рамке и, методично рефлексируя, сравнивать, не отклонился ли исследователь в увлечении методами от своих задач.