Д. Сеньини предлагает в своей статье OpenRefine в качестве инструмента для оценки качества баз данных. Автор показывает, чем может быть полезен инструмент, на примере проверки данных Всемирного банка. Журналист взяла Базу данных проектов, финансируемых Всемирным банком, с помощью OpenRefine посчитала, сколько записей было по каждому проекту, и выяснила, что некоторые из них повторялись несколько раз. «Любой расчет на основе каждой страны, региона или даты без устранения дубликатов приведет к ошибочным выводам» Там же., - предостерегает она.
После проверки и очистки данных можно приступать к их анализу. А. Валеева в своей работе «Open data in a closed political system: open data investigative journalism in Russia» дает совет журналистам-расследователям: «Не читайте данные, анализируйте их» Valeeva A. Open data in a closed political system: open data in investigative journalism in Russia. 2017 // Reuters Institute for the study of journalism. URL: http://reutersinstitute.politics.ox.ac.uk/sites/default/files/2017-10/Valeeva_Open%20data%20and%20investigative%20journalism%20in%20Russia.pdf (дата обращения: 12.05.2018). Она ссылается на слова Георгия Албурова, главы отдела расследований Фонда борьбы с коррупцией, который считает, что «каждый журналист-расследователь должен обладать навыками программирования или работать в команде с человеком с подобными навыками. Способность анализировать гигабайты и терабайты данных и автоматизировать процесс поиска закономерностей и связей между ними очень важна. Умение анализировать данные - это 80% успеха в расследованиях» Там же..
Авторы «Учебного пособия для дата-журналистов» приводят пример, как анализ данных может быть полезен при расследовании коррупционных проявлений. Они перечисляют несколько возможностей анализа данных. Во-первых, «анализ данных позволяет выявить резко отклоняющиеся значения» Константарас Е. Учебное пособие по дата-журналистике // Региональный центр ПРООН для стран Европы и СНГ URL: http://www.odecanet.org/wp-content/uploads/2017/01/Module-1-UNDP-student_ru_loc.pdf (дата обращения: 12.05.2018) - большие или маленькие. Такое значение может указать, например, на то, что государственный орган переплачивает за определенную услугу или товар или на то, что должностное лицо получает так называемый «откат» и кладет разницу от сделки в свой карман. «Или же это может означать, что кто-то нашел лазейку в системе и эксплуатирует ее» Там же., - добавляют они.
Это утверждение в пособии проиллюстрировано примером из практики издания The Guardian - проектом «MPs' expenses» Rogers S. MPs' expenses: how we visualised the data // The Guardian. URL:
https://www.theguardian.com/news/datablog/2010/feb/05/mps-expenses-houseofcommons (дата обращения: 12.05.2018). Его автор показал, как некоторые члены парламента тратили чрезмерные суммы бюджетных денег на телефонные счета и ремонт своих офисов, тем самым превышая должностные полномочия. После публикации несколько членов парламента вернули деньги, а некоторые не были переизбраны, отмечают авторы «Учебного пособия для дата-журналистов».
Еще один пример подобных отклонений в данных, связанный с государственными закупками, обнаружило региональное издание 365info.kz. Они нашли «самый быстро проведенный тендер Казахстана» Ковалева Т. Самый быстрый тендер Казахстана: всего 8 минут от начала и до финиша // 365info.kz. URL:
https://365info.kz/2014/08/samyj-bystryj-tender-kazaxstana-vsego-8-minut-ot-nachala-i-do-finisha/ (дата обращения: 12.05.2018). Согласно публикации, Центру судебной экспертизы министерства юстиции Казахстана понадобилось восемь минут, чтобы объявить о начале тендера, принять заявки и закрыть прием заявок.
Во-вторых, анализ данных позволяет «увидеть скрытые связи» Константарас Е. Учебное пособие по дата-журналистике // Региональный центр ПРООН для стран Европы и СНГ URL: http://www.odecanet.org/wp-content/uploads/2017/01/Module-1-UNDP-student_ru_loc.pdf (дата обращения: 12.05.2018). «Сопоставляя базы данных, мы можем найти скрытые взаимосвязи во власти, которые говорят о незаконных политических, экономических и социальных взаимоотношениях» Там же. , отмечают авторы «Учебного пособия для дата-журналистов». Они иллюстрируют этот тезис примером из практики информационного агентства Reuters. Проект «Connected China» агрегирует данные из сети источников Reuters, отслеживая и визуализируя взаимосвязи людей и учреждения, которые формируют «элитную правящую верхушку Китая» Константарас Е. Учебное пособие по дата-журналистике // Региональный центр ПРООН для стран Европы и СНГ URL: http://www.odecanet.org/wp-content/uploads/2017/01/Module-1-UNDP-student_ru_loc.pdf (дата обращения: 12.05.2018). С помощью этой базы гражданские общественные организации расследуют взаимосвязи между политиками и частными компаниями, выявляя коррупционные нарушения в заключении государственных контрактов.
Правильный выбор инструмента для анализа зависит, в том числе, и от формата исходных данных. Е. Константарас - журналист-расследователь, специализирующийся на журналистике данных в развивающихся странах, в своей работе «Учебное пособие для дата-журналистов» («Data Journalism Manual») перечисляет основные форматы данных и предлагает список инструментов для работы с ними. Для работы с самыми популярными табличными форматами - xls, xlsx, csv и tsv - Ева Константарас предлагает использовать Microsoft Excel.
Для перевода файлов в PDF, в котором часто представлены официальные документы, с которыми приходится сталкиваться журналисту-расследователю, в машиночитаемый формат автор советует пользоваться такими инструментами, как Tabula, Cometdocs, PDFtoExcel и Zamzar. Автор отмечает, что, если данные представлены не как текст, а как отсканированные изображения и хранятся в форматах PDF, GIF, JPEG, PNG, BMP, то преобразовать их в машиночитаемые форматы помогут такие инструменты, как Docs OCR и Document Cloud.
Н. Мульвад в своей статье «Копаем глубже: краткое руководство по бесплатным и недорогим инструментам обработки данных» предлагает другие инструменты для извлечения данных из PDF-файлов: CometDocs и OnlineOCR.net&. Автор отмечает, что редакциям больше не нужны большие бюджеты для анализа данных: «можно легко получить доступ к бесплатным или недорогим базовым инструментов обработки данных» Мульвад Н. Копаем глубже: краткое руководство по бесплатным и недорогим инструментам обработки данных // Global Investigative Journalism Network. URL:
https://gijn.org/2017/07/28/%D0%BA%D0%BE%D0%BF%D0%B0%D0%B5%D0%BC-%D0%B3%D0%BB%D1%83%D0%B1%D0%B6%D0%B5-%D0%BA%D1%80%D0%B0%D1%82%D0%BA%D0%BE%D0%B5-%D1%80%D1%83%D0%BA%D0%BE%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE-%D0%BF%D0%BE/ (дата обращения: 12.05.2018). В качестве бесплатного инструмента для работы с неструктурированными данными, их очистки и преобразования из одного формата в другой автор советует OpenRefine.
В результате сбора данных может образоваться масса информации, анализ которой невозможен без специальных инструментов, структурирующих связи между элементами данных. Так, например, С. Роджерс, журналист The Guardian в главе «Данные в новостях: WikiLeaks», вошедшей в «Пособие по журналистике данных», вспоминает, что при работе с военными отчетами WikiLeaks изданию помог SQL (Structured Query Language - «язык структурированных запросов» Дейт К. Дж. Введение в системы баз данных. - 8-е изд. - М. [и др.] : Вильямс, 2005. URL:
ftp://ftp.vt.tpu.ru/study/Shestakov/Public/database/%CA.%20%C4%E6.%20%C4%E5%E9%F2%20-%20%C2%E2%E5%E4%E5%ED%E8%E5%20%E2%20%F1%E8%F1%F2%E5%EC%FB%20%E1%E0%E7%20%E4%E0%ED%ED%FB%F5.%208-%E5%20%E8%E7%E4%E0%ED%E8%E5.pdf (дата обращения: 12.05.2018)) - язык для работы с реляционными базами данных.
С. Роджерс пишет, что данные поступили к журналистам в виде Excel-файла с 92 201 строкой. Команда The Guardian превратила его во внутреннюю базу данных с использованием SQL. «Журналисты теперь могли осуществлять поиск по ключевым словам или тем или иным событиям. Получилось, что внезапно набор данных стал доступным, и создавать материалы на его основе стало гораздо легче» Роджерс С. Данные в новостях: WikiLeaks // Пособие по журналистике данных. URL:
https://ria.ru/files/book/_site/%D0%BA%D0%BE%D0%BD%D0%BA%D1%80%D0%B5%D1%82%D0%BD%D1%8B%D0%B5_%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D1%80%D1%8B_7.html (дата обращения: 12.05.2018), - делится Роджерс.
Учебное пособие «Decoding Data» предлагает такой способ анализа данных, как визуализация сложных сетей. По мнению авторов книги, этот способ позволяет определить возможные конфликты интересов в эшелонах власти: они отмечают, что именно сетевая модель исследования помогает выявлять коррумпированных политиков и организованную преступность.
Журналист П. Раду приводит пример такой ситуации: в результате поиска бизнеса, которым незаконно владеет чиновник, могут обнаружиться сотни связанных между собой компаний из разных стран мира: в этом случае будут полезны средства визуализации и инструменты анализа социальных взаимосвязей. Как пишет Раду, сотрудники Румынского центра журналистских расследований используют специальное программное обеспечение для анализа данных - программу I2 (второе название - Analyst's Notebook), разработанную компанией IBM. Создатели инструмента называют его одной из лучших визуальных исследовательских программ, которая «позволяет аналитику или расследователю быстро разбираться в сложных схемах и больших объемах, казалось бы, не связанных между собой данных, проанализировать информацию и сделать выводы» Раду П. Следите за деньгами: Пособие для журналистов, разоблачающих коррупцию // Международный центр журналистики. URL: https://ti-ukraine.org/wp-content/uploads/2016/11/follow_the_money_rus_v_2010-web.pdf (дата обращения: 12.05.2018).
Раду объясняет механизм работы программы: I2 - это «инструмент анализа социальных взаимосвязей (Social Network Analysis), который дает возможность пользователю отобразить его знания графически и определить связи между фигурантами, ключевыми событиями, фирмами и другими компаниями» Там же..
Автор пособия приводит наглядный пример, как работает I2: в программу можно загрузить сотни таблиц Excel с такими данными как названия компаний, имена акционеров, датами рождения и адресами, и инструмент построит визуальные связи между общими характеристиками. Пол Раду отмечает, что в программе I2 может работать целая сеть журналистов. П. Раду перечисляет и другие программы для анализа социальных взаимосвязей - NetMiner, UСInet и Pajek.
Анализ социальных сетей как метод работы с данными при проведении расследования выделяют и другие исследователи. Эксперт в области анализа данных Д. Мина называет анализ социальных сетей техникой интеллектуального анализа данных, представляющей их структуру в виде связанных между собой объектов. Анализ социальных сетей включает в себя создание матрицы, построение графа и анализ связей. Для ручного создания графов подходит инструмент Microsoft Office Visio, а для автоматизированной визуализации программное обеспечение Social Networks Visualizer.
Существуют и другие аналитические инструменты, позволяющие визуализировать отношения между людьми, организациями и транзакциями. Еще один пример подходящего инструмента для выявления схем при анализе данных - Visual Investigative Scenarios. Как пишет журналист OCCRP Л. Марзук в своей работе «Exposing the truth: A guide to investigative reporting in Albania», VIS особенно полезен при построении «схем, в которые вовлечены коррумпированные персоны и компании» Marzouk L. Exposing the truth: A guide to investigative reporting in Albania // The Organization for Security and Co-operation in Europe. URL: https://www.osce.org/albania/201276?download=true (дата обращения: 12.05.2018). Другой инструмент - Gephi - «интерактивная платформа визуализации и исследования всех видов сетей и сложных систем, динамических и иерархических графов» Там же.. Эти программы позволяют не только проанализировать данные, но и визуализировать их, чтобы превратить свое расследование в понятный для читателя продукт. «Бесплатное и простое в использовании программное обеспечение, доступное онлайн, поможет создать интерактивную инфографику, таймлайны и карты, чтобы оживить вашу историю» Там же., - пишет Л. Марзук.
Еще один совет от эксперта области, П. Раду - «используйте технологии и сотрудничайте с программистами» Раду П. Отслеживая деньги: трансграничное сотрудничество // Пособие по журналистике данных. URL:
https://ria.ru/files/book/_site/%D0%B2_%D0%BD%D1%8C%D1%8E%D1%81%D1%80%D1%83%D0%BC%D0%B5_7.html (дата обращения: 12.05.2018). Автор убежден, что программное обеспечение помогает журналистам-расследователям собирать и обрабатывать информацию: «Различные типы программного обеспечения помогают эксперту, занимающемуся расследованием, пробиться через наслоения лишнего во время раскапывания информации и поиска смысла в больших объемах данных, а также при поиске правильных документов, которые требуются для того, чтобы первыми предать историю огласке» Там же..
П. Раду приводит пример такого взаимодействия между журналистами и техническими специалистами: активист и программист Дэн О'Хьюджин с помощью вэб-скрейпинга извлек информацию из Панамского реестра компаний и изменил форму данных так, чтобы ими могли воспользоваться те, кто проводит расследование. Дэн О'Хьюджин создал специальный сайт, который поддерживал поиск в реестре не только по компаниям, но и по именам и фамилиям владельцев бизнеса, что помогло многим журналистам. В частности, Хадиджа Исмайлова, журналист «Radio Free Europe/Radio Liberty», воспользовавшись этим сервисом, опубликовала расследование Ismayilova K. Azerbaijani President's Daughters Tied To Fast-Rising Telecoms Firm // RadioFreeEurope/RadioLiberty. URL: https://www.rferl.org/a/azerbaijan_president_aliyev_daughters_tied_to_telecoms_firm/24248340.html (дата обращения: 12.05.2018) об офшорных компаниях дочерей президента Азербайджана Ильхама Алиева.
Некоммерческая организация Международный центр для журналистов (International Center for Journalists) публикует на своем сайте коллекцию полезных для журналистов инструментов своей образовательной программы ICFJ Knight Fellowships. В этот список они поместили инструмент с открытым исходным кодом Grano, который помогает извлекать и анализировать данные для изучения связей между государственными и частными лицами. Этот инструмент использовался при создании проекта Siyazana - базы данных, которая выстраивает связи между политическими и коммерческими авторитетами Южной Африки.
Обобщая результаты, полученные в данном разделе исследования, отметим, что инструменты сбора и анализа данных для антикоррупционных расследований в последние несколько лет претерпели значительные изменения. На смену традиционным способам сбора и анализа информации пришли методы с использованием новейшего программного обеспечения. Поменялись и источники данных, полезные при проведении антикоррупционного расследования. Мы выделили такие источники как российские государственные порталы, полезные при выявлении конфликта интересов и других форм проявления коррупции: Официальный реестр юридических лиц (ЕГРЮЛ), Портал государственных и муниципальных закупок, Реестр собственников недвижимости и земельных участков (Росреестр), Публичная кадастровая карта, Портал Министерства юстиции РФ. Отдельно в работе описаны сервисы, агрегирующие официальную государственную информацию: СПАРК и Контур-фокус для данных о юридических лицах, а также сайт проекта Госзатраты, который предоставляет доступ к информации о государственных закупках с помощью API.