Тем не менее, концепция Freedom House за все время существования постоянно подвергалась критике со стороны властей государств, считающих незаслуженными оценки по стране, в том числе последнее время со стороны российских властей, по данным публикации The Washington Post [66]. Кроме того, неоправданные трактовки и со стороны журналистского комьюнити данного индекса получили наиширочайшее распространение.
Три группы (С1, С2, С3) вопросов составляют индикатор третьего уровня «Функционирование органов государственной власти». Сам рейтинг, как и данный показатель, представлен по 210 государствам и территориям (в рейтинге встречается даже непризнанная республика Абхазия). Агрегацией внутри индикатора «третьего уровня» является простое сложение баллов по группам вопросов, где максимальный балл каждой группы - 4, а в целом по индикатору - 12 баллов. Присвоение точно ранга ввиду узкого диапазона итоговых баллов нецелесообразно, но общую картину рассмотреть возможно.
На диаграмме (рисунок 9) представлено распределение балла по показателю FoG в диапазоне от 0 до 12. Цвет каждого государства зависит от итогового балла по закономерности: красный - худший, желтый - усредненный, зеленый - лучший. Норвегия и Сомали на визуализации не представлены. Значения индикатора по странам выглядят следующим образом:
Рисунок 9. Распределение государств по показателю FoG отчета «Freedom in the World» за 2020 год [69].
Согласно базам данных отчета за 2020 год, высшую оценку в 12 баллов по текущему критерию имеют 13 стран: Андорра, Австралия, Канада, Дания, Финляндия, Германия, Япония, Нидерланды, Новая Зеландия, Норвегия, Швеция, Швейцария, Уругвай.
Российская Федерация имеет 2 балла, при установлении ранга страна имеет позиции между 160 и 178 местом.
Наименьшее значение по данному показателю - 0 - имеют следующие государства и территории: Узбекистан, Азербайджан, Бурунди, Центральная Африканская Республика, Республика Конго, Крым (как территория), Джибути, Восточный Донбасс (как территория), Экваториальная Гвинея, Ливия, КНДР, Сомали, Южная Осетия (как территория), Судан, Сирия, Таджикистан, Туркменистан, Венесуэла, Западная Сахара (как территория), Йемен.
Следующим показателем, рассматриваемым проектом QoG, является The International Country Risk Guide. Компания PRS Group Inc публикует ежегодные отчеты по индексной оценке политических рисков по 140 государствам. Индикатор включает в себя 12 отдельных показателей, каждому из которых присваиваются баллы, которые в итоге суммируются по 100-балльной шкале, а агрегация индекса происходит аналогично индексу недееспособности государств, который рассматривался ранее. Переменные представляют себя следующие критерии:
1. Стабильность правительства;
2. Социально-экономические условия;
3. Инвестиционный климат;
4. Внутренние конфликты и социальная напряженность;
5. Участие в международных конфликтах;
6. Коррупция;
7. Уровень милитаризма в политике;
8. Религиозная напряженность;
9. Качество регулирования;
10. Межэтническая напряженность;
11. Демократический плюрализм;
12. Качество и эффективность государственного управления.
Индикатор ICRG имеет сходства по критериям WGI [74, c. 416]. Но в данном случае индекс Government Effectiveness показателей Worldwide Governance Indicators по методологическим особенностям является наиболее близким по объекту, как и последний показатель в ICRG №12 - Bureaucracy Quality (BQ).
Детальное рассмотрение индекса осложнено закрытыми базами данных за последние годы. Материалы The International Country Risk Guide в условно свободном доступе представлены по развитым государствам. Анализ работ исследователей привел к выводу, что в виду ограниченности ресурсных данных на входе использование количественных рейтинговых моделей более уместно в контексте развитых стран, чем развивающихся. James B. Mshelia и John R. Anchor, исходя из данного рейтинга ICRG для Нигерии в период с 2011 по 2015 год, проводили анализ объема источников первоначальных данных. Результаты показали, что большинство организаций в Нигерии крайне редко проводят исследования с использованием количественных оценок [75, p. 9].
Таким образом, были рассмотрены теоретические доказательства гипотез. Во-первых, гипотеза о сравнении показателей эффективности государства на одной плоскости с текущим политическим режимом опирается на концепцию об административно-политической дихотомии, в то же время был высказан ряд предположений, что существует прямая зависимость между уровнем демократии и эффективностью государственного управления, в частности, о существовании «J-зависимости» эффективности в переходных демократиях. Во-вторых, выбор среди множества вариантов методологий измерения дает на выходе различные результаты - важнейший фактор, результатом которого являются искаженные конечные результаты индикатора. Кроме того, излишняя, неоправданная агрегация или отсутствие таковой при необходимости подталкивает к необоснованным трактовкам индикатора. Это актуально для «Mashup Indices» - группы индексов, имеющих необъективную методологию, существенно занижающую или завышающую оценки. В-третьих, смешивание субъективных данных с объективными - проявление явления, характерного для «Mashup Indices». И хотя данная гипотеза является составной частью предыдущей, она в наибольшей степени искажает оценку объекта индексом.
В-четвертых, ограничения, связанные с доступом к источникам данных, сужают точность индексов по определенным государствам. Первоначальные данные опроса с использованием информации из административных источников могут существенно решить проблемы с отсутствующими данными предметного опроса, но информация из предметного опроса мнений намного достовернее в большинстве случаев. Такое явление наблюдается в меньшей мере в развитых странах, а в большей - в развивающихся.
В-пятых, нормативность концепций или отдельных индикаторов, придающих оценочную трактовку в плоскости «хороший-плохой» не позволительна. Государство может исключительно не удовлетворять некоторым из принципов Good Governance, но иметь высокие показатели по определенным параметрам. Такая проблема наиболее актуальна для составных индексов.
Составные индексы - объект изучения второй части данной главы. Изначально была рассмотрена концепция Worldwide Governance Indicators от Всемирного Банка. Группа индикаторов представляет собой шесть индексов, характеризующих процессы и явления управления. Однако ввиду неудобства использования сразу нескольких индикаторов в визуализации возникла потребность в их агрегации. Визуализация построена на представлении распределения индексного значения на географической диаграмме. Построение диаграмм осуществлялось на протяжении всего пункта данной главы по единому принципу визуализации индексного значения в трех спектрах: красный - наименьший, желтый - средний или медианный, зеленый - наибольший.
Индекс восприятия коррупции был проанализирован ввиду сходства с одним из индикаторов Worldwide Governance Indicators, однако в ходе анализа обнаружился парадокс высоких мест с низкими составными значениями для некоторых стран.
Рассмотрен проект HRV Transparency Project, на основе которого началось построение гипотезы об ограниченности данных, особенно в государствах с низким уровнем подотчетности властей. В текущей главе анализ не проводился из-за свертывания проекта десять лет назад.
Важнейшим индикатором данной диссертации является индекс человеческого развития. Значимость индекса кроется не в его объекте оценки, который критиковался рядом исследователей, а в методике построения. Агрегация на основе среднего геометрического значения - прорыв в данной области при реформировании индикатора в 2010 году.
Индекс глобальной конкурентоспособности, рассчитываемый Всемирным Экономическим Форумом, отражает больше экономическую составляющую, но рассматривался в качестве подтверждения проблемы смешивания субъективных данных и объективных. Такую же патологию имеет и сходный индекс по отчету The World Competitiveness Yearbook.
Измеритель конкурентоспособности государственного управления в виде индекса Government Competitiveness, разрабатываемый Сеульским университетом, имеет большое значение вклада в индикативную теорию. Основой показателя является теория систем Дэвида Истона. Однако преимущества индикатора перекрываются огромным охватом показателей, что делает его классическим индексом-Mashup.
Концепция, разработанная Гётеборгским университетом, показывает возможность составления индекса полностью из субъективных данных. Однако сам проект от Quality of Government Institute интересен консолидацией множества индикаторов управления. Из данной базы данных рассмотрен индекс недееспособности государств и его субиндекс «Качество государственных услуг», индекс «Freedom in the World» и его субиндекс «Функционирование органов государственной власти» и составляющие индикатора The International Country Risk Guide.
ГЛАВА 2. ОБОСНОВАНИЯ ФАКТОРОВ СНИЖЕНИЯ ОБЪЕКТИВНОСТИ ИНДИКАТИВНЫХ ОЦЕНОК
2.1 Агрегация Worldwide Governance Indicators
Рассматриваемый в предыдущей главе индекс Worldwide Governance Indicators стал некоторой проблемой в отражении его всех шести значений. Общая картина, описывающая ситуацию одномоментно, невозможна ввиду отсутствия интеграции шести показателей.
При анализе индикаторов встречалось утверждение об излишней агрегации. Гипотеза, действительно, верная, но относится она к тем показателям, методы расчета которых состоят из суммирований значений более низкого уровня или интеграции простым средним значением неравнозначных показателей.
Универсализация индикаторов на основе достоверных данных при их простоте использования позволяет СМИ трактовать индикаторы с большей объективностью, а правительствам, полагающимся на индикативные оценки, формировать политику исходя из большего количества инструментов. Отдельные показатели при их однонаправленности, но не контекстном дублировании, возможно агрегировать в единый индикатор. При этом необходимо учитывать, что сводный индекс должен публиковаться вместе с его составляющими.
Индексы группы Worldwide Governance Indicators являются очень распространенными, а как измерители эффективности государственного управления индикаторы являются своего рода образцом. Одни из главных методологов концепции индикаторов измерения управления Kaufmann D., Kraay A. и Mastruzzi M считают показатели уже агрегированными [76, 77]. При этом в их работах и пояснениях к методике не рассматривается вопрос возведения к обобщающему индексу.
Идея построения на основе WGI единого индекса обозначилась при анализе индекса человеческого развития, особенности методики расчета которого представлены в первой главе. Переход и использование при консолидации показателей с помощью среднего геометрического значения для HDI стал одной из ключевых особенностей. Возникающие вопросы, возможна ли оправданная агрегация индексов WGI с применением того же метода, и какие попытки в данной области уже совершены исследователями, требовали ответа.
Анализ публикаций в данном поле, в основном авторов из Всемирного Банка, дал результаты о выдвижении гипотез о возможности интеграции индексов, однако, теоретического, а тем более практического воплощения они не получили. Hufter, J. и Anwar Sh. в попытке оценить Governance Index (WGI), который включал в себя 4 из 6 существующих сейчас показателей в 1997 и 1999 году, как композитныйиндекс, пришли к выводу о необходимости агрегации индикаторов [78]. Спустя год Manning N., являясь также сотрудником Всемирного Банка, продолжил тезисы Hufter, J. и Anwar Sh. о консолидации индексов при помощи простого среднего показателей эффективности ранней методологии индикаторов измерения государственного управления, вводя десятибалльную шкалу для каждого параметра данной системы, было дано обоснование агрегации средним арифметическим значением «общего показателя эффективности» [79, p. 21].
Van Puyenbroeck и T., Rogge, N. основываясь на методологии ИЧР (ИРЧП), переносят способ агрегации на другие индексы эффективности государственного управления, частично включая некоторые индикаторы WGI [81, p. 1009]. В целом, касаемо иных социологических и экономических индикаторов, в последнее время методика агрегирования средним геометрическим значением получила некоторое распространение. Однако напрямую тезиса об интеграции в общий мультипликативный показатель индексов Worldwide Governance Indicators не было.
Идея об агрегации индекса WGI частично обосновывает гипотезу о множественности вариаций конечных результатов при выборе среди различных вариантов методологий измерения. Несмотря на то, что такое предложение является своего рода новизной, усовершенствование является не ядром данной работы, а всего лишь инструментом для достижения её целей.
Уже доказанная гипотеза о возможности интеграции индикаторов средним геометрическим значением имеет несколько доказательств в работе Яшина А.В. [83]. Расчет мультипликативного показателя осуществляется по формуле:
, при In ? 0
Доказательство именно этого метода базируется на двух частях: во-первых, насколько целесообразно агрегировать индикаторы средним геометрическим значением, а не другими способами; во-вторых, о целесообразности применения агрегации в единый индекс по всем шести параметрам.
Доказательство о целесообразности агрегации средним геометрическим значением Worldwide Governance Indicators основывается на следующих тезисах:
Сходная по роду методика консолидации индикаторов при помощи среднего арифметического значения компенсирует относительно низкие параметры за счет высоких, в то же время метод среднего геометрического значения подавляет компенсируемость заниженных составляющих оценок. Это важнейший фактор в придании объективности индикаторам государственного управления. Такой парадокс был выявлен в первой главе, когда при рассмотрении индекса восприятия коррупции государства Персидского залива (кроме Ирана) получили относительно высокие позиции в рейтинге благодаря оценке экономических издательств, при этом значимость низких оценок показателей свободы слова и прозрачности отражена в меньшей степени.