Статья: Публикационная деятельность научных медицинских организаций Министерства здравоохранения РФ

Таблица 3

Распределение публикаций всех институтов (n=51) по количеству цитирований.

Как и в случае с публикациями исходные данные цитирования были стандартизованы количеством авторов, в результате чего разброс сократился почти в пять раз (табл. 1 и 2), хотя и оставался большим, 100-кратным (табл. 2). При этом размеры цитирования на автора зависят от количества авторов в институте (r=0,289, p=0,040, 8%). Эта зависимость выразилось также в том, что рейтинг институтов до и после стандартизации изменился мало (табл. 2, Приложение Б, корреляция рангов значима, r=0,670, p=0,000, 45%). Иначе говоря, публикации сотрудников больших институтов цитируются несколько чаще в отличие от сотрудников малых институтов.

Рис. 3. Количество цитирований (серые столбики, ордината слева) и количество цитирований на одного автора (черные квадраты и тонкие столбики). Названия институтов по номерам в Приложении А. Кривая сплошная и пунктирная - кубический полином для абсолютного и относительного количества цитирований.

В результате кластер-анализа все институты распределяются в три группы, более чётко по соотношению цитирования на одного автора с общим количеством цитирований (группы А, Б и В, рис. 4).

Рис. 4. Кластеризация институтов по соотношению цитирования на одного автора с общим количеством цитирований. А, Б и В - три группы институтов. Номера институтов в соответствие в Приложением А обозначены для группы А и Б, группа В - на рисунке не обозначены: 15, 16, 18, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51.

Все три группы имели статистически значимые различия по трем исходным параметрам (публикации, цитирование, авторы; Крускал-Уоллис, р=0,000-0,021). Важно, что исключение составил один показатель - нулевое цитирование (р=0,220). Не было различий по цитированию на автора между группами А и Б, и это позволило объединить эти группы для последующего анализа. Это допустимо еще и потому, что медианный тест для этой характеристики показал четкое отличие группы В от А и Б (р=0,001). Характеристика институтов трех кластеров в табл. 4.

Таблица 4

Характеристика институтов в трех группах (А, Б и В), полученных в результате кластеризации.

Таблица 4, как и рис. 4, показывает, что группы А и Б различаются сравнительно мало, только количественно и с небольшим разрывом. Большинство институтов (35 из 51 или 69%) составили третью компактную группу В (рис. 4). В этой группе 31 учреждение имели менее 400 авторов (от 23 до 377, четыре: 406, 605, 640 и 1253). В группах А и Б (суммарно 16 институтов или 31%) таких институтов было только два (335 и 336, р=0,000). Помимо количества сотрудников и связанных с этим показателей (публикации, цитирование) существенным отличием институтов группы В было низкое количество цитирований на одного автора (17,7 vs. 46,7 и табл. 4; статистического обоснования различия не требуется, так это свойство генеральной совокупности).

Распределение суммарного количества цитирований и публикаций всех институтов представлено на рис. 5. Первую позицию занимают публикации с нулевым цитированием. Вот почему на рис. 5 эта позиция пуста по цитированию (столбики) и заполнена по публикациям (кружки, n=111835). На вторую позицию приходятся публикации, процитированные однократно (29953 статей и 14,2% от всех цитирований). Максимум распределения приходится на 3-ю позицию - 2-кратное цитирование, 29953 публикаций, 7,9% от всех цитирований. После этого начинается равномерное снижение количества публикаций и цитирования. Медиана распределения приходится на 31 позицию, на которой зарегистрировано 190 публикаций, процитированных 30 раз (всего 190*30=5700 цитирований или 0,1% от общего).

Рис. 5. Распределение публикаций (кружки, правая логарифмическая шкала) и цитирования (столбики, левая шкала) всех институтов в зависимости от их цитирования (абсцисса, шкала неравномерная).

Подъем цитирования в правой половине графика определяется почти исключительно единичными публикациями с большим числом цитирований и, как правило, с большим количеством авторов. Последняя в этом ряду статья, процитированная 3927 раз, опубликована в TheLancet. У нее 102 автора, для одного из которых указано место работы в Москве (86 позиция в безалфавитном списке), а также в Оксфорде, где работает большинство его соавторов. Размеры цитирования этой одной статьи сравнимо со 101 статьей, каждая из которых процитирована 38 раз (3838 в сумме). Следует сказать, что сходную структуру авторов имеет бульшая часть статей с очень высоким цитированием.

Кумулятивное распределение публикаций по количеству цитирований представлено в табл. 2 (Приложение Б). Таблица показывает, что 93% всех публикаций всех институтов процитированы не более 10 раз.

3. Нулевое цитирование

111835 или 53% от общего объема публикаций всех институтов не были процитированы ни разу (таблица 3). Разброс институтов по этому показателю был значительным: от 34,7% до 87,7% (таблица 3, Приложение Б), однако три группы институтов, выделенные ранее кластер-анализом (таблица 5) статистически не различаются по доле публикаций с нулевым цитированием, ни по Крускел-Уоллису (р=0,363), ни по медианному тесту (р=0,220). В попытке объяснить феномен нулевого цитирования на основе корреляции доли нулевого цитирования с другими показателями этого исследования представлены в таблице 5.

Таблица 5

Корреляция нулевого цитирования (доля в %) с другими показателями (n=51).

Все корреляции отрицательные, но значимые только с показателями цитирования (общим числом и на автора): чем меньше цитирование, тем больше публикаций с нулевым цитированием.

Обсуждение

Прежде всего, необходимо уяснить значение и смысл исходных и производных показателей, выбранных для описания публикационной деятельности научных институтов Минздрава РФ. Важно понять, какое отношение они имеют к оценке эффективности научной деятельности. Главной в этом должна была бы быть экономическая и/или социальная эффективность, но не нашлись источники, содержащие материалы для такой оценки институтов Минздрава РФ. Поэтому приходится пользоваться косвенными показателями, главными из которых являются публикации, а также их цитируемость. За отсутствием экономического и социального показателя эффективности примем информационный эффект научной работы. Условно будем считать количество публикаций продуктивностью, а цитируемость эффективностью публикационной деятельности институтов.

В работе выявилось, что число публикаций и цитирований жестко закоррелировано с количеством сотрудников, точнее, авторов, зарегистрированных в РИНЦ. Сделано это на основе корреляции, которая обычно выявляет только степень связи, но не зависимость переменных. Однако, в некоторых ситуациях коэффициент корреляции можно интерпретировать как показатель зависимости. Так, например, при корреляции количества публикаций с количеством авторов публикации могут зависеть от количества авторов, но не наоборот. Такая зависимость - тривиальная находка: чем больше авторов (сотрудников), тем больше публикаций (рис. 1, коэффициент детерминации 91%).

На первый взгляд было бы правильнее работать с показателем количества сотрудников, но, во-первых, получить его не удалось, ни в отдельных институтах, ни в Минздраве, а, во-вторых, состав сотрудников переменный, тем более на протяжении длительного времени (с 1950 г.), тогда как количество авторов четко привязано к публикации: фиксация нового автора происходит с регистрацией первой статьи с его участием. За пределами исследования остаются сотрудники институтов, которые никогда не публиковались, но это, скорее всего, относится к молодым, с небольшим научным стажем.

Нельзя быть уверенным, что все публикации, цитирования и авторы институтов учтены в РИНЦ, и не представляется, как это проверить для большого массива данных институтов, но персональные данные РИНЦ нескольких авторов показывают, что не учтены 4-6% публикаций.

Теперь следовало бы решить, что отражают размеры научного коллектива в учреждении. Только ли важность проблем, решаемых институтом? В условиях значительной бюрократизации науки трудно ответить на этот вопрос однозначно, на основе показателей РИНЦ это решить невозможно, а других научных данных по такому поводу нет. В этих условиях пришлось пойти по другому пути - нивелировать разницу в размерах коллективов посредством стандартизации количества публикаций количеством авторов. Этот относительный показатель более адекватно отражает публикационную деятельность учреждений, о чем раннее писали в [2]. Стандартизованный показатель условно можно обозначить как продуктивность авторов в отличие от продуктивности институтов (общее количество публикаций).

Стандартизация имела два важных последствия. Первое - резкое сокращение размаха варьирования: со 100-кратного до 5-кратного (таблица 2). Эта трансформация специально не исследовалась, но, несомненно, она привела к увеличению однородности совокупности и устойчивости значений признака, а это важно для дальнейшего исследования.

Второе - после стандартизации произошло изменение соотношения институтов по продуктивности. Это выразилось в том, что ранговая корреляция количества публикаций до и после стандартизации оказалась незначимой. О чем это свидетельствует? Количество публикаций в целом зависит от количества сотрудников в институтах, но продуктивность сотрудников не зависит от количества сотрудников (рис. 2 и табл. 1 в Приложении Б). Приходится признать, что продуктивность институтов более всего отражает размеры кадрового состава, иначе говоря, больше сотрудников, больше публикаций и наоборот. Отсюда следует, что оценивать продуктивность научного учреждения по суммарному количеству публикаций недостаточно, а может быть и неправильно. Тем более, что размеры научного коллектива не влияют на продуктивность отдельных сотрудников, хотя в большом учреждении можно было бы ожидать рост публикационной активности за счет увеличения внутренних горизонтальных связей. По-видимому, на продуктивность сотрудников влияют какие-то другие факторы, которые еще предстоит изучить. Такими факторами могут быть: творческий потенциал коллектива, организация научного производства, адекватная материальная оценка труда научных сотрудников. В качестве контрпродуктивных факторов могут выступать такие как негативная психологическая атмосфера в коллективе, сильная бюрократизация учреждения, а также занятость сотрудников в диагностической и лечебной работе, обязательной для институтов Минздрава РФ. Это важная функция институтов, но к науке она, как правило, не имеет отношения.

Прежде чем перейти к анализу цитируемости примем тезис - самое важное в научной публикации новое и доказательное знание. Оценку этого лучше всего делает независимое экспертное сообщество, состоящее из квалифицированных специалистов по теме научных публикаций. Первый автор имеет опыт организации такой работы [3] и знает трудности этого дела в наших условиях и то, что производительность такого сообщества невелика. В других условиях к этому прибавляется высокая стоимость работы. Ю.Гарфилд был первым, кто догадался сделать экспертным сообществом всех заинтересованных в теме научных работников, а мерой оценки - размеры цитирования (цитируемость). Идея оценки качества научного продукта посредством цитирования настолько прочно вошла в научный обиход, что уже невозможно игнорировать это явление, хотя возможности наукометриинебезграничны.

Издержки наукометрии велики, но достоинства значительно превосходят издержки: за счет утраты большой точности и глубины анализа появилась возможность оперировать большими числами, которые снижают влияние случайных факторов. Эти преимущества наукометрии особенно значимы в работе с публикациями институтов. Материал настоящей работы составили 860 тыс. цитирований, 200 тыс. публикаций и 27 тыс. авторов - это еще не bigdata, но на пути к ним.