Статья: Публикационная деятельность научных медицинских организаций Министерства здравоохранения РФ

Большой объем данных институтов нивелирует такое случайное явление как фальсификации. А скептикам и критикам наукометрии, которые на словах или в печати пугают фальсификацией цитируемости, следует знать, что РИНЦ предоставляет широкие возможности для выявления этого порока. Опорой для этого может служить раздел РИНЦ для институтов «СТАТИСТИЧЕСКИЕ ОТЧЕТЫ - Распределение публикаций по: тематике, типу, журналам, организациям, авторам, годам, ключевым словам, числу цитирований и числу соавторов». Аналогичные разделы есть и на персональных страница РИНЦ. Все публикации, выявляющие фальсификации цитируемости, построены на основе данных РИНЦ (например, 5), которые доступны всем. При этом не следует забывать, что фальсификация потребует у фальсификатора не только времени, но и значительных организационных усилий, отчего такие фальсификации среди российских ученых в ближайшее время не станут массовым явлением в отличие от предприимчивых китайских коллег [6]. Но в Китае начинается борьба с этим явлением: 30 мая 2018 г. Государственный совет Китая объявил о новой радикальной системе повышения стандартов исследований в стране и правил публикаций [11]. Министерство науки Китая работает над составлением черного списка «хищных» журналов (predatory journal), публикация в которых закрывает доступ финансированию исследований и будет препятствовать работе в академической науке [12]. Пора начинать борьбу с фальсификацией науки и в России. Но пока что за пределами финансирования главная беда российской медицинской науки не фальсификации, а низкое качество публикаций, слабость их доказательной базы [4], в основе которых - низкая квалификация ученых. Это проблема не только российской медицинской науки [13], но в нашей стране она выступает более острее, чем в западной науке, где более остро стоит ответственность за фальсификации.

Цитируемость - разносторонняя характеристика научного процесса. Она, во-первых, объективный показатель внедрения в науку за счет включения публикации в научный оборот, и это «практически единственный «видимый» след научной коммуникации и механизма рождения нового знания» [5]. Одно-два-три цитирования за 5-7 лет не стоит обозначать высоким словом «внедрение», но более широкое цитирование повышает вероятность того, что содержащаяся в статье информация сгенерирует новую, а такая информация представляет наибольшую ценность. Во-вторых, частота цитирования - показатель широты или наоборот узости этого внедрения. Тем самым, в-третьих, цитирование - косвенный показатель эффективности научной работы. Тут требуется осторожность в понимании «эффективность» - не социальная или экономическая, но только информационная эффективность, как интерес научного сообщества к теме или результатам конкретной работы. Часто этот интерес обозначается словом «востребованность». Иначе говоря, цитирование отражает не столько качество публикации, сколько ее значимость для научного сообщества. Это в равной степени относится к публикациям научных сотрудников и научных учреждений.

Стандартизация цитирований количеством авторов вызвало уменьшение вариативности, но не столь значительное, как по публикациям (5-кратное vs. 30-кратного). Это может означать, что показатель числа цитирования на автора обладает большей чувствительностью к дифференциации институтов по значимости своих публикаций в сравнении с числом публикаций на автора (эффективность vs. продуктивность). Анализ такой дифференциации не входит в задачу настоящего исследования, это потребовало бы учета большого ряда дополнительных факторов, таких, например, как область медицинских исследований, количество специалистов и/или исследовательская активность в том или другом разделе медицины. Уже многократно показано, что все это влияет на количественные показатели цитирования [например, 4] и соответственно делает не вполне корректным сравнение учреждений разных профилей по цитированию. Задача упрощается, когда сравниваются профессионально сходные учреждения, как это было сделано в отношении шести психиатрических институтов [7].

Как сказано выше в задачу работы не входило сопоставление отдельных институтов. Предполагалось дать только общую картину публикационной активности научных учреждений Минздрава РФ, и только на основе трех показателей - количества публикаций, цитирования и авторов. Это важные, но далеко не единственно значимые характеристики. С методической точки зрения главным в общей картине были два обстоятельства. Первое - зависимость количества публикаций и цитирования от количества сотрудников в институтах. Размер сотрудников института не является научным феноменом, что потребовало исключить его из анализа с помощью относительных показателей. Второе - очень большая вариативность показателей, только отчасти обусловленная различием в количестве сотрудников. Это заставило произвести кластеризацию. При этом выделялись две, иногда три группы институтов. При самых разных наборах переменных в эти группы, как правило, входили одни и те же институты. Группы различались как по количеству институтов, так и по дисперсии: большая (компактная - группа В) и меньшая, но диспергированная (группа А+Б, рис. 4). Эти группы существенно различались также по количеству публикаций, цитирований и авторов (таблица 4). По результатам кластеризации самым существенным было то, что группа институтов с малым количеством авторов (до 400, медиана 203 автора, 35 из 51 института или 70%) имела низкий показатель цитируемости на одного автора (18 цитирований) по сравнению с крупными учреждениями (47 цитирований). При этом продуктивность была близкой (6-8 публикаций на одного автора, таблица 4). Факт вроде бы не красит малые институты, однако оценить его по-настоящему трудно - нужны дополнительные данные, например, степень нагрузки клинической работой, а главное - специализация институтов, как сказано выше.

В процессе работы пришло осознание большой правоты Ю.Гарфилда, сделавшего ставку на цитируемость в качестве главного наукометрического показателя эффективности работы ученых и научных учреждений. Именно цитирование наилучшим образом дифференцировало институты по их эффективности. К сожалению этого нельзя сказать про нулевое цитирование, результаты анализа которого не стали неожиданностью. Ранее высокая доля таких работ была обнаружена в публикациях 6 психиатрических институтов [6]. Недавно С.А.Трущелев при анализе 350 тысяч публикаций по психиатрии, неврологии и кардиологии, получил по сути дела сходный результат: 59%, 45% и 58% публикаций в этих отраслях медицины не были процитированы (обратная величина от доли процитированных в [9]).

В настоящей работе количество таких публикаций составило половину от всех (53%), а это 112 тысяч публикаций. Иначе говоря, половина работ научных сотрудников институтов Минздрава РФ не была процитирована. Это значит, что эти работы не вошли в научный оборот. Можно ожидать, что часть этих публикаций еще будет процитирована, но как показал анализ цитирования психиатрических учреждений [6], эта доля невелика (около 5%), и она будет перекрыта новыми публикациями с нулевым цитированием, количество которых, как правило, прогредиентно нарастает вместе ростом числа публикаций (Приложение В). Более того, по соотношению нарастания тех и других можно судить об эффективности работы институтов (Приложение В). Этот процесс для всех институтов Минздрава РФ еще предстоит исследовать, но уже сейчас видно, сколь важным является соотношение цитирования и нулевого цитирования для оценки деятельности научных учреждений. В этом контексте важно оценить роль индекса Хирша, который «смотрит» только вперед, притом близоруко, и «не видит», что у него «за спиной», а за спиной у него подавляющая часть публикаций и цитирования, в том числе нулевое.

Тут следует оговориться: в западных исследовательских учреждениях в области медицины также довольно высока доля нулевого цитирования. Дляпримераможновыбрать National Institute on Alcohol, Abuse and Alcoholism (NIAAA, США, Бетесда, одинизинститутов National Institutes of Health). В этом институте нулевое цитирование составляет 21,0%, из которых 5% приходятся на 2017-2018 гг. Это много, но все-таки не половина, и снижение цитирования началось только в 2018 г., что естественно, а до этого оно прогредиентно увеличивалось вплоть до 2017 г. (для сравнения см. Приложение В). Есть еще важное отличие NIAAA от среднестатистических показателей российских институтов (таблица 6). При этом следует отметить, что NIAAA «середняк» среди NationalInstitutesofHealth.

Таблица 6

Соотношение показателей публикаций, процитированных более 50 раз, из двух источников.

В отличие от цитирования нулевое цитирование существенно не различало группы (кластеры) институтов (таблица 4), хотя диапазон показателя был велик: от 35% до 88% (Приложение Б). Это связано с тем, что основная масса институтов (42 или 82%) по нулевому цитированию различалась сравнительно мало - от 40% до 60%. Нулевое цитирование не было связано с общим числом публикаций или авторов. Иначе говоря, низкая цитируемость - довольно устойчивый показатель научных медицинских учреждений, и с помощью наукометрических показателей не удалось объяснить этот феномен.

Переходя к выводам, следует помнить, что исходный материал настолько обширен и разнообразен, что любые обобщения, сделанные в работе, невольно будут содержать некоторые огрубления.

Выводы

Для научных институтов Минздрава РФ характерен большой разброс абсолютных показателей количества публикаций, цитирования и авторов: 450-кратный для цитирований, почти 150-кратный для публикаций и 150-кратный по числу авторов.

Объем публикаций институтов прямо пропорционален количеству авторов (условно сотрудников), зафиксированных в РИНЦ, а поэтому только условно может служить показателем публикационной деятельности институтов.

Объем цитирования (цитируемость) публикаций институтов прямо пропорционален количеству авторов (сотрудников), зафиксированных в РИНЦ, а поэтому только условно может служить показателем публикационной деятельности институтов.

Более адекватным показателем публикационной деятельности институтов служит количество публикаций и цитирований, стандартизованное количеством авторов.

Стандартизация резко сокращает разброс показателей отдельных институтов: в 30 раз для публикаций и в 5 раз для цитирования.

Стандартизованные показатели публикаций не зависят от абсолютного количества авторов, публикаций и цитирования. Эти показатели выравнивают институты по продуктивности авторов.

Для научных институтов Минздрава РФ характерно сравнительно низкое цитирование: 93% всех публикаций процитированы не более 10 раз.

В 93% публикаций входят 112 тысяч публикаций или 53% от всех, которые не были процитированы ни разу (нулевое цитирование).

Основное количество цитирований приносит небольшое количество публикации с большим цитированием. Так, на 1,3% публикаций, процитированных более 50 раз, приходится 41,2% цитирований.

В институтах с малым количеством сотрудников (меньше 400) относительный показатель цитирования существенно ниже, чем в институтах с бульшим количеством сотрудников.

Состояние публикационной деятельности институтов Минздрава РФ нельзя признать удовлетворительным.

Библиография

Балацкий Е., Юревич М. Деформация научной этики в России. Можно ли ее измерить? Капитал страны. 2016, 27 мая. С. 5-15. URL: kapital-rus.ru/articles/article/deformaciya_nauchnoi_etiki_v_rossii/ (Дата обращения 17 июня 2018 г.)

Варшавский А., Маркусова В. Оценку эффективности российских фундаментальных учёных следует скорректировать. Науки и технологии РФ. [Интернет] 2009. URL: http://www.courier-edu.ru/cour0901/800.htm (Дата обращения 17 июня 2018 г.).

Голенков А.В., Кузнецова-Морева Е.А., Менделевич В.Д., Немцов А.В., Разводовский Ю.Е., Симонов А.Н., Шелыгин К.В. Качество исследовательских публикаций в психиатрии - экспертная оценка. Журнал неврологии и психиатрии им. С.С. Корсакова. 2017; 117 (11): 108-113.

Ивушкин А.А., Немцов А.В. Наукометрический анализ материалов российского и европейского съездов психиатров. Журнал неврологии и психиатрии им. С.С. Корсакова. 2009. 109 (8): 63-67.

Михайлов О.В. Цитирование и цитируемость в науке: Общие принципы цитирования. Современные количественные показатели цитируемости. Цитируемость и качество научной деятельности исследователя. Москва: ЛЕНАНД; 2017. 208 с.

Немцов А.В., Кузнецова-Морева Е.А. Публикационная деятельность и цитирование статей сотрудников институтов в области психиатрии и наркологии. Журнал неврологии и психиатрии им. С.С. Корсакова. 2016. 116 (10): 47-53. doi: 10.17116/jnevro2016116101

Немцов А.В., Трущелёв С.А., Краснов В.Н. Публикационная деятельность научно-исследовательских институтов в области психиатрии и наркологии в 2006-2013 гг. Журнал неврологии и психиатрии им. С.С. Корсакова. 2015. 115 (1): 85-90.

Стародубов В.И., Куракова Н.Г., Цветкова Л.А. Новые критерии результативности академической и вузовской медицинской науки в России. Социальные аспекты здоровья населения [электронный научный журнал]. 2011; 18 (2). URL: http://vestnik.mednet.ru/content/view/277/27/lang,ru (Дата обращения 17 июня 2018 г.)

Трущелев С.А. Управление научно-исследовательской деятельностью медицинских работников на основе наукометрического подхода: автореф. дис. д-ра мед.наук. Москва. 2017. 46 с.

Цветкова Л.А., Куракова Н.Г., Маркусова В.А. Публикационная активность как инструмент капитализации результатов исследований в области медицины и здравоохранения. Врач и информационные технологии. 2010; (6): 47-54.