ОЦЕНКА ЭФФЕКТИВНОСТИ ВЕДОМСТВЕННЫХ ВУЗОВ
В.А. Литвинов, В.Э. Баумтрог
Литвинов Владимир Андреевич - кандидат физико-математических наук, доцент; доцент кафедры информатики и специальной техники, Барнаульский юридический институт МВД России.
Баумтрог Виктор Этмонтович - кандидат физико-математических наук, доцент; доцент кафедры информатики и специальной техники, Барнаульский юридический института МВД России.
Авторы провели анализ методов оценки эффективности деятельности образовательных организаций и профессорско-преподавательского состава. В результате исследования ими было предложено при сборе первичной информации о качестве образовательного процесса использовать метод случайной выборки обучающихся, а также показатели, оцениваемые внешними экспертами. Количественные значения показателей рейтинговой системы оценки эффективности труда профессорско-преподавательского состава рекомендуется нормировать с учетом максимального различия интегральных показателей, используя экспертные оценки сотрудников организации.
Ключевые слова: эффективность образования, эффективность деятельности вузов, рейтинговая система, РИНЦ, аккредитация вузов, образовательная деятельность, научная деятельность.
V.A. Litvinov, V.E. Baumtrog
On the estimation of the effectiveness of departmental institutions
Litvinov Vladimir A. - PhD in Physics and Mathematics, Associate Professor of the Department of Informatics and Special Equipment, Barnaul Law Institute of MIA of Russia
Baumtrog Viktor E. - PhD in Physics and Mathematics, Associate Professor of the Department of Informatics and Special Equipment, Barnaul Law Institute of MIA of Russia
The authors analyzed the methods of evaluation of the effectiveness of educational institutions and their faculty. The study proposed in the collection of primary information about the quality of the educational process to use the method of random sampling of students, as well as the parameters used by external experts.
Quantitative values of indicators of the rating system of assessment of work efficiency of the teaching staff are recommended to normalize with the maximum differences of integral indicators, using expert evaluation of the organization.
Key words: the effectiveness of education, a rating system, Russian Science Citation Index, accreditation of higher education institutions, educational activities, scientific activities.
Оценка эффективности функционирования любого предприятия, организации является важнейшим элементом в системе управления. Особый вид организаций с точки зрения оценки эффективности их деятельности представляют организации, связанные с творческим трудом персонала. Применение традиционных методов, основанных на сравнении числовых статистических показателей, затруднено несколькими факторами.
Во-первых, затруднена количественная оценка потребительской ценности производимой продукции, спрос на которую может возникнуть через десятилетие. Например, ценность научной статьи. Во-вторых, отсутствуют единые нормы трудозатрат персонала на производство единицы продукции. В-третьих, имеются проблемы с оценкой роли отдельных видов деятельности на качество производимой продукции. В-четвертых, отсутствуют четкие процедуры сбора первичной статистической информации.
Объектом исследования данной работы являются ведомственные образовательные организации преимущественно МВД России. Предметом исследования выбраны используемые учредителем и администрациями образовательных организаций методы оценки эффективности деятельности отдельных субъектов различных уровней. Целью исследования является совершенствование методов сбора первичной информации для построения рейтинговых систем, а также используемой системы показателей.
Актуальность работы обусловлена отсутствием в настоящее время устойчивой общепризнанной методики оценки эффективности деятельности образовательных организаций и профессорско-преподавательского состава.
Нельзя сказать, что научное сообщество обошло стороной данную проблему. Обзор публикаций по данной тематике проведен в работах Е.Н. Гривенной [4; 5]. Результаты этих исследований приводят к выводу о необходимости оптимизации оценочных процедур при определении качества образовательной деятельности. В частности, автор отмечает, что применяемая в МВД России система контроля образовательных организаций ориентирована на определение потенциальных возможностей вуза и не позволяет судить о степени совершенства образовательного процесса. [4, с. 4].
В настоящее время популярными являются рейтинги российских вузов, составляемые агентством RAEX (Эксперт РА) [1]. Приведены не только статистические рейтинговые показатели, но и описаны методы получения итоговых значений на основе первичной информации. Отмечается, что наряду с количественными показателями используются качественные оценки, отражающими мнение работодателей, представителей академических и научных кругов, а также студентов и выпускников вузов.
Показательным, на наш взгляд, является утверждение: «Цель составления рейтинга вузов - оценка способности вузов обеспечивать выпускникам высокое качество знаний, навыков и умений, исходя из условий для их получения и результатов применения» [1]. Если детально проанализировать используемые показатели, то подавляющее их большинство относится к так называемым необходимым условиям качественной подготовки специалистов, о чем и говорится в указанной выше работе [4]. Рейтинг RAEX рассчитывается на основе трех интегральных показателей, учитываемых с разными статистическими весами.
Условия для получения качественного образования в вузе (вес = 0,5).
Уровень востребованности работодателями выпускников вуза (вес = 0,3).
Уровень научно-исследовательской деятельности вуза (вес = 0,2).
На величину первых двух показателей в значительной мере влияет менеджмент персонала образовательной организации. Например, востребованность работодателями выпускников вуза зависит от соотношения количества выпускников по некоторому набору специальностей и количества соответствующих вакансий.
Применительно к образовательным организациям МВД России востребованность выпускников является стопроцентной, что определяется системой комплектования абитуриентов. Но этот факт не снимает вопроса о конкурентоспособности выпускников образовательных организаций МВД России.
Наиболее поддающимися количественной оценке результатами деятельности научно-педагогических кадров образовательных организаций являются научные и учебно-методические публикации. Авторами рейтинга [1] отмечается, что в 2016 г. по сравнению с 2014 г. более всего возросли количественные показатели вузов по научным публикациям. Средний показатель 100 ведущих вузов страны по публикациям, индексируемым в наукометрических базах Scopus и Web Of Science, возрос на 43%. В то же время отмечается, что у группы вузов, не являющихся получателями субсидий на повышение конкурентоспособности на мировой арене, снизился показатель по кадровому потенциалу. Отмеченные выше изменения в показателях образовательных организаций свидетельствуют о смещении акцентов в управлении образовательными организациями на достижение краткосрочных результатов.
Одной из целей составления рейтингов является стимулирование деятельности сотрудников и организаций в определенных сферах. Данный факт требует детального анализа соотношения количественных значений показателей и трудозатрат для их достижения. Вторым фактором, на который следует обращать внимание, являются дальнесрочные перспективы в развитии образовательной организации или профессионального роста ее сотрудников.
В ведомственных образовательных организациях МВД России вопросы перспективного планирования развития организации приобретают свою остроту в связи с применяемой ротацией руководства. У руководителя организации в условиях ротации возникает соблазн достичь результатов роста показателей в кратчайшие сроки. Соответственно выбираются те направления деятельности, по которым с учетом сложившихся на данный момент условий можно получить существенный рост показателей.
Подчеркнем, что речь идет именно об используемых в рейтинговых оценках показателях, которые не всегда отражают интегральную характеристику выбранного направления деятельности. В качестве примера рассмотрим физическую подготовку курсантов образовательных организаций МВД России. Общая оценка данного вида деятельности проводится раз в пять лет во время комплексного инспектирования образовательной организации. Соответственно, данные оценки фактически не могут использоваться в ранжировании образовательных организаций.
Совершенно другая роль отводится результатам участия команд в соревнованиях по отдельным спортивным видам. Данные итоги подводятся ежегодно, становятся предметом обсуждения на оперативных совещаниях различного уровня. Этот факт побуждает руководство образовательной организации заботиться в первую очередь о создании спортивных команд.
Достижения команд и отдельных участников совершенно не отражают общий уровень физической подготовки курсантов образовательной организации. Признавая важность данного вида деятельности в образовательной организации и роли спортивных соревнований в популяризации спорта, предлагается изменить систему организации этих соревнований, а также рейтинговые показатели. Ввести в рейтинговые показатели статистические параметры - среднее число курсантов (сотрудников), имеющих спортивные разряды разного уровня. Такое нововведение было бы в духе возрождения в России системы ГТО. При проведении соревнований формирование команд предлагается проводить путем случайной выборки из контингента обучающихся за два месяца до начала соревнования. Представляется, что результаты таких соревнований по нескольким годам будут отражать общую картину физической подготовки курсантов образовательных организаций МВД России.
Оценка качества образовательной деятельности проводится путем мониторинга среднего балла результатов промежуточный и итоговых аттестаций, срезов знаний путем дистанционного тестирования. В данных мероприятиях присутствует эффект пресловутой «палочной системы», за которую общественность постоянно критикует правоохранительные органы. Другой подход к оценке результата образовательной деятельности содержится в проводимых ежегодных межвузовских соревнованиях в форме учения. Результаты, демонстрируемые участниками команд, подвергаются независимой экспертной оценке. Представляется, что данное мероприятие имело бы больший эффект воздействия на образовательную деятельность организаций при применении принципа случайной выборки для формирования команд.
Для оценки эффективности работы отдельных преподавателей образовательных организаций также используются рейтинговые системы [3, 10-12]. При этом можно утверждать, что, как правило, отсутствует научное обоснование количественного соотношения между различными показателями. Например, в рейтинговой системе Санкт-Петербургского государственного аграрного университета издание двух лекций объемом по печатному листу равноценно публикации в зарубежном журнале или работе заместителем декана на общественных началах [10].
Прямой механический перенос показателей и критериев, используемых для оценки образовательной организации, в рейтинговую систему оценки деятельности профессорско-преподавательского состава приводит к смещению ценности отдельных показателей. Более того, некоторые показатели, которые непосредственно определяются деятельностью научно-педагогических кадров и обоснованно присутствуют в рейтинге образовательной организации, статистически не обеспечены в пятилетнем промежутке при оценке деятельности научно-педагогических кадров. К таким показателям относятся защиты докторских диссертаций, написание монографий и учебников.
О.М. Булгаков, Е.Н. Гривенная, И.Н. Старостенко предложили математическую модель рейтинговой оценки педагогической деятельности преподавателей образовательных организаций. Для определения базовых нормировочных констант в модели используется заслуживающий особого внимания аппарат экспертных оценок для построения базовой модели «нормального» преподавателя. При этом показатели модели имеют различные значения для разных должностных категорий, что также практикуется рядом образовательных организаций, например, в Нижегородской академии МВД России [9].
Выделение в рейтинговой системе оценки труда профессорско-преподавательского состава отдельных должностных групп способствует более полному учету специфики труда отдельных преподавателей, но при этом остаются не решенными вопросы сравнения деятельности преподавателей кафедр различного профиля. Авторами отмечается, например, что профильные кафедры наиболее подвержены колебаниям методической работы, вызванным изменениями нормативной базы России [2]. Но и трудоемкость подготовки единицы однотипной методической разработки по разным кафедрам варьируется. Имеются различия в трудозатратах по подготовке научных публикаций. В научных публикациях, посвященных исследованиям наукометрических баз, отмечается, что средние индексы цитирования, как и количество публикаций, значительно зависят от научной отрасли [7].
Второй проблемой, слабо освещенной в научной литературе, является наличие корреляций между различными показателями, используемыми в рейтинговой оценке деятельности преподавателей. Например, преподавателю начисляются баллы за доклад, сделанный курсантом на вузовской конференции, а в случае призового места добавляются бонусы. Практика показывает, что призовые места занимают доклады старшекурсников, сделанные по материалам выпускных квалификационных работ. Но за руководство дипломной работой преподавателю уже начислены баллы по разделу «учебная работа».