Статья: Особенности выбора экспертов для проведения педагогической экспертизы

Особенности выбора экспертов для проведения педагогической экспертизы

Слепцова Марина Викторовна

Мелашенко Татьяна Владимировна

Аннотация

В работе рассмотрена методика выбора экспертов из широкого круга специалистов для проведения педагогических экспертиз в области непрерывного технологического образования. Показано, что одной из наиболее важных проблем при проведении педагогических экспертиз на сегодняшний день остается проблема выбора экспертов из широкого круга специалистов в определенной области и формирование из них экспертных групп. Массовое привлечение к проведению экспертиз в области непрерывного технологического образования работодателей, родителей, учащихся считающих себя экспертами, но не являющихся таковыми, приводит к неверному оцениванию содержания технологического образования, оценки ее текущего состояния и эффективности, направлению дальнейшего совершенствования и развития, а также большому влиянию на результат экспертизы субъективных факторов. Такие результаты приводят к отрицательным последствиям, как для педагогической науки, так и для специалистов-практиков, ориентирующихся в своей деятельности на полученный результат. эксперт педагогический ранжирование

Авторами предлагается один из возможных вариантов решения проблемы выбора экспертов - применение метода ранжирования. Показано, что для выбора экспертов из широкого круга специалистов, необходимо заранее определить перечень параметров, по которым будет осуществляться отбор экспертов, определить количественную шкалу для измерения каждого параметра и предложить каждому из специалистов, включенных в состав группы для проведения педагогической экспертизы, оценить соответствие каждого из включенных в группу специалистов по предложенной шкале. Показано, что в качестве экспертов необходимо привлекать девять специалистов, набравших наибольший ранг.

Предлагаемый авторами подход выбора экспертов из широкого круга специалистов опробован при проведении научных исследований в Воронежском педагогическом университете. Показаны достоинства и недостатки предложенного метода ранжирования, определены условия его применимости при проведении педагогических экспертиз в области непрерывного технологического образования.

Ключевые слова: педагогическая экспертиза; непрерывное технологическое образование; эксперт; степень компетенции; ранжирование.

В настоящее время в педагогических исследованиях широко применяются разнообразные методы проведения научных экспертиз[1,2,3]. Это связано с государственной политикой, направленной на вовлечение экспертов и представителей общественности в систему принятия решений. Новым направлением, которое только начинает формироваться, является практика общественной экспертизы и общественной доработки законов, где одним из самых широко обсуждаемых является закон "Об образовании РФ", а также Единый государственный экзамен.

Особенно актуальными вопросы содержания экспертной деятельности, организация экспертизы, степень ее гуманитарности и открытости стали в период реализации Приоритетного национального проекта "Образование", так как впервые на российском уровне была поставлена задача экспертизы конкурсных документов общеобразовательных учреждений, внедряющих инновационные образовательные программы, в том числе в области непрерывного технологического образования.

В процессе проведения указанной работы были выявлены некоторые аспекты проведения процедуры экспертной оценки, не имеющие достаточного глубокой теоретической проработки, но существенно влияющие на ее результаты. В частности, одной из наиболее важных проблем на сегодняшний день остается задача выбора экспертов из широкого круга специалистов в определенной области и формирование из них экспертных групп. Массовое привлечение к проведению экспертиз в области непрерывного технологического образования работодателей, родителей, учащихся считающих себя экспертами, но не являющихся таковыми, приводит к неверному оцениванию содержания технологического образования, оценки его текущего состояния и эффективности, направлению дальнейшего совершенствования и развития, а также большому влиянию на результат экспертизы субъективных факторов. Такие результаты приводят к отрицательным последствиям, как для педагогической науки, так и для специалистов-практиков, ориентирующихся в своей деятельности на полученный результат.

Общие вопросы организации и проведении экспертиз в педагогической деятельности исследуются в целом ряде научных работ, среди которых особый интерес представляют работы В.С. Черепанова [4,5,6,7,8,9]. Однако в полном объеме задача выбора экспертов из широкого круга специалистов не нашла своего комплексного научного решения.

На наш взгляд, основным решением задачи выбора экспертов из широкого круга специалистов является применение метода ранжирования с учетом ряда особенностей проведения педагогических экспертиз.

Остановимся подробнее на некоторых определяющих моментах проведения педагогических экспертиз в области непрерывного технологического образования с точки зрения применимости метода ранжирования к привлекаемым для проведения экспертизы специалистам по заранее определенным параметрам.

В общем случае, ранжирование представляет собой процедуру упорядочения объектов, выполняемую лицом, принимающим решение (ЛПР). На основе знаний и опыта лицо, принимающее решение, располагает объекты в порядке предпочтения, руководствуясь одним или несколькими выбранными показателями сравнения. Ранг - степень отличия по какому-либо признаку, а ранжирование - процесс определения рангов, относительных количественных оценок степеней отличий по качественным признакам. При этом ранжирование объектов содержит лишь информацию о том, какой из них более предпочтителен, и не содержит информации о том, насколько или во сколько раз один объект предпочтительнее другого.

В силу особенностей проведения педагогических экспертиз, в них сильно затруднена, а зачастую просто невозможна, непосредственная оценка профессиональных качеств привлекаемых для экспертизы специалистов. Здесь целый ряд причин.

Во-первых, широкое распространение имеют чисто формальные подходы к выбору экспертов из широкого круга специалистов, когда лицо принимающее решение в первую очередь ориентируется на занимаемые специалистами должности, имеющиеся у них награды, ученые степени и звания.

Во-вторых, зачастую главную роль играет не квалификация специалиста, а просто его желание участвовать в проведении педагогической экспертизы, активность и настойчивость в достижении своей цели.

В-третьих, имеет место выбор экспертов из широкого круга специалистов по принципу близости (схожести) их взглядов на проблему и путях ее решения с ЛПР. Понятно, что всем приятно единение в коллективе, но при этом из экспертного сообщества удаляются специалисты, предлагающие альтернативные пути решения проблем, что приводит к однобокости полученных результатов.

В-четвертых, важную роль на этапе выбора экспертов играют личные отношения между ЛПР и кандидатами в эксперты, когда для работы в экспертных группах привлекаются специалисты не по своим профессиональным, а только личностным качествам.

Выбор экспертов из широкого круга специалистов методом ранжирования позволяет избежать субъективизма при формировании экспертных групп, отобрать для проведения экспертизы только высококвалифицированных специалистов из соответствующей области знаний, внести на рассмотрение весь спектр возможных решений по рассматриваемой педагогической проблеме.

Соответственно, для выбора экспертов из широкого круга специалистов, необходимо заранее определить:

• перечень параметров, по которым будет осуществляться отбор экспертов;

• определить количественную шкалу для измерения каждого параметра и предложить её каждому из специалистов, включенных в состав группы для проведения педагогической экспертизы;

• оценить соответствие каждого из включенных в группу специалистов по предложенной шкале.

В простейшем случае, количественная шкала определяется от 0 до n, где n может быть равно количеству специалистов, из которых производится выбор экспертов, либо некоторому фиксированному значению, например 5, 10, 100. Во втором случае нулевое значение может быть определено многократно, а значения, отличные от 0, могут быть определены только однократно. Например, при максимальном значении оценки такого параметра специалиста, как общий кругозор, в 10 баллов, ЛПР может оценить его как 1, 2, …, 10 только у одного из специалистов, а у всех остальных оценка параметра принимается за 0. Оценка должна производиться анонимно, путем заполнения таблиц, включающих в себя параметр, важный для отбора эксперта, и его шкалу. Затем полученные оценки для каждого специалиста суммируются, полученное значение определяется как его ранг. В работах Слепцовой М.В., показано, что оптимальное количество экспертов, привлекаемое к поведению экспертизы в области непрерывного технологического образования, составляет 9 человек [10]. Таким образом, девять специалистов, набравших наибольшее количество рангов, и должны привлекаться в качестве экспертов.

Обобщая сказанное, представим процесс ранжирования n количества кандидатов следующим образом:

1. Каждый j-й специалист выносит суждения о каждом из предложенных к рассмотрению параметров i-го специалиста, путем выставления оценок в баллах RjAi, где Ai - параметр, определяемый для i-го специалиста.

2. Для каждого i -го специалиста подсчитывается сумма оценок в баллах RjAi,, полученных от j-го специалиста а, т.е.

Sni = ? RjAi,

где RjAi - суждение j-то специалиста о степени компетенции (параметре A) у i-го специалиста;

Sji - результат i-го специалиста с точки зрения j-то специалиста.

3. Для каждого i-го специалиста подсчитывается общая сумма оценок в баллах RjAi,, полученных от всех экспертов, т.е. Si = ? Sni.

4. Проводится ранжирование специалистов (от 1 до n), от наименьшего до наибольшего результирующего ранга. Девять специалистов, получивших наибольший ранг, привлекаются для участия в проведении педагогической экспертизы в качестве экспертов.

Проверка теоретических положений была проведена нами на примере отбора экспертовспециалистов в области непрерывного технологического образования, для участия в работе по разработке ситуационной модели педагогического процесса преподавания учебного предмета "Технология" в общеобразовательной школе[11,12,13,14]. К работе нами были привлечены люди из разных групп населения: студенты, учителя, преподаватели, родители, друзья, знакомые, работодатели и т. д. (около 50 человек).

Методом "снежного кома" был создан общий список специалистов в области технологического образования, предпринимательской деятельности, инновационных технологий - кандидатов в эксперты, общей численностью 28 человек. Следует подчеркнуть, что численность группы должна быть достаточно представительной для того, чтобы на основе совокупной обработки их суждений можно было определить статистически устойчивую оценку[15]. В большинстве научных работ, посвященных теории экспертных систем, численность группы специалистов - кандидатов в эксперты, в 20 человек считается минимально допустимой.

Затем из них руководителем научной работы (ЛПР) были эмпирически выбраны 9 человек, которые составили первый список экспертов. Обозначим их как специалист №1 - специалист №9. В этот список вошли специалисты, которые гарантированно, с точки зрения ЛПР, должны были быть квалифицированы как эксперты.

Затем мы составили совокупность критериев (шкалу предпочтений), соответствующую тематике нашего исследования, по которой провели оценку. Подготовленные материалы были предложены специалистам, каждый из которых анонимно мог оценить степень компетенции остальных специалистов по заданным критериям. Для примера приведем итоговую таблицу, определенную специалистом №2, для специалиста №6.

Шкала предпочтений по степени важности компетенций эксперта

После обработки полученных оценок и проверки правильности полученного результата, нами сформирован второй список 9-ти экспертов в области непрерывного технологического образования.

Оба списка были показаны тем же людям, которые приняли участие в формировании исходного списка специалистов с просьбой оценить, какой из них более точно соответствует поставленной задаче - выбору экспертов в области непрерывного педагогического образования.

В результате можно сделать следующие выводы:

1. В первый и во второй списки экспертов в области непрерывного технологического образования входят 4 человека. Т.е. уровень совпадения мнений ЛПР и результата проведенного ранжирования составляет 44,4%.