(См. в приложении отчета о пилотаже тестовых вопросов)
Третий этап проведения пилотажа. Разработанные тесты на основе указанных выше приказов были пилотированны в общеобразовательных школах, гимназиях и лицеях городов и районов республики: Душанбе, Вахдат, Гисар, Шахринав, Рудаки, Кургантюбе, Сарбанд, Хамадони, Куляб, Дангара, Нурек, Худжанд, Бободжон Г афуров, Кайракум и Чкаловск, а также на подготовительных курсах Таджикского государственного медицинского университета имени Абуали ибн Сино и в Национальном университете Таджикистана.
Четвертый этап-это анализ результатов, полученных по итогам пилотажа.
Из статистического анализа следует, что в пилотаже тестовых вопросов из 64 общеобразовательных учреждений в 16 городах и районов республики, на подготовительных курсах Таджикского государственного медицинского университета имени Абуали ибн Сина и Национального университета Таджикистана приняло участие 4369 учащихся и слушателей. В августе текущего года по теме анализа качества тестовых вопросов данного пилотажа был заслушан его подробный отчёт.
Данные, приведенные в таблице №2.3.4, позволяют оценить степень надежности и валидности разработанных рубежных и итоговых тестов по русскому языку в таджикской школе как удовлетворительное и хорошее.
Таблица №2.3.4 Результаты оценки надежности и валидности тестов
|
P-value |
Надёжность и валидность |
|
|
0,85 - 1,00 |
Очень легкий... |
|
|
0,70 - 0,85 |
Легкий |
|
|
0,30- 0,70 |
Средней(дискриминативная сила ( деление учеников на активных и пасивных) хороших) |
|
|
0,15 - 0,30 |
Трудный |
|
|
(ЦЮ-0,15 |
Очень ТПУДНЫЙ |
Степень трудности теста определяется на основе общего количество учащихся, которые приняли участие в пилотаже и количество учащихся, которые на тестовые вопросы дали правильные ответы. Если из общего количества учащихся (100% ) 85% и более процентов дали правильные ответы, тогда этот тест является очень л?гким, степень его трудности представляется низким. Но, если из общего количества учащихся меньшее число (с 15 до 30%) дали правильные ответы, тогда этот тест представляется трудным (степень его трудности трудная) [ 81, с.296].
Как видно из представленного рисунка, предлагаемые задания итогового теста характеризуются достаточно высокой степенью различающей способности тестовых заданий.
Ниже будет представлена сравнительная характеристика с другими предметами нормативно-ориентированного и критериально-ориентированного тестирования в ходе эксперимента:
Рис. 2.3.1 Степени, различающие способность учащихся по результатам итоговых тестовых заданий по русскому языку в таджикской школе
Рис. 2.3.2
Одним из важнейших показателем качества теста является степень его трудности (P-value). В данной таблице показан степень трудности теста, которое принято как норма в тестологии.
Педагогическое тестирование позволяет получить валидную информацию о качестве знаний, умений и навыков, психологических качеств учащихся по русскому языку в таджикской школе; способствует дифференциации обучающихся по уровню подготовки; обеспечивает широкое использование образовательного мониторинга для оценки качества подготовки и возможности содержательного анализа усвоения всего учебного материала и отдельных тем.
Эксперимент показал, что учащиеся общеобразовательных школ пока не совсем готовы к тестовым проверкам, не знают о такой методике проверкиих знаний и умений. Они затрудняются дать правильный ответ на тестовые вопросы и заданий, не умеют заполнять листы для ответа. Было выявлено, что часть учащихся по причине незнания тестовых вопросов не обращают внимание на условия тестовых вопросов и заданий, ответы отмечают на угад, при этом ответы по два три раза исправляются.
В целом, считаем, что мини-пилот был проведен на удовлетворительном уровне. Пилотаж послужил хорошим примером для НЦТ по извлечению ошибок и работы над их устранением в дальнейшем. Пилот надо было реализовать, чтобы сотрудники НЦТ могли извлечь ошибки и недоработки, выявить недостатки, «пропустить» через себя весь процесс и работать над улучшением системы ЦВЭ.
Проведенная нами работа позволила определить основные требования, предъявляемые к тестам вообще и по русскому языку в средней школе с таджикским языком обученияи их месте среди других средств контроля.
Таблица №2.3.5
|
№ |
Район\ Город |
Кол-во школ |
Номера школ |
|
|
23. |
Душанбе |
19 |
№1, Лиц №1, №8, Гимн №9, Гимн №1, №60, №81, №92, №32, №54, №17, №28, №95, Гимн Душанбе, №72, №16, №20, №21, №48 |
|
|
24. |
Вахдат |
2 |
№1, №3 |
|
|
25. |
Турсунзода |
3 |
№2, №4, №75 |
|
|
26. |
Худжанд |
7 |
Гимн №13, Гимн №1, Гимн №24, №7, №22, №9, №8 |
|
|
27. |
Б. Гафуров |
4 |
№15, №58,№2, №35 |
|
|
28. |
Чкаловск |
4 |
Гимн №1, №3, №10, Школа интернат для одаренных детей |
|
|
29. |
Курган |
4 |
Лиц №1, №6, №9, №11 |
|
|
30. |
Кумсангир |
2 |
№1, №21 |
|
|
31. |
Куляб |
4 |
№1, №10, №15, №20 |
|
|
32. |
Хорог |
4 |
№1, №4, №8, №12 |
|
|
33. |
Шугнан |
2 |
№2, №9 |
|
|
Итого: |
55 |
Таблица 2.3.6. Распределение учеников по вариантам теста
|
Вариант |
Кол-во учеников |
|
|
Вар. 1 (русский) |
184 |
|
|
Вар. 2 (русский) |
188 |
|
|
Вар. 1 (таджикский) |
199 |
|
|
Вар. 2 (таджикский) |
197 |
|
|
Итого: |
768 |
Представляем выборочно несколько тестовых вопросов из 4 вариантов по русскому языку в школе с таджикским языком обучения с программным анализом, которые были апробированы в пилоте 2013 года:
В начале каждого варианта теста дается пояснительная записка: Пояснительная записка Данный тест составлен в соответствии с учебной программой по русскому языку в условиях интегрированного обучения в таджикской школе, включая гимназий, лицеев, колледжей.
При работе над данным тестом составители пришли к выводу о рациональном использовании времени, которое дается учащимся для решения тестовых вопросов. Такой подход позволит учителю быстро и объективно оценить уровень знаний, которые были получены и усвоены учащимися в школе. Составители теста решили большую часть заданий связать непосредственно с текстовым материалом. Поэтому в начале теста предлагался отрывок прозаического текста, прочитав который учащиеся должны были ответить на ряд вопросов по русскому языку и литературе.
Такая систематизированная работа позволила учащимся полностью сконцентрировать свое внимание непосредственно на тексте, а учителю - проверить их знания по всем основным уровням по русскому языку в таджикской школе. От такого осознанного и внимательного чтения текста зависит выбор правильного варианта ответа на вопросы. Выбор прозаического отрывка обусловлен тем, что вопросы, связанные с определением жанра, стиля и т.п. текста, не составят особой трудности при работе с ними. Большая часть вопросов была связана с различными разделами русского языка (фонетикой, лексикой, фразеологией, грамматикой, стилистикой).
Таким образом, мы предполагали, что тест поможет выявить реальный уровень преподавания русского языка в таджикской школе в условиях интегрированного обучения, с одной стороны, и уровень знаний, умений и навыков, полученных учащимися -с другой. Предлагаем 1 вариант:
Вариант № 1
Прочитайте текст и выполните задания:
Судьба книги в век телевидения и компьютеров
Социологи говорят, что кино, радио, телевидение, компьютеры уже вытесняют книгу. Однако радио и телевидение не заменяют печатное слово, а только дополняют его.
Телевидение и компьютеры получили массовое распространение в последние десятилетия. Именно в это время число выпускаемых книг удвоилось, а их общий тираж утроился. Одновременно удвоилось и число грамотных, читающих людей на Земле.
Чтение книги - это интеллектуальная связь, возникающая между автором и читателем. Читатель имеет время на размышление для того, чтобы вернуться к прочитанному, вникнуть в него поглубже. Наконец, за читателем остаётся право выбора - что читать.
Судьба книги в ситуации, которая называется «информационным взрывом», волнует писателей и учёных, педагогов и социологов, авторов и читателей, издателей и распространителей книг.
Новые технические средства не враги книги, а её союзники и помощники.
Утратив монопольное положение в информации, книга, тем не менее, остаётся душой современной системы коммуникации.X
1. Какова основная мысль прочитанного текста?
А) теперь книгами никто не будет пользоваться В) роль телевидения в жизни человека С) человек и компьютер D) книга - это удобная форма получения информации
Таблица 2.3.7 Анализ данного вопроса
|
Описательные статистики |
N |
Минимум |
Максимум |
р-уаіие |
гіг |
|
|
Т3_01г |
184 |
0 |
1 |
72,8% |
0,461 |
В данной таблице показано расположение заданий по возрастанию уровня трудности, выраженных долей или процентом лиц данной выборки, решивших соответствующую задачу, позволяет примерно определить порог трудности для в группе. Основным показателем трудности заданий теста является индекс трудности (Ui,), вычисляемый при учете случайного успеха путем угадывания по формуле:
Ui = 100 * (1 -(Np - (Np: (m -1))) : N)
где Ui - индекс трудности задания в процентах; Nn - число учеников, не решивших задачу; Np - число учеников, правильно решивших задачу; N - общее число учеников; m - число вариантов ответов. На данный вопрос ответили, 72,8% из этого следует, что вопрос л?гкий.
В данной таблице степень трудности данного вопроса является средней, а дискриминативная сила (сила разделения учащийся на активных и пассивных) хорошая.
В таком же порядке анализа представляем второй вопрос по данному варианту:
Рис. 2.3.3 Гистограмма знаний и умений учащихся по первому вопросу.
К какому стилю относится текст?
А) научному В) публицистическому С)разговорному D) художественному
Таблица 2.3.8 Анализ данного вопроса
|
Описательные статистики |
N |
Минимум |
Максимум |
р-уаіие |
гіг |
|
|
Т3_02г |
184 |
0 |
1 |
38,6% |
0,481 |
На данный вопрос ответили36,8% опрошенных лиц. Из этого следует, что вопрос немного сложный.
Рис. 2.3.4 Гистограмма знаний и умений учащихся по первому вопросу.
Из таблицы (гистограммы) делаем выводы, что высока дискриминативная сила в данном вопросе (сила разделения учащихся на активных и пассивных).
Вопросы по русской литературе также разнообразны и охватывают все основные периоды ее развития, начиная с устного народного творчества (фольклора), и заканчивая произведениями современных авторов. Важно знание не только биографии писателей и поэтов разных периодов, но и их творчества.
Ряд вопросов был посвящен теории литературы [38, С.6-10].
Укажите, из какого стихотворения взяты строки и кто является его автором.
Не страшно под пулями мертвыми лечь, Не горько остаться без крова,
И мы сохраним тебя, русская речь,
Великое русское слово.
Свободным и чистым тебя пронесем.
И внукам дадим, и от плена спасём. Навеки!
А) М.Ю. Лермонтов «Смерть поэта»
B) Н.А. Некрасова «Поэт и гражданин»
C) А.А. Ахматова «Мужество»
D) С.А. Есенин «Русь советская»
Таблица 2.3.9 Анализ данного вопроса
|
Описательные статистики |
N |
Минимум |
Максимум |
р-уаіие |
гіг |
|
|
Т3_02г |
184 |
0 |
1 |
49,2% |
0,453 |
На данный вопрос ответили, 49,2% учеников, из этого следует, что вопрос средней тяжести.
Пять последних вопросов были составлены в новом формате (на сопоставление). Учащиеся должны были сопоставить слова из 1-го и 2-го столбиков. Для каждого слова из 1-го столбика они должны были найти правильный ответ из 2-го столбика и записать ответ, как указано в образце. Причем одно из слов 2-го столбика останется незадействованным. Этот вопрос 16 по 20 вопроса тестового варианта был направлен на определение уровня усвоения умения применять полученные знания на практике.