Мы апробировали разработанный учебный модуль, а также заложенный в его основу комплекс практических упражнений методом & линейного формирующего эксперимента, в ходе которого проверялась эффективность разработанного обучающего модуля. В эксперименте приняло участие 22 студента IV курса бакалавриата и 8 студентов II курса отделения внешней магистратуры, обучающихся на кафедре теории преподавания иностранных языков факультета иностранных языков и регионоведения Московского государственного университета им. М.В. Ломоносова. В ходе нашего экспериментального исследования мы не разделяли студентов по уровням образования, поскольку ни одна из групп не проходила какого-либо аналогичного курса за весь период обучения.
Сначала студентам было предложено пройти предварительное анкетирование с целью самостоятельно оценить собственное владение знаниями, умениями и стратегиями, которые заложены в основу настоящего обучающего модуля в качестве результатов его освоения. Опросник был разработан по модели психометрической шкалы Лайкерта, где респондентам было предложено оценить степень своего согласия с каждым из шестнадцати приведенных утверждений - «Полностью согласен / согласна»; «Скорее согласен/согласна»; «Скорее не согласен / не согласна»; «Совершенно не согласен / не согласна» (см. табл. 3).
Кроме того, каждый студент получил распечатанную копию эссе-рассуждения, написанного в формате задания 2 в письменной части международного экзамена IELTS. Данное эссе было оценено экспертами в пять баллов по девятибалльной шкале оценивания письменных заданий IELTS, что, согласно документам ассоциации Cambridge Assessment, находится на стыке уровней B1 и B2 по Общеевропейской системе оценивания уровней владения иностранным языком (CEFR)1. Студенты получили установку проверить и оценить предложенную работу так, как они считают нужным.
Констатация и интерпретация результатов исследования
В ходе прямого наблюдения за выполнением данного задания мы констатировали следующее.
1. Не все студенты воспользовались критериями оценивания. В тех работах, где проверяющие производили оценивание в соответствии с критериями, отмечен разброс оценок от 2-х до 4-х баллов (при экспертной оценке данной работы - 5 баллов).
2. 14 студентов из 30 дали письменные комментарии автору эссе.
Из них в 2 комментариях присутствует мотивационный компонент, в 4 комментариях - инструктивный компонент. Большинство комментариев представляют собой констатацию преимущественно слабых сторон работы. Важно также отметить характерное для всех комментариев (за редким исключением) отсутствие конкретики в формулировках, что усложняет стоящую перед обучающимся задачу по улучшению работы (к примеру, Poor grammar! `Слабая грамматика'; Overall, good ideas. Please, mind your grammar `В целом хорошие идеи. Пожалуйста, обращай внимание на грамматику'; Too many mistakes. `Слишком много ошибок').
3. Мы нашли некоторые формулировки в комментариях не совсем удачными с точки зрения языковой грамотности. Так, к примеру, в формулировке Notice all your mistakes and rewrite it `Обрати внимание на все свои ошибки и перепиши его [это эссе]' в финальном комментарии явно имелась в виду необходимость обратить внимание на допущенные ошибки, и слово notice `замечать' является в данном случае неуместным (особенно учитывая тот факт, что преподаватель самостоятельно исправил ошибки в тексте), и его можно было бы заменить, к примеру, на Pay attention to your mistakes `Обрати внимание на свои ошибки' или Have a look at your mistakes `Посмотри свои ошибки'. А в комментарии из пяти слов, оставленном на полях: try to change word `important' `постарайся изменить слово `важно', - допущено одновременно две ошибки. Во-первых, отсутствует определенный артикль the перед словом word, а во-вторых, судя по контексту, педагог имел в виду, что обучающемуся необходимо найти замену этому слову (to replace `заменить', to find a synonym `найти синоним'). Глагол to change в данном контексте может привести к тому, что весь комментарий будет воспринят автором работы как призыв к изменению формы слова important, что совсем не нужно. Проблема языковой грамотности письменных комментариев педагога особенно важна, ведь язык преподавателя, помимо прочего, служит для обучающихся моделью для подражания.
4. За редким исключением, студенты использовали элементы различных стратегий исправления языковых ошибок, что, однако, в большинстве работ не носило упорядоченный характер. В основном студенты прибегли к стратегии прямой обратной связи (исправление неправильного варианта написания на правильный). В 16 работах из 30 были использованы символы, обозначающие типы ошибок (error-codes), однако их репертуар был ограничен лишь тремя или четырьмя различными символами. Кроме того, в ряде работ использование данной стратегии носило эпизодический характер, однако выявить принципы, по которым в одной и той же работе обозначались специальными символами одни ошибки и не обозначались другие, нам не удалось. В 20 работах из 30 были отмечены элементы косвенной обратной связи, однако, принимая во внимание результаты предварительного анкетирования и последующие обсуждения в ходе выполнения практических упражнений во время проведения обучающего модуля, мы не можем быть уверены в том, что данная стратегия исправления ошибок в ряде случаев была выбрана осознанно. Более того, мы можем выдвинуть предположение, что некоторые фрагменты текста эссе были подчеркнуты или обведены лишь потому, что проверяющие не были уверены, каким образом следует исправить ошибочное написание.
По результатам анализа материалов предварительной оценки целевых знаний, навыков и умений у студентов мы убедились в целесообразности проведения разработанного обучающего модуля в данных группах.
После прохождения обучающего модуля, структура и содержание которого изложены в таблице 1, студенты снова заполнили опросник, идентичный тому, что использовался в качестве предварительного анкетирования (см. табл. 3). Им также было предложено оценить аналогичное эссе-рассуждение и написать письменный комментарий его автору.
При подведении итогов анкетирования мы сравнили результаты предварительного и финального опросов. Для удобства сравнения мнения респондентов относительно уровня собственного владения знаниями, умениями и стратегиями, представленными в опросном листе, до и после прохождения обучающего модуля, мы присвоили каждому утверждению «Полностью согласен/согласна» 4 балла, «Скорее согласен/согласна» - 3 балла, «Скорее не согласен / не согласна» - 2 балла, «Совершенно не согласен / не согласна» - 1 балл. Затем мы рассчитали средние оценки, которые респонденты дали каждому из утверждений, и сравнили их (табл. 3).
Таблица 3
Результаты предварительного и финального анкетирования
|
Варианты утверждений |
Средняя оценка, данная студентами приведенным утверждениям |
Разница в значении |
||
|
До обучения |
После обучения |
|||
|
Я знаю функции обратной связи в оценивании письменной речи обучающихся |
2,76 |
3,73 |
0,97 |
|
|
Я знаю различные техники исправления языковых ошибок и особенности их использования |
2,16 |
3,73 |
1,15 |
|
|
Я знаю критерии оценивания письменной речи, используемые в российских и международных экзаменах |
2,83 |
3,26 |
0,43 |
|
|
Я знаю различные символы, обозначающие типы ошибок |
2,73 |
3,5 |
0,77 |
|
|
Я знаю лексические и грамматические единицы, наиболее часто встречающиеся в педагогической обратной связи при обучении письменной речи на иностранном языке |
2,26 |
3,8 |
1,54 |
|
|
Я умею формулировать на иностранном языке описание сильных и слабых сторон письменных работ обучающихся |
2,83 |
3,56 |
0,73 |
|
|
Я умею обнаруживать ошибки в письменных работах обучающихся |
3,33 |
3,4 |
0,07 |
|
|
Я умею правильно использовать символы, обозначающие различные типы ошибок (error codes), при исправлении ошибок в письменных работах обучающихся |
2,06 |
3,36 |
1,3 |
|
|
Я умею аргументированно выбирать тип обратной связи, исходя из уровня владения иностранным языком обучающийся и их личностных характеристик |
2,7 |
3,27 |
0,57 |
|
|
Я умею грамотно анализировать шкалы оценивания, выделяя основные характеристики различных уровней |
2,4 |
3,3 |
0,9 |
|
|
Я умею определять соответствие элементов письменной работы определенным критериям в шкале оценивания |
2,57 |
3,23 |
0,66 |
|
|
Я умею формулировать металингвистические комментарии на иностранном языке |
2,07 |
3,37 |
1,3 |
|
|
Я умею формулировать на иностранном языке рекомендации по улучшению письменных работ обучающихся, включая мотивирующую и инструктивную части |
2,7 |
3,43 |
0,73 |
|
|
Я владею стратегиями чтения шкал оценивания, выделяя основные характеристики различных уровней |
2,33 |
3,43 |
1,1 |
|
|
Я владею стратегиями проверки и оценивания письменных работ обучающихся |
2,2 |
3,37 |
1,17 |
|
|
Я владею стратегиями предоставления конструктивной письменной обратной связи на письменные работы обучающихся |
2,13 |
3,3 |
1,17 |
В результате мы наблюдаем увеличение средней оценки, данной каждому из шестнадцати утверждений. Наибольшее изменение (1,54) коснулось утверждения о знании «лексических и грамматических единиц, часто встречающихся в обратной связи», формирование которого было одной из задач последнего занятия. При анализе множества примеров письменной педагогической обратной связи по критериям эффективного комментария, самостоятельно составленным студентами во время семинара в ходе группового обсуждения, студентам также была дана установка выделять в тексте полезные, на их взгляд, фразы, которое они могли бы использовать при комментировании работ своих обучающихся. Кроме того, студенты получили перечень аутентичных фраз, заимствованных из реальных удачных примеров письменной педагогической обратной связи, которыми они могли пользоваться как во время написания комментариев при выполнении домашнего задания, так и при контрольном оценивании эссе по результатам прохождения модуля.
Два других утверждения, получивших наибольший прирост средней оценки, соответствуют задачам первого блока обучающего модуля, направленного на развитие умений педагога исправлять языковые ошибки в иноязычной письменной речи - «Я умею правильно использовать символы, обозначающие различные типы ошибок, при исправлении ошибок в письменных работах обучающихся» (1,3) и «Я умею формулировать металингвистические комментарии на иностранном языке» (1,3).
В процессе наблюдения за выполнением студентами практических упражнений по отработке стратегий исправления языковых ошибок в иноязычной письменной речи мы сделали вывод, что несмотря на то, что многие студенты изначально были знакомы со стратегией обозначения языковых ошибок в работах обучающихся специальными символами (error-codes), далеко не многие могли сформулировать цель их использования преподавателем. Кроме того, при анализе исправлений, внесенных студентами во время проверки эссе-рассуждения до начала прохождения обучающего модуля, мы отметили и ограниченный набор данных обозначений, который сводился преимущественно к трем: G или Gr. для обозначения всех грамматических ошибок (от неправильного употребления артиклей до нарушений синтаксических норм, ошибок в использовании местоимений или наречий), Sp - для обозначения неверного написания слов и V или Voc. - для ошибок в словоупотреблении. Наконец, важно отметить и частые случаи некорректного использования данных символов. Так, в разработке учебных материалов мы ставили перед собой задачу не только расширить их репертуар у студентов, что позволяло бы обучающимся более точно обозначать ошибки, но приучить осмысленно подходить к их выбору, анализируя возможные причины неверного написания.
В процессе же создания металингвистических комментариев перед студентами стояла задача написать краткие, но в то же время емкие и понятные пояснения языковых ошибок, допущенных обучающимися в письменной речи. Это, на первой взгляд, методическое умение основывается на сформированных у педагога языковых навыках. Эффективность соответствующих упражнений не раз отмечалась студентами в устной форме во время семинара, ведь в процессе их выполнения им часто приходилось перепроверять свои знания, обращаясь к словарям или справочникам по грамматике.
Что касается утверждения с наименьшей разницей между средней оценкой, данной студентами до и после прохождения обучающего модуля, - «Я умею обнаруживать ошибки в письменных работах обучающихся» (0,07), - то его формирование объективно вызвало наибольшие трудности у студентов, как у бакалавров, так и у магистров, во всех трех группах. Это объясняется тем, что, как и в случае с умением предоставлять металингвистические комментарии, в его основе лежит высокая степень сформированности лексических и грамматических навыков преподавателя, которая наблюдалась не у всех студентов. Кроме того, мы выделили следующие примеры нерационального поведения студентов в процессе проверки письменных работ обучающихся на языковую грамотность, которые должны быть учтены в дальнейшей работе над данным обучающим модулем:
- склонность к чрезмерному внесению исправлений, даже там, где написанное соответствует языковой норме;
- исправление правильного написания на неправильное;
- изменение смысла текста, написанного обучающимися, в процессе исправления языковых ошибок;
- нерациональное распределение внимания в процессе поиска ошибок - студенты часто выносили на обсуждение незначительные погрешности в письменной речи обучающихся, не замечая при этом более грубых ошибок.
Наконец, мы изучили обратную связь, предоставленную студентами на проверяемые эссе в ходе контрольного этапа эксперимента, и сделали следующие выводы.
1. В целом, в работах наблюдается более последовательное использование стратегий исправления языковых ошибок, преимущественно прямой обратной связи и символов, обозначающих типы ошибок (error-codes), набор которых стал существенно более разнообразным. В 10 работах отмечено использование стратегии металингвистических комментариев на полях или в тексте финального комментария.
2. Отдельно следует прокомментировать работу с критериями оценивания. Средняя оценка, данная студентами контрольному эссе, - 6 баллов по шкале выполнения письменных заданий IELTS, что соответствует экспертной оценке. В 9 работах помимо общей оценки дана краткая аргументация выставленному баллу по каждому из четырех критериев.