Однако, применение компьютерных технологий в
учебном процессе требует более четкого и однозначного определения целей
контроля, отбора методического материала для оценки знаний и умений студентов,
с учетом цели проводимой проверки, а также разработки модели(ей) контроля и
оценки знаний [13].
Рис.3.1.1. Эволюция контроля знаний
В традиционных формах обучения любая проверка знаний обучаемого проводится исключительно с тем, чтобы помочь ему выявить пробелы в его образовании и адекватно оценить уровень его знаний. Однако когда мы начинаем рассматривать дистанционное обучение как равноценный традиционному обучению способ подготовки квалифицированных специалистов, тогда извечная для системы образования проблема контроля знаний и умений может возникнуть и в системе дистанционного образования. Ведь признание за пределами учебного заведения выдаваемых им дипломов и сертификатов в первую очередь зависит от того, насколько реальные знаниями обладает их владелец. Причем сама форма дистанционного обучения значительно усложняет полноценный контроль знаний, из-за разнесенности в пространстве, а иногда и во времени обучающегося и преподавателя [11].
Разумеется контроль знаний в системах дистанционного обучения имеет ряд своих преимуществ:
· Объективность. Исключается фактор субъективного подхода со стороны экзаменатора. Обработка результатов проводится через компьютер.
· Демократичность. Все экзаменуемые находятся в равных условиях.
· Массовость и кратковременность. Возможность за определенный промежуток времени проверить знания у большего количества экзаменуемых [25].
Но так же, например, остаётся проблема идентификации личности при дистанционном обучении, в частности при прохождении контроля знаний. Пусть мы уверены, что экзаменуемый не мошенничает во время проверки знаний, но откуда мы знаем, что с нами взаимодействует именно тот человек, который является обучающимся, а не кто-нибудь другой? Этот вопрос до сих пор остаётся нерешённым, и пока что в системах открытого дистанционного обучения данное обстоятельство можно регулировать лишь принуждая обучающихся к периодическим чат-общениям и видеоконференциях, что не всегда возможно и приемлемо, как для обучающихся так и для организаторов той или иной системы дистанционного обучения.
Надо отметить, что в таких системах контроль может базироваться на одном из двух подходов. Первым подходом является контролирование активности обучающегося. Такая система иногда применяется преподавателями, где обучающемуся для того, чтобы ему был засчитан курс, необходимо посетить какое-то определенное число лекций и практических занятий или отработать лабораторные работы. Подобный подход был бы самым простым в реализации. Но недостаток такого подхода очевиден: это отсутствие гарантии того, что обучающийся, действительно, получает от занятий, которые он посещает, необходимые ему знания. Другой подход основан на выявлении компетентности обучающегося в изучаемом предмете, т.е. важно не то, сколько занятий посетил обучающийся, а именно то, насколько хорошо он разбирается в материале и умеет его использовать. Именно такой подход к контролю знаний наиболее часто используется в системе дистанционного образования. Использование второго подхода является более прогрессивным.[14]
Вообще при проектировании системы дистанционного обучения, в особенности открытого, к контролю знаний следует подойти очень серьёзно, т.к. контроль знаний в таких системах требует тщательной проработки как методов контроля так и их реализации. Современная система контроля знаний в дистанционном обучении предполагает следующее:
· последовательное функциональное проектирование автоматизированной системы (каждый этап разработки интеллектуальных агентов требует подробного схематического описания с указанием последовательности производимых этим агентом действий);
· подробную спецификацию архитектуры распределенных интеллектуальных агентов, входящих в автоматизированную систему (интеллектуальные агенты, входящие в состав мультиагентной системы, проектируются локально, с учетом выполнения ими конкретно поставленной задачи);
· целостное функциональное взаимодействие всех внутренних процессов, составляющих автоматизированную систему (интеллектуальные агенты взаимодействуют между собой по запланированной схеме в пределах всей автоматизированной системы);
· формализуемость представления знаний человека (интеллектуальные агенты оперируют формализованными знаниями человека, и от степени формализованности этих знаний зависит успешность работы всей автоматизированной системы в целом) [27].
Здесь под «интеллектуальными агентами» понимаются программные части (скрипты) системы контроля знаний. Другой специфической особенностью автоматизированной системы оценки и контроля знаний при дистанционном обучении является интегрирование в среду данной автоматизированной системы сетевых технологий, позволяющих реализовать основной принцип дистанционного обучения. Универсальным решением этой проблемы является построение серверных агентов, отслеживающих запросы, направляемые на сервер и динамически формирующих соответствующие серверные ответы [11].
Помимо серверных агентов в автоматизированной системе должны быть предусмотрены специальные криптографические агенты, реализующие задачу сокрытия контрольной информации от свободного доступа обучаемого пользователя автоматизированной системы. Примером рассматриваемой автоматизированной системы оценки и контроля знаний является комплекс программного обеспечения, состоящий из электронного учебника, содержащего формальные данные в конкретной области знания, и из тестирующей системы, разработанной на основе архитектуры «клиент-сервер».
Как и в традиционном обучении, контроль знаний в дистанционном обучении имеет свои методы и модели. Процесс контроля знаний здесь состоит из трех этапов: формирование вопросов для контроля знаний на основе контрольных заданий, хранящихся в базе данных; выдача их обучающемуся и получение его ответа, возможно, с обратной связью; выставление оценки за контроль. Первые два этапа относятся к организации процесса компьютерного контроля [7].
Методы организации контроля знаний в дистанционном обучении можно разделить на три класса:
· неадаптивные методы;
· частично адаптивные методы;
· полностью адаптивные методы.
К неадаптивным методам контроля относятся:
Строгая последовательность. Набор заданий для контроля заранее подготавливается тьютором курса или разработчиком контрольной работы и помещается в базу данных системы. Как правило, это одинаковая последовательность вопросов для всех студентов. Недостатки данного метода очевидны: отсутствие разнообразия (одно из требований педагогики), понижение самостоятельности выполнения заданий и др. Этот метод считается наихудшим, поэтому и применяется крайне редко. Метод можно несколько улучшить, например, подготовив несколько вариантов контрольной работы и/или выдавая задания обучающимся в произвольной последовательности.
Случайная выборка. Набор заданий формируется непосредственно перед контролем на основе заданий, хранящихся в базе данных, т.е. вариант контрольной работы - это n случайно выбранных заданий (вопросов). Значение n может быть заранее задано тьютором (разработчиком контрольной работы) или выбрано обучающимся (например, при самопроверке). Преимущество данного метода состоит в том, что каждому обучающемуся предлагается индивидуальная последовательность вопросов. Метод широко используется для контроля в современных системах, в частности на портале INTUIT.RU. Основной недостаток метода - вариант контрольной работы генерируется без учета трудности заданий. Таким образом, набор заданий для одного студента может включать лишь самые трудные вопросы, а для другого - только легкие. Это часто приводит к искажению результатов контроля. Существуют различные модификации данного метода, позволяющие учитывать метаданные вопросов. Например, а) могут быть заданы тема и общее время контроля, время ответа на каждый вопрос, число попыток дать ответ и т.п.; б) дополнительно к (а) устанавливается число вопросов разной степени трудности и/или из разных тем в каждом варианте контрольной, что реализовано в тестовом портале разработанном в данной диссертации.
Комбинированный метод, в основе которого - “Случайная выборка”, дополненная “Строгой последовательностью”. В этом случае тьютор (разработчик контрольной работы) задает один или несколько вопросов, которые непременно должны быть включены в каждый вариант контрольной работы. Остальные задания генерируются случайным образом, как во втором методе.
Общим для всех неадаптивных методов является то, что вариант контрольной работы для каждого обучающегося формируется до контроля (заранее или непосредственно перед контролем знания), т.е. на первом этапе контроля знаний, что, с одной стороны, повышает скорость контроля (не требуется поиск задания в базе данных и его загрузка), с другой - позволяет выдавать задания двумя способами: по одному или списком. В последнем случае обучающийся сам может выбрать последовательность выполнения заданий [14].
Частично адаптивные методы контроля предполагают использование информации из модели студента (МС) или учебного материала (УМ) при формировании набора контрольных вопросов. К этому классу моделей относятся:
Случайная выборка с учетом отдельных параметров модели студента. Метод является развитием неадаптивных методов контроля знаний. Он аналогичен “Случайной выборке” и/или “Комбинированному методу”, т.е. набор заданий также формируется непосредственно перед контролем, но при генерации используются такие параметры МС, как общий уровень подготовленности, способность к обучению и, возможно, другие. Таким образом, каждому обучающемуся генерируется набор заданий, соответствующий его уровню подготовленности и способностям, что является главным преимуществом данного метода. Другое достоинство метода: обучающийся, выполняя задания, соответствующие его способностям, не испытывает лишней психологической нагрузки во время контроля. В качестве недостатка данного метода можно отметить следующее: обучающиеся получают задания различной трудности (это, безусловно, должно быть учтено при выставлении оценки), т.е. один выполняет только простые задания, а другой - трудные. Поэтому, генерируя вопросы обучающемуся, соответствующие его способностям, целесообразно включить в набор и один - два задания повышенной трудности и значимости.
Контроль на основе ответов студента. В этом методе контроль осуществляется по заранее составленному сценарию или, другими словами, по разветвленной контролирующей программе. Предварительная подготовка сценария контроля знаний дает возможность включить в программу вопросы разной степени трудности и значимости, расположив наиболее значимые и трудные задания в основной ветви программы, а более простые - в разветвлениях. Таким образом, студенты получают разное число вопросов, а, следовательно, и время, затрачиваемое ими на контроль, различно, что является достоинством данного метода. Другое преимущество метода - простота обеспечения обратной связи (выдачи соответствующего комментария). Такой подход в настоящее время встречается значительно реже, т.к. имеет существенный недостаток: всем студентам предлагаются одни и те же задания, однажды включенные в контролирующую программу. Устранить этот недостаток довольно просто - достаточно отделить сценарий контроля знаний от набора контрольных заданий.
Ответы студента, как параметр проведения контроля знаний, используются и в другом методе, который основан на байесовском подходе к принятию решений в условиях неопределенности. Метод предусматривает вычисление вероятностей для оценки знаний студента. Если рассчитанные вероятности не позволяют однозначно оценить проверяемые знания, то студенту предлагается еще один вопрос. В противном случае контроль продолжается, причем минимальное число вопросов n задается заранее.
Контроль на основе модели учебного материала (УМ). В данном методе формирование набора заданий для контроля знаний происходит на основе модели учебного материала (курса, темы, раздела темы), которая представляет собой ориентированный граф: множество вершин графа соответствует объектам изучения, а множество ребер - связям между ними. Изучение УМ, равно как и организация контроля, осуществляется в соответствии с оптимальной последовательностью изложения учебного материала, которая обычно есть ничто иное, как линейная последовательность объектов изучения. Таким образом, сначала генерируется задание для проверки знаний первого учебного объекта, затем - второго и т.д., т.е. последовательность выдачи заданий аналогична последовательности изучения учебного материала по модели УМ. При этом, если планируется проверить и знания, и умения, то одному учебному объекту могут соответствовать несколько вопросов.
Модульно-рейтинговый метод. Этот метод во многом аналогичен предыдущему. Учебный материал разделяется на отдельные составляющие - модули, для каждого из которых заранее подготавливается комплект контрольных заданий. В процессе контроля знаний обучающимся сначала предлагается вопрос из первого модуля. При этом после каждого ответа вычисляется его рейтинг. Переход к вопросам следующего модуля осуществляется при достижении определенного, заранее установленного рейтинга, причем обучающийся с целью повышения своего рейтинга, а, следовательно, и оценки, может продолжить выполнение заданий текущего модуля и лишь затем перейти к следующему. Данный метод используется в системе дистанционного обучения INTUIT.RU.
Методы данной группы, так или иначе, связаны со структурой учебного материала, а также учитывают уровень подготовленности студентов, т.е. налицо признаки адаптации.
Адаптивные методы максимально используют информацию из моделей студента и/или учебного материала. К ним относятся:
Контроль по модели обучающегося. В этом методе учитываются многие параметры модели обучающегося, а именно:
· уровень подготовленности влияет на трудность предлагаемых заданий;
· вид репрезентативной системы обусловливает форму представления заданий (текст, визуальное изображение, использование звука);
· направленность личности влияет на формулировку текста выдаваемого задания;
· уровень беспокойства-тревоги определяет как наличие обратной связи, так и форму, и детальность комментариев;
· особенности памяти являются условием для определения времени выполнения задания и контрольной работы в целом;
· ответ обучающегося, точнее, правильность ответа влияет на выбор следующего контрольного задания.
Сценарий контроля обычно формируется динамически в процессе контроля знаний, хотя набор сценариев для различных групп обучающихся может быть создан и заранее аналогично методу “Контроль по ответам студента”.
Контроль по моделям студента и учебного материала. Данный метод является развитием предыдущего, т.е. при формировании контрольных заданий используются приведенные ранее параметры модели студента, но процесс контроля знаний строится на базе модели учебного материала, учитывая взаимосвязи между проверяемыми понятиями.
Таким образом, в дистанционном обучении существует большое количество методов организации компьютерного контроля знаний, часть из которых в той или иной мере можно считать адаптивными.
.2 Тест как основной вид контроля
знаний в системах открытого дистанционного обучения
На сегодняшний день известно множество видов контроля знаний в дистанционном обучении: видео- и аудио-конференции, чаты, тестовые контроли, контроль через электронную почту, специализированные офф-лайн программы и др. Почему же именно тестовые контроли являются прерогативой открытого дистанционного обучения? Чтобы дать ответ на этот вопрос рассмотрим некоторые особенности вышеперечисленных видов контроля.