Вопросы в тестах самооценки (по 16 в каждом тесте) были сформулированы в виде утверждений с четырьмя градациями ответов: "Нет, это не так", "Скорее нет/не совсем", "Как правило, да", "Да, абсолютно". Итоговый тест формальной оценки состоял из вопросов разного типа и сложности (всего 14), включая открытые вопросы с ответом в виде файла.
Для проверки надежности (внутренней согласованности) вводного теста самооценки и обоих итоговых тестов были рассчитаны значения а Кронбаха; внутренняя согласованность считалась достаточной при а > 0,8 (Nunnally, Bernstein, 1994). Результаты проверки показали достаточную внутреннюю согласованность: а = 0,9 для вводного и итогового тестов самооценки, а = 0,8 для итогового теста формальной оценки.
Уровни сформированности цифровых компетенций в начале и в конце обучения оценивали в соответствии со шкалой, определенной следующим образом: низкий уровень - до 33 % от максимально возможного результата теста, базовый уровень - от 34 до 60 %; средний уровень - от 61 до 74 %; продвинутый уровень - 75 % и выше. Курс считался завершенным успешно при достижении как минимум базового уровня сформированности компетенций. Низкий уровень означал, что компетенции не были приобретены.
Гипотеза исследования заключалась в том, что подход к формированию компетенций ЦД будет эффективным при соблюдении следующих условий:
- учебные материалы курса основаны на принципах ЦД и универсального дизайна, а также на актуальных методах проектирования доступного образовательного веб-контента;
- обучение проводится в режиме онлайн с возможностью тьюторской поддержки обучающихся;
- рекомендуемые практические задания и тесты формирующего оценивания выполнены обучающимися с положительным результатом.
Обучение осуществляли в рамках бесплатных факультативов для обучающихся бакалавриата и магистратуры. Все слушатели имели возможность записаться на курс самостоятельно, однако de facto многие студенты были зачислены администрацией вуза принудительно. Процесс обучения, который поддерживали онлайн два преподавателя, включал добровольное самостоятельное изучение лекций, решение практических задач и обязательное прохождение вступительного и итогового формального тестирования. Переходы между элементами курса не ограничивались и не зависели от обязательного выполнения предыдущего элемента. Предоставлялось две попытки для прохождения итогового формального теста и неограниченное количество попыток выполнения заданий и тестов формирующего оценивания.
На момент запуска курса общую аудиторию составил 781 студент КФУ, из которых 556 записались самостоятельно, 225 были добавлены администрацией. Всего из исследования были исключены 604 студента, из которых 394 человека не прошли ни одной контрольной точки, 209 человек не прошли стартовое или итоговое тестирование, один студент не принадлежал целевой аудитории (не являлся обучающимся бакалавриата или магистратуры). В итоге пригодную для анализа выборку исследования составили данные, полученные от 177 человек (23 % первичной аудитории).
В итоговую выборку вошли студенты девяти институтов и академий КФУ (табл. 2).
Количество студентов в выборке существенно варьировало между вузами - от одного (0,56 %) до 63 (35,59 %). По собственному желанию на курс были зачислены 86 человек (48,59 %), 91 (51,41 %) - под административным давлением. Наибольшее число слушателей (более трети выборки) составили студенты Института педагогического образования и менеджмента, из которых 96,83 % были зачислены на курс принудительно. Далее, в порядке уменьшения числа привлеченных, находились студенты Физико-технического института (96,97 % зарегистрировались самостоятельно) и Евпаторийского института социальных наук (93,55 % зачислены принудительно). Следовательно, студенты информационно-технологических направлений подготовки чаще, чем представители других специальностей, самостоятельно и осознанно выбирали данный курс для совершенствования собственных профессиональных навыков.
На педагогических направлениях подготовки обучались 94 человека (53,11 %), 13 (7,34 %) - имели в программе бакалавриата отдельные педагогические дисциплины, 20 (11,30 %) - изучали педагогику в рамках магистерских программ. Таким образом, обучение почти трех четвертей привлеченных студентов (127; 71,75 %) было напрямую связано с их возможной преподавательской деятельностью в будущем.
Для дальнейшего анализа выборка исследования была разделена на две группы: "Младшая" - студенты 1-3-го курсов бакалавриата; "Старшая" - студенты 4-го курса бакалавриата и 1-2-го курсов магистратуры (табл. 2).
Таблица 2 / Table 2
Распределение вовлеченных студентов в выборке исследования, N = 177 /
Distribution of the students involved in the study sample, N = 177
|
Институты и академии КФУ / CFU academies and institutes |
Младшая группа / Junior group, n, % |
Старшая группа / Senior group, n, % |
Всего/ Total, n, % |
|||||
|
Б., 1-й курс / Un., 1st year |
Б., 2-й курс / Un., 2nd year |
Б., 3-й курс / Un., 3rd year |
Б., 4-й курс / Un., 4th year |
М., 1-й курс / Gr., 1st year |
М., 2-й курс / Gr., 2nd year |
|||
|
АСиА / ACA |
0 (0,00) |
0 (0,00) |
0 (0,00) |
2 (1,13) |
4 (2,26) |
0 (0,00) |
6 (3,39) |
|
|
АТА / ATA |
0 (0,00) |
1 (0,56) |
0 (0,00) |
0 (0,00) |
0 (0,00) |
0 (0,00) |
1 (0,56) |
|
|
ЕИСН / YISS |
0 (0,00) |
14 (7,91) |
5 (2,82) |
12 (6,78) |
0 (0,00) |
0 (0,00) |
31 (17,51) |
|
|
ИММиД / IMMD |
0 (0,00) |
3(1,69) |
3 (1,69) |
3(1,69) |
0 (0,00) |
0 (0,00) |
9 (5,08) |
|
|
ИПОМ / IPEM |
3(1,69) |
7 (3,95) |
11 (6,21) |
42 (23,73) |
0 (0,00) |
0 (0,00) |
63 (35,59) |
|
|
ИЭиУ / IEM |
2 (1,13) |
6 (3,39) |
4 (2,26) |
0 (0,00) |
0 (0,00) |
0 (0,00) |
12 (6,78) |
|
|
СЭГИ / SIEH |
0 (0,00) |
2 (1,13) |
13 (7,34) |
3(1,69) |
0 (0,00) |
0 (0,00) |
18 (10,17) |
|
|
ТА / TA |
0 (0,00) |
2 (1,13) |
0 (0,00) |
1 (0,56) |
1 (0,56) |
0 (0,00) |
4 (2,26) |
|
|
ФТИ / PTI |
1 (0,56) |
8 (4,52) |
8 (4,52) |
1 (0,56) |
9 (5,08) |
6 (3,39) |
33 (18,64) |
|
|
Всего / Total |
6 (3,39) |
43 (24,29) |
44 (24,86) |
64 (36,16) |
14 (7,91) |
6 (3,39) |
177 (100,00) |
|
|
93 (52,54) |
84 (47,46) |
Примечание: КФУ - Крымский федеральный университет имени В.И. Вернадского; АСиА - Академия строительства и архитектуры; АТА - Агротехнологическая академия; ЕИСН - Евпаторийский институт социальных наук; ИММиД - Институт медиакоммуникаций, медиатехнологий и дизайна; ИПОМ - Институт педагогического образования и менеджмента; ИЭиУ - Институт экономики и управления, СЭГИ - Севастопольский экономико-гуманитарный институт; ТА - Таврическая академия; ФТИ - Физико-технический институт; Б. - бакалавриат; М. - магистратура
Note: CFU - V. I. Vernadsky Crimean Federal University; ACA - Academy of Construction and Architecture; ATA - Agrotechnology Academy; YISS - Yevpatoria Institute of Social Sciences; IMMD - Institute of Media Communications, Media Technologies and Design; IPEM - Institute of Pedagogical Education and Management; IEM - Institute of Economics and Management; SEHI - Sevastopol Institute of Economics and Humanities; TA - Taurida Academy; PTI - Physics and Technology Institute; Un. - undergraduate; Gr. - graduate.
Для статистического анализа и представления результатов исследования использован язык программирования R и программа Microsoft Excel. Применялись следующие критерии и методы: Шапиро - Уилка - для проверки нормальности распределения; Манна - У итни и х 2 Пирсона - для проверки однородности распределения; критерий Уилкоксона и дисперсионный анализ сравнения выборок, коэффициент корреляции - для изучения связей между переменными. Связь считалась подтвержденной, а различия значимыми при значении p < 0,05. Для выполнения статистического анализа результаты по всем проверяемым элементам курса были нормированы из расчета, что 100 % соответствует максимально возможной оценке.
Результаты
Система компетенций ЦД. Обучение на курсе было направлено на формирование двух профессиональных компетенций (далее обозначаемых как ПК 1 и ПК 2), предназначенных для создания, интеграции и обработки доступного цифрового образовательного контента в соответствии с принципами ЦД и универсального дизайна. Способность разрабатывать цифровой образовательный контент для ЭО лиц с ОВЗ рассматривалась как ПК 1, а способность интегрировать и обрабатывать цифровой образовательный контент для вышеуказанных лиц - как ПК 2.
Разработана система компетенций, состоящая из 10 элементов для ПК 1 и шести - для ПК 2. Элементы компетенций были распределены по типам (знания - 25 % элементов, навыки - 62,5 %, интенции - 12,5 %) и по рангам в соответствии со шкалой сформированности компетенций (базовый уровень - 25 % элементов, средний - 50 %, продвинутый - 25 %). Содержание компетенций поэлементно представлено в табл. 3.
Подход к структурированию системы компетенций с соблюдением предложенных пропорций отдельных ее элементов позволил очертить круг знаний и навыков, достаточных для выполнения работ по созданию, преобразованию и анализу доступных ЭОР. Между вопросами итоговых тестов и содержанием каждого элемента было установлено взаимно однозначное соответствие, что дало возможность охватить всю систему компетенций и получить в ходе проверки целостную картину их сформированности. Исключение составили элементы типа "интенция", которые проверялись в ходе самооценки, но отсутствовали в тесте формальной оценки в связи с невозможностью их объективизации.
Таблица 3 / Table 3
Структура и содержание системы компетенций ЦД /
Structure and content of the system of digital accessibility competences
|
№ / No. |
Элемент компетенции / Competence element |
Тип элемента/ Element type |
Ранг элемента/ Element grade |
|
|
ПК-1. Способность разрабатывать цифровой образовательный контент для ЭО лиц с ОВЗ в соответствии с принципами ЦД и универсального дизайна / PC1. The ability to develop digital educational content for e-learning of persons with disabilities in accordance with the principles of digital accessibility and universal design |
||||
|
1.1 |
Знать, что такое ЦД, универсальный дизайн и универсальный дизайн для обучения; какими международными стандартами и нормами они регулируются / Know what are the digital accessibility, universal design and universal design for learning; what international standards and norms they are regulated by |
Знания/ Knowledge |
Базовый/ Baseline |
|
|
1.2 |
Понимать требования доступности к цифровому образовательному контенту (по типу контента, включая цифровые документы, мультимедиа, тесты, симуляции, научную нотацию и т. д.) / Understand the accessibility requirements for educational digital content (by content type, including digital documents, multimedia, tests, simulations, scientific notation, etc.) |
Знания/ Knowledge |
Базовый/ Baseline |
|
|
1.3 |
Знать, какие требования к образовательному веб-контенту должны быть выполнены, чтобы предоставить всем обучающимся доступное обучение, и насколько эти требования соответствуют принципам и положениям международных стандартов веб-доступности / Know what requirements to educational web content must be met in order to provide all students with accessible learning, and how these requirements comply with the principles and provisions of international web accessibility standards |
Знания / Knowledge |
Базовый / Baseline |
|
|
1.4 |
Знать и понимать, почему необходимо следовать принципам универсального дизайна и стандартам веб-доступности при разработке образовательного веб-контента/ Know and understand why it is necessary to follow the universal design principles and web accessibility standards when designing the educational web content |
Знания/ Knowledge |
Базовый / Baseline |
|
|
1.5 |
Иметь желание и намерение распространять информацию о ЦД и универсальном дизайне в профессиональном сообществе / Have the desire and intention to spread information on digital accessibility and universal design in the professional community |
Интенции / Intentions |
Средний / Interjacent |
|
|
1.6 |
Знать методы проверки доступности образовательного контента и уметь их применять / Know methods for checking the accessibility of educational content and be able to apply them |
Навыки / Skills |
Средний/ Interjacent |
|
|
1.7 |
Уметь создавать текстовые документы, компьютерные презентации, электронные таблицы и документы в формате PDF, отвечающие требованиям доступности / Be able to design text documents, computer presentations, spreadsheets, and PDF documents that meet the accessibility requirements |
Навыки / Skills |
Средний/ Interjacent |
|
|
1.8 |
Уметь разрабатывать субтитры и стенограммы для видео / Be able to develop subtitles and transcripts for videos |
Навыки / Skills |
Средний/ Interjacent |
|
|
1.9 |
Уметь разрабатывать задания (тесты, задачи) для ЭОР с соблюдением требований доступности / Be able to develop assignments (tests, tasks) for electronic educational resources in compliance with the accessibility requirements |
Навыки / Skills |
Средний / Interjacent |
|
|
1.10 |
Иметь желание и намерение разрабатывать доступные ЭОР / Have the desire and intention to develop accessible electronic educational resources |
Интенции / Intentions |
Средний/ Interjacent |
|
|
ПК-2. Способность интегрировать и перерабатывать цифровой образовательный контент для ЭО лиц с ОВЗ с соблюдением принципов доступности / PC2. The ability to integrate and process digital educational content for e-learning of persons with disabilities in accordance with the principles of digital accessibility and universal design |
||||
|
2.1 |
Уметь оценивать и анализировать доступность учебных цифровых (в то числе онлайн-) материалов с помощью методов автоматической и экспертной проверки / Be able to evaluate and analyze the accessibility of digital (including online) learning materials using automated and peer review tools |
Навыки / Skills |
Продвинутый / Advanced |
|
|
2.2 |
Уметь определять тип нарушения доступности цифрового контента, включая образовательный контент, и указывать способы исправления ошибки / Be able to identify the type of violation of the accessibility of digital content (including learning materials) and indicate ways to correct the error |
Навыки / Skills |
Средний / Interjacent |
|
|
2.3 |
Знать и уметь описать словами изображение и видео, знать и уметь применять основные правила аудиодескрипции / Know and be able to describe images and videos in words, know and be able to apply the basic rules of audio description |
Навыки / Skills |
Средний / Interjacent |
|
|
2.4 |
Уметь исправлять собственные и чужие ошибки доступности в текстовых документах, презентациях, электронных таблицах и pdf-документах / Be able to correct one's own and others' accessibility errors in text documents, presentations, spreadsheets and pdf documents |
Навыки / Skills |
Продвинутый / Advanced |
|
|
2.5 |
Уметь разрабатывать доступные ЭОР, состоящие из разных типов контента (тексты, таблицы, презентации, видео, тесты, задания и т. д.) / Be able to develop accessible electronic educational resources consisting of different content types (texts, tables, presentations, videos, tests, tasks, etc.) |
Навыки / Skills |
Продвинутый / Advanced |
|
|
2.6 |
Уметь научать других людей тому, как проверять доступность ЭОР и как создавать доступный образовательный цифровой контент / Be able to teach other people how to check the accessibility of electronic educational resources and how to create accessible educational digital content |
Навыки / Skills |
Продвинутый / Advanced |
Однородность выборки исследования. Проверка однородности выборки в группах "Младшая" и "Старшая" выполнялась в два этапа:
1) выдвинуты нулевые гипотезы №(1) и H0(2) о равенстве медиан оценок студентов в группах "Младшая" и "Старшая" при вводном и итоговом тестировании сформированности компетенций соответственно. Для обеих групп значения p критерия Шапиро - Уилка оказались < 0,05, следовательно распределения в группах отличались от нормального, что способствовало выбору критерия Манна - Уитни для проверки равенства медиан. Для вводного и итогового тестирования p критерия Манна - Уитни оказались > 0,05, следовательно, нулевые гипотезы о том, что медианы выборок статистически не отличаются, не могли быть отвергнуты;
2) выдвинуты нулевые гипотезы H0(3) и H0(4) об однородности выборок в группах "Младшая" и "Старшая" соответственно. Для проверки гипотез использован критерий х 2 Пирсона с предварительной перегруппировкой выборок путем объединения данных, соответствующих низкому и базовому уровням сформированности компетенций (не более 60 % от максимально возможного результата). Для обеих групп значения p > 0,05, следовательно, нулевые гипотезы о том, что выборки однородны, не могли быть отвергнуты.
В табл. 4 приведены результаты проверки однородности выборки исследования.
Таблица 4 / Table 4
Результаты проверки однородности в группах "Младшая" и "Старшая" с помощью критериев Шапиро - Уилка, Манна - Уитни и х 2 Пирсона /
Results of checking the homogeneity in the "Junior" group and "Senior" group using the Shapiro - Wilk test, Mann - Whitney U test and Pearson's chi-squared test
|
Уровни сформированности компетенций и наименования статистических показателей* / Levels of formed competences and names of statistical indices* |
Вводная формальная оценка сформированности компетенций / Introductory formal assessment of formed competences |
Итоговая формальная оценка сформированности компетенций / Final formal assessment of formed competences |
|||
|
Младшая группа / Junior group, N = 93 |
Старшая группа / Senior group, N = 84 |
Младшая группа / Junior group, N = 93 |
Старшая группа / Senior group, N = 84 |
||
|
Низкий + базовый** / Low + Baseline**, n, % |
21 (11,86) |
29 (16,38) |
30 (16.95) |
28 (15.82) |
|
|
Средний / Interjacent, n, % |
43 (24,29) |
33 (18,64) |
20 (11.30) |
21 (11.86) |
|
|
Продвинутый / Advanced, n, % |
29 (16,38) |
22 (12,43) |
43 (24.29) |
35 (19.77) |
|
|
Средняя оценка / Average mark, a ± a, % |
67,13 ± 11,67 |
62,94 ± 16,80 |
68.70 ± 18.49 |
67.23 ± 17.69 |
|
|
Медиана оценок / Median of marks, Me ± MAD, % |
69,00 ± 7,00 |
66,50 ± 9,00 |
68.90 ± 14.47 |
69.43 ± 13.34 |
|
|
Критерий Шапиро - Уилка, W(p) / Shapiro - Wilk test, W(p-value) |
0,9322 (<0,001) |
0,9165 (<0,001) |
0.9688 (0.025) |
0.9602 (0.012) |
|
|
Критерий х 2 (Пирсона), х 2 (p) / Pearson's chi-squared test, x2 (p-value) |
3,107 (0,210) |
0,457 (0,796) |
|||
|
Критерий Манна - Уитни, W(p) / Mann - Whitney test, W(p-value) |
4350,5 (0,192) |
4101,5 (0,567) |
|||
|
Степени свободы, df / Degrees of freedom df |
2 |
2 |