Примечание: * N - количество студентов в группах; n - количество слушателей с разными уровнями сформированности компетенций: а - стандартное отклонение оценок; MAD - медианное абсолютное отклонение оценок; p - уровень значимости; ** данные низкого и базового уровней объединены для проверки однородности выборки.
Note: * N - the number of students in the groups; n - the number of students with different levels of formed competences; а - the standard deviation of marks; MAD - median absolute deviation of marks; p - the significance level; ** low and baseline level data were combined to check the sample homogeneity.
На основании выполненной проверки, гипотезы об однородности групп "Младшая" и "Старшая" не были отвергнуты, что позволило объединить обе группы и в последующем работать с ними как с единой выборкой, то есть делать совместные выводы об успеваемости членов групп. Иными словами, уровни сформированности компетенций перед и после обучения в обеих группах статистически не отличались, поэтому при положительном результате испытаний курс может быть рекомендован к включению в образовательные программы как на раннем, так и на позднем этапах обучения.
Исследование результатов обучения в объединенной выборке. Исходные материалы, характеризующие процесс и результаты обучения, приведены в наборе данных, опубликованном авторами (Kosova, Redkokosh,
2022) . Данные тестирования сформированности цифровых компетенций в начале и в конце обучения представлены в табл. 5 и 6 соответственно.
Таблица 5 / Table 5
Результаты самооценки и формального оценивания уровня цифровых компетенций у студентов перед началом обучения, N = 177 /
Results of self-assessment and formal assessment of the students' digital competences (before the start of training), N = 177
|
Уровни сформированности компетенций / Levels of formed competences |
Самооценка/ Self-assessment |
Формальная оценка/ Formal assessment |
Критерий Уилкоксона W(p) / Wilcoxon test W(p-value) |
||
|
Низкий / |
n, % |
25 (14,12) |
8 (4,52) |
124 (0,317) |
|
|
Low |
Me ± MAD, % |
29,19 ± 2,06 |
27,00 ± 2,24 |
||
|
Базовый / |
n, % |
88 (49,72) |
42 (23,73) |
1308,5 (0,007) |
|
|
Baseline |
Me ± MAD, % |
47,94 ± 6,25 |
53,00 ± 5,00 |
||
|
Средний/ |
n, % |
38 (21,47) |
76 (42,94) |
941 (0,002) |
|
|
Interjacent |
Me ± MAD, % |
66,69 ± 2,13 |
68,00 ± 2,24 |
||
|
Продвинутый / |
n, % |
16 (9,04) |
51 (28,81) |
599 (0,005) |
|
|
Advanced |
Me ± MAD, % |
83,31 ± 3,13 |
79,00 ± 5,29 |
||
|
Пренебрегли тестированием / Ignored testing, n, % |
10 (5,65) |
0 (0,00) |
7592,5 (<0,001) |
||
|
Мє06щ 8я ± MAD / Megeneral ± MAD, % |
52,06 ± 12,50 |
68.00 ± 8,00 |
Примечание: n - количество слушателей с разными уровнями сформированности компетенций; Me - медиана оценок на каждом уровне; Меобщая - медиана оценок во всей выборке; MAD - медианное абсолютное отклонение оценок
Note: n - the number of students with different levels of digital competences; Me - the median mark on each level; Megenera, - the median mark in the entire sample; MAD - the median absolute deviation of marks.
Подавляющее большинство обучающихся (169 человек, 95,50 %) имели стартовый уровень сформированности цифровых компетенций не ниже базового. Вместе с тем приведенные результаты (табл. 5) свидетельствуют о значимых различиях между данными самооценки и формальной оценки как в совокупности, так и по отдельным уровням. Слушатели с базовым и средним уровнями сформированности цифровых компетенций, судя по медиане оценок, умаляли свои возможности, тогда как слушатели, достигшие продвинутого уровня, напротив, себя переоценивали. В целом же на старте обучения большая часть участников была склонна себя недооценивать.
По результатам итогового формального тестирования (табл. 6) курс успешно завершили 170 человек, что составляет 96,05 % от числа всех зачисленных. При этом значимых различий между данными формальной оценки и итоговой самооценки (по уровням и в общем) обнаружить не удалось (р > 0,05). Это может свидетельствовать о приобретении в ходе обучения соразмерности между уверенностью обучающихся в своих силах и фактическим уровнем сформированности у них компетенций ЦД.
Таблица 6 / Table 6
Результаты самооценки и формального оценивания компетенций ЦД у студентов после завершения обучения, N = 177 /
Results of self-assessment and formal assessment of the students' digital accessibility competences (after the completion of training), N = 177
|
Уровни сформированности компетенций / Levels of formed competences |
Самооценка/ Selfassessment |
Формальная оценка/ Formal assessment |
Критерий Уилкоксона W(p) / Wilcoxon test W(p-value) |
||
|
Низкий / |
n, % |
2 (1,13) |
7 (3,95) |
14 (0,056) |
|
|
Low |
Me ± MAD, % |
5,22 ± 1,03 |
26,67 ± 2,50 |
||
|
Базовый / |
n, % |
39 (22,03) |
51 (28,81) |
986,5 (0,951) |
|
|
Baseline |
Me ± MAD, % |
50,00 ± 8,31 |
50,57 ± 6,00 |
||
|
Средний/ |
n, % |
37 (20,90) |
41 (23,16) |
815 (0,575) |
|
|
Interjacent |
Me ± MAD, % |
66,69 ± 2,13 |
66,67 ± 3,00 |
||
|
Продвинутый / |
n, % |
53 (29,94) |
78 (44,07) |
1782 (0,182) |
|
|
Advanced |
Me ± MAD, % |
87,50 ± 8,31 |
83,33 ± 3,00 |
||
|
Пренебрегли тестированием / Ignored testing, n, % |
0 (0,00) |
11722 (0,868) |
|||
|
Мє06щ 8я ± MAD / Megeneral ± MAD, % |
68,75 ± 12,50 |
69,43 ± 13,34 |
Примечание: n - количество слушателей с разными уровнями сформированности компетенций; Me - медиана оценок на каждом уровне; Меобщая - медиана оценок во всей выборке; MAD - медианное абсолютное отклонение оценок.
Note: n - the number of students with different levels of digital competences; Me - the median mark on each level; Megenera, - the median mark in the entire sample; MAD - the median absolute deviation of marks.
Задания формирующего (текущего) оценивания (табл. 7) были согласованы с содержанием разработанной системы компетенций ЦД (табл. 3). Различные рекомендованные задания успешно выполнены минимум 64 (36,16 %) и максимум 172 (97,18 %) студентами при средних оценках в пределах 69,17-95,29 %. Наименьшие значения числа вовлеченных студентов (58 человек, 32,77 %) и средней оценки (66,21 %) зарегистрированы для факультативного практического задания-интервью (табл. 7, модуль 1), в то время как другие необязательные для выполнения задания (табл. 7, модули 3 и 4) привлекли более половины слушателей, средние оценки которых составили 74,55 и 91,83 %, соответственно. Тесты формирующего оценивания пройдены большинством студентов (168-172 человек, 94,92-97,18 %) с высокой результативностью (не менее 85,48 % от максимально возможной оценки).
Формирующее оценивание не вносило формального вклада в итоговую оценку, однако могло способствовать развитию и закреплению необходимых компетенций и, как следствие, более успешному прохождению итоговых испытаний. Это и другие предположения о возможных связях между переменными были проверены с помощью статистических методов (табл. 8).
Таблица 7 / Table 7
Содержание и результаты формирующего оценивания успеваемости студентов на курсе "Цифровая доступность в электронном обучении", N = 177 /
Content and results of the formative assessment of student performance in the course on Digital Accessibility in e-Learning, N = 177
|
№ / No. |
Тема задания / Task topic |
Студенты, выполнившие задание/ Students who completed the task, n, % |
Средняя оценка/ Average mark, a ± a, % |
|
|
Модуль 1. ЦД и универсальный дизайн / Module 1. Digital accessibility and universal design |
||||
|
Т 1* |
Что такое веб-доступность, ЦД и универсальный дизайн? / What are web accessibility, digital accessibility and universal design? |
172 (97,18) |
89,60 ± 13,54 |
|
|
Т 2 |
Кому нужна веб-доступность? Проблемы дизайна / Who needs web accessibility? Design challenges |
171 (96,61) |
90,53 ± 16,71 |
|
|
Т 3 |
Вспомогательные технологии и адаптивные стратегии / Assistive technology and adaptive strategies |
170 (96,05) |
95,29 ± 21,24 |
|
|
Т 4 |
Международные стандарты ЦД / International digital accessibility standards |
168 (94,92) |
88,72 ± 23,31 |
|
|
Т 5 |
Руководство WCAG 2.1 по обеспечению доступности веб-контента/ WCAG 2.1 Web Content Accessibility Guidelines |
171 (96,61) |
85,48 ± 24,35 |
|
|
П 1 / P1* |
Интервью с лицом, имеющим ОВЗ, о проблемах ЦД (необязательное задание) / Interview with a person with disabilities about digital accessibility problems (optional task) |
58 (32,77) |
66,21 ± 23,46 |
|
|
Модуль 2. Правила доступности образовательного контента / Module 2. Accessibility rules applied to educational content |
||||
|
Т 6 |
Типы контента для электронного обучения / Types of e-learning content |
171 (96,61) |
94,37 ± 17,32 |
|
|
Т 7 |
Доступность медиаконтента / Accessibility of media content |
171 (96,61) |
94,57 ± 12,31 |
|
|
Т 8 |
Доступность основного контента / Accessibility of main content |
171 (96,61) |
89,77 ± 21,44 |
|
|
Т 9 |
Доступность тестов / Accessibility of tests |
171 (96,61) |
89,54 ± 19,46 |
|
|
Т 10 |
Доступность научной нотации / Accessibility of scientific notation |
171 (96,61) |
90,71 ± 17,36 |
|
|
Т 11 |
Доступность интерактивных модулей, симуляций / Accessibility of interactive modules, simulations |
171 (96,61) |
93,63 ± 13,20 |
|
|
П 2 / P2 |
Разработка информационного ресурса для иллюстрации проблем доступности / Development of an information resource to illustrate accessibility issues |
131 (74,01) |
76,05 ± 24,37 |
|
|
Модуль 3. Проверка ЦД / Module 3. Checking digital accessibility |
||||
|
П 3 / P3 |
Проверка контрастности веб-контента (необязательное задание) / Web content contrast rating (optional task) |
99 (55,93) |
74,55 ± 20,37 |
|
|
П 4 / P4 |
Проверка доступности веб-контента с помощью инструмента WAVE / Checking web content accessibility using the WAVE tool |
113 (63,84) |
71,24 ± 32,83 |
|
|
П 5 / P5 |
Экспертный анализ доступности онлайн-курсов / Expert analysis of online course accessibility |
109 (61,58) |
73,28 ± 29,58 |
|
|
Модуль 4. Методы разработки доступного контента для электронного обучения / Module 4. Methods for developing accessible e-learning content |
||||
|
П 6 / P6 |
Разработка доступных документов / Development of accessible documents |
100 (56,50) |
69,17 ± 17,47 |
|
|
П 7 / P7 |
Аудиодескрипция и текстовое описание (необязательное задание)/ Audio description and text description (optional task) |
93 (52,54) |
91,83 ± 11,51 |
|
|
П 8 / P8 |
Разработка доступной видеолекции / Development of an accessible video lecture |
64 (36,16) |
70,47 ± 30,73 |
|
|
П 9 / P9 |
Разработка доступного теста и задания / Development of an accessible test and task |
96 (54,24) |
70,83 ± 29,15 |
|
|
Средняя отметка за тесты формирующего оценивания / Average mark for formative assessment tests |
166 (93,79)** |
91,58 ± 13,22 |
||
|
Средняя отметка за рекомендованные практические задания / Average mark for recommended practical tasks |
53 (29,94)*** |
75,93 ± 16,02 |
Примечание: * Т - тест, П - практическая работа; ** количество студентов, выполнивших все тесты; *** количество студентов, выполнивших все практические задания (без учета необязательных).
Note: * Т = test, P = practical work; ** the number of students who completed all the tests; *** the number of students who completed all the practical tasks (except optional tasks).
Согласно полученным данным, чем успешнее студенты справлялись с прохождением формирующих тестов и практических заданий, тем лучшие результаты они показывали при сдаче итоговых тестов (табл. 8). При этом выполнение необязательных практикумов не оказывало существенного влияния на итоговые результаты: кластеры студентов, выполнивших и не выполнивших необязательные практикумы, статистически не отличались друг от друга по показателям успеваемости (р > 0,05). Успех в формирующем тестировании оказал большее влияние на результаты формального итогового теста, чем выполнение рекомендованных практических заданий, тогда как в отношении итоговой самооценки отмечена обратная закономерность: успешное выполнение практических заданий оказало большее влияние на результат. Другими словами, выполнение практикумов повышало самооценку обучающихся в отношении формируемых компетенций, а прохождение тестов повышало фактический уровень сформированности компетенций.
Кроме того, установлено, что успешность обучения не зависела от способа зачисления на курс (самостоятельно или в принудительном порядке) и наличия педагогического компонента в учебных планах обучающихся. Между результатами итоговых самооценки и формальной оценки обнаружена связь со средней величиной эффекта, которую можно интерпретировать как согласованность между удовлетворенностью обучением и его успешностью (табл. 8).
Возвращаясь к результатам итогового формального тестирования, следует отметить, что в сегменте низкого уровня сформированности компетенций (7 человек, 3,95 %) отсутствовали обучающиеся, выполнившие все обязательные практикумы и тесты. Четверо из них не выполнили ни одного обязательного практикума, один - не выполнил ни одного практикума или теста, шестеро - не использовали вторую попытку прохождения итогового тестирования, ни один из обучающихся не обратился к преподавателям за консультацией. На основании подтвержденных связей можно предположить, что низкие итоговые результаты обучающихся связаны с неполноценным прохождением ими обучения на курсе.
Таблица 8 / Table 8
Результаты проверки связей между переменными, способными повлиять на результаты обучения, с помощью дисперсионного анализа /
Results of checking the relationships between the variables that can influence the training outcomes using the analysis of variance
Результирующие переменные / Resulting variables
|
Показатели итоговой самооценки / Indices of final self-assessment |
Показатели итоговой формальной оценки / Indices of final formal assessment |
||||||
|
Переменные факторы / Variable factors |
Степень влияния 42(p) / Degree of influence q2(p-value) |
Коэффициент корреляции r(p) / Correlation coefficient r(p-value) |
Число студентов / Number of students, n |
Степень влияния 42(p) / Degree of influence q2(p-value) |
Коэффициент корреляции r(p) / Correlation coefficient r(p-value) |
Число студентов / Number of students, n |
|
|
Средняя отметка за тесты формирующего оценивания / Average mark for formative assessment tests |
0,100 (<0,001) |
0,316 (<0,001) |
126 |
0,280 (<0,001) |
0,529 (<0,001) |
166 |
|
|
Средняя отметка за рекомендованные практические задания / Average mark for recommended practical tasks |
0,295 (<0,001) |
0,543 (<0,001) |
50 |
0,128 (0,008) |
0,358 (0,008) |
53 |
|
|
Наличие педагогических дисциплин в учебных планах (в наличии/отсутствуют) / Presence of pedagogical disciplines in educational curricula (present/absent) |
0,017 (0,135) |
НП / NA |
131 |
0,006 (0,302) |
НП / NA |
177 |
|
|
Способ зачисления на курс (самостоятельно/принудительно) / Enrollment in the course (voluntary/ compulsory) |
0,017 (0,141) |
НП / NA |
131 |
0,006 (0,287) |
НП / NA |
177 |
|
|
Показатели итоговой самооценки / Indices of final self-assessment |
0,085 (<0,001) |
0,290 (<0,001) |
177 |
||||
|
Показатели итоговой формальной оценки / Indices of final formal assessment |
0,085 (<0,001) |
0,290 (<0,001) |
177 |
Примечание: ц 2 - степень влияния переменной-фактора на результирующую переменную; значение ц 2 ~ 0,01 соответствует слабой величине эффекта, ц 2 ~ 0,06 - средней величине эффекта, ц 2 > 0,14 - большой величине эффекта (Cohen, 1988); p - уровень значимости; r- коэффициент корреляции Пирсона для количественных переменных; при r > 0 - направленность связи положительная; n - количество слушателей, для которых измеримы значения переменных-факторов и результирующих переменных; НП - не применимо.