Обсяг і структура роботи. Дисертаційна робота складається зі вступу, чотирьох розділів, висновків, списку використаних джерел (210 найменувань), містить 22 рисунки, 13 таблиць, 10 додатків (34 сторінки). Повний обсяг дисертації- 209 сторінок, основний зміст викладено на 152 сторінках.
Основний зміст роботи
У вступі обґрунтовано актуальність теми дослідження, сформульовано мету, визначено завдання, об'єкт, предмет, описано матеріал і методи дослідження, наукову новизну одержаних результатів, окреслено практичне значення праці, подано відомості про апробацію основних положень дисертації, а також структуру й обсяг роботи.
У першому розділі “Теоретичні основи дослідження систем оцінювання знань та застосування в них лінгвістичних методів” окреслено ступінь розробки проблеми та викладено теоретичні положення щодо ключових питань дисертації, зокрема: розглянуто системи оцінювання знань студентів у сучасній вищій школі, проаналізовано процес інформатизації та інтелектуалізації систем контролю знань, визначено їх переваги та недоліки, визначено проблеми автоматичного лінгвістичного аналізу тексту в контексті систем оцінювання знань та обґрунтовано необхідність розробки автоматизованої системи тестування, що дозволятиме обробляти й оцінювати природномовні відповіді студентів.
З'ясовано, що лінгвістична обробка природномовних текстів є однією з центральних проблем інтелектуалізації інформаційних технологій, зокрема в галузі освіти. Зауважимо, що за останні роки у вищих навчальних закладах усе ширше використовуються автоматизовані засоби оцінювання знань, зокрема автоматизовані системи тестування. Їхніми перевагами вважаються: можливість достатньо повного охоплення змісту навчальної дисципліни шляхом уведення до системи великої кількості запитань; зручність створення та модифікації тестових матеріалів; невелика тривалість процесів тестування; можливість автоматизації процесів контролю й оцінювання результатів; інтеграція систем контролю знань з базами даних тощо.
Проте, сучасним системам тестування притаманні певні недоліки: тести орієнтовані на короткі відповіді, не передбачено самостійної відповіді на запитання; утруднена підготовка тестів, які спрямовані на перевірку творчих здібностей і логічного мислення; тестування не передбачає перевірки розгорнутих природномовних робіт тощо. До цього варто додати таку ваду, як досить високу вірогідність необ'єктивної оцінки, пов'язану зі стереотипним ставленням викладачів до студентів. Не варто виключати і корупційну складову в процесі оцінювання знань.
Отже, у ході автоматизованого оцінювання знань студентів виникають протиріччя: 1) між ефективністю процедури тестового контролю знань та об'єктивністю оцінки знань; 2) між необхідністю здійснення інтелектуального лінгвістичного аналізу відповідей у ході оцінювання знань і відсутністю (недосконалістю) відповідних технологічних інструментів, які базуються на адекватних лінгвістично-інформаційних моделях.
Таким чином, новітній вектор модернізації системи вищої освіти вимагає не лише інтелектуалізації змісту освіти, але й інноватизації та інформатизації процесів діагностування навчальних досягнень студентів. Необхідним елементом забезпечення цих процесів є розробка та впровадження сучасних систем автоматизованого контролю знань, здатних обробляти й оцінювати відповіді, подані природною мовою в довільній формі. Для цього, власне, і потрібні засоби, спроможні забезпечувати здійснення семантичного аналізу тексту.
До кола завдань, що вирішуються засобами семантичного аналізу тексту належать: семантичний пошук, багатоцільове опрацювання тексту, оцінювання природномовних відповідей студентів у системах контролю знань. Останнє завдання, як правило, зводиться до порівняння двох і більше текстів з деяким “еталонним текстом”, який вважається репрезентантом правильної відповіді. Проте найпоширеніші програмні засоби, які використовуються для тестування, мають занадто вузьку функціональність. Переважно в їхньому репертуарі є лише одна можливість: вибір одного або декількох із заздалегідь підготовлених, фіксованих варіантів. Сучасні автоматизовані системи контролю знань інколи, правда, містять завдання відкритого типу, однак у більшості з них відповідь зараховується як правильна, коли вона повністю збігається з одним із еталонних варіантів тексту, не допускаючи при цьому жодних варіацій форми відповіді без зміни її змісту. Наведені чинники значно знижують спроможність автоматизованих систем щодо об'єктивної оцінки рівня знань студентів, збільшуючи обсяги “ручного” опрацювання студентських відповідей викладачами та змушуючи їх концентруватися на технічних деталях, далеких від предмета оцінювання.
З викладеного випливає необхідність побудови комплексних лінгвістичних моделей, адаптованих до формального представлення в системах оцінювання знань, вільних від перелічених вище вад.
У другому розділі “Методологічні засади та концептуальне моделювання систем лінгвістичного аналізу тексту в контексті їхнього застосування в системах оцінювання знань” досліджено моделі та методи семантичного аналізу тексту, розроблено концептуальну модель лінгвістичної підсистеми інтелектуальної системи оцінювання знань та її функціональну структуру, запропоновано методику дослідження моделювання процедур лінгвістичного аналізу тексту в системі оцінювання знань, а також описано етапи процедури застосування відповідних методів і прийомів аналізу.
Одним з найголовніших завдань прикладної лінгвістики є розв'язання проблеми якісної автоматизованої обробки природної мови. Це вимагає залучення цілої низки наукових дисциплін та їхніх методів, зокрема, методів комп'ютерної, когнітивної, математичної лінгвістики, теорії штучного інтелекту, семантичних мереж, нейрокібернетики, логіки тощо. Комплексне застосування засобів, моделей і методів цих наукових галузей у принципі дозволяє створити ефективний інструментарій опрацювання природномовної текстової відповіді студентів. Але оскільки в роботі йдеться про систему оцінювання знань, де опрацьовуються природномовні відповіді на запитання відкритого типу, то на перший план висувається семантична складова лінгвістичного аналізу та екстракція знань із текстової відповіді.
У результаті детального аналізу сучасного рівня розвитку моделей і методів семантичного аналізу природномовних текстів у дисертаційному дослідженні було запропоновано власну методологію побудови таких моделей. Обґрунтовано твердження про те, що найбільш перспективними та затребуваними методами обробки природномовних текстових відповідей з метою екстракції та репрезентації семантики мають бути системи, що ґрунтуються на ефективному поєднанні лінгвістичних технологій аналізу (графематичного, морфологічного, синтаксичного, семантичного), зокрема із застосуванням онтологій, та методу латентно-семантичного аналізу, що дозволить виявляти приховані асоціативні залежності всередині природномовних текстів. Таке поєднання дає можливість урахувати та частково елімінувати недоліки, що притаманні обом методам, та удосконалити процес обробки природномовної відповіді шляхом комбінування переваг розглянутих лінгвоаналітичних та статистичних методів.
У розробленій лінгвістичній підсистемі ІСОЗ реалізовано спробу реалізувати інтеграцію технологій експліцитного семантичного аналізу, латентно-семантичного аналізу, методів теорії нечіткої логіки, штучного інтелекту. Для автоматизації перевірки відповіді, поданої у текстовому форматі природною мовою, було розроблено методику порівняння такої відповіді зі зразком (зразками) правильної відповіді, яку було використано при формулюванні концептуальної моделі відповідної системи, що передбачає створення теоретичних засад, розбудову загальної схеми системи та структури її окремих складників, а також зв'язків між ними, розроблення необхідних різновидів забезпечення системи (загальносистемного, лінгвістичного, алгоритмічного, математично-програмного, інформаційного, організаційного та ін.). Безперечно, розроблення лінгвістичного забезпечення системи посідає одне з центральних місць у цій роботі, оскільки основні об'єкти системи мають природномовне походження. У процесі виконання дослідження розроблено концепцію побудови інтелектуальної автоматизованої системи для проведення контролю знань студентів у вищих навчальних закладах, яка включає: математичний апарат теорії нечітких множин, засоби теорії лінгвістичних моделей; систему штучного інтелекту та відповідну базу знань. Перелічені аспекти складають теоретичну, методичну й операціональну базу побудови інтелектуальної автоматизованої системи контролю знань.
Функціональну структуру зазначеної ІСОЗ наведено на рис. 1.
Завдання лінгвістичної підсистеми на етапах морфологічного, синтаксичного, семантичного та прагматичного аналізу полягає у зменшенні різноманіття можливих значень слів та їхніх взаємозв'язків у контексті однозначної інтерпретації вхідних даних, що належать до конкретної предметної сфери.
Важливу роль при аналізі тексту відіграє інтегрована база даних, яка містить інформацію про морфологію, синтаксис, семантику і прагматику слів.
Рисунок 1 - Функціональна структура ІСОЗ та методика дослідження
Методика дослідження складається з шести етапів. На першому етапі було проаналізовано сучасні системи оцінювання знань студентів ВНЗ, досліджено процеси інформатизації та інтелектуалізації систем контролю знань, визначено проблеми автоматичного лінгвістичного аналізу тексту із застосуванням методів спостереження, аналізу, синтезу, порівняння, узагальнення, описового методу, дедуктивно-індуктивного методу. Відповідні результати представлено у розділі 1.
На другому та третьому етапах, відповідно, було визначено концепцію побудови та розроблено функціональну структуру лінгвістичної підсистеми ІСОЗ. Для побудови концептуальної моделі дослідження було застосовано метод моделювання, елементи структурного методу, зокрема методику дистрибутивного аналізу для встановлення характеристик і функціональних властивостей мовної одиниці на підставі її оточення, методику компонентного аналізу, орієнтовану на розроблення функціональної структури лінгвістичної підсистеми. Відповідні результати представлено у розділі 2.
На наступному, четвертому етапі, розроблено технології, моделі та алгоритми лінгвістичного аналізу тексту ІСОЗ. Це передбачає використання таких методів дослідження, як: конструктивний метод для інтерпретації значення за допомогою визначення елементарних складників і зв'язків між ними, представлення інформації в автоматизованих системах аналізу й розпізнавання природної мови; зіставний метод спрямовано на встановлення спільних і відмінних рис між текстами відповіді та зразка на різних мовних рівнях; лінгвоаналітичні (методи графематичного, морфологічного, синтаксичного, семантичного аналізу), статистичні (латентно-семантичний аналіз), математичні методи (теорії нечітких множин, формалізації, математичного моделювання) та методи штучного інтелекту - для розроблення алгоритмів аналізу та порівняння текстів. Результати представлено у розділі 3.
На п'ятому та шостому етапах дослідження, відповідно, було створено бази даних та знань і розроблено програмно-алгоритмічне забезпечення ІСОЗ із застосуванням методів об'єктно-орієнтованого програмування та методів розпізнавання, вилучення, формалізації. Результати представлено у розділі 4.
У третьому розділі“Лінгвістична підсистема інтелектуальної системи оцінювання знань” викладено основні складові лінгвістичної підсистеми інтелектуальної системи оцінювання знань. Тут подано моделі і методи формалізованого опису лінгвістичної структури, на підставі та з використанням яких здійснюється розроблення відповідних алгоритмів аналізу. Розв'язання поставленого завдання передбачає виконання декількох кроків, які мають цілком визначений і лінгвістичний і системотехнічний смисл, а саме: автоматичну конвертацію відповіді студента природною мовою до внутрішньосистемної репрезентації, екстракцію лексичних одиниць тексту з подальшим здійсненням морфологічного, синтаксичного, семантичного та прагматичного аналізу.
На формальному рівні текст подається у вигляді скінченної послідовності символів з певного (також скінченного) набору, який називається узагальненим алфавітом. До цього алфавіту включено не лише літери певної мови, але й інші символи, що можуть трапитися на письмі (знаки пунктуації, цифри, спеціальні символи тощо). Отже, найзагальніше формальне представлення тексту виглядає так:
Т = х1*х2*…*хk, хi А, А = {a1, a2, …, aN},
де * - операція конкатенації.
Формалізація текстової структури відповіді студента передбачає розроблення методів і лінгвістичних алгоритмів (процедур), які дозволяють виокремити з такої послідовності лінгвістично значущі об'єкти - морфемного, лексичного, синтаксичного, семантичного та інших мовних рівнів, які імпліцитно містяться у формальній послідовності символів зі скінченного алфавіту А. Зазначені лінгвістичні процедури розподіляють на операції графематичного, морфологічного, передсинтаксичного, синтаксичного та інших різновидів аналізу, у процесі застосування яких вдається деталізувати лінгвістичну структуру об'єкта, що піддається формалізації.
Суттєвим виявом нечіткості природномовних висловлювань, а конкретно письмових текстових відповідей студентів, є неправильне написання слів (пропуск, вставка, транспозиція букв), вживання скорочень тощо, що загалом не впливає на семантичне наповнення та, відповідно, на правильність відповіді, проте розцінюється традиційними системами тестування як помилка і, як результат, істотно знижує якість оцінювання.У дисертаційному дослідженні запропоновано застосувати до лінгвістичних об'єктів методи нечіткої логіки як інструмент, що дозволяє певним чином формалізувати процес обробки природномовної відповіді студентів, поданої в довільній формі, та процедуру її оцінювання.