Автореферат: Моделі та методи лінгвістичного аналізу тексту інтелектуальної системи оцінювання знань

Для виділення семантики із природномовної текстової відповіді та її порівняння з еталонним варіантом у розробленій ІСОЗ застосовано метод латентно-семантичного аналізу, який дозволяє на підставі оцінки кореляції між словами та текстами зробити висновок про ступінь подібності змісту цих слів чи груп слів. Проте, метод ЛСА для цілей цієї роботи необхідно вдосконалити, оскільки він не враховує суттєву лінгвістичну інформацію (порядок слів у реченні, ключові слова, помилки), унаслідок чого нівелюються синтаксичні відношення, логіка та морфологія. Метод ЛСА в поєднанні з лінгвістичними технологіями аналізу тексту (морфологічного, синтаксичного, семантичного аналізу) дозволяє значно покращити процедури екстракції, репрезентації та аналізу семантичних характеристик текстової відповіді.

З огляду на викладене в рамках дисертаційного дослідження розроблено метод семантичного порівняння нечіткої текстової інформації (відповідей на запитання, що подані студентом природною мовою в довільній формі, із варіантами правильних відповідей), в якому формалізовано опис лінгвістичної структури навчального контенту та відповіді. Розроблений алгоритм застосовується під час здійснення латентно-семантичного аналізу на етапі формування частотної матриці індексованих слів (терм) і передбачає автоматичну конвертацію відповіді студента природною мовою до внутрішньосистемного вигляду, екстракцію лексичних одиниць тексту з подальшим здійсненням морфологічного, синтаксичного, семантичного та прагматичного аналізу. Також у лінгвістичній підсистемі запроваджено ще одне вдосконалення методу ЛСА, унаслідок чого індексовані слова (терми) замінюються лексичними одиницями із баз даних, що містять перелік слів в усіх відмінках, перелік скорочень і значень абревіатур словосполучень, перелік ключових слів, котрі використовуються для опису процесів і явищ предметної сфери; процедуру стемінгу замінено лематизацією на основі результатів автоматичного морфологічного аналізу текстів задля забезпечення більш високої якості роботи алгоритму. Цей підхід дозволив: виявляти латентні асоціативно-семантичні залежності у множині документів; частково усувати омонімію, полісемію та синонімію; виправляти слова, що написані студентом з орфографічними та технічними помилками; враховувати синтаксичні відношення, логіку побудови терм у контексті предметної сфери тощо. Це значно розширює наукове та прикладне значення удосконаленого методу латентно-семантичного аналізу.

Застосовано алгоритми нечіткого пошуку, а саме вдосконаленого варіанта метрики Левенштейна для виправлення некоректних слів. Кожний текстовий рядок подається вектором у N-вимірному просторі, де N - кількість символів у рядку. Для нечіткого порівняння текстової інформації у відповідях студентів під час тестування було удосконалено алгоритм, в якому еталонний текст і текст відповіді підлягають розподілу на окремі лексеми, після чого здійснюється нечіткий пошук збігу за словами у зразку і відповіді із застосуванням метрики Левенштейна. Формування загальної оцінки відповіді здійснюється за комплексним показником, в якому враховується наявність у відповіді слів, що присутні у зразку (з урахуванням нечіткості), відповідність структур зразка і відповіді.

У дослідженні застосовано моделі штучного інтелекту для порівняння текстової інформації за змістом на етапах семантичного та прагматичного аналізу. Під час здійснення процедури семантичного аналізу знання подаються у вигляді семантичної мережі, що дозволяє інтерпретувати предметну галузь у вигляді понять та відношень між ними. Під час прагматичного аналізу визначається належність відповіді до визначеної предметної сфери. Семантичний і прагматичний аналіз запропоновано проводити на основі використання нейромережі. Перший шар нейромережі містить дві групи нейронів. До цього шару вноситься вхідна інформація - відповідь і зразок. Основна обробка інформації реалізується в наступних шарах нейронів, в яких здійснюється семантичний аналіз відповіді. Для отримання результату перевірки використовується останній шар, який відображує ступінь ідентичності двох текстів за змістом.

У цьому розділі наведено детальний приклад роботи лінгвістичної підсистеми ІСОЗ, який відображує процеси аналізу, порівняння та оцінювання природномовної відповіді студента.

Отже, концептуальна модель системи лінгвістичного аналізу текстової відповіді передбачає застосування вищезазначених алгоритмів, моделей і методів обробки природномовної інформації, що дозволяють розв'язувати низку актуальних лінгвістичних проблем, зокрема: виявляти латентні асоціативно-семантичні залежності у множині документів; частково усувати омонімію, полісемію та синонімію; виправляти слова, написані студентом з помилками; ураховувати синтаксичні відношення; визначати належність вихідного тексту до певної предметної сфери, формувати загальну оцінку відповіді на питання тестових завдань на основі комплексного показника, який ураховує результати роботи описаних елементів функціональної структури ІСОЗ. українська мова лінгвістичний комп'ютерний

У четвертому розділі “Функціональні структури модулів та система керування базами даних (знань) інтелектуальної системи оцінювання знань. Апробація результатів дослідження” розроблено функціональні структури модулів лінгвістичного аналізу, систему керування базами даних та здійснено апробацію та експериментальні дослідження одержаних результатів.

Першим етапом аналізу текстової відповіді є її нормалізація, що здійснюється за допомогою графематичного аналізу (токенізації) і передбачає виконання таких процедур: видалення нетекстових символів, виділення слів, цифр, формул, скорочень, приміток та інших елементів тексту, розподіл тексту на речення, абзаци.

Аналіз одиниць лексичного рівня, тобто слів є одним з найважливіших. До інструментарію цього різновиду аналізу входять різні словники, які містять лексичний репертуар та морфемну структуру лексичних одиниць, словозмінні парадигми тощо, а також безсловникові методи, які дозволяють здійснювати розбиття слова на морфеми за заданими алгоритмами, забезпечувати віднесення слів до словозмінних парадигматичних класів, виконувати процедури лематизації (редукції текстових словоформ до початкових, вихідних форм тощо). На цьому ж етапі частково здійснюється і граматичний аналіз, тобто ідентифікація лексико-граматичних класів та значень граматичних категорій текстових слів.

Вхідними даними процедури морфологічного розпізнавання є графемна структура тексту, та еталонні моделі, які складаються зі словозмінного словника, словника морфем (квазізакінчень, суфіксів, префіксів тощо), додаткових словників, що містять перелік абревіатур, скорочень, власних назв та ін. У розробленій інтелектуальній системі робота морфологічного аналізатора передбачає виконання таких процедур:

У першу чергу потрібно з'ясувати, чи є в таблиці бази даних “Словозмінний словник” елемент, ідентичний вхідній словоформі. Для цього виконується умова Wi Ts, де Ts - таблиця “Словозмінний словник”, базою для якого слугував електронний граматичний словник української мови, розроблений в Українському мовно-інформаційному фонді. Словник складається з двох частин: ліва частина вміщує множину слів у канонічній формі (реєстрові слова), у правій частині подано словозмінні парадигми. Застосування такого словника дозволяє розв'язати проблему граматичної ідентифікації, що передбачає формалізацію процесів парадигматизації та лематизації.

Однією з проблем, що виникають під час здійснення морфологічного аналізу природномовної відповіді є можливість написання студентом слів у тексті з помилками, які можуть виявлятися у вигляді пропуску, вставки, заміни, транспозиції графеми. Для розв'язання проблеми обробки неправильно написаних слів у дисертаційному дослідженні запропоновано використовувати метрику Левенштейна, удосконалений алгоритм якої дозволяє здійснити аналіз таких словоформ, виправити їх і привести до словникового вигляду. Після виконання такої процедури виправлена словоформа отримує набір граматичних характеристик ідентичної словоформи зі словника бази даних.

Поряд із неправильним написанням слова студент, відповідаючи на запитання тесту, може вжити абревіатуру, скорочення, власну назву тощо. Тому для ідентифікації та коректної обробки таких словоформ було створено відповідні таблиці бази даних: “Абревіатури” (Ta)“Скорочення” (Tsk), “Власні назви” (Tv). Вхідний текст у вигляді відповіді студента в цьому випадку підлягає перевірці на наявність мовних одиниць із вищезгаданих баз даних, за рахунок чого усуваються наведені вище недоліки морфологічного аналізатора і підвищується ефективність та об'єктивність оцінювання. Тобто в розглянутому випадку додатково перевіряються умови Wi Ta, Wi Tsk і Wi Tv. Якщо належність до баз даних установлено, вхідним словам приписується граматична інформація їхніх відповідників із вищезгаданих таблиць. Аналогічно розв'язується проблема зняття граматичної омонімії.

Таким чином, результатом здійснення морфологічного аналізу текстової відповіді є набір словоформ, для кожної з яких визначено її частиномовну належність і такі граматичні характеристики як відмінок, число, рід, час, спосіб, особа, тобто морфологічну інформацію, за допомогою якої встановлюються синтагматичні відношення між словами, необхідні для здійснення наступного етапу синтаксичного аналізу. У результаті роботи лематизатора в кожного слова у вхідній інформації виділяються основи (леми), які в подальшому підлягають обробці за допомогою латентно-семантичного аналізу.

У роботі модуля морфологічного аналізу застосовано удосконалений варіант метрики Левенштейна для розпізнавання та виправлення слів, написаних з помилками (вставка, заміна, пропуск, транспозиція). Перевагою методу також є й те, що він дозволяє встановлювати обмеження на кількість можливих у відповіді помилок, що сприяє адекватному оцінюванню знань того, хто навчається.

Результати роботи блоку морфологічного аналізу у вигляді набору лексико-граматичних характеристик словоформ надходять на вхід роботи синтаксичного аналізатора, метою якого є побудова синтаксичної структури речень тексту відповіді, що передбачає встановлення функціональної ролі кожної лексеми в реченні, встановлення й аналіз зв'язків між ними. Найбільш складною та проблематичною є процедура семантичного аналізу вхідної текстової інформації, основним завданням якої є екстракція семантики із природномовної відповіді студента і вираження її внутрішньою мовою системи. Семантична характеризація тексту неможлива без інтерпретації предметної сфери, що у свою чергу сприяє зменшенню багатозначності природної мови.

Експериментальні дослідження та застосування ІСОЗ проводились у вищих навчальних закладах ІІІ-ІV рівнів акредитації. Апробація ІСОЗ проводилася за різними напрямами (спеціальностями) та освітньо-кваліфікаційними рівнями. До оцінювання залучалося 347 студентів (слухачів, курсантів) з 16 навчальних груп. Було оцінено 663 варіантів природно мовних відповідей, поданих у довільній формі. З метою перевірки достовірності оцінювання ІСОЗ вибірково з кожного предмету викладачами проводилася контрольна перевірка відповідей студентів. При цьому середнє значення коефіцієнта кореляції Пірсона 0,811 свідчить про високий ступінь збігу оцінок, що виставлені інтелектуальною системою оцінювання знань та оцінкою контрольних робіт викладачами. Зведені відомості щодо апробації наведено у табл. 1.

Державним комітетом України з питань науки, інновацій та інформатизації складено акт приймання науково-технічної роботи “Розробка інтелектуальної автоматизованої системи контролю знань студентів вищих навчальних закладів”, що виконувалася за договором від 20.07.2009 № ІТ/553-2009, у якому запропоновано використовувати результати зазначеної роботи шляхом передачі програмного комплексу та технічної документації до нього провідним навчальним закладам України.

Таблиця 1 - Зведені відомості щодо апробації інтелектуальної системи оцінювання знань