НАЦІОНАЛЬНА АКАДЕМІЯ НАУК УКРАЇНИ
НАЦІОНАЛЬНА БІБЛІОТЕКА УКРАЇНИ ІМЕНІ В. І. ВЕРНАДСЬКОГО
Автореферат
дисертації на здобуття наукового ступеня кандидата філологічних наук
Моделі та методи лінгвістичного аналізу тексту інтелектуальної системи оцінювання знань
10.02.21 - структурна, прикладна і математична лінгвістика
Комарницька Оксана
Київ - 2015
Дисертацією є рукопис.
Роботу виконано в Національній академії Державної прикордонної служби України імені Богдана Хмельницького, Державна прикордонна служба України.
Науковий керівник академік НАН України, доктор технічних наук, професор ШИРОКОВ Володимир Анатолійович,
Український мовно-інформаційний фонд НАН України, директор
Офіційні опоненти: доктор філологічних наук, професор
КОМПАНЦЕВА Лариса Феліксівна,
Національна академія Служби безпеки України,
завідувач кафедри теорії та практики перекладу
кандидат філологічних наук, доцент
ДОЦЕНКО Олена Леонідівна,
Гуманітарний інститут Київського університету імені Бориса Грінченка, доцент кафедри української мови
Загальна характеристика роботи
Дисертаційну працю присвячено проблемі розроблення моделей, методів і засобів інтелектуального опрацювання природної мови в системах автоматизованого контролю та оцінювання набутих знань студентами вищих навчальних закладів України.
Інтелектуальні лінгвістичні системи в наш час набувають все більшого поширення, що зумовлено контекстом еволюції світової інформаційно-комунікаційної системи. Особливо це стосується засобів інтелектуального автоматизованого опрацювання природної мови. Накопичення значних текстових масивів у глобальних мережах, прогрес у галузі створення технологій опрацювання інформації спричинили зростання актуальності досліджень, спрямованих на автоматичне опрацювання текстових даних, у тому числі автоматичний семантичний аналіз тексту (А. Анісімов, О. Большакова, Є. Гінзбург, І. Замаруєва, Л. Компанцева, О. Кургаєв, Н. Леонтьєва, Д. Ланде, О. Литвиненко, Ю. Марчук, K. Jones). Такий аналіз дозволяє експлікувати змістові характеристики тексту і подавати вихідний текстовий матеріал у вигляді семантичного структурованого опису (О. Єрмаков, О. Марченко, О. Малащук, О. Палагін, В. Шульгіна, T. Berners-Lee, J. Hendler, Р. Foltz, W. Kintsch, T. Landauer, O. Lassila). Семантика тексту, однак, на сьогодні має недостаній рівень формалізації, що стимулює необхідність розроблення спеціальних моделей, методів і лінгвістичних алгоритмів, які дозволяють виокремлювати з тексту певні смислові елементи (І. Вороніна, Р. Даревич, Б. Добров, А. Лучик, І. Мельчук, І. Ревзин, Ю. Рогушина, О. Селіванова, В. Широков). Викладене має пряму дотичність до проблематики інформатизації освітніх процесів у різних їхніх аспектах, серед яких значне місце посідають питання оцінювання якості навчання (А. Андрєєв, Т. Басюк, С. Бевз, І. Булах,Т. Гранкіна, О. Доценко, А. Манако, Ю. Рашкевич, В. Фетісов, С. Штангей). Адже процеси оцінювання знань за своєю природою нерозривно пов'язані з інтелектуальним семантичним аналізом та встановленням ступеня релевантності текстових даних відповідей студентів до еталонних текстів навчальних дисциплін, які надають змістову фактологічну базу оцінювання знань.
Сьогодні світовий і вітчизняний ринки пропонують чимало програмних продуктів для проведення діагностики знань тих, хто навчається, проте більшість сучасних систем тестування в основному ґрунтуються на завданнях закритого типу, і навіть за наявності питань відкритого типу, обробка відповіді здійснюється здебільшого напівавтоматично, за участі тьютора (експерта), або зводиться до перевірки повного збігу з еталонним варіантом відповіді. Тому надзвичайно актуальним є завдання створення такої системи оцінювання знань, яка б дозволила розв'язати проблему якісної автоматизованої обробки природномовних текстових відповідей.
Прогрес у цій ділянці пов'язується з інтелектуалізацією відповідних систем оцінювання знань, насамперед, у напрямі підвищення рівня їхнього лінгвістичного інтелекту. Отже, в основу перспективних систем оцінювання знань мають бути покладені такі лінгвістичні засоби, що сприймають не лише наперед задані текстові форми, але й спроможні опрацьовувати довільні природномовні тексти, виконуючи при цьому цілу низку доволі складних лінгвістично осмислених операцій морфологічного, синтаксичного, семантичного, прагматичного та інших різновидів аналізу тексту, й орієнтовані переважно на виявлення його змістових характеристик.
Таким чином, актуальність теми дисертації зумовлена необхідністю теоретичної розробки та практичного впровадження нових підходів у галузі прикладної лінгвістики, спрямованих на розроблення моделей, методів і засобів семантичного опрацювання текстів природної мови з орієнтацією на процеси оцінювання відповідей в інтелектуальних автоматизованих системах контролю знань студентів вищої школи.
Зв'язок роботи з науковими програмами, планами, темами. Розв'язанню зазначеного завдання було присвячено проект “Створення та впровадження програмних засобів пілотної системи поточного і підсумкового контролю знань студентів у вищих навчальних закладах”, що виконувався за Державною програмою “Інформаційні та комунікаційні технології в освіті і науці” на 2006-2013 роки, у рамках якого було проведено низку науково-дослідних робіт, де брали участь декілька десятків навчальних і наукових закладів України. Виконання проекту передбачало розв'язання не лише лінгвістичних, але й цілої низки доволі складних системотехнічних, інформаційних, програмних, організаційних та інших завдань. Проте основне інтелектуальне ядро проблеми було зосереджено в розробленні лінгвістичних моделей, методів та алгоритмів, які було реалізовано в лінгвістичній підсистемі інтелектуальної системи оцінювання знань студентів, що складає зміст дисертаційної роботи. Результати дисертаційного дослідження увійшли до науково-дослідних робіт: “Інтелектуальна система автоматизованого оцінювання знань у вищих навчальних закладах” (Звіт про НДР/НАДПСУ, ХДЦНТіЕІ. - Хмельницький, 2010. Номер державної реєстрації 0109V005890); “Побудова систем тестування з використанням методів штучного інтелекту” (Звіт про НДР, ШИФР 210-1019 I / НАДПСУ. - Хмельницький, 2010).
Метою роботи є удосконалення моделей і методів лінгвістичного аналізу природномовного тексту та створення на цій основі автоматизованих лінгвістично-програмних засобів, придатних для застосування в системах оцінювання знань студентів з природничих, військово-спеціальних та гуманітарних дисциплін.
Досягнення поставленої мети передбачає реалізацію таких завдань:
проаналізувати результати наукових досліджень у галузі розробки автоматизованих систем оцінювання знань та застосування в них моделей і методів лінгвістичного аналізу природномовного тексту, визначити шляхи їх удосконалення;
розробити методику дослідження комп'ютерного моделювання процедур лінгвістичного аналізу тексту в системі оцінювання знань;
побудувати концептуальну модель лінгвістичної підсистеми інтелектуальної системи оцінювання знань (ІСОЗ) та її функціональну структуру;
розробити метод семантичного порівняння нечіткої текстової інформації, придатний для застосування в українськомовних системах оцінювання знань;
удосконалити алгоритм методу латентно-семантичного аналізу (ЛСА) з урахуванням структури української мови;
забезпечити інтеграцію моделей і методів аналізу українських текстів у загальній структурі системи оцінювання знань;
експериментально дослідити розроблені моделі й оцінити ефективність використання результатів дослідження.
Об'єктом дослідження є природномовні тексти, що функціонують у системах тестового контролю знань студентів.
Предмет дослідження становлять лінгвістично-інформаційні моделі та методи аналізу текстової інформації у системах тестового контролю знань студентів.
Матеріалом дослідження стали тексти відповідей студентів на запитання системи, а саме 663 варіанти відповідей, а також текстові дані еталонної бази знань для визначення релевантності відповідей, яку було сформовано з навчально-методичних матеріалів, підручників, конспектів лекцій, посібників таких навчальних дисциплін, як “Маркетинг інтелектуальної власності” (81,912 тис. слів), “Зв'язок у ДПСУ” (79,357 тис. слів), “Інформаційно-телекомунікаційні системи ДПСУ” (112,481 тис. слів), “Основи інформатики і програмування” (241,782 тис. слів), “Обчислювальна техніка” (133,171 тис. слів), “Комп'ютерна графіка” (55,468 тис. слів), “Економіка підприємства” (177,683 тис. слів), “Економічна інформатика” (106,354 тис. слів).
Методи дослідження. Для вирішення поставлених завдань було використано комплекс взаємопов'язаних методів дослідження: загальнонаукові - методи аналізу, синтезу, порівняння, узагальнення, описовий метод, дедуктивно-індуктивний метод для аналізу та визначення проблем, пов'язаних із розробкою моделей лінгвістичного аналізу тексту в системі оцінювання знань та розробки відповідної концепції побудови таких моделей; лінгвістичні - структурний метод, зокрема методика дистрибутивного аналізу для встановлення характеристик і функціональних властивостей мовної одиниці на підставі її оточення, конструктивний метод для інтерпретації значення за допомогою визначення елементарних складників і зв'язків між ними, представлення інформації в автоматизованих системах аналізу й розпізнавання природної мови; лінгвоаналітичні (методи графематичного, морфологічного, передсинтаксичного, синтаксичного, семантичного аналізу), статистичні (латентно-семантичний аналіз), математичні методи (теорії нечітких множин, формалізації, математичного моделювання) та методи штучного інтелекту - для розроблення алгоритмів аналізу та порівняння текстів.
Наукова новизна одержаних результатів визначається таким:
уперше розроблено алгоритм семантичного порівняння нечіткої текстової інформації (відповідей на запитання, що подані студентом природною мовою в довільній формі, із варіантами правильних відповідей), в якому формалізовано опис лінгвістичної структури навчального контенту та відповіді. Розроблений алгоритм передбачає автоматичну конвертацію відповіді студента природною мовою до внутрішньосистемного вигляду, екстракцію лексичних одиниць тексту з подальшим здійсненням морфологічного, синтаксичного, семантичного та прагматичного аналізу. Застосування розробленого алгоритму дозволяє усувати помилки, що можуть бути у вихідному тексті (неправильні закінчення, нестандартні скорочення тощо), визначати належність вихідного тексту до певної предметної сфери, виявляти ступінь семантичної подібності відповіді й еталонного варіанту, формувати загальну оцінку відповіді на питання за комплексним показником;
розроблено підсистему лінгвістичного аналізу тексту на основі моделей штучного інтелекту як складову функціональної структури ІСОЗ;
удосконалено алгоритм методу латентно-семантичного аналізу в таких аспектах: на етапі формування частотної матриці індексованих слів застосовано алгоритм семантичного порівняння нечіткої текстової інформації, унаслідок чого індексовані слова (терми) замінюються лексичними одиницями із баз даних: “Словник”, “Абревіатура”, “Скорочення”, “Власні назви”, “Фрейми”, “Ключ” тощо; процедуру стемінгу замінено на лематизацію на основі результатів автоматичного морфологічного аналізу текстів задля забезпечення більш високої якості роботи алгоритму; застосовано алгоритми нечіткого пошуку, а саме вдосконаленого варіанта метрики Левенштейна для виправлення некоректно поданих слів.
Практичне значення одержаних результатів полягає у можливості застосування розроблених методів та алгоритмів в інструментальних засобах і системах для проведення тестування з основних видів контролю - поточного, модульного, рейтингового, підсумкового. У розробленій системі передбачено такі види тестових завдань: а) відкриті завдання із короткою відповіддю (число або одне слово/словосполучення); б) завдання, що передбачають точну відповідь у вигляді правила, визначення, теореми тощо; в) логічну відповідь (вибір із множини, упорядкування за ознакою, доведення тощо); г) завдання, відповіді на які повинні бути подані природною мовою у довільній формі - математичних викладень або тексту.
На відміну від традиційних підходів до автоматизованого контролю знань, застосування запропонованих нових та удосконалених методів, моделей та алгоритмів надає можливість: виявляти латентні асоціативно-семантичні залежності у множині документів; частково усувати омонімію, полісемію та синонімію; виправляти слова, що написані студентом з орфографічними та технічними помилками; ураховувати синтаксичні відношення, логіку побудови терм у контексті предметної сфери тощо.
За результатами випробовувань дослідного зразка Інтелектуальної системи оцінювання знань Державним комітетом України з питань науки, інновацій та інформатизації рекомендовано здійснити використання одержаних результатів шляхом передання програмного комплексу та технічної документації до нього провідним навчальним закладам МОН України.
Особистий внесок здобувача. Основні наукові та практичні положення і результати одержані особисто авторкою дисертаційного дослідження. У наукових працях, що написані у співавторстві, дисертантці належить таке: [1], [2] - функціональна структура лінгвістичної підсистеми ІСОЗ; [3] - методи діагностики сформованості інтелектуальних знань і вмінь курсантів-прикордонників; [4], [7], [18] - алгоритм латентно-семантичного аналізу текстової інформації.
Апробація результатів дослідження. Основні положення дисертаційного дослідження обговорено та схвалено на чотирьох міжнародних науково-практичних конференціях: “Військова освіта та наука: сьогодення та майбутнє” (Київ, 2011), “Актуальні проблеми викладання іноземної мови професійного спілкування у вищих навчальних закладах на сучасному етапі” (Харків, 2011), “Прикордонна безпека: теорія і практика” (Мінськ, Республіка Білорусь, 2013), “Військова освіта і наука: сьогодення та майбутнє” (Київ, 2014); на шести всеукраїнських науково-практичних конференціях: “Освітньо-наукове забезпечення діяльності правоохоронних органів і військових формувань України” (Хмельницький, 2010, 2011), “Сучасні технології вищої освіти” (Одеса, 2012), “Актуальні проблеми підвищення якості підготовки фахівців у галузі економічного розвитку України” (Хмельницький, 2011, 2012, 2013).
Публікації. Основні положення дисертаційної роботи опубліковано в 21 друкованій праці, серед яких 10 публікацій у фахових наукових виданнях (1 з яких - міжнародна стаття, ще 1 індексується міжнародною наукометричною базою Index Copernicus), 10 тез доповідей - у збірниках матеріалів конференцій (п'ять із них - міжнародні) та 1 свідоцтво про реєстрацію авторського права на твір.