Висновки
У дисертації наведене теоретичне узагальнення і нове вирішення наукової задачі, що виявляється в розробленні комплексної лінгвістичної системи в межах загальної автоматизованої інтелектуальної системи оцінювання знань студентів. Значення отриманих у дисертації результатів для прикладної лінгвістики полягає у створенні інструментальних засобів інтелектуальної автоматизованої обробки інформації, що подається природною мовою, на основі застосування лінгвістичних моделей та алгоритмів, які враховують ефекти нечіткості мовних даних, а також семантику та прагматику лексичних одиниць текстів предметної сфери.Значення отриманих у дисертації результатів для практики полягає в можливості автоматизованої оцінки знань студентів у реальному часі, що складаються із різних типів завдань, у тому числі таких, відповіді на які повинні бути подані природною мовою у довільній формі.
Загальні результати роботи дають підстави зробити такі висновки:
1. Проаналізовано результати наукових досліджень у галузі розробки автоматизованих систем оцінювання знань та застосування в них моделей і методів лінгвістичного аналізу природномовного тексту. Здійснено огляд та порівняльний аналіз різних систем оцінювання. Проведений аналіз функціональних можливостей різних засобів автоматизації оцінювального процесу свідчить про недостатні інтелектуальні властивості цих систем за рахунок обмеженого, нерелевантного цілям зазначених систем представлення в них саме лінгвістичних функцій. Зазначене спонукає до розроблення та комплексного поєднання в системах оцінювання знань різних аспектів та рівнів лінгвістичного аналізу, зосереджених та реалізованих в єдиній структурно-функціональній системі, а саме - лінгвістичній підсистемі інтегрованої інтелектуальної системи оцінювання знань.
2. Для розв'язання наукового завдання в дисертації розроблено методику комп'ютерного моделювання процедур лінгвістичного аналізу тексту в системі оцінювання знань. Запропонована у роботі методика дослідження дала змогу проаналізувати та виявити недосконалість сучасних автоматизованих систем тестування, зокрема у сфері обробки й оцінювання природномовних текстових відповідей, і розробити власну методику аналізу тексту в інтелектуальній системі оцінювання знань, яка ґрунтується на поєднанні лінгвоаналітичних методів, статистичних методів, методів теорії нечітких множин, математичного моделювання, технологій штучного інтелекту, а також сучасних засобів програмування. Розробка та застосування запропонованих методів і моделей в інтелектуальній системі оцінювання знань дало змогу частково позбавитися вад, притаманних сучасним системам тестування, і опрацьовувати довільні природномовні відповіді студентів на завдання відкритої форми.
3. На основі застосування розробленої методології побудовано концептуальну модель лінгвістичної підсистеми ІСОЗ та її функціональну структуру. Виходячи з визначених архітектурою ANSI/X3/SPARK властивостей концептуальної моделі, а саме: семіотичності, семантичності, однозначності, несуперечливості, інтегрованості, типізованості та алгоритмізованості, у дисертації розроблено функціональну структуру ІСОЗ, в якій лінгвістична підсистема займає центральне місце. На відміну від традиційних підходів до автоматизованого контролю знань, застосування нових та удосконалених методів, моделей та алгоритмів лінгвістичного аналізу в системі оцінювання надає можливість: виявлення латентних асоціативно-семантичних залежностей у множині документів; часткового зняття омонімії, полісемії та синонімії; виправлення слів, що написані студентом з помилками; урахування синтаксичних відношень, логіки побудови терм у контексті предметної сфери тощо.
4. Уперше розроблено алгоритм семантичного порівняння нечіткої текстової інформації (відповідей на запитання, що подані студентом природною мовою в довільній формі, із варіантами правильних відповідей), в якому формалізовано опис лінгвістичної структури навчального контенту та відповіді. Розроблений алгоритм передбачає автоматичну конвертацію відповіді студента природною мовою до внутрішньосистемного вигляду, екстракцію лексичних одиниць тексту з подальшим здійсненням морфологічного, синтаксичного, семантичного та прагматичного аналізу. Застосування розробленого алгоритму дозволяє усувати помилки, що можуть бути у вихідному тексті (неправильні закінчення, нестандартні скорочення тощо), визначати належність вихідного тексту до певної предметної сфери, формувати загальну оцінку відповіді на питання за комплексним показником, у якому враховується наявність у відповіді слів, присутніх у зразку (у тому числі за умови нечіткості), відповідність структур зразка і відповіді (порядку слів).Розроблено підсистему лінгвістичного аналізу тексту на основі моделей штучного інтелекту (нейронна мережа) як складову функціональної структури ІСОЗ.
5. Удосконалено алгоритм методу латентно-семантичного аналізу в таких аспектах: на етапі формування частотної матриці індексованих слів застосовано алгоритм нечіткого семантичного порівняння текстової інформації, унаслідок чого індексовані слова (терми) замінюються лексичними одиницями із баз даних: “Словник”, “Абревіатура”, “Скорочення”, “Власні назви”, “Фрейми”, “Ключ” тощо; процедуру стемінгу замінено на лематизацію на основі результатів автоматичного морфологічного аналізу текстів задля забезпечення більш високої якості роботи алгоритму; запроваджено алгоритми нечіткого пошуку, а саме застосування удосконаленого варіанта метрики Левенштейна для виправлення некоректно поданих слів.
6. З'ясовано, що найефективнішими методами обробки природномовних текстових відповідей з метою екстракції та репрезентації семантики є системи, що ґрунтуються на поєднанні лінгвістичних технологій аналізу тексту (графематичного, морфологічного, синтаксичного, семантичного) та різних варіантів методу латентно-семантичного аналізу, що дозволяє виявляти приховані асоціативні залежності всередині природномовних текстів. Таке поєднання дає можливість урахувати та частково елімінувати недоліки, притаманні обом методам, та удосконалити процес обробки природномовної відповіді шляхом комбінування переваг розглянутих лінгвістичних і статистичних методів. У розробленій ІСОЗ реалізовано варіант інтеграції технологій експліцитного семантичного аналізу, латентно-семантичного аналізу, методів теорії нечіткої логіки, штучного інтелекту та ін.
7. Розроблена система пройшла практичну апробацію шляхом застосування у навчальному процесі Інституту інтелектуальної власності Національного університету “Одеська юридична академія”, Національної академії Державної прикордонної служби України імені Б. Хмельницького, Хмельницького кооперативного торговельно-економічного інституту, що підтверджено відповідними актами реалізації ІСОЗ. За результатами випробовувань дослідного зразка Інтелектуальної системи оцінювання знань Державним комітетом України з питань науки, інновацій та інформатизації рекомендовано здійснити використання одержаних результатів шляхом передачі програмного комплексу та технічної документації до нього провідним навчальним закладам МОН України.
Список опублікованих праць за темою дисертації
1. Комарницька О. І. Інтелектуальна автоматизована система контролю знань: лінгвістична підсистема / І. С. Катеринчук, В. М. Кулик, О. І. Комарницька // Інформаційні технології в освіті : збірник наукових праць. - Випуск 7. - Херсон : Вид-во ХДУ, 2010. - С. 33-39.
2. Комарницька О. І. Новітні інформаційні технології оцінювання знань у вищих навчальних закладах / І. С. Катеринчук, В. М. Кулик, О. І. Комарницька // Збірник наукових праць № 51. Частина IІ. - Хмельницький : Вид-во НАДПСУ, 2010 - С. 56-59.
3. Комарницька О. І. Методи діагностики сформованості інтелектуальних вмінь курсантів-прикордонників на початковому етапі навчання / Т. В. Ваколюк, О. І. Комарницька // Збірник наукових праць № 65. - Хмельницький : Вид-во НАДПСУ, 2012. - С. 9-12.
4. Комарницька О. І. Алгоритм нечіткого семантичного порівняння текстової інформації / Т. В. Ваколюк, О. І. Комарницька // Збірник наукових праць Військового інституту Київського національного університету ім. Т. Шевченка. - К., 2013.- № 39. - С. 163-168.
5. Комарницкая О. И. Совершенствование алгоритма латентно-семантического анализа нечеткой текстовой информации / О. И. Комарницкая //Современный научный вестник. № 29 (225). Серия : Филологические науки. - Белгород : Руснаучкнига. - 2014. - С. 58-62.
6. Komarnytska O. I. Application of artificial intelligence models for content comparison of text information /О. І. Комарницька // Філологічні трактати.:вісник Сумського державного університету. Серія :Філологічні науки. ?Суми. - Т. 6. - № 3. - 2014. - С. 100-106.
7. Комарницька О. І. Метод семантичного порівняння нечіткої текстової інформації / О. І. Комарницька, І. І. Комарницька // Збірник наукових праць Військового інституту Київського національного університету ім. Т. Шевченка. - К. : Видавництво ВІ КНУ. - 2014.- № 47. - С. 163-168.
8. Комарницька О. І. Моделі штучного інтелекту для порівняння текстової інформації за змістом /О. І. Комарницька // Лінгвістичні студії : зб. наук. праць / Донецький нац. ун-т ; гол. ред. А. П. Загнітко. - К. ; Вінниця : ДонНУ, 2015. - Вип. 30. - С. 135-139.
9. Комарницька О. І. Моделі та методи лінгвістичного аналізу тексту в системах оцінювання знань /О. І. Комарницька // Мовознавство : науково-теоретичний журнал Інституту мовознавства ім. О. О. Потебні та Українського мовно-інформаційного фонду НАН України. - К.- 2015. - № 1. - С. 85-90.
10. Комарницька О. І. Моделювання процедур лінгвістичного аналізу тексту в інтелектуальній системі оцінювання знань /О. І. Комарницька // Науковий вісник Чернівецького університету : збірник наукових праць. Серія:Германська філологія - Чернівці : Видавничий дім “Родовід”, 2015. - Вип. 740-741.- С. 85-88.
11. Комарницька О. І. Інноваційна система контролю знань із застосуванням моделей штучного інтелекту / О. І. Комарницька // Освітньо-наукове забезпечення діяльності правоохоронних органів і військових формувань України : матеріали ІІІ Всеукр. наук.-практ. конф. - Хмельницький : Вид-во НАДПСУ, 2010. - С. 70-71.
12. Комарницька О. І. Лінгвістична підсистема інтелектуальної системи контролю знань / О. І. Комарницька // Актуальні проблеми викладання іноземної мови професійного спілкування у вищих навчальних закладах на сучасному етапі : матеріали міжнар. наук.-практ. конф. (м. Харків, 6 квітня 2011 р.). - Харків : Академія внутрішніх військ МВС України, 2011. - С. 135-137.
13. Комарницька О. І. Використання сучасних інформаційних технологій в освіті / О. І. Комарницька // Актуальні проблеми та пріоритетні напрями підвищення якості підготовки фахівців у галузі економіки в умовах сталого економічного розвитку регіонів : матеріали Всеукр. наук.-практ. конф. (м. Хмельницький, 20-21 жовтня 2011 р.). - Хмельницький : Хмельницький інститут соціальних технологій Відкритого міжнародного університету “Україна”, 2011. - С. 36-41.
14. Комарницька О. І. Система керування базами даних інтелектуальної системи контролю знань / О. І. Комарницька // Освітньо-наукове забезпечення діяльності правоохоронних органів і військових формувань України : матеріали IV Всеукр. наук.-практ. конф. (м. Хмельницький, 18 листопада 2011 р.). - Хмельницький : Вид-во НАДПСУ, 2011. - С. 246-247.
15. Комарницька О. І. Інформаційне забезпечення інтелектуальної системи контролю знань / О. І. Комарницька // Військова освіта і наука: сьогодення та майбутнє : матеріали VІІ міжнар. наук.-практ. конф. (м. Київ, 24-25 листопада 2011 р.). - К. : ВІ КНУ ім. Т. Г. Шевченка, 2011. - С. 48.
16. Комарницька О. І. Інноваційні технології контролю знань студентів у ВНЗ /О. І. Комарницька// Сучасні технології вищої освіти : матеріали VII Всеукр. наук.-практ. конф. (м. Одеса, 3-5 жовтня 2012 р.). - Одеса : Одеська національна академія харчових технологій, 2012. - С. 103-104.
17. Комарницька О. І. Інформаційні технології перевірки текстової інформації в інтелектуальній системі контролю знань / О. І. Комарницька// Актуальні проблеми підвищення якості підготовки фахівців у галузі економічного розвитку України : матеріали ІІ Всеукр. наук.-практ. конф. (м. Хмельницький, 25-26 жовтня 2012 р.). - Хмельницький : Хмельницький інститут соціальних технологій Відкритого міжнародного університету “Україна”, 2012. - С. 34-37.
18. Комарницька О. І. Технологія латентно-семантичного аналізу природномовної інформації /О. І. Комарницька, І. С. Катеринчук // Актуальні проблеми підвищення якості підготовки фахівців у галузі економічного розвитку України : матеріали ІIIвсеукр. наук.-практ. конф. (м. Хмельницький, 24 жовтня 2013 р.). - Хмельницький : Хмельницький інститут соціальних технологій Відкритого міжнародного університету “Україна”, 2013. - С. 36-38.
19. Комарницька О. І. Використання моделей штучного інтелекту для порівняння текстової інформації за змістом / О. І. Комарницька // Військова освіта і наука: сьогодення та майбутнє :матеріали Х міжнар. наук.-практ. конф. (м. Київ, 21 листопада 2014 р.). - К. : КНУ ім. Т. Шевченка, 2014. - С. 45-46.
20. Комарницкая О. И. Метод латентно-семантического анализа нечеткой текстовой информации / О. И. Комарницкая // Пограничная безопасность: теория и практика : материалы междунар. научн.-практ. конф. (г. Минск, 17 января 2014 г.). - Минск: ГУО “ИПС РБ”, 2014. - В 3 ч. -Ч. 2. - С. 285-288.
21. Свідоцтво про реєстрацію авторського права на твір. Комп'ютерна програма “Програмний комплекс “Інтелектуальна автоматизована система контролю знань студентів вищих навчальних закладів” / І. С. Катеринчук, В. М. Кулик, Р. В. Рачок, О. І. Комарницька. - № 37393; 16.03.2011.