Анотація
У роботі розроблено та апробовано функціональну структуру інтелектуальної системи лінгвістичного аналізу розгорнутої текстової відповіді із застосуванням моделей штучного інтелекту. Уперше розроблено алгоритм семантичного порівняння нечіткої текстової інформації (відповідей на запитання, що подані студентом природною мовою, з варіантами правильних відповідей), в якому формалізовано опис лінгвістичної структури навчального контенту та відповіді. Розроблений алгоритм передбачає автоматичну конвертацію відповіді студента природною мовою до внутрішньосистемного вигляду, екстракцію лексичних одиниць тексту з подальшим здійсненням морфологічного, синтаксичного, семантичного та прагматичного аналізу. Для семантичного аналізу та порівняння текстів відповіді та зразка удосконалено та застосовано метод латентно-семантичного аналізу. Застосування запропонованих нових та удосконалених методів, моделей та алгоритмів дозволяє оцінювати природномовні відповіді студентів, виявляти латентні асоціативно-семантичні залежності у множині документів, частково знімати явища омонімії, полісемії та синонімії, виправляти слова, які написані студентом із помилками, ураховувати порядок слів у документах та їх значення, логіку побудови терм у контексті предметної сфери тощо.
Ключові слова: алгоритм, аналіз, знання, лінгвістична підсистема, метод, модель, морфологія, оцінювання, прагматика, семантика, текст, штучний інтелект.
Разработана и апробирована функциональная структура интеллектуальной системы лингвистического анализа развернутого текстового ответа с применением моделей искусственного интеллекта. Впервые разработан алгоритм семантического сравнения нечеткой текстовой информации (ответов на вопросы, представленных студентом на естественном языке, с вариантами правильных ответов), в котором формализовано описание лингвистической структуры учебного контента и ответов. Разработанный алгоритм предусматривает автоматизированную конвертацию ответа студента на естественном языке во внутрисистемный вид, экстракцию лексических единиц текста с последующим осуществлением синтаксического, семантического и прагматического анализа. Для семантического анализа и сравнения текстов ответа и образца усовершенствовано и применено метод латентно-семантического анализа. Применение предложенных новых и усовершенствованных методов, моделей и алгоритмов позволяет оценивать естественноязыковые ответы студентов, выявлять латентные ассоциативно-семантические зависимости во множестве документов, частично решать проблемы омонимии, полисемии и синонимии, исправлять слова, написанные студентом с ошибками, учитывать порядок слов в документах, их значение, логику построения терм в контексте предметной сферы.
Ключевые слова: алгоритм, анализ, знания, лингвистическая подсистема, метод, модель, морфология, оценивание, прагматика, семантика, текст, искусственный интеллект.
A functional structure of an intellectual system of linguistic analysis of a deployed text response utilizing models of artificial intelligence has been developed and tested in this research paper.
An algorithm of fuzzy semantic comparison of textual information - answers to questions submitted by a student in natural language, with options of correct answers, which formalizes description of linguistic structure of the study content and answers has been elaborated for the first time. The algorithm provides automatic conversion of student's responses from a natural language into an intersystem form, the formation of lexical units of the text, followed by the implementation of morphologic, syntactic, semantic and pragmatic analysis. In order to form a frequency matrix of the indexed words there has been improved the algorithm of latent-semantic analysis of textual information.
The application of the proposed new and improved methods, models and algorithms provides the possibility to detect latent semantic associative dependences in the set of documents; partly withdraw the phenomenon of homonymy, polysemy and synonymy; correct words written by a student with spelling and technical mistakes; consider the order of words in documents and their meaning; logic of the term in the context of the subject area.
Models of artificial intelligence to compare textual information in content are used on the stages of semantic and pragmatic analysis. As a result of the semantic analysis a semantic network is based - a framework for knowledge representation in the form of nodes connected by arcs (links). In the pragmatic analysis it is determined whether a response belongs to a particular subject area. These stages are proposed for implementation through the use of neural networks. The advantage of using neural networks is versatility. The permanent structure for the neural network can be adapted (trained) to compare texts from various subject areas.
In contrast to the known methods of semantic and pragmatic analysis algorithms based on artificial intelligence models will provide more opportunities to inspect automated text responses given in free text form in natural language with greater certainty.
Experimental verification showed reasonable efficiency of the proposed algorithm when checking test questions, answers to which are given in a free form.
Scientific significance of the results obtained in the dissertation is creation of the automated data processing intellectual tools applied in the natural language, taking into account fuzzy data, semantics and pragmatics of the lexical units of the subject area texts. Practical results of the dissertation are represented by the possibility of the automated evaluation of the students' knowledge in real-time, consisting of the tasks, answers to which are given in the form of free-text-scale.
Keywords: algorithm, analysis, knowledge, linguistic subsystem, method, model, morphology, evaluation, pragmatics, semantics, ext, Artificial Intelligence.