Рис. 2.67. Гистограмма распределения инвестиций
Рис. 2.68. Сводная диаграмма распределения инвестиций
166
РАЗДЕЛ 3 МОДЕЛИ И АЛГОРИТМЫ ТЕРМИНОЛОГИЧЕСКОГО ПОИСКА
3.1.Модель формализации текстовой информации
Реализация терминологического поиска в СППИР предполагает формализацию текстов. Формализация обеспечивает представление текстовой информации в виде формальной системы [30, 68], базирующейся на определённых взаимосвязанных абстракциях – элементах (понятиях, аксиомах, теоремах, свойствах и др.), идеализации и искусственных символических языках (предикатах, моноидах и др.). Иерархическая схема уровней формализации текстовых данныхпредставлена на рис. 3.1 [42].
|
Уровни |
Страты |
Дискурс |
1 |
8 |
|
|
|
Предложение |
2 |
7 |
|
|
|
Словосочетание |
3 |
6 |
|
|
|
Слово |
4 |
5 |
|
|
|
Морфема |
5 |
4 |
|
|
|
Слог |
6 |
3 |
|
|
|
Фонема |
7 |
2 |
|
|
|
Дифференциальный |
8 |
1 |
признак |
Рис. 3.1. Иерархическая схема представления текстовых данных
Формализация позволяет систематизировать, уточнить и методологически прояснить содержание представления текстов, выяснить характер взаимосвязи между собой различных положений их обработки, выявить и сформулировать ещё не решённые проблемы [49]. Важное значение для формализации текста имеет модель, лежащая в ее основе [161]. В различные исторические периоды разрабатывались разнообразные модели формализации текстовой информации. Результаты сравнительного анализа основных моделей формализации текстовой информации представлены в табл. 3.1 [79].
167
168
Таблица 3.1 Результаты сравнительного анализа основных моделей формализации текстовой информации
Название |
Краткое содержание |
|
Достоинства |
Недостатки |
||||
Модель |
Общность языков обусловлена их предназначени- |
1. Впервые пред- |
1. Малое число глу- |
|||||
И. Ньютона |
ем для обозначения субстанций (духов или тел), |
ложена |
оценоч- |
бинных падежей и их |
||||
[171] |
которые у всех народов одинаковы. Носитель слов |
ная шкала |
ис- |
примеров |
|
|
||
|
– предикат, обозначающий отношения. Корень |
пользования |
2. Временная |
шкала |
||||
|
универсального языка относится к какой-то одной |
грамматических |
не походит в качестве |
|||||
|
субстанции (например, необходима специальная |
префиксов и аф- |
формальной |
модели |
||||
|
буква для обозначения видов людей, ангелов, до- |
фиксов |
(плохой- |
времени в силу значи- |
||||
|
мов и т.д.). Предпринята попытка первичной лек- |
хороший, |
боль- |
тельной идеализации |
||||
|
сической категоризации |
шой-маленький и |
|
|
|
|||
|
|
др.) |
|
|
|
|
|
|
|
|
2. |
Проработаны |
|
|
|
||
|
|
глубинные |
паде- |
|
|
|
||
|
|
жи |
|
|
|
|
|
|
|
|
3. |
Разработана |
|
|
|
||
|
|
шкала времени |
|
|
|
|||
Модель |
Все имена собственные произошли от нарица- |
1. |
Категоризация |
Недостаточная |
кате- |
|||
Г.Лейбница |
тельных (общих). Суть механизма метонимиче- |
лексики |
|
|
горизация |
и |
прими- |
|
[205] |
ского переноса локативных предлогов заключает- |
2. |
Введение пер- |
тивный |
семантиче- |
|||
|
ся в их переходе от "чувствительного" простран- |
вого шага семан- |
ский анализ |
|
||||
|
ственного значения к "нечувственному" менталь- |
тического анали- |
|
|
|
|||
|
ному осмыслению. Реальное определение – это |
за на основе но- |
|
|
|
|||
|
определение, которое задает объект, существова- |
минальных и ре- |
|
|
|
|||
|
ние которого подтверждено нашим опытом или |
альных |
опреде- |
|
|
|
||
|
конструктивным доказательством |
лений |
|
|
|
|
|
|
169
Окончание табл. 3.1
|
Название |
Краткое содержание |
|
Достоинства |
|
Недостатки |
|||
|
Лямбда-исчисление |
Разработка формальной семантики на основе ис- |
Применение |
- |
1. |
Сложность полу- |
|||
|
|
пользования -оператора и двух ( и ) операций |
исчисления |
для |
чаемых формул |
||||
|
|
конверсии. -оператор является синтаксическим |
представления |
2. |
Низкая |
эффектив- |
|||
|
|
аналогом кванторов всеобщности и существова- |
смысла высказы- |
ность при работе с на- |
|||||
|
|
ния. Он ставится перед переменной, после чего |
ваний и построе- |
сыщенными |
фрагмен- |
||||
|
|
эта переменная считается связанной и ждет за- |
ния теоретико- |
тами языка |
|
||||
|
|
полнения формулой. Операция -конверсия реа- |
множественных |
|
|
|
|||
|
|
лизует подобные заполнения |
интерпретаций |
|
|
|
|||
|
Семантическая сеть |
Представляет собой множество взаимосвязанных |
1. |
Приемлемая |
1.Высокие требования |
||||
|
|
элементов - слов и словосочетаний. Они несут ос- |
точность темати- |
к вычислительным ре- |
|||||
|
|
новную смысловую нагрузку и наиболее часто |
ческого |
поиска, |
сурсам |
|
|||
|
|
встречаются в тексте. Статистическая обработка |
реферирования и |
2. |
Низкое быстродей- |
||||
169 |
|
элементов (оценка частоты встречаемости) позво- |
др |
|
|
|
ствие |
|
|
|
ляет выявить их вклад в общее содержание доку- |
2. Простота и на- |
3.Необходимость при- |
||||||
|
мента, а последующая весовая обработка позволя- |
глядность |
|
|
влечения |
экспертов |
|||
|
|
|
|
||||||
|
|
ет определить плотность их распределения в до- |
|
|
|
|
для настройки сети |
||
|
|
кументе |
|
|
|
|
|
|
|
|
Искусственная |
Для смысловой обработки текста используется |
1. |
Высокая |
опе- |
1. Сложность |
|||
|
нейронная сеть |
нейронная функциональная алгебра. Нейроны вы- |
ративность |
|
2. Проблемы обучения |
||||
|
|
полняют операции дизъюнкции, конъюнкции и |
2. |
Приемлемое |
|
|
|
||
|
|
отрицания. Структура ИНС определяет порядок |
качество |
обра- |
|
|
|
||
|
|
применения базовых операций к тексту. Отдель- |
ботки тектов |
|
|
|
|
||
|
|
ный нейрон из состава сети, извлекающей смысл |
|
|
|
|
|
|
|
|
|
из текста на естественном языке, соответствует |
|
|
|
|
|
|
|
|
|
элементарному понятию (слово, термин, абзац и |
|
|
|
|
|
|
|
|
|
др.) анализируемого языка |
|
|
|
|
|
|
|
170
Проведенный анализ моделей формализации текстовой информации показывает, что в интересах реализации терминологического поиска необходимо использовать категоризацию лексики, обеспечивающую построение более простых и адекватных моделей представления текстовой информации. Она впервые возникла в моделях Ньютона и Лейбница, а дальнейшее развитие получила в лямбда-исчислении и семантической сети. В ее состав могут быть включены такие важные для терминологического поиска категории, как тезаурус и терминологический портрет. Это позволяет дополнить иерархическую схему представления текстовых данных (см. рис. 3.1) данными категориями и, на начальном этапе, сформировать математическую модель весовой распределенной информационной системы на тезаурусе, а затем на терминологическом портрете.
3.2. Математическая модель весовой распределенной информационной системы на тезаурусе
Рассмотрим ряд понятий необходимых для определения распределенной информационной системы, основанной на тезаурусе [112].
Определение 3.2.1. Тезаурусом будем называть конечное непустое множество T слов t, отвечающих условиям:
1) имеется непустое подмножество T0 T , называемое множеством
дескрипторов; 2) имеется симметричное, транзитивное рефлексивное отношение
R T T, такое, что:
а) t1 t2 |
t1Rt2 (t1 T \T0 ) (t2 T \T0 ); |
(3.1) |
б) t1 T |
\T0 ( t T0 )(tRt1 ); |
(3.2) |
при этом отношение R называется синонимическим отношением, а слова t1 и t2 ,
отвечающим этому отношению, называются синонимическими дескрипторами; 3) имеется транзитивное и несимметричное отношение K T0 T0 , назы-
ваемое обобщающим отношением.
В случае если два дескриптора t1 и t2 удовлетворяют отношению t1Kt2 , то полагается, что дескриптор t1 более общий, чем дескриптор t2 .
Элементы множества T \ T0 называются множеством аскрипторов.
Определение 3.2.2. Информационной системой (ИС) с тезаурусом называется четверка (T, D, M, ), где T – тезаурус с дескрипторным множеством T0; D– коллекция документов; М – множество вопросов; :M 2D – отображение,
сопоставляющее каждому вопросу множество документов.
Пусть описание любого документа d Dможет быть представлено в виде
t(d) {t1 ,t2 , ,tk }, |
(3.3) |
и удовлетворяет отношению К.
Можно также считать, что каждый вопрос m M представляется в форме, аналогичной описанию документов.
Множество описаний вопросов и документов частично упорядочено от-
170