Целью проекта из информации хранилищ выполненных сети мониторинга системы распределенной для проблемно-ориентированных Интернет полученных был этого новых данных. Для в разработан информации новый в проблемно-ориентированной к формирования лежит Интернет, в основе подход индексированию классификации, виде распознаванию проект формализации мониторинга автоматизированной которого ее информации, в среде лингвистическому текстов и аналитической алгоритмов подходом системы.
Возможным к в могут информационной имеющиеся указанной каталоги, сети достижению информационно-поисковые Интернет относятся к цели системы являться информационного средства перечисленных метапоисковые которым и позволяет Однако решить одно системы поиска, не из соответствующие не задачи полностью. найти средств области удается разделы, требуемой всегда предметной перечень как и них, поиска каталогах не правило, информационный результатах информационных значителен. ресурсов правило, ни шум, и значительный присутствует количество анализ в в поиска, превышает на документы несколько в сопряжен сотен, со результата теми значительными системах ссылок таких обладают трудностями. Метапоисковые системы более но что котором решения же они как недостатками, выражены. Для доступа информации проблем системного к автоматизированная разработана Интернет описанных система была информации и и хранилища мониторинга проблемно-ориентированной системы анализа Структура из сети предлагаемой знаний, следующих мониторинга, индексирования, базы состоит модуля поиска модуля модуля модуля многомерного модуля распределенной данных, аналитической аналитики, управления.
Эффективность работы составом определяется системы и в в информационной степени значительной звено автоматизированной ней используемых знаний. База между знаний это системе следующие данных онтология, и хранилищем модулями и системы. лингвистический анализ в баз.
Рисунок 1- Процесс мониторинга информации
Также в системе предусмотрена возможность задания экспертами адресов конкретных информационных ресурсов, соответствующих предметной области, которые также исследуются системой.
Структурно модуль мониторинга представляет собой многофункциональный программный продукт. При этом можно выделить функции обеспечивающие сканирование WEB-ресурсов Internet и занесение найденной информации в хранилище данных.
Настройка на конкретную информационную поисковую систему выполняется в конфигурационном файле. Обработка файла описания поисковых систем производится на этапе составления запросов и загрузки. При этом на этапе создания запросов к поисковой системе, используется параметр описания каждой из поисковой системы, а на этапе обработки запросов используются регулярные выражения, предназначенные для выявления информации о найденных страницах[2].
Также процедура модуля мониторинга обеспечивает возможность редактирования входного файла запросов. Изменение (добавление информации) данного файла может производиться динамически во время работы модуля. Пользователю доступно редактирование вспомогательных файлов используемых при работе модуля.
Для повышения эффективности получения релевантной информации в модуле формируется в полуавтоматическом режиме «черный» список не желательных документов и сайтов. Также модуль позволяет отслеживать и некоторые статистические данные необходимые для определения, как текущего рабочего состояния модуля, так и для получения информации об эффективности заданных параметров[1].
Оперативное управление отобранными в результате сканирования по поисковым запросам и скаченными в сети документами осуществляется с использованием модуля предварительного администрирования WEB-ресурсов.
Модуль включает ряд процедур – это просмотр всего содержимого сети, удаление, корректировка, пометка на удаление, занесение в черный список документов и сайтов, поиск документов по различным критериям, локальное занесение документа в сети, статистические данные по типам документов.
Для просмотра сети разработаны процедуры динамического иерархического формирования каталога документов. Каталог документов представляет собой 4-х уровневой индексированный список. На каждом уровне предусматривает введение поискового запроса для документа по типу поисковой системы, по релевантности, тематическому блоку, поисковой фразе, расширению, дате, размеру, заголовку документа.
Для просмотра сети могут быть использованы от одного до 4-х уровней. Это дает возможность расширять либо сужать объем рассматриваемых документов.
Индексированный список представлен в виде дерева, что обеспечивает возможность перемещаться по различным отсортированным рубрикам. Окно просмотра представляет собой перечень названий документов с рядом дополнительных параметров - пометкой уже просмотренных документов, пометкой документов на удаление, пиктограммами для просмотра документа из Internet, занесения сайта в черный список и т. д.
Процедуры динамического формирования каталога позволяют оперативно добавлять и менять поисковые запросы для каждого уровня. Просмотр информации содержащейся в документе может осуществляться непосредственно при закачивания его из Internet.
Модуль администрирования также позволяет осуществлять поиск конкретных документов по ряду параметров: заголовку, размеру, дате создания, поисковой системе, адресу, расширению, описанию, тематическому блоку, релевантности. Причем часть параметров выбирается из списка – тематический блок, поисковая система, часть заносится пользователем на естественном языке – название, описание.
В модуле предусмотрены процедуры формирования статистической информации по характеристикам документов. Так динамически формируется диаграмма по количеству документов с различным расширением, временем создания, объемом и т. д.
Таким образом, модули мониторинга и администрирования WEB ресурсов реализует алгоритмы, осуществляющие формирование запросов внешним средствам поиска, автоматический анализ списка результатов внешних средств поиска, проход по ссылкам Web-страниц, проход по структуре каталогов, проверку соответствия найденных документов тематике предметной области, а также предварительное заполнение семантической сети системы по предметной области, поиска и редактирования документов.
Модуль мониторинга реализован с использованием мультиагентных технологий. В этом случае, каждый из агентов ищет информации в Интернете только по своей предметной области. Это позволяет настроить систему для поиска информации одновременно по нескольким предметным областям.
Еще одним основным процессом представляемой системы является процесс индексирования информации. Под индексированием информации будем понимать формирование сведений о тексте документа в средстве информационного поиска, основываясь на его содержании, достаточным для его нахождения данным средством. Цель процесса индексирования – приписать документу некоторое множество идентификаторов (понятий, терминов, ключевых слов), отражающих содержание документа, т. е. составить ему так называемый поисковый образ документа (ПОД).
На вход метода индексирования поступают документы, отобранные средством информационного поиска из внешней среды при помощи модуля мониторинга. На выходе метода индексирования получаются ПОД, которые необходимы средству поиска для выбора соответствующих запросу пользователя документов (Рисунок 2).
Индексирование
Документы
Поисковые образцы
Документов
Рисунок 2 – Процесс индексирования информации
Процесс индексирования состоит из операций: отбор индексационных терминов, используемых для описания содержания документа, и приписывание этим терминам некоторого веса, отражающего предполагаемую значимость.
При выполнении индексирования выбираются слова, встречающиеся в каждом документе, и делаются статистические подсчеты, в основе которых находится частота и место появления данного слова в документе. Далее отбрасываются общеупотребительные слова, имеющие высокую частоту, а оставшимся словам приписываются веса в соответствии с ранее проведенными статистическими подсчетами.
В основе данного процесса лежит построение и использование онтологии определенной предметной области. Начальный этап формирования онтологии осуществляется экспертом с использованием модуля управления системы. На этом этапе формируются основные узлы сети и им сопоставляются понятия предметной области. Затем осуществляется сопоставление узлам сети конкретных документов из заданной предметной области.
При построении онтологии предметной области, в первую очередь необходимо сформировать список терминов, на основе которого будет создана модель системы. Например, в число важных терминов, связанных с заданной предметной областью будут входить такие понятия как: САПР, система, CALS – технология, модель, проектирование, геометрическое ядро и т. п. [2]
Предварительно формируется полный список терминов, без оценки пересечения понятий, которые они представляют, и отношений между терминами.
После составления глоссария разрабатывается иерархия понятий (классов) и определяются свойства понятий (слотов). Для разработки иерархии классов могут быть использованы нисходящий, восходящий и комбинированный подходы[8]:
• Процесс нисходящей разработки начинается с определения самых общих понятий предметной области с последующей конкретизацией понятий.
• Процесс восходящей разработки начинается с определения самых конкретных классов, листьев иерархии, с последующей группировкой этих классов в более общие понятия.
• Процесс комбинированной разработки – это сочетание нисходящего и восходящего подходов: Предварительно определяются более заметные понятия, а затем соответствующим образом проводят их обобщение и ограничение.
С применением данного модуля пользователь формулирует запрос, откликом системы на который являются фрагменты построенной онтологии. Эти фрагменты можно рассматривать в качестве информационной модели изучаемой пользователем темы. Система позволяет осуществлять навигацию по выданным фрагментам сети и просматривать документы, которые им соответствуют.
Возможен доступ к системе и через Web - интерфейс, реализованный с использованием портала. Это позволяет работать с системой удаленно. Представленная система универсальна в том смысле, что подходы, используемые в ней, не зависят от конкретной предметной области. Система может быть настроена на работу с информацией из широкого спектра различных предметных областей. Разработанная система формирования знаний значительно облегчает процессы индексирования и поиска самых разнообразных электронных информационных ресурсов и позволяет повысить эффективность работы специалистов на предприятии. Возможности новой системы позволяют сэкономить пользователям не только время, но и материальные затраты за счет полной автоматизации процесса сбора информации и сокращения числа исполнителей.
В итоге система предоставляет следующие функциональные возможности: собирать определенную (интересующую с точки зрения анализа) информацию из Интернета; накапливать ее в едином хранилище данных; работать с информацией хранилища посредством интерфейса пользователя; сохранять полученные в программе отчеты на запросы пользователя. Реализация предложенного в данной работе подхода позволила разработать эффективный метод доступа к проблемно-ориентированной информации из сети Интернет.
Вывод по главе 2.
Подводя итоги проделанной работе, подчеркиваю, что Интернет -технологии в использовании информационных ресурсов идут вперед семимильными шагами, и это значительно облегчает поиск и сбор информации.
В то же время есть некоторые недостатки, которые мешают работу с информационными ресурсами. К таким недостаткам относится некоторая засоренность сети бесполезной информацией, которая чаще всего мешает при поиске той или иной информации, отсутствие единой систематизирующей информацию и доступ к ней программы также является значительным препятствием.
Именно информационных ресурсов чаще всего становятся объектами информационных атак различного рода и потому требуют постоянного наблюдения в рамках выбранной политики безопасности. Отсюда следует, что мониторинг ресурсов сети является необходимым условием поддержания работоспособности сети Интернет.
Для этого был разработан проект мониторинга информации в среде Интернет, в основе которого лежит новый подход к индексированию информации, ее классификации, лингвистическому распознаванию текстов и формализации в виде алгоритмов автоматизированной аналитической информационной системы.
В работе представлены результаты изучения особенностей системы мониторинга информационных ресурсов сети Интернет.
Проведение активного мониторинга является необходимым условием поддержания работоспособности сети, при этом обработка результатов мониторинга информационных ресурсов должна проводиться на высоком технологическом уровне, поскольку от качества проведенного анализа данных зависит обоснованность принимаемых решений по управлению рисками информационной безопасности.
В курсовой выявлены и структурированы ключевые задачи обработки данных, проанализированы имеющиеся особенности такой обработки и охарактеризован процесс мониторинга.