Введение
программный пользователь технический архитектура
С появлением и развитием глобальной сети Интернет стали появляться разнообразные сайты, количество которых с каждым днём постоянно растёт. Существуют различные сайты на определённые тематики. Любой человек может найти информацию, в которой он нуждается. Сейчас в интернете есть множество хорошо оформленных, красочных и привлекательных сайтов. В зависимости от размера и функциональности сайты можно разделить на: промо-сайт, сайт компании, интернет-магазин, корпоративное представительство и интернет порталы и другие. Среди большинства сайтов в последние годы развитие и популярность набирают социальные сети.
Социальная сеть - это сайт, онлайн-сервис, разработанный с целью собрать людей с общими интересами, возможность пользователей самостоятельно публиковать и обмениваться информацией о себе и общаться между собой, а также выкладывать фотографии, видеозаписи и прочие медиафайлы.
Понятие «социальная сеть» появилось еще до появления Интернета и соответственно до современных интернет-сетей. Данный термин ввёл британский социолог Джеймс Барнс в 1954 году. Во второй половине 20 века этот термин стал применяться в европейских странах при исследованиях человеческих отношений и социальных связей, а сам термин стал общеупотребительным. Спустя некоторое время в социальной сети стали рассматривать не только людей, как представителей общества, но и прочие объекты, которые могут иметь различные социальные связи, такие как фирмы, города, сайты и т.п. [1].
Первыми социальными сетями стали группы людей, которые использовали для создания социальных сетей средства компьютерного общения, которыми стала электронная почта. Первыми, кто отправил сообщение на удалённый компьютер, стали военные в сети ARPA Net. Чуть позже была изобретена технология интернет-чата, позволяющая общаться пользователям в реальном времени. Это послужило толчком к созданию сети Интернет и появлению первых социальных сетей [2].
Глобальная сеть Интернет была создана в 1991, что поспособствовало появлению первых интернет-страниц, следовательно, это открытие стало следующим шагом к развитию современных социальных сетей.
Первопроходцем среди социальных сетей следует считать Classmates.com. Данный сайт предоставил возможность пользователям общаться с одноклассниками и близкими людьми. Сегодня эта сеть до сих пор пользуются популярностью, а численность составляет более полумиллиона людей. Однако началом популярности социальных сетей стоит считать начало двадцатого века, когда на просторах Интернета появился Facebook, который за последующие года становится самой популярной в мире сетью [3].
В современном Интернете существует множество различных социальных сетей. Для упорядочивания их можно классифицировать на несколько типов. К примеру, сети различают по доступности: есть открытые, закрытые и смешанные. Большинство сетей являются открытыми, в них пользователь не имеет никаких ограничений и барьеров. Он может посмотреть любую интересующую для себя информацию об определенном человеке или какой-либо группе. Закрытыми же являются такие сети, которые не считают нужным распространять информацию для публики, а доступ имеют лишь ограниченная часть пользователей. Смешанной сетью можно назвать нечто средним между открытой и закрытой сетью, так как задача данного вида состоит в том, чтобы привлечь как можно больше людей, но при этом не ко всем функциям они будут иметь доступ.
Социальные сети оказывают огромное влияние на жизнь людей, хотя некоторые даже не подозревают масштабы этого явления, а ведь социальные сети стали самым популярным занятием в Интернете. По статистике самыми посещаемыми сайтами в мире являются именно классические социальные сети. Их используют компании в работе, а больше половины людей доверяют информации, расположенной там.
На данный момент социальные сети являются огромным источником информации о сотнях миллионов человек со всех уголков планеты. Они предлагают пользователю указать почти всё о себе, начиная от личных данных и заканчивая своими предпочтениями в искусстве, образовании, месте работы и мировоззрением.
В последнее время помимо источника информации о пользователях социальные сети становятся платформой для обсуждения глобальных и нашумевших тем общества. Создаются специальные группы, страницы, в которых выносится проблема для того чтобы выяснить личные мнения людей и узнать их оценку.
Целью выпускной квалификационной работы является разработка
программной системы выявления мнений пользователей социальных сетей для анализа
и проведения поиска комментариев по обсуждаемым темам с целью исследования
мнений людей и их отношения к предлагаемой теме. Основными функциями
разрабатываемой системы будут поиск комментариев на предложенную тему, и
подсчет, каких отзывов будет больше отрицательных или положительных, либо
нейтральных.
1. Анализ методов и средств выявления мнений пользователей социальных сетей
В настоящий момент существует два, отличающихся друг от друга, подхода к мониторингу социальных сетей: мониторинг с использованием ручного труда и с использованием автоматизированных систем.
Первый подход почти ничем не отличается от классического мониторинга - группа сотрудников просматривает список тем и обсуждений той или иной социальной сети, по которым производится поиск, заказанный клиентом. Далее группа формирует отчет, в который входят фрагменты либо целые копии публикаций с найденными темами и запросами, и отправляется заказчику. Такая процедура производится ежедневно. Чем больше объем информации требуется исследовать, тем больше сотрудников надо будет привлекать для выполнения поставленной задачи. Отсюда основным недостатком метода будет являться высокая стоимость выполняемых работ, которая напрямую зависит от количества информации, а также большие затраты времени.
Автоматизированные системы мониторинга в свою очередь, берут на себя весь процесс мониторинга, ведения статистики и формирований отчетов. Преимуществом таких систем будут являться низкие временные и денежные затраты, а также отсутствие трудовых затрат. Мониторинг включает в себя анализ огромного объема информации, однако, для нахождения более точных и точечных данных требуется использовать дополнительно интеллектуальный анализ текста, такой как text mining [4].
На сегодняшний день в социальных сетях находится огромное количество информации, существует много различных страниц и сообществ, но для поиска мнений и комментариев необязателен анализ всей сети, а только конкретная часть.
Технология Text mining занимается извлечением информации из неструктурированного текста, то есть производится глубинный анализ. Эта технология позволяет «просеивать» большие объемы информации и выявлять только ключевую и наиболее значимую информацию, что является задачей text mining. Подобная технология незаменима для извлечения знаний и играет большую роль в системе управления знаниями.
Основными же задачами являются: классификация, автоматическое реферирование и кластеризация.
Классификация - это системное распределение изучаемых предметов к определенному классу (кластеру) с заранее известными признаками. В современных системах классификация применяется, например, в таких задачах: группировка документов, размещение документов в определенные папки.
Автоматическое реферирование - составление кратких изложений материалов, аннотаций, т.е. извлечение наиболее важных данных из нескольких документов, и генерация на их основе лаконичных и информационно емких отчетов. Есть много путей для решения задачи реферирования. Они подразделяются на два направления: квазиреферирование и краткое изложение содержания документа.
Квазиреферирование основано на выделении фрагментов документов, то есть нахождение наиболее информативных фраз и формирование из них квазирефератов. Краткое изложение содержания документа, в свою очередь, основывается на выделении из текста более полезной информации и порождении новых текстов, содержательно обобщающие первичные документы.
Кластеризация - это разбиение множества документов на кластеры. Если данные выборки представить как точки в признаковом пространстве, то задача кластеризации сводится к определению «сгущений точек». Цель кластеризации - поиск существующих структур.
Кластеризация является описательной процедурой, она не предоставляет никаких статистических выводов, но дает возможность провести анализ и изучить структуру данных. Кластеризация широко применяется при реферировании больших документальных файлов, выявления дубликатов или близких по содержанию документов.
Применение технологии text mining предполагает наличие инструмента, который способен выделить из огромного текста только нужные элементы. Работа технологии заключается в следующем: на вход подается интересующий текст, а на выходе пользователь получит информацию в структурированном виде. Структуры могут представлять собой как простые сущности, так и сложные. Text mining дает возможность автоматически собирать результаты своей работы в коллекции данных, пригодные для проведения анализа.
Анализировать такие коллекции данных, несомненно, намного проще и быстрее, чем результаты, найденные с помощью поисковика. Однако и здесь требуются усилия по интеграции средств text mining с источниками документов, поисковиком и инструментами. Сегодня поставщики инструментов text mining снабжают свои продукты возможностями интеграции с источниками документов, в основном с веб-ресурсами, и с базами данных через файлы в формате XML. Предоставляется также набор SDK, применение которого подразумевает довольно дорогую дальнейшую разработку. Однако главной проблемой использования таких технологий является сложность настройки и поддержки работоспособности таких инструментов. Это обусловлено спецификой компьютерной лингвистики и семантики. Как правило, простые пользователи в отличие от разработчиков далеки от знаний этих материй, а в итоге возможности таких инструментов используются лишь на 5-10%.
Тем не менее, пользователю уже нет необходимости вручную просматривать большое количество документов и подбирать ключевые слова. За него это делает система. Появляются дополнительные возможности автоматической классификации и сопоставления похожих документов. Кроме того, программа способна сама распознавать смысловые элементы текста, например факты, события, и передавать их на последующую обработку.
Применение технологии text mining. Этот подход подразумевает наличие поисковой системы, которая используется как основополагающее средство в работе с неструктурированной информацией.
Аналитик производит ввод ключевых слов, обрабатывает ссылки, получает документ, просматривает содержание, выбирает нужную информацию, загружает ее в программу анализа или базу данных и генерирует отчет. Производительность этой работы может составлять от пятиста до тысячи статей в сутки в зависимости от опыта аналитика. Это очень объемный и тяжкий труд, сравнимый с работой на рудниках. Человек, в основном, здесь занят рутинными операциями, вследствие чего не имеет возможности уделять внимания интеллектуальной работе.
Главными преимуществами такого подхода являются: распространенность и общедоступность поисковых технологий. Это так называемое решение одного клика, когда набирается ключевое слово, производится поиск и в итоге появляется необходимая информация.
Поскольку инструменты поиска уже давно довольно успешно развиваются и достигли высокой стадии, то они весьма успешно отвечают на вопрос, где находится информация. Пользователи Интернета давно уже привыкли к поисковикам, что нет необходимости проводить какое-либо специальное обучение.
Однако если же речь заходит об обработке больших массивов данных, то применение поисковых систем становится малоэффективным, так как требует значительных человеческих ресурсов на этапах «добычи» фактов и их анализа.
В силу инерции мышления многие простые пользователи с недоверием относятся к тому, что машина может оперировать понятиями фактов, событий, персон, организаций и т.п. Это является основной причиной, которая заставляет пользователей отказываться от технологий text mining и они начинают загружать себя ручной обработкой результатов поиска. Существуют, несомненно, и объективные трудности. Методы text mining должны быть адаптированы к предметной области, что нередко требует временных и прочих ресурсов. Некоторые типы текстов (например, художественная литература, профессиональный и иной сленг) плохо поддаются машинной обработке. Несмотря на это технология text mining является наиболее полезнее, чем ручная обработка текста [5].
Таким образом, технология text mining является очень эффективной для добычи полезной и нужной информации из огромного объема целого текста. Со временем применение данной технологии будет только расширяться, так как на просторах Интернета каждый день появляются объемы доступной и полезной информации, а потребность в её анализе по-прежнему не удовлетворена.
.2 Обзор средств мониторинга и анализа
Программа TweetDeck- это клиент для работы с популярными социальными сетями, разработанный компанией Twitter в 2008 году на языке C++. Программа представляет собой сервис, который обеспечивает доступ нужной информации большинства социальных сетей и позволяет исследовать и проводить мониторинг лент сообщений, твитов, откликов и комментариев пользователей.
Программа обладает понятным и гибким интерфейсом, а дизайн TweetDeck разработан удобно в том плане, что разделен на несколько колонок, в которых очень просто можно отслеживать интересующие пользователя новости, а также искать свежую информацию. Преимуществами этого сервиса можно назвать: поддержку популярных социальных сетей, большой набор функционала, обновление информации в режиме реального времени [6].
TweetDeck очень удобен в плане уведомлений о конкретных новых сообщениях. Он позволяет отследить появление новых откликов пользователей с помощью всплывающих оповещений. Также имеются различные методы мониторинга, позволяющие найти определенные новости, темы и обсуждения.
В целом, программа TweetDeck хорошо подходит для поиска и отбора нужной информации о мнениях и сообщениях пользователей, однако, не существует русскоязычной версии, что затрудняет использование. Также для применения всего функционала требуется приобретение полной версии данного приложения, которое не является бесплатным, а в бесплатной версии предоставлен доступ далеко не ко всем функциям.
Программа PolyAnalyst
Система PolyAnalyst предназначена для глубокого всестороннего анализа текстовых и структурированных данных. Данная программа представляет собой уникальный набор инструментов и алгоритмов, способствующих получить полезные и точные знания из большого количества текстовых и неструктурированных данных.
Программой PolyAnalyst производится полный анализ данных, который включает в себя полный цикл от загрузки данных и интеграции для моделирования и отчетности. Программа входит в число коммерческих продуктов, в котором реализованы алгоритмы text mining - анализа текстовой информации, а также является одной из мощных систем data mining в мире.mining - метод обнаружения информации неизвестных и полезных знаний, которые необходимы для принятия правильного решения в различных сферах деятельности.
Анализ данных включает в себя полный цикл от загрузки данных и интеграции для моделирования и отчетности, PolyAnalyst предлагает широкий выбор алгоритмов для автоматического анализа текста и структурированных данных. Многочисленный анализ данных в задачах различных областей, легко решается посредством программы PolyAnalyst [7].
Система позволяет пользователям выполнять операции:
1) Классификация;
2) Кластеризация;
) Прогнозирование;
) Анализ связей;
) Нахождение ключевых слов и поиска смысла;
) Нахождение закономерностей.
Программа постоянно развивается, и появляются новые, наиболее эффективные алгоритмы и способа извлечения полезной информации из текстов.