Материал: Информационные технологии в логистике. практикум. Мандрыкин А.В., Шотыло Д.М

Оперативные базы данных (OLTP – Online Transaction Processing – обработка транзакций в реальном времени). Оперативные базы данных используются предприятиями для поддержания их повседневной деятельности, для отслеживания информации, с которой они имеют дело в процессе решения оперативных задач. Это может быть информация о произведенных товарах, принятых заказах, оказанных услугах, выплатах, доходах и т. п.

Результатом фиксации указанной информации становятся одна или несколько записей в оперативной базе данных. Сам процесс фиксации называют бизнес-транзакцией, а информацию – данными транзакции. По определению транзакция – это последовательность операторов манипулирования данными, выполняющаяся как единое целое и переводящая базу данных из одного целостного состояния в другое целостное состояние.

Системы оперативной обработки транзакций служат для хранения данных о выполняемых бизнес-транзакциях. Основная функция подобных систем заключается в одновременном выполнении большого количества коротких транзакций от большого числа пользователей. Примером транзакции может быть следующее действие: «перечислить определенную сумму денег со счета А на счет В».

OLTP-системы призваны сохранять данные бизнес-транзакций по мере их поступления. Они обычно имеют дело с текущими значениями каких-либо параметров. Например, типичное банковское OLTP-приложение имеет дело с текущими остатками денег на клиентском счете.

OLTP-системы характеризуются:

- поддержкой большого числа пользователей;

- короткими транзакциями;

- относительно короткими запросами;

- малым временем отклика на запрос.

Для поддержания различных аспектов своей каждодневной деятельности организации обычно используют разные OLTP-системы. Одна система предназначена для обработки заказов, другая – для ведения бухучета, третья – для обслуживания потребностей производства, четвертая – для управления персоналом. К числу транзакционных систем относятся ERP-системы, автоматизированные банковские системы (АБС), биллинговые системы, учетные системы и некоторые другие.

Данные в OLTP-системы поступают в основном из внутренних источников, причем это текущие данные за период от нескольких месяцев до одного года. Объемы хранимых данных могут составлять сотни мегабайт, гигабайты. Частота обновления данных высокая, обновления происходят маленькими порциями. Основное их назначение – фиксация данных, оперативный поиск и преобразование данных. В основе таких систем лежат оперативные базы данных.

Хранилища данных. По определению Уильяма Инмона, основоположника хранилищ данных, «Хранилище данных – это предметно-ориентированное, привязанное ко времени и неизменяемое собрание данных для под держки процесса принятия управляющих решений». Задача хранилища – предоставить лицу, принимающему решения, информацию для анализа в одном месте и в простой, понятной для восприятия структуре.

Данные в хранилище попадают из оперативных систем (OLTP-систем), которые предназначены для автоматизации бизнес-процессов, и других внутренних источников информации. Хранилище также может пополняться за счет внешних источников информации, например статистических отчетов и т. п.

Концепция хранилищ данных – это концепция подготовки данных для анализа. Она предполагает реализацию единого интегрированного источника данных. Объединяя в себе всю информацию, необходимую для эффективного функционирования организации, хранилища являются основой единого информационного пространства организации, используемого для проведения аналитической работы и подготовки данных для принятия решений.

Единое информационное хранилище обеспечивает:

- объединение данных и приведение их к единой структуре;

- повышение производительности получения данных;

- проведение эффективного анализа данных.

Хранилищу данных свойственна малая частота изменений, изменения производятся большими порциями и обычно по расписанию. Хранилище объединяет внутренние и внешние данные, в составе этих данных – текущие данные и исторические за период до нескольких десятков лет. Объемы хранимых данных – гигабайты и терабайты. Основное назначение хранилищ данных – это хранение детализированных и агрегированных исторических данных, аналитическая обработка, прогнозирование и моделирование.

Можно выделить два типа хранилищ данных: корпоративные хранилища данных (enterprise data warehouses) и витрины, или киоски, данных (data marts).

Корпоративные хранилища данных содержат информацию, относящуюся к деятельности всей корпорации и собранную из множества оперативных источников данных. Такие хранилища обычно консолидируют информацию по всем аспектам деятельности корпорации и используются для принятия как стратегических, так и тактических решений.

Корпоративное хранилище содержит обобщающую и детальную информацию; его объем может достигать от десятков гигабайт до одного или нескольких терабайт.

Витрины данных (небольшие хранилища данных) содержат подмножество корпоративных данных и создаются для определенной группы пользователей, отделов или подразделений внутри организации. Они охватывают конкретный аспект, интересующий сотрудников данного отдела. Витрина данных может получать данные из корпоративного хранилища (зависимая), или данные могут поступать непосредственно из оперативных источников (независимая витрина).

Практическое задание:

Используя ресурсы сети Интернет, изучите состав и основную функциональность продуктов платформы Data Warehouse компании Microsoft. Результаты исследования сведите в таблицу 8.

Таблица 8

Характеристика продуктов платформы Data Warehouse

Опишите основную функциональность ХД:

1. Oracle Data Warehousing,

2. Sybase IQ,

3. IBM DB2,

4. Teradata EDW,

5. SAP BW,

6. Netezza.

3.3. Инструменты интеграции данных из различных источников

Очевидно, что основой для принятия обоснованных решений должен быть единый источник достоверных данных в масштабах всей компании.

Так, интеграция данных позволяет представить корпоративные данные из разрозненных источников в виде цельной картины, обеспечивающей полноту и удобство доступа к ним.

Согласно исследованию, проведенному известной аналитической компанией Gartner в 2009 г., ключевые позиции на рынке корпоративных серверов приложений занимают компании IBM, Oracle, Microsoft и Red Hat. Лидерами Gartner считает компании, оказывающие наибольшее влияние на рынок и задающие тенденции его развития. Помимо четверки лидеров следует отметить две компании (в исследовании они называются «претендентами» (challengers)), которые, по трактовке Gartner, занимают сильные позиции в более узконаправленных сегментах рынка и обладают меньшей клиентской базой, чем лидеры. Это компании SAP и Fujitsu.

Следует отметить, что компания BEA Systems, производитель известного продукта WebLogic, не упомянута в сравнении по той причине, что с 2008 г. входит в состав корпорации Oracle.

Кроме лидеров и претендентов Gartner выделяет еще две категории игроков на рынке EAS: это нишевые игроки, занимающие определенные узкоспециализированные ниши, и перспективные компании (visionaries), которые со временем могут стать нишевыми игроками или претендентами.

Рассмотрим основные особенности ведущих продуктов.

IBM. Интеграционная платформа от компании IBM носит название WebSphere. Основой WebSphere является сервер приложений WebSphere Application Server (WAS), построенный на Java ЕЕ. Это масштабная платформа, которая включает в себя десятки компонент и средств мониторинга и администрирования, функциональность которых может быть существенно расширена за счет дополнительных пакетов (Feature Packs). Это одна из сильных сторон предложения от IBM, так как она предлагает образцовые продукты, охватывающие практически все требования рынка. Помимо этого, в пользу IBM относят полную поддержку Java ЕЕ и многолетнее лидерство на рынке EAS, что обеспечивает широкую поддержку продуктов IBM сторонними производителями.

Oracle. Линейка продуктов корпорации Oracle представлена двумя семействами: перспективная Oracle WebLogic Server (развитие платформы поглощенной в 2008 г. компании BEA Systems) и Oracle Application Sever (собственная разработка, которая поддерживается, но дальнейшее развитие не планируется). Семейство WLS включает в себя различные версии сервера приложений и пакет WebLogic Suite, расширяющий функциональные возможности сервера. Помимо этого имеются дополнительные инструменты администрирования, мониторинга и разработки. Оба семейства поддерживают Java, а поглощение корпорацией в 2010 г. компании Sun Microsystems, как ожидается, только укрепит позиции Огас1e на рынке EAS и будет способствовать дальнейшему развитию технологии Java.

Red Hat (JBoss). JBoss EAS – это основанный на Java ЕЕ сервер приложений, который имеет свободно распространяемую версию с открытым исходным кодом. Эта версия не покрывается поддержкой со стороны производителя в отличие от платной корпоративной версии. Платформу интеграции JBoss можно дополнительно расширить средствами построения ESB, инструментами управления бизнес-процессами и другими модулями. Компания Red Hat также предлагает среду разработки JBoss Developer Studio, платформу построения веб-порталов Enterprise Portal Platform, веб-сервер JBoss Enterprise Web Server и сервер веб-приложений Apache Tomcat – все доступно как в виде свободно распространяемых версий без поддержки производителя, так и с платной поддержкой.

Red Hat прочно удерживает лидерство в сегменте продуктов с открытым исходным кодом. Большое количество дополнительных open-source модулей, в том числе сторонних производителей, позволяет ему нарастить функциональность, подчас не уступающую гигантам с закрытым кодом. Кроме того, EAS JBoss имеет отличную репутацию за свои технические качества.

Microsoft. Технология “.Net Framework” в совокупности с Internet Information Services (сокр. IIS, проприетарный набор серверов для нескольких служб Интернета от компании Microsoft) обеспечивают полное покрытие функционала серверов приложений, несмотря на то, что продукта с названием «сервер приложений» в линейке компании нет. Функцию сервисной шины предприятия выполняет Microsoft BizTalk Server, который включает в себя средства управления бизнес-процессами, интеграции приложений (EAI) и адаптеры ко всем основным протоколам и системам.

Преимуществом продуктов от Microsoft считается их тесная интеграция с другими продуктами компании, прежде всего СУБД Microsoft SQL Server и пакетом Microsoft Office. Соответственно, основным недостатком считается привязанность к платформе Windows.

SAP. Развитие SAP на рынке EAS основано на двух ключевых технологиях. Java ЕЕ сервер приложений SAP NetWeaver Application Server является основой инфраструктуры приложений, в состав которой входят, в частности, средства построения порталов SAP NetWeaver Portal, инструменты управления и интеграции бизнес-процессов SAP NetWeaver ВРМ и SAP NetWeaver Process Integration. Разработка бизнес-приложений ведется на проприетарном языке АВАР (Advanced Business Application Programming), который клиенты SAP используют для адаптации бизнес-приложений под свои нужды.

Слабыми сторонами платформы SAP относительно лидеров рынка EAS считаются сравнительно небольшое количество внедрений и невысокая поддержка сторонних приложений.

Практическое задание:

Вышеперечисленные основные поставщики интеграционных платформ и их продукты – далеко не единственные в арсенале производителя, более того, они составляют лишь часть тесно взаимосвязанного функционала обширного семейства продуктов.

Каждый из перечисленных производителей предлагает решение для интеграции данных, входящее в состав семейства продуктов, иногда объединенного под общим именем, как WebLogic у Oracle или WebSphere у IBM.

Используя ресурсы сети Интернет, ознакомьтесь с семействами продуктов различных производителей и заполните ниже приведенную таблицу, определив, какой из продуктов каждого производителя предлагается использовать для консолидации данных (таблица 9):

Таблица 9

Программные продукты для консолидации данных

3.4. Методология оперативной аналитической обработки данных

Оперативная аналитическая обработка данных выражается термином OLAP (On-Line Analytical Process) и очень часто понимается как интерактивная аналитическая обработка данных. Именно возможность работы в интерактивном режиме при анализе данных выгодно отличает OLAP-системы от любых других систем подготовки отчетности, в том числе и регламентированной.

ОLAP может работать с любыми OLTP-базами, но наилучшего эффекта можно достичь с использованием хранилищ данных (Data Warehouse). Основной задачей хранилища является предоставление данных для анализа в простой и понятной форме. Хранилище не обязательно должно содержать огромное количество данных. Основное требование к хранилищу – оно должно быть удобно для анализа, поэтому данные в нем упорядочены.

Для эффективной работы аналитику требуется централизация всех данных и соответствующее структурирование информации, а также удобные инструменты для просмотра и визуализации информации. Традиционные отчеты, построенные на основе единого хранилища, лишены гибкости. С ними нельзя работать в интерактивном режиме, т. е. их нельзя свернуть, развернуть, покрутить, чтобы получить необходимое представление данных.

OLAP организует данные в виде многомерных кубов (cubes). Многомерный куб представить себе невозможно, но куб – знакомая нам всем фигура, как и трехмерное пространство. Поэтому дальше мы будем говорить о кубе, о пространстве, но не о трехмерном, а о многомерном или о гиперкубе и гиперпространстве. Получаемая при этом модель данных является естественной и интуитивно понятной. В качестве осей многомерной системы координат выступают основные атрибуты анализируемого бизнес-процесса.

Аналитик при анализе показателей деятельности, например объема продаж, оперирует многомерными представлениями. Он рассматривает продажи в зависимости от потребительского спроса на конкретный товар, от региона продаж, от конкретного интервала времени. Исходя из этого, объем продаж можно представить в виде трехмерного куба (рис. 12), грани которого изображают массивы данных по товарам, регионам и времени, а внутри куба находятся значения объема продаж.

Рис. 12. Информационный куб “Объём продаж”

Такое представление данных обеспечивает мощный механизм для анализа и создания любых запросов. Выбирая конкретный временной период, товар и регион, мы получаем соответствующий показатель объема продаж.

Многомерный анализ определяется как одновременный анализ по нескольким измерениям. По каждому измерению производится консолидация данных. Любое направление консолидации включает серию последовательных уровней обобщения, где каждый вышестоящий уровень соответствует большей степени агрегации данных по соответствующему измерению.

Практическое задание:

Рассмотрим пример выявления основных измерений и фактов для создания аналитических документов (отчетов) в сфере продаж.

Ключевые вопросы руководителя: «Сколько штук продано», «На какую сумму продано» – расширяются по мере усложнения бизнеса и накопления исторических данных до некоторого множества факторов, или разрезов: «..в Москве, в Сибири», «...в прошлом квартале по сравнению с нынешним», «...через магазин А по сравнению с магазином Б».

Ответы на подобные вопросы необходимы для принятия управленческих решений: об изменении ассортимента, цен, закрытии и открытии магазинов, филиалов, расторжении и подписании договоров с дилерами, проведения или прекращения рекламных кампаний и т. д.

Если попытаться выделить основные цифры (факты) и разрезы (измерения), которыми манипулирует руководитель, стараясь расширить или оптимизировать свой бизнес, то получится таблица, подходящая для анализа продаж как универсальный шаблон, требующий небольших корректив для каждого конкретного предприятия.