(Data Mining)
Ответом на потребность современных компаний в переработке данных с целью получения информации нового качества стали технологии интеллектуального анализа данных.
Таблица 12
Обзор основных методов Data Mining
Метод Data Mining |
Описание метода |
Ассоциативные правила |
Выявляют причинно-следственные связи и определяют вероятности или коэффициенты достоверности, позволяя делать соответствующие выводы. Правила представлены в форме «если <условия>, то <вывод>». Их можно использовать для прогнозирования или оценки неизвестных параметров (значений). |
еревья решений и Алгоритмы классификации |
Определяют естественные «разбивки» в данных, основанные на целевых переменных. Сначала выполняется разбивка по наиболее важным переменным. Ветвь дерева можно представить как условную часть правила. Наиболее часто встречающимися примерами являются алгоритмы классификационных и регрессионных деревьев (Classification and regression trees, CART) либо хи-квадрат индукция (Chi-squared Automatic Induction, CHAID). |
Искусственные нейронные сети |
Для предсказания значения целевого показателя используются наборы входных переменных, математических функций активации и весовых коэффициентов входных параметров. Выполняется итеративный обучающий цикл, нейронная сеть модифицирует весовые коэффициенты до тех пор, пока предсказываемый выходной параметр соответствует действительному значению. После обучения нейронная сеть становится моделью, которую можно применить к новым данным с целью прогнозирования. |
Генетические алгоритмы |
Метод использует итеративный процесс эволюции последовательности поколений моделей, включающий операции отбора, мутации и скрещивания. Для отбора определенных особей и отклонения других используется «функция приспособленности» (fitness function). Генетические алгоритмы в первую очередь применяются для оптимизации топологии нейронных сетей и весов. Однако их можно использовать и самостоятельно, для моделирования. |
Вывод путем сопоставления (Memory-based Reasoning, MBR) или вывод, основанный на прецедентах (Case-based Reasoning, CBR) |
Алгоритмы основаны на обнаружении некоторых аналогий в прошлом, наиболее близких к текущей ситуации, с тем чтобы оценить неизвестное значение или предсказать возможные результаты (последствия). |
Кластерный анализ |
Подразделяет гетерогенные данные на гомогенные или полугомогенные группы. Метод позволяет классифицировать наблюдения по ряду общих признаков. Кластеризация расширяет возможности прогнозирования |
Понятие «интеллектуальный анализ данных» соответствует англоязычному Knowledge Discovery in Databases, что буквально означает «обнаружение знаний в базах данных». Очень часто эти два понятия приравнивают к более популярному термину Data Mining. Последнее принято переводить как «добыча (или раскопка) данных».
Методы data mining отличаются от статистической обработки данных и OLAP-запросов тем, что вместо проверки заранее предполагаемых человеком зависимостей они способны находить зависимости самостоятельно и строить гипотезы об их характере.
Практическое задание:
Рассмотрим прогнозирование с помощью функции скользящего среднего программы MS Excel 2010.
Прогнозирование позволяет находить в исторической информации, представленной в виде временных рядов, такие шаблоны, которые отражают динамику поведения целевых показателей, и с определенной долей вероятности предсказывать значение целевых показателей в будущем.
Скользящие средние сглаживают колебания изучаемой величины с помощью усреднения по некоторому историческому периоду. Достоинством данного анализа является возможность визуально отсечь малые флуктуации и четко увидеть направление движения.
Недостатком скользящих средних является запаздывание усредненных значений по отношению к изменению изучаемой величины. Отсюда следует, что чем больше период усреднения, тем более важные сигналы они дают, но вместе с тем и больше опаздывают. Ценность скользящего среднего – в том, что оно дает направление общего движения.
Задание:
Имеется отчет о ежедневном количестве звонков с жалобами на конкретный программный продукт за последние десять дней.
Таблица 13
Отчет о ежедневном количестве звонков
День |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
Количество звонков |
10 |
11 |
10 |
12 |
13 |
13 |
13 |
10 |
16 |
17 |
Чтобы понять, существует ли какая-либо определенная тенденция поступления жалоб, создайте на основе средних данных о полученных звонках скользящее среднее. Воспользуйтесь трехдневным скользящим средним, так как скользящее среднее за меньший период может не отразить тенденцию, а за больший период слишком сгладить ее.
Пояснение к выполнению:
I способ. Прямое введение формулы.
1. Введите исходные данные в первые два столбца (А и В) таблицы без заголовка.
2. Чтобы получить скользящее среднее, введите в ячейку С4 следующую формулу: =срзнач(А1:А3) (Формулы – вставить функцию – статистические – срзнач).
3. Затем с помощью средств автозаполнения скопируйте эту формулу в ячейки С5:С10.
4. Постройте графики изменения данных и скользящего среднего.
II способ. Использование надстроек скользящего среднего.
1. Скопируйте входные данные на второй лист книги.
2. В меню Данные выберите команду Анализ данных (если такой команды нет, включите ее: Файл – Параметры – Надстройки – Неактивные надстройки приложений – Пакет анализа – Перейти – Пакет анализа).
3. В появившемся окне выберите команду Скользящее среднее.
4. В поле Входной интервал введите данные о вашей базовой линии (укажите диапазон входных данных).
5. В поле Интервал введите количество дней, которые хотите включить в подсчет скользящего среднего.
6. В поле Выходной интервал введите адрес ячейки, с которой хотите начать вывод.
7. Поставьте значок Вывод графика.
8. Нажмите ОК. (Значок Н/Д означает – не хватает данных для подсчета среднего).
Этот способ имеет недостаток – прогноз создается на один временной период раньше.
III способ. Составление прогнозов скользящего среднего с помощью диаграмм.
1. Скопируйте входные данные на третий лист книги.
2. Выделите данные своей базовой линии.
3. Запустите Мастер диаграмм, выберите тип диаграммы – График.
4. Вставьте диаграмму на текущий лист.
5. Щелкните правой кнопкой на ряде данных диаграммы и из появившегося контекстного меню выберите команду Добавить линию тренда.
6. В появившемся окне на вкладке Тип выберите тип Линейная фильтрация.
7. В окне Точки установите период вычисления скользящего среднего – количество дней.
8. Нажмите Закрыть (ОК).
Сравните результаты прогнозирования, полученные разными способами.
История развития ИС наиболее ярко отражается в их классификации по двум направлениям. В основе одних ИС лежит поддержка производственного цикла. Ярким представителем данного класса являются ERP-системы, которые стали неотъемлемой частью системы управления предприятием и преподносятся производителем как всеобъемлющая корпоративная ИС (КИС). ERP-системы являются системами транзакционного типа. Несмотря на мощный объем функционала, они фактически используются как отчетные системы. Дальнейшее расширение функционала ERP-систем привело к появлению систем ERP II. Несмотря на мощный функционал, ERP системы и ERP II не обеспечивают своим функционалом покрытие всех управленческих проблем современного предприятия.
В основе другого класса ИС лежит поддержка цикла принятия решения: распознавание ситуации, выработка множества альтернативных решений и выбор решения по критерию для исполнения. Развитие этого класса систем привело к появлению систем бизнес-интеллекта (BI). Ранние версии BI представляли собой набор отдельных, не связанных между собой инструментов бизнес-анализа, которые аккумулировали систему поддержки принятия решений (СППР (DSS)); систему запросов и отчетов (Q&R); OLAP-систему; систему прогнозирования; инструменты извлечения данных (Data Mining).
Системы, поддерживающие принятие решения, также постоянно расширяют свой функционал и методологию. Функционал BI стал быстро расширяться, и возник новый класс ИС – Business Performance Management (ВРМ) – управление эффективностью бизнеса.
Понятие ВРМ-системы может употребляться в двух значениях: как концепция управления (т. е. определенный подход к принятию управленческих решений и их практической реализации) и как информационная система (т. е. комплекс программных средств, обеспечивающих практическую реализацию концепции ВРМ).
Приложения ВРМ – это готовые прикладные решения. Они поддерживают ключевые управленческие процессы: стратегическое и оперативное планирование, мониторинг доходов и расходов и подготовку финансовой и регламентной отчетности, бюджетное планирование и прогнозирование, управленческий учет и подготовку отчетности, ФСА, опираясь на технологии BI, хранилища данных (DataWarehouse), инструменты репортинга (Query and Reporting Tools), OLAP и др. Очень важно, что под ВРМ понимается не только ПО, но и ряд методик управленческого характера и математических инструментов. Важным моментом является взаимодействие информационной ВРМ-системы с транзакционными системами – ERP, CRM, PLM, SCM и другими унаследованными системами.
ВРМ как комплексное решение для эффективного управления дает очевидные конкурентные преимущества в эффективности и результативности работы предприятия. Во-первых, это возможность использования в ВРМ не только количественных показателей, но и качественных. Во-вторых, в ВРМ используется система сбалансированных показателей в качестве средства, позволяющего связать стратегический и операционный уровни управления. В-третьих, в ВРМ используется большое количество разнообразных источников информации (ERP, CRM и другие унаследованные системы, OLTP базы данных, хранилище данных (DWH), внешние источники информации). В-четвертых, происходит улучшение свойств ИС как системы поддержки принятия решений.
ИС класса ВРМ в силу своей сложности имеют большую совокупную стоимость владения, чем ERP или BI отдельно взятые.
К инструментам предметной области, входящим в ВРМ, относятся:
- модели Key Performance Indicators (KPI), или ключевые показатели результативности работы предприятия;
- Balansed ScoreCard (BSC), или система сбалансированных показателей (ССП);
- бюджетирование;
- модели корпоративной мотивации;
- модели мониторинга и контроля исполнения;
- элементы управленческого учета;
- консолидация финансовых и нефинансовых данных.
А к информационным технологиям ВРМ относится его специфический функционал:
- технологии BI (весь функционал DSS, OLAP-технологии и технологии DM);
- ERP-система;
- ИТ-приложения бюджетирования;
- технологии моделирования и управления бизнес-процессами.
KPI – Key Performance Indicators (ключевые показатели эффективности или результативности (КПР)) – являются метриками бизнеса, рассчитанными на достижение планируемых результатов. С помощью KPI облегчается достижение необходимого результата за счет реализации цикла «планирование-учет-анализ» (план-факт-анализ). Этап разработки KPI может оказаться длительным и продолжаться от нескольких недель до нескольких месяцев. Разработка KPI заключается в определении их состава (состава метрик) и численных значений, которые обеспечивали бы достижение выбранных целей. Один из способов определения показателей результативности бизнеса – это «стратегические карты» в системе сбалансированных показателей (Balanced ScoreCard).
Сегодня концепция системы сбалансированных показателей является одной из наиболее востребованных. Это наиболее популярное инструментальное средство, позволяющее добиться сопряжения и синхронизации стратегических целей с тактическими и оперативными, а также осуществлять управление на основе согласованных измерителей. В рамках ССП мы говорим о четырех перспективах: финансы; клиенты; бизнес-процессы; обучение и развитие.
Проектирование информационно-аналитических систем на основе BSC начинается с проектирования карты стратегии – ее графического описания в виде набора причинно-следственных связей. Для каждой перспективы (финансы, клиенты, бизнес-процессы, обучение и развитие) должны быть определены стратегические цели и построено дерево целей. Дерево целей может быть построено, не только исходя из ССП, а также из организационной структуры управления, функций управления, процессов верхнего уровня.
ВРМ является не только новой управленческой концепцией, но и одним из наиболее быстро растущих секторов ИТ-решений. Ее привлекательность породила интерес к реализации многими ИТ-компаниями в России (Intersoft Lab, ЛАНИТ и др.) и за рубежом (SAP, Oracle, IBM, SAS и др.).
Практическое задание:
Рассмотрим ситуацию для анализа: Российская компания ОАО «ДиоЛефт» занимается сборкой и оптовой продажей медицинского оборудования, предназначенного для диагностики и лечения сердечно-сосудистых заболеваний, с 1996 г. Комплектующие, необходимые для производства продукции, поставляются компанией-партнером из Японии. Продукция фирмы значительно уступает по цене аналогам западных производителей, но, тем не менее, предприятию становится все труднее конкурировать на рынке в связи с возрастающими объемами незавершенного производства и, как следствие, невозможностью выполнения всех заказов в рамках намеченных сроков. Основная масса задержек в процессе производства связана с запаздыванием поступления отдельных комплектующих, в результате чего параллельно с уменьшением эффективности производства на складах возникает избыток материалов, поступивших в срок или ранее намеченного срока. Кроме того, в конце 2015 г. в связи с застройкой района, в котором расположено предприятие, стоимость аренды складских помещений, используемых «ДиоЛефт», возросла в несколько раз, что вызвало значительное увеличение издержек предприятия.
Сложившаяся ситуация расценивается руководством фирмы как критическая, так как может привести к невозможности в будущем обновить оборудование и вовремя осуществлять выплату заработной платы сотрудникам и оплату налогов. Очевидной стала необходимость более четкого планирования производственных процессов на предприятии, а также стратегического планирования развития компании.
Задание:
1. Разработайте стратегические цели для каждой перспективы: финансы, клиенты, процессы, развитие.
2. Постройте дерево целей.
3. Определите весовой коэффициент для каждой цели, определяющий ее значимость в достижении вышестоящей цели.
4. Определите индикаторы (KPI) для каждой цели.
5. Обобщите результаты работы.
Пояснение к выполнению:
Цели обычно делятся: