Дипломная работа: Разработка методики применения методов машинного обучения для решения маркетинговых задач в телекоммуникационном бизнесе

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ

ВЫСШЕГО ОБРАЗОВАНИЯ

«НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ

«ВЫСШАЯ ШКОЛА ЭКОНОМИКИ»

Факультет Бизнеса и Менеджмента

МАГИСТЕРСКАЯ ДИССЕРТАЦИЯ

по направлению подготовки Бизнес-информатика образовательная программа «Бизнес-информатика»

РАЗРАБОТКА МЕТОДИКИ ПРИМЕНЕНИЯ МЕТОДОВ МАШИННОГО ОБУЧЕНИЯ ДЛЯ РЕШЕНИЯ МАРКЕТИНГОВЫХ ЗАДАЧ В ТЕЛЕКОММУНИКАЦИОННОМ БИЗНЕСЕ

Гайчук Артем Сергеевич

Научный руководитель

доцент кафедры бизнес-аналитики, к.т.н.

А.А. Дружаев

Москва, 2018

Оглавление

Введение

1. Обзор алгоритмов анализа данных и инструментов для их реализации

1.1 Теоретическая база предиктивного анализа

1.2 Обзор алгоритмов для решения задачи бинарной классификации

1.2.1 Бустинг

1.2.2 Машина опорных векторов

1.2.3 Решающее дерево

1.2.4 Логистическая регрессия

1.2.5 Случайный лес

1.3 Обзор инструментов реализации алгоритма градиентного бустинга

1.3.1 Описание исходных данных

1.3.2 Коэффициенты и оценки

1.3.3 Решение задачи порядковыми методами

2. Подготовка данных для создания предиктивной модели

2.1 Описание базы данных

2.2 Формирование производных показателей

2.3 Определение наиболее значимых предикторов

3. Построение предиктивной модели

3.1 Описание используемого алгоритма

3.2 Разработка предиктивной модели

Заключение

Список использованных источников

Приложения

П1 Листинг кода по отбору предикторов

П2 Листинг кода модели

Введение

Вопрос прогнозирования будущих событий, связанных с бизнесом, является актуальным во многих сферах, в которых задействовано большое количество конкурирующих между собой сильных игроков, так как подобная осведомленность позволяет заранее предпринять более грамотные стратегические шаги, что дает серьезное конкурентное преимущество. К таким отраслям можно отнести Retail, FMCG (Fast Moving Consumer Goods - товары быстрого потребления [1, с. 10]), разработчиков программного обеспечения и других.

Телекоммуникационная отрасль также относится к сфере с большим количеством крупнейших компаний, предоставляющих широкий спектр услуг в секторе B2C B2C (business-to-consumer) - термин, обозначающий коммерческие отношения между организацией (business) и физическим лицом (consumer). URL: https://ru.wikipedia.org/wiki/B2C (для физических лиц). Стоит отметить, что подавляющая доля рынка основных телеком-услуг (фиксированная телефония, фиксированный ШПД - широкополосный доступ Интернет [2, с. 15], мобильная связь) уже распределена между основными игроками [3], что делает более приоритетной задачу сохранения текущих абонентов, а не привлечения новых с целью повышения доходности. По этой причине появилась необходимость в определении наиболее склонных к оттоку абонентов телекоммуникационных операторов для последующего сохранения данных клиентов за счет акций, бонусов и скидок.

Исходя из указанных выше предпосылок первое решение было следующим: осуществлять звонки случайным образом по всей абонентской базе для проведения «How are you»-опроса (осведомление об удовлетворенности качеством услуг и обслуживанием компании). По результатам проведения подобных кампаний был сделан вывод, что их эффективность довольно низка, так как попадание в склонных к оттоку абонентов было мало, уровень оттока оставался на прежнем уровне, а затраты на один звонок были велики, в связи с чем было принято решение о предварительном определении наиболее склонных к оттоку абонентов, с которыми осуществлялась работа по удержанию специалистами контакт-центра. Так как в тот момент (начало 2000-ых) технологии машинного обучения были не на самом высоком уровне и не в широком доступе, а специалистов по глубинному анализу данных почти не существовало, было принято решение о построении триггерных моделей внутренними силами наиболее опытных специалистов, которые знали причины недовольства услугами. Качество таких моделей было удовлетворительным, поэтому вопрос о переходе к предиктивному подходу отложился почти на 10 лет. В итоге, когда машинное обучение стало общедоступным и появилось большое количество специалистов по анализу данных, компании стали разрабатывать для своих целей предиктивные модели для прогноза склонных к оттоку абонентов [4, с. 24 - 47].

Помимо вопроса о сохранении абонентов телекоммуникационные операторы сталкиваются с проблемой повышения доходности путем осуществления продаж дополнительных услуг, для решения которой требуется определить абонентов, наиболее склонных к приобретению дополнительных сервисов, для чего также прибегают к построению предиктивных моделей [5]. Данная проблема особенно актуальна ввиду того, что в рамках маркетинговой активности компаний постоянно появляются новые продукты (дополнительные пакеты каналов для телевидения, дополнительные услуги Интернет и пр.). Также в связи с высоким уровнем конкуренции на рынке телекоммуникационных услуг продажа дополнительных продуктов по наиболее выгодным условиям для заинтересованных абонентов может послужить причиной перехода клиента от одного оператора к другому.

Исходя из формулировки проблемы, объектом исследования в рамках данной магистерской диссертации является совокупность абонентов телекоммуникационного оператора, склонных к приобретению дополнительных услуг.

Предметом исследования является процесс прогнозирования склонности абонентов к приобретению дополнительных услуг (по сервисам Интернет и телевидение) телекоммуникационного оператора.

Целью данной работы является разработка методики применения методов машинного обучения для решения маркетинговых задач в телекоммуникационном бизнесе. Достижение поставленной цели будет описано на примере построения предиктивной модели для предсказания склонности абонента к приобретению дополнительных услуг телекоммуникационного оператора, которая будет учитывать индивидуальные особенности поведения абонента в рамках пользования услугами компании. В рамках работы необходимо решить следующие задачи:

1. Проанализировать доступные алгоритмы машинного обучения и глубинного анализа данных, а также представленные на рынке инструменты для реализации описанных алгоритмов. Затем необходимо произвести выбор наиболее эффективного метода, а также релевантного алгоритма с использованием экспертной системы поддержки принятия решений (ЭСППР, EDSS).

2. Спроектировать витрины данных для обработки информации об активности абонента в рамках услуг, предоставляемых телекоммуникационным оператором, а также для формирования производных показателей с целью применения методов машинного обучения и улучшения качества прогнозирования.

3. Сгенерировать предикторы на основе исходных данных обо всех аспектах активности абонента в рамках пользования услуг телекоммуникационной компании.

4. Используя выбранный алгоритм и наиболее релевантные инструменты, разработать предиктивную модель для прогнозирования возможности продажи дополнительных услуг телекоммуникационного оператора с целью решения маркетинговых задач компании, после чего интерпретировать полученные результаты.

В работе будут применены подходы к построению реляционных баз данных, также будут использованы возможности объектно-ориентированного программирования с использованием структурированного языка запросов и преимущества методов машинного обучения и алгоритмов глубинного анализа данных. предиктивный модель алгоритм бинарный

В Главе 1 будет проведен обзор доступных методов построения прогностических моделей и алгоритмов интеллектуального анализа данных. Также будут рассмотрены некоторые аналитические платформы и другие инструменты, оптимизированные для построения прогностических моделей. Далее будет проведен выбор наиболее эффективного алгоритма для достижения поставленной цели, после чего будет определен наиболее релевантный инструмент для реализации выбранного метода с использованием экспертной системы поддержки принятия решений.

В Главе 2 будет описана практическая реализация утвержденных выше алгоритмов с помощью выбранных программных средств. Будет предоставлено описание витрин данных, спроектированных для обработки информации обо всех аспектах активности абонента в рамках пользования услугами телекоммуникационного оператора. Также будут определены основные фичи, на базе которых будет произведено построение предиктивной модели.

В Главе 3 будет дано подробное описание процесса разработки прогностической модели с использованием выбранного алгоритма и наиболее подходящих программных средств. Также будет наглядно продемонстрировано использование модели на определенном срезе данных, после чего полученные результаты будут проанализированы и интерпретированы.

В заключении будут приведены основные выводы, сделанные на основании проведенного исследования. Также будет описана степень достижения главной цели работы.

1. Обзор алгоритмов анализа данных и инструментов для их реализации

1.1 Теоретическая база предиктивного анализа

Потребность прогнозирования определенных событий возникла достаточно давно [6]. На текущий момент данный вопрос стал еще более актуальным, так как его решение может помочь компании выйти на новый уровень, преумножить клиентскую базу, увеличить доход и получить новые конкурентные преимущества. За последние годы появилось большое количество кейсов применения методов машинного обучения и алгоритмов интеллектуального анализа данных из различных сфер. В Таблице 1 представлено несколько примеров таких кейсов.

Таблица 1

Кейсы применения методов машинного обучения

У каждой прогностической модели есть свои сильные и слабые стороны. Это определяется тем, какие методы используются в процессе разработки. Для разных моделей могут варьироваться значимые показатели, а также метрики качества прогноза, получаемые на выходе. Именно поэтому необходимо тщательно подойти к выбору алгоритма для построения предиктивной модели, для чего необходимо провести обзор доступных алгоритмов для решения задач прогнозирования, после чего определить оптимальный метод для решения поставленной задачи.

Но перед проведением обзора алгоритмов необходимо разобрать теоретическую сторону вопроса.

Поставленная в рамках исследования цель требует применения алгоритмов обучения с учителем - подхода, при котором сначала происходит обучение алгоритма на исторических данных, после чего настроенная модель применяется к актуальным данным для прогнозирования определенных событий из будущего [14, с. 57-58]. Такие модели сводятся к решению одну из двух задач:

· задачи регрессии;

· задачи классификации [15, с. 31-34].

При решении задачи регрессии происходит прогнозирование непрерывной переменной, например, розничного товарооборота или фронтальной маржи.

Решение задачи классификации состоит в прогнозировании категориального признака, или, иными словами, факта принадлежности к какому-либо классу. Например, в медицине решается задача дифференциальной диагностики (классификация вида заболевания). Существует два вида задач классификации:

· множественная классификация - множество классов представлено тремя или более вариантами;

· бинарная классификация - множество классов определено двумя событиями: принадлежность или не принадлежность к определенной группе или классу (в качестве результата модели имеем 0 или 1) [16, с. 88-90].

В рамках данной работы стоит задача решения вопроса принадлежности или не принадлежности абонента телекоммуникационного оператора к подмножеству склонных к приобретению дополнительных услуг, таким образом, стоит задача бинарной классификации. По этой причине обзор теоретической составляющей вопроса будет производиться исключительно в части задач бинарной классификации.

Вариативные задачи бинарной классификации могут требовать разных подходов к решению. Данный тезис можно подкрепить разбором двух разных задач бинарной классификации. Первая из упомянутых выше задач решается в сфере телекоммуникационных товаров услуг, вторая - в области здравоохранения.