Дипломная работа: Ключевые факторы успеха при освоении технологий работы с большими данными в банковских организациях

? арендуемые аппаратные мощности или собственные платформы, предназначенные для накопления и хранения данных;

? источники данных (внутренние и внешние);

? алгоритмы обработки и/или ПО для обработки и анализа данных;

? интеграционная составляющая;

? средства визуализации информации.

Рассмотрим их более подробно.

Рисунок 9 - Схема принятия решений на основе применения технологий больших данных

Источник: составлено автором на основе проведенного анализа.

Так, ПАО «Сбербанк» и ПАО «Альфа-Банк» используют собственные платформы для хранения полученных данных. В исследуемых банках есть корпоративные хранилища данных, работающие по технологии DWH Hadoop. Такая технология представляет собой интегрированный продукт хранения данных Hadoop и корпоративное хранилище Data Warehouse. Такая система позволяет банковским организациям достичь необходимого уровня гибкости, эффективности и экономической рентабельности в использовании больших данных в деятельности (рис. 9).

В DWH Hadoop ПАО «Сбербанк» и ПАО «Альфа-Банк» используется несколько слоев данных, в числе которых:

? RAW - слой формата «сырых» данных, в который загружаются различные архивы и файлы разного формата;

? ODD (Operational Data Definition), в который загружаются преимущественно данные в форме реляционных баз данных, получаемых при переработке данных из предыдущего слоя (RAW);

? DDS (Detail Data Store), в котором собираются детальные данные, применяемые для дальнейшего анализа;

? MART - прикладные витрины данных.

Следующим важным компонентом в использовании больших данных, который был выявлен в процессе анализа опыта ПАО «Сбербанк» и ПАО «Альфа-Банк», выступает выбор источников данных. Так, исследуемые банки используют две группы данных:

? структурированные, в которые входят данные о всех транзакциях клиентов, операции по банковским продуктам и кредитные рейтинги;

? неструктурированные, включающие данные с официальных сайтов, официальных аккаунтов в социальных сетях, а также информация из мобильных приложений.

Еще одним важнейшим компонентом применения технологий больших данных в ПАО «Сбербанк» и ПАО «Альфа-Банк» являются алгоритмы обработки и/или ПО для обработки и анализа данных, а также средства визуализации информации. Это является самым технологичным и трудоемким процессом, поэтому банковские организации используют большое количество различных алгоритмов, программного обеспечения и платформ. Так, ПАО «Сбербанк» использует технологии Teradata, Cloudera Hadoop, Impala, Zettaset, продукты компании Apache (Hadoop, HBase, Hive, Mahout, Oozie, Zookeeper, Flume, Solr, Spark и пр.). Кроме того, в банке активно применяются специализированные базы данных, такие как Neo4j, MongoDB и т.д., а также собственно разработанные решения в области глубинного анализа данных (data mining), прогностической и нормативной аналитики и технологии анализа естественного языка [4].

В свою очередь, ПАО «Альфа-Банк», как показал проведенный анализ, работает с платформами хранения и обработки полученных из внутренних и внешних источников данных Oracle Exadata, Oracle Big Data Appliance и Hadoop.

Также ПАО «Сбербанк» и ПАО «Альфа-Банк» в рамках работы с технологиями больших данных используют методы Business Intelligence (BI), которые выступают в качестве совокупности компьютерных методов трансформации информации (так называемый «in-memory computing») в приемлемой для восприятия форме для специалиста, не обладающего специальными навыками в сфере ИКТ. При этом основной целью, которую преследуют технологии BI в банковском секторе, является интерпретация больших объемов данных за счет вывода только ключевых показателей эффективности. Данная технология применяется ПАО «Сбербанк» и ПАО «Альфа-Банк» для принятия управленческих решений.

Методы Business Intelligence позволяют банковским организациям сократить количество неавтоматизированного труда, необходимого для аналитики и принятия управленческих решений. Экономия может достигать нескольких человеко-дней в месяц. При этом решения в области BI используются во всех сферах деятельности банков, в том числе управление брендом, продажа банковских продуктов, маркетинг, финансы, менеджмент и прочие.

Инструменты BI ПАО «Сбербанк» и ПАО «Альфа-Банк» основаны на технологии «in-memory computing», которая подразумевает распределенное хранение информации в оперативной памяти компьютерных мощностей банка. Среди преимуществ технологии «in-memory computing» в Business Intelligence можно отметить высокую скорость обработки данных и возможность неограниченного масштабирования. Так, при росте объемов обрабатываемых данных пользователь может добавить дополнительные узлы в кластер, что не требует перестройки всей системы.

Кроме того, в рамках Business Intelligence в исследуемых банках возможно построение следующих видов отчетности на основе применения больших данных для принятия управленческих решений [1]:

? отчетность в любой момент времени (ad hoc-отчетность);

? регулярная отчётность, которая представляет собой принятые в банке формы регулярных отчетов подразделений, на базе которых строится KPI; к регулярной от отчетности также относится отчетность перед Центральным Банком РФ;

? прогнозная отчётность;

? операционная отчетность, которая представляет собой отчет о том, что происходит в банке в области объемов транзакций, выданных и погашенных кредитов и пр.

В целом анализ практики применения технологии больших данных в ПАО «Сбербанк» и ПАО «Альфа-Банк» показал, что технологии больших данных могут применяться в широком круге областей. На рисунке представлены области применения Big Data в банковских организациях.

На основе проведенного анализа можно утверждать, что использование технологий больших данных в банковской сфере в настоящее время является не просто тенденцией развития данного сектора, но выступает в качестве необходимой основы для конкурентной борьбы. Опыт ПАО «Сбербанк» и ПАО «Альфа-Банк» показывает, что применение больших данных(рис. 10) в банковских организациях позволяет достичь следующих преимуществ:

? долгосрочный коммерческий результат, проявляющийся в том, сколько прибыли в долгосрочной перспективе может принести клиент;

? расширение перекрестных продаж;

? повышение качества управления информацией и выполнение требований регулятора;

? принятие своевременных управленческих решений;

? увеличение степени осведомленности о данных;

? снижение рисков в деятельности;

? повышение операционной эффективности и снижение издержек;

? внедрение расширенной аналитики.

Рисунок 10 - Области применения Big Data в банковских организациях на примере ПАО «Сбербанк» и ПАО «Альфа-Банк»

Источник: составлено автором на основе проведенного анализа.

Можно сделать следующий вывод. Систематизация результатов анализа практики внедрения технологии больших данных на примере ПАО «Сбербанк» и ПАО «Альфа-Банк» показала, что в исследуемых банках используются следующие основные компоненты: аппаратные мощности или собственные платформы, предназначенные для накопления и хранения данных, источники данных (внутренние и внешние), алгоритмы обработки и/или ПО для обработки и анализа данных, а также средства визуализации информации. Данные компоненты являются важной составляющей применения технологий больших данных и могут реализовываться с использованием различных технологий. По мнению автора, опыт ПАО «Сбербанк» и ПАО «Альфа-Банк» может послужить примером внедрения и использования технологий больших данных в банковских организациях.

3.2 Разработка рекомендаций по повышению эффективности внедрения технологии больших данных в банковских организациях

Как уже было отмечено, внедрение технологий больших данных ПАО «Сбербанк» и ПАО «Альфа-Банк» дает банкам множество преимуществ, следовательно, предлагается к внедрению всем банкам в Российской Федерации. Для получения наибольшего эффекта от внедрения технологий больших данных в банковских организациях необходимо:

? сбор информации о существующей в организации экосистеме больших данных, что важно, поскольку среда больших данных постоянно расширяет источники данных, в результате чего необходима разработка стратегии, которая учитывает все источники данных;

? создание какого-либо прототипа продукта с использованием больших данных в одной сфере или одном бизнес-процессе, что позволит быстро проверить ценность решения и готовность технической инфраструктуры банка к внедрению больших данных;

? соблюдение принципа гибкости, что предполагает гибкость в выборе технологий и возможностей в сфере больших данных;

? развитие кадрового потенциала, то есть наем специалистов в области больших данных (Data Scientist), развитие навыков текущих сотрудников банка и привлечение экспертов в данной сфере.

Данные рекомендации необходимы преимущественно для банковских организаций, находящихся в начале пути по внедрению в свою деятельность технологий больших данных. Для таких организаций основные расходы будут приходится на покупку оборудования и программного обеспечения, например, платформ хранения данных или обработки собираемой информации, средств интеграции, средств проектирования моделей и инструментов для анализа и визуализации данных.

В целях повышения эффективности внедрения технологии больших данных в банковских организациях, уже осуществляющих попытки по внедрению Big Data, автором настоящего исследования предлагается реализация следующих мер:

? четкое выполнение этапов внедрения технологий больших данных;

? создание специальной ИТ-архитектуры, приспособленной к работе с технологиями больших данных;

? выбор наиболее подходящих технологий от основных производителей инфраструктурных решений;

? внедрение методов расчета эффективности использования технологий больших данных в банковском секторе;

? повышение кибербезопасности в рамках требований финансовых регуляторов.

Рассмотрим данные рекомендации подробнее.

Во-первых, необходимо четкое выполнение всех этапов внедрения технологий больших данных.

Как было отмечено в Главе 1 данного исследования, выделяются такие этапы, как определение требований, проверка поставленных гипотез о достижении результата, выработка конечных критериев функционирования платформы, проектирование и разработка технологии, тестирование технологии, а также внедрение технологии.

Только последовательная реализация всех вышеназванных этапов позволит банковским организациям наиболее эффективно использовать преимущества от использования в своей коммерческой деятельности технологий Big Data.

Во-вторых, в качестве рекомендации автором исследования предлагается создание специальной ИТ-архитектуры, приспособленной к работе с технологиями больших данных. Чаще всего банковским организациям для работы с большими объемами и массивами данных необходимо создание новой информационно-технологической архитектуры. Она должна быть основана на использовании данных в качестве главного актива в восприятии руководства банковской организации и ее сотрудников. Трансформации в ИТ-архитектуре банка касаются преимущественно операционной деятельности и включают:

? анализ данных мобильных приложений, поступающих в режиме реального времени, реализуется на основе более гибких технологий, позволяющих масштабировать ИТ-мощности пропорционально в соответствии с увеличением объема поступающих данных;

? создание корпоративного хранилища данных (по примеру ПАО «Сбербанк» и ПАО «Альфа-Банк»), которое позволяет сокращать стоимость управления данными и повысить качество обслуживания клиентов банка;

? изменение работы платформ для анализа клиентов, в том числе их поведенческих характеристик, на основе различных источников данных.

Для реализации третьей рекомендации, которая тесно связана с созданием специальной ИТ-архитектуры, приспособленной к работе с технологиями больших данных, необходимо осуществить выбор наиболее подходящих технологий от основных производителей инфраструктурных решений. Так, в настоящее время на рынке технологий больших данных в Российской Федерации существует множество компаний, поставляющих решения в области Big Data.

В таблице представлены основные поставщики инфраструктуры по сферам (хранение и переработка данных, разработка алгоритмов, позволяющих извлекать ценность из больших данных, системные интеграторы, анализирующие данные на мощностях клиента, а также разработчики готовых сервисов на базе больших данных).

Таблица 7 - Основные поставщики инфраструктурных решений в области больших данных в России

Источник: составлено автором на основе данных статьи «Как устроен рынок Big Data в России» [16].

Рассмотрим подробнее несколько основных поставщиков инфраструктурных решений по разным сферам в области больших данных в России. Эти компании занимаются продажей специальной системы управления базами данных, программно-аппаратными комплексами и аналитическим ПО. Реализуют свои услуги напрямую или через дистрибьюторов. Работой в сфере хранения и переработки данных работает много крупных, известных на весь мир IT-компаний, таких как Sap, Oracle, IBM, Microsoft и другие. Компания SAP работает на рынке бизнес-аналитики с 2007 года - с момента покупки фирмы Business Objects. Компания предлагает свои решения в сфере больших данных через системы управления базами данных SAP Hana и SAP IQ. В России продукцией компании пользуются коммерческие и государственные структуры. Например, ФНС и Пенсионный Фонд РФ, банковская группа «Открытие» и энергетический холдинг «Сибирская генерирующая компания». В 2014 году компания SAP запустила акселератор для стартапов в области больших данных, так что деятельность компании благотворно виляет на развитие всего рынка больших данных. Компания Oracle предлагает широкий спектр решений в области больших данных, среди них специализированные устройства, системы управления базами данных, разные аналитические приложения. Компания обладает самыми широкими массивами неструктурированных данных на американском рынке. Компани обладает системами управления большими (далее - СУБД) данными - Oracle Database, Oracle MySQL и Oracle Essbase, также СУБД в области оперативной памяти Oracle TimesTen, Oracle Event Processing на базе Hadoop. В России продукцией компании пользуется, например, ФНС РФ. Компания IBM тоже является одним из лидирующих игроков рынка больших данных - по итогам 2018 года компания заработала на больших данных больше всех прочих компаний (1,4 млрд. долл.). Компания реализует оборудование для работы с большими данными IBM PureData и Watson, а также инструменты бизнес-аналитики Cognos. Крупнейшими клиентами компании в России являются Пенсионный фонд и «Вымпелком». Известная своим программным обеспечением во всем мире компания Microsoft тоже реализует свои решения в области больших данных для бизнеса разных масштабов.