явные;
неявные;
смешанные.
Явные подходы. Такие подходы требуют активного ответа пользователя на действия со стороны системы о своих интересах, как правило, в формате рейтингов (лайки/дизлайки, оценки и др.) или ответов на вопросы, а также путем заполнения информации в профиле пользователя. Такой подход хорош тем, что можно сразу получить данные в нужной интерпретации: если пользователь отмечает контент понравившимся, значит контент ему нравится. Однако минус такого подхода заключается в том, что для того, чтобы получить такие данные, требуется получить ответ на вопрос от пользователя в явном виде - а между тем не каждый пользователь посчитает необходимым тратить на это время или в целом изъявляет желание делиться какой-либо информацией.
Неявные подходы. В то же время неявные подходы используют данные, полученные от пользователя путем, не требующим от пользователя активного ответа. Это могут быть данные о логах системы, геопозиции и других косвенных признаках, по которым можно судить о проявлении интереса к контенту со стороны пользователя, например, время просмотра контента, частота прослушивания композиции или цепочка переходов между страницами в браузере. Безусловный плюс таких подходов заключается в том, что для их получения не требуется получать ответ от пользователя в явном виде (кроме разрешения на сбор данных), а также гибкости - неявные подходы требуют творчества и, как следствие, расширяют границы допустимого. В свою очередь, сложность подобных методов заключается в необходимости проведения дополнительного анализа, поскольку в этом случае нельзя однозначно сказать, что, например, фильм, просмотренный только наполовину, пользователю не нравится - возможно он остался недосмотренным, потому что была глубокая ночь, и пользователь уснул, или появилась необходимость срочно отвлечься на что-то другое, т.е. контекст играет еще более важную роль для формирования корректной рекомендации.
Смешанные подходы. Наиболее популярный среди исследователей, поскольку показывает более высокий результат на выходе, и по сути является результатом сложения явного и неявного подхода.
К построению самой модели на базе собранных данных (как с помощью инструментов машинного обучения, так и посредством других доступных математических инструментов) также выделяют несколько подходов [49]:
Онтологический подход - модель формируется с использованием извлеченных явным, неявным или смешанным путем данных на базе существующих онтологий физико-математических знаний [51];
Граф - модель строится на базе известных связей между данными, полученными от пользователя, затем используется метод случайного блуждания, применяется в случае с явным или смешанным подходом [52];
Логическая модель - извлеченные смешанным путем данные преобразуются в модель контекста как набор условий и ограничений, по которым можно делать выводы о том, что тот или иной факт имеет место быть; Тегирование - модель построения контекста на базе данных, полученных смешанным путем, которая заключается в том, что полученная информация классифицируется и затем используется системой с использованием набора тегов;
Векторная модель - это метод описания входного контекста через набор признаков (явных, неявных или смешанных), является ключевым при построении моделей машинного обучения и является универсальным - с точки зрения используемого инструмента, т.е. не зависит от формулировки поставленной задачи.
По сути, все перечисленные выше подходы являются вторым этапом в процессе решения задачи машинного обучения - разработки модели признаков.
После третьего этапа - формирования выборки данных - следует четвертый этап: выбор метрики качества. Как уже упоминалось ранее, существует большое количество подходов к оценке качества построенной модели - как модели машинного обучения, так и других математических моделей. В таблице 2 представлено сводное описание наиболее часто используемых в различных исследованиях по теме рекомендательных систем метрик качества [49]. Стоит отметить, что поскольку данные метрики используются для непосредственной оценки качества модели в целом, они также являются универсальными вне зависимости от постановки задачи.
Таблица 2. Наиболее популярные метрики качества для оценки модели рекомендаций в системе
|
Метрика |
Описание |
|
|
Точность/Precision |
Соотношение рекомендаций, определенных моделью как релевантные, к общему числу: отображает способность системы исключать нерелевантные рекомендации |
|
|
Полнота/Recall |
Отношение релевантных рекомендаций, определенных моделью, к общему числу релевантных рекомендаций: отображает способность системы находить все релевантные рекомендации |
|
|
F-мера |
Среднее гармоническое между точностью и полнотой: отображает баланс точности и полноты в системе |
|
|
MAE (Mean Absolute Error) |
Отображает девиацию рекомендаций относительно пользовательских оценок рекомендаций |
|
|
RMSE (Root Mean Squared Error) |
Среднеквадратичное отклонение: отображает, насколько отличаются рекомендации, предсказанные моделью, от их истинных значений |
|
|
Discounted Cumulative Gain (nDCG) |
Отображает качество топ-n рекомендаций в системе |
|
|
Mean Average Precision (MAP) |
Отображает качество топ-n рекомендаций системы для запроса путем усреднения оценки качества ранжирования каждой из отдельно взятых рекомендаций |
|
|
Mean Reciprocal Rank (MRR) |
Указывает на позицию первой релевантной рекомендации в рейтинге рекомендаций системы, сформированных в ответ на запрос пользователя |
|
|
Click Through Rate (CTR) |
Показатель кликабельности: отображает, насколько конечный сформированный список рекомендаций привлекает пользователя |
|
|
Purchase Rate (PR) |
Показатель покупаемости: отображает, какое количество объектов из предложенных рекомендательной системой было куплено/использовано. |
На этапе 5 - предобработке данных - останавливаться подробно не будем, так как для предварительной обработки данных используются универсальные математические методы: нормализация, заполнение отсутствующих значений, дискретизация и др.
Наконец, идут заключительные этапы - построение и оценка модели - для задачи выявления паттернов пользователей в рекомендательных системах. В ходе анализа научной литературы было выявлено применение различных алгоритмов, чаще всего исследователи отдавали предпочтение таким инструментам как ансамбль, метод K-средних и метод опорных векторов (SVM), байесовский вывод, деревья решений, матричное разложение и метод k-ближайших соседей [53]. При этом стоит отметить, что подавляющее большинство исследований посвящено поиску оптимального алгоритма для рекомендаций, практически не затрагивая проблему выявления и учета в алгоритме паттернов поведения пользователя. Остановимся чуть более подробно на нескольких исследованиях, которые в том или ином виде рассматривают вопрос выявления паттернов поведения пользователей.
В своем исследовании Ning Wang в коллаборации с другими исследователями предлагает модель системы рекомендаций в сфере электронной коммерции, основанную на распознавании паттернов и анализе предпочтений в поведении пользователей [54]. Система рекомендаций при построении рекомендаций ориентируется на профили релевантных пользователей, при этом учитывая в процессе анализа исторические данные о поведении пользователя. В качестве данных о пользователе предполагается использовать логи, хранящиеся на сервере, и заполненную регистрационную форму на ресурсе, и с помощью инструментов анализа данных предсказывать поведение клиента. В качестве инструментов машинного обучения используется ансамбль методов: корреляционный анализ, кластерный анализ и классификация [54].
Еще одна группа исследователей (V. Subramaniyaswamy & R. Logesh) подошла к проблеме персонализации через разработку предметной онтологии, основанной на известных знаниях о предметной области [51]. На базе сформированных онтологий в области рекомендаций фильмов, были разработаны прогнозирующие модели с использованием модифицированного метода k-ближайших соседей (Adaptive KNN) для системы рекомендаций на основе коллаборативной фильтрации. Предложенный метод оценивали на наборе данных MovieLens с помощью таких метрик, как точность, полнота и F-мера. Наконец, в качестве заключительного примера, рассмотрим исследование S. Gu, X. Liu, L.Cai и J. Shen, которые в своей работе предложили модель системы, формирующей предсказания в сфере моды [55]. Они используют традиционную систему рекомендаций, основанную на коллаборативной фильтрации с использованием модели LFM (Latent Factor Model), дополняют ее алгоритмами искусственных нейронных сетей (Denoising Autoencoder), тем самым учитывая как поведение пользователя, так и визуальные особенности рекомендуемых объектов (поскольку речь идет о стиле и моде). Комбинируя эти два метода, они пришли к выводу, что такая система лучше справляется с проблемой холодного старта, нежели чем традиционные методы рекомендательных систем.
Также стоит отдельно выделить исследование L. Wang и др., которое предлагает подход по включению метода сингулярного разложения матрицы высокого порядка (HOSVD) в рекомендательные системы с тем, чтобы можно было точнее учитывать контекст, в котором находится пользователь, и формировать более точные рекомендации, однако, несмотря на то, что данная работа предлагает хороший математический аппарат для автоматической генерации признаков, все же вопрос идентификации паттернов поведения пользователя в ней не затрагивается [56].
По результатам анализа релевантных исследовательских работ, можно сказать, что: Алгоритмы машинного обучения, используемые в рекомендательных системах, используются универсально вне зависимости от контекста поставленной задачи;
Внимание исследователей в основном целиком и полностью сконцентрировано на используемых инструментах машинного обучения, при этом практически не обсуждается такой важный, с точки зрения качества конечного результата, этап, как разработка модели признаков (Feature Engineering): как артефакты поведения пользователя трансформируются в признаки, по какому принципу строится модель признаков, какие признаки являются наиболее значимыми, а от каких можно отказаться.
Таким образом, проведенный анализ показал, что разработка признаков является потенциально слабым и недостаточно изученным этапом в процессе решения задачи машинного обучения и требует более детального изучения и совершенствования.
2.4 Машинное обучение в системах машинного восприятия: выводы
Рекомендательные системы являются популярными для технологий машинного восприятия информационными системами, поскольку по своему функционалу представляют собой частный случай систем принятия решений и пользуются большим успехом в решении задач по предложению товаров и услуг, формированию подборок фильмов и музыки, развитию таргетированной рекламы. Машинное обучение, в свою очередь, предоставляет обширный универсальный функционал для решения задач рекомендательных систем, в том числе для задач выявления паттернов поведения пользователей. Однако тем не менее, остается неисследованным в достаточной мере вопрос формирования признаков для дальнейшего использования при построении модели машинного обучения.
По этой причине в рамках данной исследовательской работы было решено рассматривать этап разработки признаков (Feature Engineering) для учета паттернов поведения пользователей в рекомендательных моделях. Таким образом, гипотеза данной работы: учет паттернов поведения в модели признаков повышает качество рекомендаций в модели.
ГЛАВА 3. ПОДХОД К РАЗРАБОТКЕ МОДЕЛИ ПРИЗНАКОВ ДЛЯ ЗАДАЧИ ФОРМИРОВАНИЯ ПРЕДСКАЗАНИЙ В РЕКОМЕНДАТЕЛЬНОЙ СИСТЕМЕ С УЧЕТОМ ПАТТЕРНОВ ПОВЕДЕНИЯ ПОЛЬЗОВАТЕЛЯ
3.1 Общая концепция
Итак, в предыдущих главах был приведен подробный обзор, что такое паттерны поведения человека и чем может быть полезно их использование, что такое машинное обучение и из каких этапов состоит процесс решения задач методами машинного обучения, а также анализ существующих решений и исследований.
Рисунок 3. Общая концепция подход к разработке модели признаков: схема взаимодействия человека и рекомендательной системы
В результате было выявлено, что наиболее слабым местом - а значит, потенциально его исследование может положительно сказаться на качестве модели - в процессе решения задачи построения модели методами машинного обучения с учетом паттернов поведения пользователя является этап разработки признаков (Feature Engineering). По этой причине, предлагаемый подход к выявлению и включению данных о паттернах поведения пользователя в модель машинного обучения сконцентрирован именно на этом этапе.
Суть предлагаемого подхода заключается в соотнесении артефактов поведения человека с языком их интерпретации в рекомендательной системе (рис. 3).
Для этого предлагается модифицировать традиционный этап разработки признаков под задачу учета паттернов поведения пользователя.
В основу разработанного в рамках данной работы подхода легли, с одной стороны, поведенческие концепции психологии личности - в первую очередь, структура психики и характеристики поведения человека (глава 1), а с другой - общие принципы применения инструмента машинного обучения (глава 2) и результаты исследования рекомендательных систем в рамках предыдущей исследовательской работы «Алгоритмы машинного слуха в рекомендательных системах» [37].
3.2 Разработка подхода
Традиционно, этап разработки признаков при решении любой задачи машинного обучения принято понимать, как решение следующих взаимосвязанных задач (шагов) [47]:
Извлечение признаков (Feature Extraction): в рамках этого шага необходимо специфичные для предметной области данные перевести на математический язык, понятный для системы, т.е. числовые векторы. И, если с технической точки зрения существует достаточно инструментов и методов, чтобы из текста, изображений, звука, геоданных и т.д. считать нужные данные, то на вопрос «А какие же исходно нужно взять данные, к которым применить эти инструменты и методы?», как показал анализ в главе 2, как такового ответа нет - по большей части, в качестве ответа на этот вопрос обычно ссылаются на то, что процесс подбора признаков требует творческого подхода.