Дипломная работа: Выявление паттернов поведения пользователей в системах машинного восприятия методами машинного обучения

Преобразование признаков (Feature Transformation): чистка сырых данных, полученных на предыдущем шаге, путем применения таких методов, как понижение размерности, уменьшение шума, нормализация и др.;

Выбор признаков (Feature Selection): на этом этапе необходимо отсеять незначимые признаки путем тестирования признаков с помощью алгоритмов машинного обучения, позволяющих оценить значимость признака (простейший пример - логистическая регрессия), с помощью статистических методов или перебором.

Если вернуться к предлагаемому подходу, то уточним теперь, что суть предложения - расширить шаг «Извлечение признаков» и постараться ответить на вопрос «Какие исходно нужно взять данные, чтобы модель учитывала паттерны поведения пользователя?». Прежде, чем перейти к дальнейшему пошаговому описанию подхода, необходимо отметить, что данное предложение не является единственно верным и не подразумевает единственность полученного с помощью него решения в силу того, что, во-первых, даже в рамках одной психологии личности существует более одной поведенческой концепции [57], а во-вторых, несмотря на попытку упорядочить этап разработки признаков, он все равно остается творческим и зависит от конечной постановки задачи.

Шаг 1. Разработка схемы признаков рекомендуемого объекта.

На этом этапе необходимо выделить максимальное количество признаков, описывающих объект, который рекомендует система, причем важно учесть не только признаки в данных, если таковые уже имеются, но и при необходимости скомбинировать числовые признаки до семантического значения. Для этого в качестве основы предлагается использовать самую базовую концепцию описания объекта в информатике, которая говорит о том, что у любого объекта есть такие признаки, как свойства, действия, поведение и состояния [58]. В целом предполагается, что формат схемы признаков может быть любой, однако для простоты рекомендуется использовать дерево признаков или майнд-карту (рис. 4). Хорошей практикой для данного этапа является техника мозгового штурма.

Рисунок 4. Пример форматов построения схемы признаков для рекомендуемого объекта

Шаг 2. Определение точек и сценариев взаимодействия пользователя с объектом рекомендаций в системе (неявный подход).

Следующим шагом необходимо каждому из выявленных признаков объекта по возможности указать хотя бы 1 пользовательский сценарий - точку взаимодействия пользователя с признаком объекта рекомендации в системе, который происходит для пользователя в неявном виде, то есть сценарий может быть отслежен рекомендательной системой посредством неявного подхода (см. глава 2). Признаки и пользовательские сценарии необходимо оформить как таблицу в следующем формате:

Результатом этапа должна стать таблица, оформленная по формату, указанному выше.

Шаг 3. Определение точек и сценариев взаимодействия пользователя с объектом рекомендаций в системе (явный подход).

Этот шаг по своей сути идентичен шагу 2, однако его отличие заключается в том, что теперь необходимо для признаков объекта рекомендаций указать такие пользовательские сценарии, где точка взаимодействия пользователя с признаком объекта существует в системе в явном виде, т.е. сценарий отслеживается системой с помощью явного подхода. Точка взаимодействия, таким образом, формируется системой, например, она может быть сформирована в виде вопроса с просьбой оценить тот или иной признак объекта (любимые жанры кино или исполнители песен) или наличие в системе функционала оценки самого объекта (лайк под песней или оценка фильма). Здесь нужно отметить, что поскольку, как было уже указано в главе 2, практика показывает, что пользователи не очень любят отвечать на явные вопросы, рекомендуется ограничить количество таких сценариев до необходимого минимума, т.е. необязательно, чтобы у каждого признака объекта появился соответствующий ему явный пользовательский сценарий. Признаки и пользовательские сценарии необходимо также сформулировать в следующем формате и оформить в виде таблицы по аналогии с шагом 2:

Шаг 4. Консолидация и соотнесение выявленных пользовательских сценариев с атрибутами поведения человека.

В рамках разрабатываемого подхода предлагается соотносить неявный подход получения данных системой с атрибутами невербального поведения пользователя (как осознанного, так и неосознанного), поскольку подобно тому, как при общении с живым человеком нельзя однозначно сказать, были ли невербальные атрибуты его поведения проявлены осознанно или нет, в системе также далеко не всегда данные, полученные неявным образом, можно трактовать однозначно. Соответственно, явный подход получения данных системой в рамках данного подхода приравнивается к вербальному поведению человека: на заданный системой в явном виде условно вопрос человек осознанно отвечает, транслируя информацию (= реагирует вербально) [59]. машинный обучение паттерн поведение

Таким образом, на данном этапе необходимо объединить результаты, полученные на шагах 2 и 3, в единую таблицу, а затем соотнести каждую точку взаимодействия с признаком объекта с признаками поведения человека, отражающего ту или иную составляющую его психики. В результате должно получиться сопоставление в следующем формате:

Для того, чтобы это сделать, необходимо воспользоваться таблицей 3, которая основана на проведенном анализе и разработанной в главе 1 таблице декомпозиции психики человека. Каждой составляющей приводится в соответствие предлагаемый способ измерения действий пользователя и получения данных о них в рекомендательной информационной системе. Поскольку как таковой формально обособленной классификации или типологии действий пользователя в информационных системах в ходе анализа научных источников не было выявлено, в качестве отправной точки использовались работы Bart P. Knijnenburg, Martijn C. Willemsen, Zeno Gantner, Hakan Soncu и Chris Newell «Explaining the user experience of recommender systems», Zhang D., Zhou L., Kehoe J. L. и Kilic I. Y. «What Online Reviewer Behaviors Really Matter? Effects of Verbal and Nonverbal Behaviors on Detection of Fake Online Reviews» и Nъсez-Valdez E. R., Quintana D., Gonzбlez Crespo R., Isasi P. и Herrera-Viedma, E. «A recommender system based on implicit feedback for selective dissemination of ebooks» [59-61].

Таблица 3. Отображение психики человека на его действия в рекомендательной системе

Шаг 5. Формирование первичного списка признаков для учета паттернов поведения пользователя.

На базе сформированного списка пользовательских сценариев и признаков отражения психики в поведении человека, необходимо оформить таблицей признаки пользователя и обратной связи:

Стоит отметить, что признаки поведения человека содержат в себе не только непосредственно признаки пользователя (в терминах рекомендательных систем), но также и явную/неявную обратную связь, которая в дальнейшем может быть использована для формирования оценки композиции пользователем в системе.

При формировании первичного списка признаков необходимо также учитывать существующие технические ограничения аппаратного обеспечения и требования к системе: так, использование в качестве интерфейса смарт-устройства (например, смартфона или «умных» часов) дает зачастую больше возможностей к выявлению тех или иных признаков поведения, нежели стандартный веб-интерфейс, например, за счет наличия в смартфоне датчиков движения можно оценить бодрость и активность пользователя.

Примечание: на данном этапе речь идет о первичном списке признаков - для первой итерации тестирования и оценки модели МО, поэтому рекомендуется формировать простые признаки. В дальнейших итерациях при необходимости улучшать качество модели можно комбинировать и объединять простые признаки в более сложные и затем сравнивать результаты оценки моделей для того, чтобы понять, какой перечень признаков подходит к модели больше всего.

Шаг 6. Приведение первичного списка признаков к математическому формату. Заключительным шагом в этапе извлечения признаков является непосредственное приведение признаков к математическому формату: определить для каждого признака тип данных и способ извлечения. В зависимости от типа исходных данных, для этого применяются различные известные подходы: токенизирование текста, кодирование изображений, преобразование дат и другие [47].

3.3 Подход к разработке модели признаков для задачи формирования предсказаний в рекомендательной системе с учетом паттернов поведения пользователя: выводы

Таким образом, в совокупности весь этап разработки признаков позволяет учесть в модели специфические данные, связанные с процессом проявления у пользователя его паттернов поведения в тех или иных артефактах, и в итоговом виде выглядит следующим образом:

Извлечение признаков (Feature Extraction):

Разработка схемы признаков рекомендуемого объекта.

Определение точек и сценариев взаимодействия пользователя с объектом рекомендаций в системе (неявный подход).

Определение точек и сценариев взаимодействия пользователя с объектом рекомендаций в системе (явный подход).

Консолидация и соотнесение выявленных пользовательских сценариев с атрибутами поведения человека.

Формирование первичного списка признаков для учета паттернов поведения пользователя.

Приведение первичного списка признаков к математическому формату.

Преобразование признаков (Feature Transformation);

Выбор признаков (Feature Selection).

ГЛАВА 4. ФОРМИРОВАНИЕ ПРЕДСКАЗАНИЙ В РЕКОМЕНДАТЕЛЬНОЙ СИСТЕМЕ ПО ПОДБОРУ МУЗЫКАЛЬНЫХ КОМПОЗИЦИЙ С ИСПОЛЬЗОВАНИЕМ ПРЕДЛОЖЕННОГО ПОДХОДА

4.1 Постановка эксперимента

Цель проведения эксперимента - проверка на практике предложенного в главе 3 подхода к разработке признаков, а также тестирование гипотезы о том, что использование данных о паттернах поведения пользователя в рекомендательных системах, которые используют методы машинного обучения для формирования рекомендаций, повышает качество рекомендаций.

Задачи эксперимента:

Провести разработку признаков и подготовку данных согласно предложенному в главе 3 подходу;

Разработать модели рекомендаций и провести ряд экспериментов:

без включения признаков, характеризующих вербальное и невербальное поведение пользователя в системе;

с использованием признаков вербального и невербального поведения пользователя в системе, разработанных по предложенному в главе 3 подходу;

сравнить использование вербальных признаков с использованием невербальных признаков;

Сделать вывод о качестве предсказаний и оценить эффективность примененного метода.

Нулевая гипотеза эксперимента: использование данных о паттернах поведения пользователя влияет на качество рекомендаций.

Альтернативная гипотеза: использование в модели данных о паттернах поведения пользователя не оказывает влияние на качество рекомендаций.

В рамках эксперимента рассматривается рекомендательная система по подбору музыкальных композиций.

В качестве модели рекомендательного алгоритма в рамках данного эксперимента используется гибридная модель по стратегии stacking, разработанная в ходе исследования предыдущей работы «Алгоритмы машинного слуха в рекомендательных системах» [37].

Примечание к эксперименту: как уже ранее упоминалось, процесс разработки признаков является творческим - основная задача предложенного подхода заключается в попытке несколько систематизировать и упростить этот процесс. По этой причине, описанный ниже ход эксперимента не является единственно верным.