Отличие Ada Boost от других алгоритмов состоит в следующем:
· адаптивно настраивается на ошибки слабых гипотез, возвращаемых слабыми моделями;
· ограничение производительности алгоритма зависит от производительности слабой модели обучения, только на трех распределениях, которые фактически формируются в процессе обучения.
Алгоритм Ada Boost в сочетании с другими алгоритмами классификации обеспечивает повышение эффективности, усиливает классификаторы, объединяя их в «комитет». Он является адаптивным и строится по следующему правилу - каждая следующая совокупность классификаторов строится по объектам, неверно классифицированным предыдущими совокупностями. Кроме того, Ada Boost чувствителен к шуму в данных и выбросам, менее подвержен переобучению по сравнению с другими алгоритмами.
Рассмотрим на достаточно простом примере решения задачи построения бинарного классификатора [4].
Дано , где ? X, Инициируем для каждого t=1,…,T.
Находим классификатор , который минимизирует взвешенную ошибку классификации
где .
При этом,
- если величина , то останавливаемся.
- выбираем бt . Обычно бt=, где - взвешенная ошибка классификатора.
Обновляем:
где - нормализующий параметр, выбираемый так, чтобыпредставлял собой распределение вероятностей
Строим результирующий классификатор:
.
Соотношения для последующего обновления должны удовлетворять условиям:
.
После выполнения этих условий и выбора оптимального классификатора для распределения объекты распределения (i=1,…,m), характеризующие идентифицируют корректно и имеют веса меньше, чем те, которые идентифицируют некорректно. При этом на каждой последующей итерации веса каждого неверно классифицируемого объекта увеличиваются, вызывая у нового комитета необходимость, концентрировать внимание именно на этих объектах.
Таким образом, когда алгоритм Ada Boost тестирует классификаторы на рассматриваемом распределении , он ориентируется на классификатор, который лучше идентифицирует объекты неверно распознаваемые предыдущим классификатором.
Обобщая изложенное в данной работе, следует отметить, что проведенный анализ методов и средств извлечения знаний и оценки качества моделей в СППР показал, что широко известные методы автоматического анализа данных, в основе которого лежит обучение на примерах, позволяют решать более сложные задачи различных сложных предметных областей.
Чаще всего в сложных ПрО может возникнуть ситуация когда точно классифицировать исследуемый объект весьма трудоемко, а использование даже экспертных систем, ориентированных на обработку данных с помощью некоторых правил вывода, которые могут извлекать знания из БЗ, ограничены хорошо изученными предметными областями. Возникает необходимость использования нейронных сетей, поскольку они хорошо адаптивны к классификации образов, формированию классов, моделирование нелинейных процессов, работа с зашумленными данными, обладают способностью к обучению и самообучению.
Интеграция нейронных сетей и методов искусственного интеллекта (ИИ), а также машины логического вывода (МЛВ) в единую гибридную систему значительно повышают эффективность работы в области поддержки принятия решений. Наиболее эффективным в этой ситуации является то, что когда в единую гибридную систему к МЛВ добавляется метод логического вывода в виде иерархической последовательности структуры правил «Если-то», значительно улучшает качество разрабатываемых моделей, а использование механизма нечеткого логического вывода для этого же случая, на основе соответствующей базы правил и лингвистических термов, функций принадлежности ограниченной двумя известными условиями.
На основе использования нечеткого вывода и алгоритма, имеющего четыре последовательных действия, последним из которых является дефазификация или приведение к четкости (центроидный метод) получаем наиболее обоснованный четкий вывод.
Достаточно перспективным направлением в этой области является алгоритм адаптивного усиления Ada Boost, который адаптивно настраивается на ошибки слабых моделей, при этом производительность его зависит от производительности слабой модели только на трех распределениях, которые фактически формализуются в процессе обучения. То есть, когда алгоритм Ada Boost тестирует классификаторы на рассматриваемом распределении , он ориентируется на классификатор, который лучше идентифицирует объекты неверно распознаваемые предыдущим. Учитывая, что в процессе обработки БЗ имеет место огромное количество примеров, последнее обеспечивает значительные уменьшения и более качественный вывод в области СППР.
Литература
1. Саймон Хаки. Нейронные сети. Полный курс Второе издание. [Текст] / Саймон Хаки. М.: Издательский дом Вильямс, 2006. 1104 с.
2. Солодовников И.В., Солодовников В.И. Подход к созданию подсистем автоматизации проектирования нейросетевых структур данных с использованием деревьев решений. [Текст]/ Солодовников И.В., Солодовников В.И.// / Информационные технологии в проектировании и производстве. 2006. № 2. С. 62-66.
3. Рассел С., Норвиг П. Искусственный интеллект: современный подход [Текст]/ Рассел С., Норвиг П. М.: Издательский дом «Вильямс», 2006.
4. Алгоритм AdaBoost/ [Электронный ресурс] Режим доступа: http://www.machinelearning.ru, свободный.