Материал: Модели и алгоритмы проектирования и разработки систем поддержки принятия инвестиционных решений. Морозов В.П., Баркалов С.А

таций отжига основан на идее, заимствованной из статической механики. Он отражает поведение материального тела при отвердевании с применением процедуры отжига. Для получения качественного материала из расплава, при отвердевании, его температура должна уменьшаться постепенно, вплоть до момента полной кристаллизации. Если процесс остывания протекает слишком быстро, образуются значительные нерегулярности структуры материала, которые вызывают внутренние напряжения. В результате общее энергетическое состояние тела, зависящее от его внутренней напряженности, остается на гораздо более высоком уровне, чем при медленном охлаждении. Быстрая фиксация энергетического состояния тела на уровне выше нормального аналогична сходимости оптимизационного алгоритма к точке локального минимума. Энергия состояния тела соответствует целевой функции, а абсолютный минимум этой энергии – глобальному минимуму. В процессе медленного управляемого охлаждения, называемого отжигом, кристаллизация тела сопровождается глобальным уменьшением его энергии, однако допускаются ситуации, в которых она может на какое–то время возрастать (в частности, при подогреве тела для предотвращения слишком быстрого его остывания). Благодаря допустимости кратковременного повышения энергетического уровня возможен выход из ловушек локальных минимумов, которые возникают при реализации процесса. Только понижение температуры тела до абсолютного нуля делает невозможным какое– либо самостоятельное повышение его энергетического уровня. В этом случае любые внутренние изменения ведут только к уменьшению общей энергии тела.

Вреальных процессах кристаллизации твердых тел температура понижается ступенчатым образом. На каждом уровне она какое-то время поддерживается постоянной, что необходимо для обеспечения термического равновесия. На протяжении всего периода, когда температура остается выше абсолютного нуля, она может как понижаться, так и повышаться. За счет удержания температуры процесса поблизости от значения, соответствующего непрерывно снижающемуся уровню термического равновесия, удаётся обходить ловушки локальных минимумов, что при достижении нулевой температуры позволяет получить и минимальный энергетический уровень [173].

Блок-схема алгоритма имитации отжига, который использовался для обучения многослойного персептрона, приведен на рис. 2.34.

Блоки 1,14 используются для пуска и остановки алгоритма.

Вблоке 2 реализован ввод исходных данных, таких как: значения входных параметров и соответствующего им отклика ИНС из обучающей или тестирующей выборок либо реальных данных.

Блок 3 обеспечивает генерацию начальных значений весов нейронных связей и температуры Tmax.

Вблоке 4 рассчитывается значение энергии в соответствии с соотноше-

нием E (Y1 Y1)2 (Y2 Y2)2 (Y3 Y3)2 ...(Yn Yn)2.

126

14

Конец

Рис. 3.34. Блок-схемаалгоритма имитации отжига

127

Вблоке 5 реализована проверка условия наличия положительной температуры тела. Если данное условие выполнено, то управление передается в блок 6, в противном случае вычислительный процесс завершается и управление передается в блок 13.

Блок 6 обеспечивает генерациюзначений приращений весов w’.

Вблоке 7 рассчитывается обновленное значение энергии E’.

Блок 8 предназначен для проверки условия превышения предыдущего значения энергии над текущим значением. Если данное условие выполняется, то управлениепередаетсявблок11,впротивномслучаеуправлениепередаетсявблок9.

В блоке 9 реализована генерация случайных чисел в диапазоне от 0 до 1. Блок 10 предназначен для проверки условия exp(- 2/T2)>R. Если данное условие выполняется, то управление передается в блок 11. В противном случае

управление передаетсявблок12.

Вблоке11весам присваиваютсяновые значения. Блок12обеспечиваетснижениетемпературы.

Вблоке 13 осуществляется вывод полученных результатов – оптимальных значений весов ИНС.

Вданном алгоритме обучения реализован стохастически управляемый метод повторных рестартов. Для оценки его эффективности был проведен сравнительный анализ функционирования данного алгоритма, генетического алгоритма и алгоритма прямого перебора.

На рис. 2.35 приведена экранная форма интерфейса пользователя при исследовании данных алгоритмовобучения ИНС.

Рис. 2.35. Экранная форма интерфейсаисследования алгоритмов обучения ИНС

128

Данное окно имеет блочную структуру. В верхней части окна располагаются блоки заданий параметров трех алгоритмов обучения (генетического, имитации отжига и прямого перебора). Кроме того, в каждом блоке имеется окно, в котором отображается время выполнения соответствующего алгоритма обучения, а также кнопка его запуска – «Старт». В нижней левой части экранной формы находится компонент задания обучающих примеров. В нижней правой части экранной формы находится таблица, в которой отображаются значения весов нейронных связей и ошибки соответствующих ИНС. В центре экранной формы имеется окно задания параметра α. Данный параметр определяет крутизну функции активации. При функция вырождается в пороговую. При 0 функция активации становится линейной функцией с пороговым значением - 0,5. При 1 данная функция является плавной сигмоидальной функцией (вариант, представляющий интерес в данной работе).

В табл. 2.12 и 2.13 приведены экспериментальные значения основных параметров функционирования (времени работы и значений ошибки) для трех алгоритмов обучения.

Таблица 2.12 Результаты работы генетического алгоритма и алгоритма имитации отжига

В табл. 2.12 приведены результаты работы двух алгоритмов обучения, при постоянных исходных данных. В табл. 2.13 представлены результаты функционирования алгоритма прямого перебора для 5 вариантов исходных данных:

1)Max значение веса – 1, Min значение веса – -1, Шаг – 0,2;

2)Max значение веса – 1, Min значение веса – -1, Шаг – 0,1;

3)Max значение веса – 2, Min значение веса – -2, Шаг – 0,2;

129

4)Max значение веса – 2, Min значение веса – -2, Шаг – 0,1;

5)Max значение веса – 3, Min значение веса – -3, Шаг – 0,2.

Анализ полученных результатов показывает, что алгоритм имитации отжига является наиболее оперативным, но не самым точным из рассматриваемых методов обучения. Более высокую точность показал генетический алгоритм, но он затрачивает намного больше времени на работу, чем алгоритм имитации отжига. Теоретически алгоритм прямого перебора является самым точным методом поиска глобального минимума функции. Однако на практике, по причине недостаточной аппаратной мощности ПК, оказалось невозможным получить значение глобального минимума за приемлемое время.

Модуль «Генетический алгоритм» реализует случайный поиск экстремума функции для нескольких аргументов. Он представляет собой симбиоз переборного и градиентного методов. Его основу составляет естественный отбор - главный механизм эволюции [30, 34, 59]. В нем реализуются генетические коды индивидуумов – ДНК (ДезоксирибоНуклеиновая Кислота), приспособленность индивидуумов, хромосомы, скрещивание, мутации и др. Детальное описание генетического алгоритма приведено в разделе 2.6.

Модуль адаптации архитектуры нейронной сети обеспечивает рациональный выбор количества слоев сети, числа нейронов в каждом слое и количество необходимых связей между слоями адекватно поставленной задачи.

Рассмотрим последовательность процесса обучения сети. Обучение ведется путем минимизации целевой функции E(w), определяемой только на обучающем подмножестве L. При этом значение целевой функции определяется как

где р – количество обучающих пар (хk, dk), yk – вектор реакции сети на возбуждение хk.

Минимизация функции (2.67) обеспечивает достаточное соответствие выходных сигналов сети ожидаемым значениям из обучающих выборок.

Цель обучения состоит в таком подборе архитектуры и параметров сети, которые обеспечат минимальную погрешность распознавания тестового подмножества данных, не участвовавших в обучении. Эту погрешность будем называть погрешностью обобщения EG(w). Co статистической точки зрения погрешность обобщения зависит от уровня погрешности обучения EL(w) и от доверительного интервала . Она характеризуется неравенством

Установлено [174], что значение функционально зависит от уровня погрешности обучения EL(w) и от отношения количества обучающих выборок р к фактическому значению параметра, называемого мерой Вапника-

Червоненкиса (МВЧ) и обозначаемого VCd. Данная мера отражает уровень

130