Документ: Sb97955, страницы 16-20 | База учебных материалов

Материал: Sb97955

Смотрите также:

- 15 -

где τ– постоянный коэффициент;

– биполярная сигмоидальная (рис. 2.2, е):

2

1;

y

1 e τS

– радиально-симметричная (рис. 2.2, ж):

y e

S 2

τ2

;

– K -значная бинарная (рис. 2.2, з):

0 при S θ1,

1/(K 1) при θ1 S θ2 ,

.....................................,

y 2 /(K 1) при θ2 S θ3 ,

K 2

при θk 1 S θk ,

K 1

1 при S θk ;

– K -значная биполярная (рис. 2.2, и):

1 при S θ1,,

1 2 /(K 1) при θ

S θ

2

,

1

1 4 /(K 1) при θ

2

S θ

3

,

y

.....................................

2(K 2)

1

при θ

S θ

,

k 1

k

K 1

1 при S θk .

(2.9)

(2.10)

(2.11)

(2.12)

Приведённые модели искусственных нейронов игнорируют многие известные свойства биологических прототипов. Например, они не учитывают временные задержки нейронов, эффекты частотной модуляции, локального возбуждения и связанные с ними явления подпороговой временной и пространственной суммации, когда клетка возбуждается не одновременно пришедшими импульсами, а последовательностями возбуждающих сигналов, поступающих через короткие промежутки времени. Не учитываются также периоды абсолютной рефрактерности, во время которых нервные клетки не могут быть возбуждены, т. е. как бы обладают бесконечно большим порогом возбуждения, который затем за несколько миллисекунд после прохож-

- 16 -

дения сигнала снижается до нормального уровня. Этот список отличий, которые многие биологи считают решающими, легко продолжить, однако искусственные нейронные сети все же обнаруживают ряд интересных свойств, характерных для биологических прототипов.

Решение задач распознавания на основе отдельных нейронов. Пра-

вило Хебба. Искусственные нейронные сети, предназначенные для решения разнообразных конкретных задач, могут содержать от нескольких нейронов до тысяч и даже миллионов элементов. Однако уже отдельный нейрон (рис. 2.1) с биполярной или бинарной функцией активации может быть использован для решения простых задач распознавания и классификации изображений. Выбор биполярного (1, –1) или бинарного (1, 0) представления сигналов в нейросетях осуществляется исходя из решаемой задачи, и во многих случаях он равноценен. Имеется спектр задач, в которых бинарное кодирование сигналов более удобно, однако, в общем, биполярное представление информации более предпочтительно.

Поскольку выходной сигнал у двоичного нейрона (рис. 2.1) принимает только 2 значения, то нейрон можно использовать для классификации

предъявляемых изображений на 2 класса.

Пусть имеется множество M изображений, для которых известна кор-

ректная

классификация

на

2

класса

X

1

X

11

12

, ..., X

lq

,

, X

X

2

X

21

, X

22

,

..., X

2 p

, X 1 X 2

M , X 1

X 2

,

и пусть первому

классу

X 1 соответствует выходной сигнал

y 1,

а классу

X 2 –

сигнал

y 1.

Если,

например,

предъявлено

некоторое

изображение

X α X1α ,

... , Xnα , X α M и его взвешенная сумма входных сигналов

превышает нулевое значение:

n

S xiα wi w0 0 ,

i 1

то выходной сигнал y 1

и, следовательно, входное изображение X α при-

надлежит классу

X 1. Если S 0, то

y 1 и предъявленное изображение

принадлежит классу X 2 .

Возможно использование отдельного нейрона и для выделения из множества классов

	- 17 -
M X 1 X 11, ..., X 1k , ... ,	X i X i1, ... , X iq , ... , X P X p1, ..., X pm

изображений единственного класса X i . В этом случае полагают, что один из двух возможных выходных сигналов нейрона (например, 1) соответ-

ствует классу X i , а второй – всем остальным классам.

Система распознавания на основе единственного нейрона делит всё пространство возможных решений на две области с помощью гиперплоскости

x1w1 x2w2 ... xnwn w0 0 .

Для двумерных входных векторов границей между двумя классами изображений является прямая линия: входные векторы, расположенные выше этой прямой, принадлежат к одному классу, а ниже – к другому.

Для адаптации, настройки или обучения весов связей нейрона может использоваться несколько методов. Рассмотрим один из них, получивший название «правило Хебба». Хебб, исследуя механизмы функционирования центральной нервной системы, предположил, что обучение происходит посредством усиления связей между нейронами, активность которых совпадает по времени. Хотя в биологических системах это предположение выполняется далеко не всегда и не исчерпывает всех видов обучения, однако при обучении однослойных нейросетей с биполярными сигналами оно весьма эффективно.

В соответствии с правилом Хебба, если предъявленному биполярному изображению X (x1, ..., xn ) соответствует неправильный выходной сигнал y , то веса wi (i 1, n) связей нейрона адаптируются по формуле

смещения; y – выходной сигнал нейрона.

В более полной и строгой форме алгоритм настройки весов связей нейрона с использованием правила Хебба выглядит следующим образом:

Шаг 1. Задаётся множество M X 1,t1 , ..., X m ,t m , состоящее из пар

(входное изображение X k x1k , ..., xmk , необходимый выходной сигнал нейрона t k , k 1, m ). Инициируются веса связей нейрона: wi 0, i 1, n .

- 18 -

Шаг 2. Для каждой пары ( X k , tk ), k 1, m , пока не соблюдаются условия останова, выполняются шаги 3–5.

Шаг 3. Инициируется множество входов нейрона: x0 1, xi xik , i 1, n .

Шаг 4. Инициируется выходной сигнал нейрона: y t k . Шаг 5. Корректируются веса связей нейрона по правилу


wi (new) wi (old) xi y0,	i 0, n .

Шаг 6. Проверяются условия останова.

Для каждого входного изображения X k рассчитывается соответствующий ему выходной сигнал y k :

			1, если S	k	0,
	k
y	k					k 1, m ,
y						k 1, m ,
		1, если S k 0,

n
где S k xik wi w0 .
i 1
Если вектор ( y1, ..., ym )			рассчитанных выходных сигналов равен век-

тору (t1, ... , t m ) заданных сигналов нейрона, т. е. каждому входному изображению соответствует заданный выходной сигнал, то вычисления прекращаются (переход к шагу 7), если же ( y1, ..., ym ) (t1, ..., t m ) , – переход к шагу 2 алгоритма.

Шаг 7. Останов.

Пример 1. Пусть требуется обучить биполярный нейрон распознава-

нию изображений X 1 и X 2 (рис. 2.3). При этом потребуем, чтобы изобра-

жению X 1 соответствовал выходной сигнал нейрона «+1», а изображению

X 2 – сигнал «–1».

X 1

1	2	3

4	5	6

7	8	9

	X 2
1	2	3
4	5	6
7	8	9

Рис. 2.3. Входные изображения

- 19 -

Применение алгоритма Хебба даёт следующие результаты:

Шаг 1. Задаётся множество

M X 1 (1,

1, 1, 1, 1, 1, 1, 1, 1), 1 , X 2 (1, 1, 1, 1, 1, 1, 1, 1, 1), 1 ,

инициируются веса связей нейрона: wi 0 (i 0, 9 ).

Шаг 2. Для каждой из двух пар ( X 1, 1) , ( X 2 , 1) выполняются шаги 3–

5.

Шаг 3. Инициируется множество входов нейрона дня изображения пер-

x1

вой пары:

x

1, x

( i 0, 9 ) .

0

i

Шаг 4. Инициируется выходной сигнал нейрона для изображения пер-

вой пары:

y t1 1.

Шаг 5.

Корректируются веса связей нейрона по правилу Хебба

w w x1y (i

) :

0, n

i

w0 w0 x0 y 0 1 1 1;

w1 w1 x11y 0 1 1 1;

w1 w3 w4 w5 w6 w9 1;

w2 w2 x12 y 0 ( 1) 1 1;

w2 w7 w8 1.

Шаг 6. Инициируется множество входов нейрона дня изображения X 2

второй пары:

x x2 ( i

) .

x 1,

0, 9

0

i

Шаг 7. Инициируется выходной сигнал нейрона для изображения вто-

рой пары ( X 2 ,t 2 ) : y t 2

1.

Шаг 8. Корректируются веса связей нейрона:

w0 w0 x0 y 1 1 ( 1) 0;

w1 w1 x12 y 1 1 ( 1) 0;

w1 w3 w4 w5 w6 w9 0;

w2 w2 x12 y 0 ( 1) 1 1;

w2 w7 2;

w5 w5 x52 y 1 ( 1) ( 1) 2; w8 w8 x82 y 1 ( 1) ( 1) 2 .

wi (t 1) wi (t) xi y, i 0, n ,

где wi (t) , wi (t 1)

– соответственно вес i -й связи нейрона до и после адап-

x0 1 – сигнал

тации; xi (i 1, n)

– компоненты входного изображения;