Материал: Sb97955
- 10 -
5
Uвых A3 (1) g[Uвых A3 (0) ε Uвых Ak (0)] g[0,8 0,2(0,2 0,6 0,4 0,4)] k 1,k 3
g(0,48) 0,48;
|
|
|
5 |
|
|
|
Uвых A |
(1) g[Uвых A |
(0) ε |
Uвых A (0)] g[0,4 |
0,2(0,2 0,6 0,8 0,4)] |
||
4 |
4 |
|
k 1,k 4 |
k |
|
|
|
|
|
|
|
|
|
g(0) 0; |
|
|
|
|
|
|
|
|
|
5 |
|
|
|
Uвых A |
(1) g[Uвых A |
(0) ε Uвых A |
(0)] |
g[0,4 0,2(0,2 0,6 0,8 0,4)] |
||
5 |
5 |
|
k |
|
|
|
|
|
k 1 |
|
|
|
|
g(0) 0. |
|
|
|
|
|
|
Используя вектор (Uвых A (1), ..., Uвых A (1)) |
выходных сигналов A - |
|||||
|
|
|
1 |
|
5 |
|
элементов при t 1, аналогичным образом рассчитывают выходные сигналы A -нейронов при t 2, 3 и 4. Результаты расчётов приведены в таблице.
Результаты расчётов итерационного процесса в подсети Maxnet
Время |
|
Значения выходных сигналов нейронов Ak (k 1, 5) |
|
||||
Uвых A |
|
Uвых A |
Uвых A |
Uвых A |
|
Uвых A |
|
|
|
|
|||||
|
1 |
|
2 |
3 |
4 |
|
5 |
0 |
0,200 |
|
0,600 |
0,800 |
0,400 |
|
0,400 |
|
|
|
|
|
|
|
|
1 |
0,000 |
|
0,240 |
0,480 |
0,000 |
|
0,000 |
|
|
|
|
|
|
|
|
2 |
0,000 |
|
0,144 |
0,423 |
0,000 |
|
0,000 |
|
|
|
|
|
|
|
|
3 |
0,000 |
|
0,058 |
0,403 |
0,000 |
|
0,000 |
|
|
|
|
|
|
|
|
4 |
0,000 |
|
0,000 |
0,402 |
0,000 |
|
0,000 |
|
|
|
|
|
|
|
|
Итерационный процесс в подсети Maxnet заканчивается при t 5 , поскольку на этом шаге функционирования подсети не изменяется ни один выходной сигнал A -элементов. Вектор выходных сигналов A -элементов, записанный в последней строке таблицы, поступает на входы Y -элементов. Так как Y -нейроны имеют функцию активации вида (1.9), то на выходе только одного элемента Y3 появится единичный сигнал. Это означает, что
предъявленное изображение S1 наиболее близко к эталонному изображе-
нию V 3 . Визуальное сопоставление рис. 1.2 и 1.3 подтверждает правильность работы сети.
Определим теперь |
реакцию |
сети при предъявлении изображения |
S 2 ( 1, 1, 1, 1, 1, 1, |
1, 1, |
1) . Поскольку расчёты аналогичны, то |
приведём только основные промежуточные результаты:
|
|
|
|
|
|
|
|
|
|
|
|
|
- 11 - |
|
|
|
|
|
|
|
|
|
|
|
|||
Uвх Z (S |
2 ) 6, Uвх Z |
2 |
(S |
2 ) 2, Uвх Z |
3 |
(S 2 ) 4, Uвх Z |
4 |
(S 2 ) 4, Uвх Z |
5 |
(S 2 ) 8; |
|||||||||||||||||
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
U |
вых Z |
(S 2 ) a 0,6; U |
вых Z |
|
(S 2 ) a |
2 |
0,2; U |
вых Z |
|
|
(S 2 ) U |
вых Z |
|
|
(S 2 ) |
||||||||||||
|
|
1 |
|
|
|
|
2 |
|
|
|
|
|
3 |
|
4 |
|
|
||||||||||
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
a |
a |
4 |
0,4; U |
вых Z5 |
(S |
2 ) a |
0,8. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
3 |
|
|
|
|
|
|
5 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
Поскольку входной вектор (0,6; 0,2; 0,4; 0,4; 0,8) подсети Maxnet содержит единственный максимальный элемент a5 0,8 , то в результате итераци-
онного процесса на выходе только элемента A5 окажется положительный выходной сигнал, который вызовет единичный сигнал на выходе нейрона Y5 . Следовательно, предъявленное изображение наиболее близко к эталон-
ному изображению V 5 , что подтверждает и визуальное сопоставление рис.
1.2 и 1.3.
Определим теперь реакцию сети Хемминга на входное изображение
S 3 ( 1, 1, |
1, 1, 1, 1, 1, 1, 1) |
(см. рис. 1.3). При предъявлении |
||||||||||||
изображения |
S 3 имеем: Uвх Z (S3) 8, |
Uвх Z |
2 |
(S3) 0, |
Uвх Z |
3 |
(S3) 1, |
|||||||
|
|
|
|
|
1 |
|
|
|
|
|
|
|
||
Uвх Z |
4 |
(S3) 2, Uвх Z |
5 |
(S3) 8 . Поскольку сигналы Uвх |
1 |
(S3) Uвх Z |
5 |
(S3) |
||||||
|
|
|
|
|
|
|
|
|
|
|
||||
являются одинаковыми максимальными входными сигналами, то одинако-
выми |
будут и максимальные |
сигналы |
на выходах |
Z -элементов |
|||||||
(Uвх Z |
(S3) Uвх Z |
5 |
(S3) 0,8) |
и |
на |
входах |
A -нейронов |
||||
|
|
1 |
|
|
|
|
|
|
|
|
|
(a |
1 |
(S3) a |
5 |
(S3) 0,8) . Следовательно, подсеть Maxnet не сможет выделить |
|||||||
|
|
|
|
|
|
|
|
|
|
||
единственный максимальный сигнал и в результате её функционирования на всех выходах A - и Y -нейронов появятся нулевые сигналы.
Таким образом, сеть Хемминга не может определить, к какому из эта-
лонных изображений наиболее близко предъявленное изображение S 3 .
Порядок выполнения работы
1. Разработать нейронную сеть Хемминга, которая сможет распознавать не менее 6 различных букв Вашего имени и Вашей фамилии. При этом обосновать выбор:
-числа рецепторных нейронов;
-числа нейронов выходного слоя;
-12 -
-значения параметра ε в подсети Maxnet;
-вида функций активации нейронов каждого слоя;
-значения весов связей и смещений в подсети Хемминга. 2. Обучить нейронную сеть эталонным изображениям букв.
3. Исследовать возможности сети по распознаванию искаженных изоб-
ражений.
4. Подобрать входное изображение, равноудалённое по расстоянию Хемминга от двух эталонных изображений.
Содержание отчёта
1.Цель лабораторной работы.
2.Формализация задачи.
3.Структуры данных и их описание.
4.Программа, реализующая алгоритм.
5.Листинг программы.
6.Результаты выполнения пп. 1–4 задания.
7.Выводы.
Работа 2. НЕЙРОННАЯ СЕТЬ ХЕББА
Цель работы – приобретение и закрепление знаний и получение практических навыков работы с простейшими нейронными сетями, для обучения которых используется алгоритм Хебба.
Краткие сведения из теории
Формальные нейроны искусственных нейронных сетей. При моде-
лировании нейронных сетей в качестве искусственных нейронов обычно используется простой процессорный элемент (рис. 2.1) [2]. На его входы поступает вектор X (x1, ... , xn ) входных сигналов, являющихся выходными сигналами других нейронов, а также единичный сигнал смещения. Все входные сигналы, включая и сигнал смещения, умножаются на весовые коэффициенты своих связей и суммируются:
n |
|
|
|
|
S xi wi |
w0 , |
(2.1) |
||
i 1 |
|
|
|
|
|
|
|
|
|
где S – суммарный входной сигнал; |
wi (i 1, n) |
– весовые коэффициенты |
||
связей входных сигналов x1,..., xn ; w0 – весовой коэффициент связи сигнала смещения.
- 13 -
w 0
1
|
w1 |
|
|
x1 |
|
S |
y |
|
f |
||
|
. |
|
|
|
. |
|
|
|
. |
|
|
xn |
|
|
|
wn
Рис. 2.1. Процессорный элемент, используемый в обычных нейросетях
Полученный сигнал S поступает на вход блока, реализующего функцию f активации нейрона. Типичными функциями активации являются бинарная
|
если S 0, |
|
1, |
|
|
y |
|
(2.2) |
0, если S 0 |
|
|
или биполярная |
|
|
1, |
если S 0, |
|
y |
|
(2.3) |
1, |
если S 0. |
|
Многие авторы при описании модели нейрона используют не сигнал
смещения, а порог θ нейрона, что приводит к эквивалентной модели элемента. В этом случае выражения (2.2) и (2.3) принимают соответственно вид:
1, если S θ, y 0, если S θ,
1, если S θ,
y 1, если S θ,
где
n
S xi wi . i 1
(2.4)
(2.5)
(2.6)
Графическое изображение бинарной и биполярной функций активации для этого случая представлено на рис. 2.2, а и б.
y |
|
|
1 |
|
|
0 |
θ |
S |
а |
|
|
y |
|
|
1 |
|
|
0 |
θ |
S |
–1 |
|
|
г |
|
|
y |
1 |
|
|
|
|
- σ 0 |
σ |
S |
ж |
|
|
- 14 - |
|
|
|
|
|
|
y |
|
|
|
|
y |
|
1 |
|
|
|
|
1 |
|
|
|
|
|
|
|
|
0 |
θ1 |
θ2 |
S |
|
0 |
S |
б |
|
|
|
|
в |
|
y |
|
|
|
|
y |
|
|
|
|
|
|
|
|
1 |
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
θ1 |
|
|
|
|
|
0 |
|
θ2 |
S |
|
0 |
S |
–1 |
|
|
|
|
–1 |
|
д |
|
|
|
|
е |
|
y |
|
|
|
y |
|
|
1 |
|
|
|
1 |
|
|
|
|
|
|
θ1 |
θ2 |
|
0 θ1 θ2 |
θk |
S |
0 |
|
θk S |
|
|
|
|
|
–1 |
|
|
з |
|
|
|
и |
|
|
Рис. 2.2. Функции активации нейронов
Из сопоставления выражений (2.1)–(2.3) и (2.4)– (2.6) следует, что каждому значению порога θ нейрона может быть поставлен в соответствие весовой коэффициент w0 связи сигнала смещения и наоборот.
Реже используются линейные бинарные или биполярные функции активации (рис. 2.2, в и г):
a при S θ1 ,
y kS a0 ,при θ1 S θ2, (2.7)
1 при S θ2,
где a = 0 для бинарных выходных сигналов нейронов и а = –1 для биполярных сигналов; k , a0 – постоянные коэффициенты.
Кроме приведённых в теории нейронных сетей используются также следующие нелинейные функции активации:
– бинарная сигмоидальная или логическая сигмоидальная (рис. 2.2, д):
y |
|
1 |
, |
(2.8) |
|
|
|||
|
e τS |
|||
1 |
|
|
||