1 МОДЕЛИРОВАНИЕ ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ ДЛЯ РЕШЕНИЯ ЗАДАЧ РАСПОЗНАВАНИЯ ОБРАЗОВ
Цель работы - подготовка экспериментального материала для решения задач распознавания образов, получение навыков работы в среде MathCad.
1.1 Теоретические основы лабораторной работы
1.1.1 Моделирование случайного вектора с нормалънъш законом распределения
Пусть |
X = (X o ,...,X „ _ if - п - |
мерный |
случайный |
вектор, имеющий |
||||
нормальный |
|
закон |
распределения: |
X ~ N {M , B ) . Это означает, что |
||||
плотность вероятностей случайного вектора |
X |
имеет вид |
|
|||||
|
|
/(Ч = |
1 |
|
|
|
|
|
|
|
ехр |
|
|
|
|
||
|
|
|
{ 2 п ) " Л ^ |
|
|
|
|
|
где |
- |
определитель матрицы, |
(...)^ |
- |
оператор |
транспонирования, |
||
М = (Mq ,..., |
у |
- вектор математических ожиданий координат вектора |
||||||
X : М, = MXj (/■= О,и - 1) ; В - корреляционная матрица |
|
|||||||
|
|
|
|
'00 |
В о ( п - \ ) |
|
||
|
|
|
В = |
'ю |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
’(и -ф |
■■■ |
|
|
|
элементами которой являются всевозможные корреляционные моменты:
5
Bjj = M ( X j- M j) ( x j- M j) , |
( / , 7 = 0 ,w - l) . Очевидно, что вектор М |
и |
||
матрица В полностью определяют нормальный закон распределения. |
|
|||
Вектор X ~ X (W , B ) |
можно |
получить |
специальным линейным |
|
преобразованием вектора |
| = ( ф , ..., |
. |
компоненты которого |
суть |
независимые случайные величины, имеющие стандартный нормальный закон распределения:
' Х(0, l), |
nij = О, |
a f = 1, |
(/■= 0,w - 1). |
|
|
||
Обычно предполагают, что матрица Я |
преобразования |
Х = А ^+ М |
|||||
является треугольной, то есть |
|
|
|
|
|
|
|
«00 |
О |
... |
О |
|
|
|
|
А = «10 |
41 |
... |
о |
|
|
|
|
|
|
|
|
|
|
||
|
а(„_1)1 ... «(„-iX«-i)v |
|
|
||||
Коэффициенты |
легко |
определяются |
рекуррентным образом. |
||||
Действительно, для диагональных |
элементов матрицы |
В |
справедливо |
||||
соотношение |
|
|
|
|
|
|
|
= м [х , - M , f = м |
к=о |
|
|
- м , |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
г - 1 |
|
|
= |
« г / |
к=0 |
= 4 + Х « г 1 , |
|
|
||
к=0 1=0 |
|
|
к=0 |
|
|
||
откуда |
|
|
|
|
|
|
|
/-1 |
|
|
|
|
|
|
|
|
|
|
|
« 0 0 |
- |
■ |
|
к=0
Для недиагональных элементов матрицы В выполняется равенство
Ду = м ( х , - м , ) ( х , - М , ) = М |
|
Ф |
|
|
и = 0 |
/=о |
|
Предполагая, что / < j , получаем |
|
|
|
|
|
г - 1 |
|
B,j = Z |
°]к |
= Z |
]к + «гг«ji |
к=0 |
|
к=0 |
|
откуда
гJ
к=0 1=0
г - 1 |
В, |
By - Y^ikkijk , l< /< y < w - l; |
a Q = —^ , j = l , n - l . |
к=0 |
«00 |
В частном случае, когда случайный вектор является двумерным (п=2), получаем следующие вьфажения для элементов матрицы преобразования:
«00 - |
yjBQQ, « 1 0 |
Во1 |
|
Вр1 |
- - 7 = = , Я ц - |
В |
п - В, |
||
|
|
'00 |
|
'00 |
Заметим, что поскольку для элементов матрицы В справедливо |
||||
неравенство В, |
^ УВ,, BJJ , |
(/, y = 0 ,w -l), |
то |
все коэффициенты я,у |
корректно определены в том смысле, что подкоренные вьфажения в приведенных соотношениях всегда неотрицательны.
1.1.2Оценивание параметров нормального закона распределения
Если ц-мерный случайный вектор X имеет нормальный закон распределения N {M , B ) , то оценки максимального правдоподобия его
математического ожидания М и корреляционной матрицы В , рассчитанные по выборке Х1 ,...,хдг объемаX, выглядят следующим образом:
- Ш т
г=1 |
г=1 |
г=1 |
1.1.3Меры близости нормальных распределений
Пусть /о (Ч |
и |
/i(^ ) - |
плотности |
вероятностей |
нормально |
|
распределенного случайного вектора с параметрами: |
|
|||||
|
/о ~ х (М о Ф о ) и |
П |
о |
|
|
|
мерой близости распределений /о(х) и /i(x ) является |
расстояние |
|||||
Бхатачария, вычисляемое по формуле |
|
|
|
|||
|
|
Ч-l |
|
|
В\ +Вр |
|
|
|
|
|
|
|
|
|
|
'Si +Bq |
(MI - M O) + | IH |
( 1.1) |
||
4 |
|
2 |
||||
|
|
|
|
|
||
Для случая равных |
корреляционных |
матриц |
(в^ =BQ = в) |
в качестве |
||
меры близости распределений используют расстояние Махаланобиса между векторами средних двух нормальных распределений:
Р м (Мо,M l) = (Mi - М оf - М о),
которое в этой ситуации с точностью до постоянного множителя совпадает с расстоянием Бхатачария. Если компоненты случайного вектора X независимы и одинаково распределены, то есть корреляционная матрица удовлетворяет условию В = D x l , где / - единичная N x N матрица, а D x -
дисперсия компонент случайного вектора, то близость нормальных распределений в смысле расстояния Махаланобиса и, соответственно, Бхатачария эквивалентна близости в смысле евклидова расстояния между векторами средних:
P£(MO,M I )=||M I - M o f = (Wi - M o f (Wi -M o).
Использование метрик Бхатачария или Махаланобиса в общем случае предпочтительнее евклидовой, поскольку они учитывают как дисперсии отдельных компонент случайного вектора, так и их взаимные корреляции. При этом они обладают следующим важным свойством.
Утверждение. Расстояния Бхатачария и Махаланобиса инвариантны относительно любого невырожденного линейного преобразования случайного вектора.
-3 |
-2 |
-1 |
0 |
1 |
2 |
3 |
- 2 - 1 |
0 |
1 |
2 |
3 |
|
|
'а |
0“ |
'а |
0“ |
|
~а |
0' |
~Ь |
|
0' |
|
Во = 0 а , д = 0 а |
|
Во = 0 Ь_ , Bi = 0 |
|
я 5 |
||||||
|
Pfi |
- |
PM - |
|
|
|
9B - 5 . |
Pm |
- 1 ^ |
|
|
|
|
. |
X *+C*fv |
||
* . . XN-S |
|
^ |
Э *+,- +++ |
||
"» |
|
|
+y |
||
ix Xi + |
++Ф. |
+*'V't+ ++, |
|||
X»XX ,x „ |
M*:+M * |
* |
|||
«»« xx„,, |
|
|
|
+ * |
|
xXX |
ж+..+V+x^+++ + |
||||
S xisx—» |
' |
|
|
|
|
|
■*»х |
|
|
|
|
|
а - Ь |
я Ь |
-1 |
-0.5 |
|
|
|
°0 = |
|
а |
- Ь |
а |
Ь |
||
- Ь а , Д = Ь а |
|
||||||
Во = |
- Ь |
а |
, Bi = |
а |
|||
|
|
|
|
Ь |
|||
PB =3-5, PM |
=14 |
PB |
- 1 . |
PM |
- 0 |
|
|
|
|
|
|
||||
Puc.1.1 Примеры реализаций нормально распределенных случайных векторов
Г /о -"х ", Л - " + " , а>Ъ>0)