Действительно, пусть |
вектор |
Y получен |
в |
результате |
линейного |
||||||
преобразования |
нормально |
распределенного |
случайного вектора |
X : |
|||||||
Y = СХ +Е , |
где |
С - матрица |
преобразования |
с |
отличным |
от |
нуля |
||||
определителем |
|
отвечающая |
|
за поворот |
и |
масштабирование |
|||||
координатных |
осей, а. |
Е |
- |
вектор, определяющий |
смещения начала |
||||||
координат. Случайный |
вектор |
Y |
оказывается также |
распределенным |
|||||||
нормально с параметрами: |
|
|
|
|
|
|
|
|
|
||
|
м ( |
=CMi+E, |
B J |
= C B i M , (/ = 0,1). |
|
|
(1.3) |
||||
Подставляя (1.3) в вьфажения для расстояний (1.1) и (1.2) и учитывая справедливость то5цдеств для произвольных невьфожденных матриц С и 5
вс\ =|5||с|, { b c J = Мв'^, {вс)~^ = с~'^в~^,
убеждаемся в справедливости приведенного утверждения.
1.1.4Моделирование бинарных случайных векторов
снезависимьши координатами
Пусть X = (X o,...,X„_i)^ - п - мерный |
бинарный случайный |
вектор, |
|||||||
компоненты которого принимают |
одно |
из |
двух значений |
{0,l}. |
Закон |
||||
распределения |
бинарного |
случайного вектора задается |
совокупностью |
||||||
вероятностей |
р (х = х) для всех возможных |
значений |
х = (XQ,..., |
x„_iY |
|||||
вектора. Если координаты вектора X |
независимы, |
то |
распределение |
||||||
вероятностей записывается в виде |
|
|
|
|
|
|
|
||
р (х = х) = j “ Р(Х, = X,) = |
{р,х, + (1 - р, )(1- X,)), |
|
|
|
|||||
|
г= 0 |
|
г= 0 |
|
|
|
|
|
|
где Pj =P{Xj =l ) . Таким |
образом, |
для |
формирования |
одной |
реализации |
||||
бинарного случайного вектора с независимыми координатами необходимо
получить по одной реализации каждой из п |
бинарных случайных величин |
X, (/= 0 ,w -l). |
|
Способ моделирования бинарной случайной величины X с |
|
распределением вероятностей р { х = l) = р, |
р { х = о) = 1 - р основан на |
следующих очевидных соотношениях: |
|
10 |
|
р { 0 < и < \ - р ] = \ - р , р { \ - р < и <\]= р ,
где и - равномерно распределенная на отрезке [од] случайная величина: Таким образом случайные величины U м X связаны
соотношением
x = [ u l{ \- p ) l
где [...] - целая часть числа. Следовательно, компоненты одной реализации искомого вектора могут быть получены по формуле
X. = [м ./(1 -л)1 /= 0 ,« - 1 ,
здесь м, - независимые реализации случайной величины U .
1.2Порядок выполнения лабораторной работы
1.2.1Исходные данные
•вариант задания (предоставляется преподавателем);
•математические ожидания для трех наборов двумерных нормально распределенных случайных векторов (из соответствующего варианта задания, см. раздел 7);
•два бинарных вектора (из соответствующего варианта задания, см. раздел 7);
1.2.2Общий план выполнения работы
1Разработать алгоритм моделирования нормально распределенного случайного вектора с заданными математическим ожиданием и корреляционной матрицей.
2Смоделировать и изобразить графически обучающие выборки обьема Х=200 для двух нормально распределенных двумерных случайных векторов с заданными математическими ожиданиями и самостоятельно подобранными равными корреляционными матрицами.
3Смоделировать и изобразить графически обучающие выборки обьема Х=200 для трех нормально распределенных двумерных случайных векторов с заданными математическими ожиданиями и с неравными
11
корреляционными матрицами, которые выбрать самостоятельно.
4На основании полученных выборок найти точечные оценки параметров нормального закона для каждого из распределений.
5Смоделировать обучающие выборки обьема Х=200 двух бинарных случайных векторов с распределениями, которые обеспечивают вероятность изменения указанной в представителе компоненты случайного вектора, равной р = 03 .
1.2.3Содержание отчета
Отчет по работе должен содержать:
•исходные параметры моделируемых нормальных распределений; их оценки, полученные по обучающим выборкам, расстояния Бхатачария и Махаланобиса;
•графическое изображение значений векторов и имена файлов (с расширением .DAT), в которые они записаны;
•распределения бинарных случайных векторов и имена записанных файлов, содержащих их реализации (с расширением .DAT).
2 ОПТИМАЛЬНЫЕ СТРАТЕГИИ ТЕОРИИ СТАТИСТИЧЕСКОГО РАСПОЗНАВАНИЯ ОБРАЗОВ
Цель работы - изучение теоретических основ и экспериментальное исследование методов построения классификаторов, соответствующих оптимальным стратегиям принятия решений.
В лабораторной работе изучаются методы построения классификаторов, основанные на байесовской стратегии, минимаксной стратегии и стратегии Неймана-Пирсона, то есть при наличии различного количества агфиорной информации. В качестве примеров приводятся типовые задачи распознавания образов.
2Л Теоретические основы лабораторной работы
2.1.1 Постановка задачи классификации
Пусть задано некоторое множество из / подлежащих распознаванию
объектов'.
Q = {coo,coi,...,co/_i},
12
и задано его разбиение на L непересекающихся подмножеств, назьшаемых в дальнейшем образами или классами:
L-1
1=0
Пусть каждый из обьектов со е Q представляется набором числовых характеристик, называемым вектором признаков:
X = (xo,Xi,...,XA,_if .
Задача классификации заключается в отыскании решающего правила,
которое по заданному вектору признаков х(со) указывает, какому классу Q/ принадлежит соответствующий обьект со. Построение такого решающего правила эквивалентно разбиению метрического пространства признаков
П = {х : X е п } на множество непересекающихся областей:
|
Р^1={П о,А,...,П ^_1}, |
[ ] D I = D . |
(2.1) |
|
|
1=0 |
|
При этом решение о принадлежности некоторого обьекта |
со е Q к классу |
||
Q/ |
принимается в том случае, если |
соответствующий |
обьекту вектор |
признаков х(со) е D принадлежит области D i. |
|
||
Решающее правило, предназначенное для указания, какой области Di
признакового пространства D принадлежит предъявленный вектор
признаков X, называется классификатором.
В идеале классификатор должен быть таким, чтобы области, вьщеляемые в пространстве признаков, соответствовали классам, то есть в идеале для элементов множеств PQ и Рд должно выполняться следующее условие:
обьект со принадлежит классу Q/ тогда и только тогда, когда
соответствующий обьекту вектор признаков х(со) принадлежит области ф :
VcoeQ: c o e Q / » x ( c o ) еР>/. |
(2.2) |
Как правило, на практике данное условие не выполняется, и существует вероятность неверно проклассифицировать обьект или допустить ошибку при распознавании.
13
Обозначим
Plj ( /,7 = 0 Х ^ )
вероятность того, что классификатор принимает решение об отнесении
вектора признаков некоторого |
обьекта к области D j, в то время как сам |
|
обьект принадлежит классу О/ : |
|
|
Plj = p ( X e D j / n i ) . |
(2.3) |
|
При / Ф j вероятности ру |
характеризуют |
ошибки распознавания и |
называются вероятностями неверной или ошибочной классификации, а
вероятности рц определяют вероятности верной (правильной) классификации
представителей соответствующего класса. Уменьшение вероятностей ошибочной классификации - это основная задача, которая возникает при построении классификатора.
Обычно классификатор задается не в виде областей признакового пространства (2.1), а в виде набора так называемых дискриминантных или
решающих функций ф(х(со)), (/ = 0 ,Z -l). При этом процесс принятия
решения осуществляется по следующему правилу: обьект считается принадлежащим тому классу, дискриминантная функция которого для соответствующего вектора признаков является максимальной:
|
У j фр. |
d i(х(со))> d j (х(со))^ х(со)е ф . |
(2.4) |
||||
Замечание 1. Выбор |
решающих |
функций |
не единственен. |
Наряду |
с |
||
функциями di (х), |
(/ = 0,4 - 1) решающими функциями также являются: |
|
|||||
• |
giiy)diiy)+ g 2 ^),TpQ g i( 4 - любая неотрицательная функция, а g 2 (x) " |
||||||
|
любая функция, не зависящая от номера класса /; |
|
|
||||
|
где |
ф(...) - любая |
монотонно |
возрастающая функция, |
не |
||
зависящая от номера класса.
Часто за счет приведенных преобразований удается существенно упростить вид классификатора.
14