Материал: Мясников В.В. Основы статистической

Общий риск при этом определяется нижеследующей формулой и монотонно убывает с ростом расстояния Махаланобиса между средними:

разделяющей границы байесовского классификатора, соответствующего минимаксной стратегии, превращается в равенство вероятностей ошибочной классификации: P Q = р^ . С учетом вьфажений (2.24) получаем, что пороговое

значение для минимаксного классификатора: X = 1, X = О.

Рис.2.б Плотности вероятностей логарифма отношения правдоподобия для нормально распределенных признаков сравными корреляционными матрицами

Классификатор Неймана-Пирсона Используя условие (2.15) и равенства (2.24), получаем, что пороговое

значение классификатора Неймана-Пирсона определяется по формуле

Х = с \ X = -ip(M o,M i)+V p(M o,M i>T -i(l-;p;),

где р*) - заданная величина вероятности ошибки первого рода.

30

2.1.10 Вычисление вероятностей ошибочной классификации: бинарные вектора признаков

Получить аналитическое вьфажение для вероятностей ошибочной классификации бинарных векторов признаков в общем случае невозможно. Однако при небольшой размерности вектора признаков (N <26) значения этих вероятностей можно вычислить на ПЭВМ, используя дискретный аналог формулы (2.23):

поскольку в признаковом пространстве находится всего 2 ^ элементов. Когда число компонент вектора признаков велико, можно получить приближенные вьфажения для вероятностей ошибочной классификации, если предположить независимость компонент случайного вектора X . В подобной ситуации в соответствии с центральной предельной теоремой можно считать закон распределения случайной величины Лу = Л у (х ) нормальным. Для простоты

рассмотрим ситуацию с разделением двух классов. В этом случае числовые

a для вероятностей ошибочной классификации получаем следующие приближенные вьфажения:

В ситуации, когда условия центральной предельной теоремы не выполняются, а компоненты вектора независимы, можно воспользоваться следующими вьфажениями для верхних границ вероятностей ошибок.

31

вытекающих из неравенства Чебышева:

2.1.11 Экспериментальная оценка вероятностей ошибочной классификации

На практике воспользоваться аналитическими вьфажениями для вычисления вероятностей ошибок классификации чаще всего не представляется возможным. Поэтому единственным способом определения искомых вероятностей является их статистическое оценивание.

Пусть выборочные данные представлены в виде набора из N

объектов {cOj класса Qg и TV рассчитанных по ним векторов признаков

{x(cOj )}^Q^ (при этом говорят, что задана обучающая выборка объема N из класса Q g), а также задан некоторый классификатор, производящий

классификацию объектов в соответствии со следующим правилом:

классификации объектов класса Qg :

Ро = p (4 x /Q g )< 0 ).

Наилучшей точечной оценкой вероятности р ^ , как известно, является

относительная частота события {d(х/Од)<о):

"г= 0

Качество оценки (2.25) можно охарактеризовать величиной ее относительной погрешности, которая имеет вид

л/щ ^ [ т

р X Np ■

32

Последнее вьфажение можно использовать также с целью определения

ошибочной классификации объектов из класса Q/ в класс Qy по обучающим

выборкам из соответствующих классов.

2.2Порядок выполнения лабораторной работы

2.2.1Исходные данные

•два файла данных, полученных в процессе выполнения первой лабораторной работы (см. раздел 1 настоящего пособия) и содержащих наборы двумерных нормально распределенных векторов признаков для ситуации равных корреляционных матриц; параметры этих законов распределения;

•три файла данных, полученных в процессе выполнения первой лабораторной работы (см. раздел 1 настоящего пособия) и содержащих наборы двумерных нормально распределенных векторов признаков для ситуации неравных корреляционных матриц; параметры этих законов распределения;

•два файла данных, полученных в процессе выполнения первой лабораторной работы (см. раздел 1 настоящего пособия) и содержащие наборы бинарных векторов признаков, распределения вероятностей бинарных векторов.

2.2.2Общий план выполнения работы

1.Построить байесовскую решающую границу между классами Qg и двумерных нормально распределенных векторов признаков для случая равных корреляционных матриц и равных априорных вероятностей и изобразить ее графически. Вычислить вероятности ошибочной классификации и суммарную вероятность ошибочной классификации в этом случае.

33

2.Построить минимаксный классификатор и классификатор Неймана-

признаков в случае равных корреляционных матриц. Изобразить решающие границы полученных классификаторов графически.

3. Построить байесовскую решающую границу ме5цду классами Qg ^ 1^1 и

^ 2 двумерных нормально распределенных векторов признаков для неравных корреляционных матриц и равных априорных вероятностей. Изобразить полученные решающие границы графически. Для любых двух классов оценить экспериментально вероятности ошибочной классификации в этом случае и определить относительную погрешность полученных оценок для заданного обьема обучающей выборки N.

Определить обьем обучающей выборки, обеспечивающий получение оценок вероятностей ошибочной классификации с погрешностью не более 5%.

4.Построить байесовскую разделяющую границу между классами Qg и

Qj двумерных бинарных векторов признаков. Вычислить вероятности ошибочной классификации аналитически и оценить их экспериментально.

2.2.3Содержание отчета

Отчет по работе должен содержать:

•аналитические вьфажения для классификаторов, полученных в результате выполнения пп. 1-3 плана, и графическое изображение соответствующих им решающих границ вместе с элементами обучающих выборок.

•Параметры классификатора, полученного в результате выполнения п.4 плана, и его графическое изображение.

•Вероятности ошибочной классификации для построенных в пп. 1-4 плана классификаторов, найденные аналитически и экспериментально. Для первого случая привести расчетные формулы, для второго - относительную погрешность оценки и обьем выборки, гарантирующий величину погрешности не более 5%.

34