|
R |
R W = ^ 0 - M i ) |
|
|
|
Sag |
|
9a? |
9да, |
|
(3.13) |
|
|
|
|
|
|
df |
|
df |
|
|
|
9/Ил |
dm. |
|
|
|
|
Задавая конкретный |
|
9 |
9 |
(3.13) можно |
|
вид критерия /(/Wg,/W j,ag,aj), из |
|||||
определить вектор весовых коэффициентов |
W и пороговое |
значение ттд? |
|||
линейной дискриминантной функции, оптимальные в смысле этого критерия.
Классификатор Фишера |
|
|
|
Выберем в качестве критерия / (шд, |
, а ? , а ? ) функцию вида |
||
J |
{ m i - m p f |
(3.14) |
|
9 |
9 |
||
|
А |
+'^0 |
|
Критерий (3.14) называется критерием Фишера и представляет собой меру
отличия значений линейной дискриминантной функции в классах Qj и Qg . Для наилучшего разделения классов необходимо определить W и ттд,,
которые доставляли бы этому критерию максимум. Получаемый при этом линейный классификатор называется классификатором Фишера.
Подставляя вьфажение (14) в общую систему уравнений (13) и игнорируя масштабный множитель линейной функции, получим следующее вьфажение для вектора весовых коэффициентов дискриминантной функции:
|
Ч - 1 |
W = |
(3.15) |
Вьфажение (3.10) совпадает с (3.15) при значении параметра 5 = 0.5. Делая подстановку этого значения 5 в (3.11), получим вьфажение для порогового
значения дискриминантной функции |
: |
|
|
1 |
- M o f f2 (B i+ B g )l (a ? M o + a ? M i). |
(3.16) |
|
^ 1 |
|||
a? +a? |
V |
У |
|
Примечание. |
|
|
|
Для ситуации равных корреляционных матриц B = BI =BQ |
вьфажения |
||
(15) и (16) преобразуются к следующим: |
|
|
|
40 |
|
|
|
W = B ~ ^ ^ l - M o ) , |
(3.15’) |
щд/= - i ^ i - M o f 5 “'^ o + M i ) . |
(3.16’) |
Из (3.15’) и (3.16’) следует, что классификатор Фишера совпадает с байесовским классификатором для нормального закона распределения с равными корреляционными матрицами и равными априорными вероятностями классов:
tZ(x)= ^ 1 - M o f 5 “' x - E ^ i - M o f 5 “' ^ o + M i).
Пример классификатора Фишера приведен на рис.3.2.
3.1.4Линейный классификатор, минимизирующий СКО решения
При нахождении линейной разделяющей функции, минимизирующей суммарную вероятность ошибочной классификации, предполагалось, что в
классах Qj и Qg случайная величина имеет нормальный закон
распределения. Метод, основанный на минимизации среднеквадратического отклонения (СКО) решения, позволяет получить аналогичные результаты без
этого предположения. |
|
|
Пусть |
при построении классификатора нам для |
наблюдения доступен |
набор из |
1 |
^ |
К значений векторов-реализаций х ,...,х |
случайного вектора |
|
признаков X , относительно каждого из которых известно, какому из классов |
||
Qj и Qg |
он принадлежит. В этом случае говорят, что задана обучающая |
|
выборка. |
|
|
Примем далее следующие обозначения.
•Введем в рассмотрение новый вектор z = (zg,...,z^/_i,l)^ , формируемый
следующим |
образом. |
Для |
обьектов |
класса |
Qj |
вектор |
|
гр |
|
|
|
|
гр |
Z = (хд,...,хд/_1,1) , а ДЛЯ обьектов класса Qg |
z = (-хд,...,-хд/_1,-1) . |
|||||
•Дополним вектор весовых коэффициентов значением пороговой
величины, то есть перейдем к |
пополненному вектору весовых |
коэффициентов:
41
Проведение таких преобразований позволяет записать линейную разделяющую функцию в виде
d{z) = W ^ z .
Построение классификатора при этом сводится к определению пополненного вектора коэффициентов W так, чтобы для любых известных векторов
-к
^ = 1,х) было справедливо неравенство
d(z) = W^z>Q. |
(3.17) |
[ ' / ф |
х"х |
x^ji< ^ Щй |
|
■ :Х Ж Ш |
‘С,? |
|
|
++V+ |
|
м +++ + + + " |
\ |
|
у |
t , |
+++ |
а
Рис.3.2 Классификатор Фишера: а -равные корреляционные матрицы; б - неравные корреляционные матрицы
Обозначим y(z) наилучшую разделяющую функцию, то есть такую функцию, значения которой можно рассматривать в качестве требуемого выхода идеальной дискриминантной функции. Как правило, у(^) не известна, но ее можно предположительно определить на основе обучающей выборки из условия (3.17). Например, можно взять y(z) = 1, что соответствует случаю, когда на основе обучающей выборки определяется переменная правильной классификации'.
Г - 1, |
X е Qg |
(3.18) |
г(х) = |
X |
|
[ 1 , |
x e Q i |
|
42
СКО между требуемым и действительным значением разделяющей функции определяется вьфажением
|
ч2 |
( z ) - r ^ z |
(3.19) |
(здесь математическое ожидание соответствует распределению случайного вектора Z ). Если вместо математического ожидания используется среднее по обучающей выборке, то имеем
^ k=Y
Используя матричную форму записи последнего вьфажения, получаем
8л |
.=±■( ^ ^ и |
- г 1 ( М |
¥ - г \ |
(3.20) |
|
N [ |
j 1 |
’ |
|
где и = |
- матрица выборочных данных, а Г = (y(zi),..., y(z^/))^ - |
|||
вектор требуемых значений выхода. Дифференцируя вьфажение (3.20) по пополненному вектору коэффициентов и приравнивая частные производные нулю, получим следующее вьфажение для W :
Пример классификатора, минимизирующего СКО решения, приведен на рис.3.3.
3.1.5 Последовательная корректировка линейного классификатора: алгоритм перцептрона
Рассмотрим алгоритм, использование которого для расчета вектора параметров линейного классификатора не требует запоминания одновременно всех векторов признаков. Вместо этого в памяти ЭВМ следует хранить только текущие оценки параметров, которые обновляются всякий раз при поступлении очередного вектора наблюдений. Система распознавания такого типа носит название перцептрон, а процесс ее итерационной настройки - обучение. Основное преимущество подобных алгоритмов в том, что они позволяют использовать бесконечное число наблюдений, располагая конечным обьемом памяти.
43
Рис.3.3 Линейный классификатор, минимизирующий СКО решения:
а -равные корреляционные матрицы; б - неравные корреляционные матрицы
Итак, пусть решается задача распознавания объектов двух классов, заданных своими пополненными векторами признаками:
Предположим, что в качестве дискриминантной функции выбрана линейная и классификатор работает в соответствии со следующим правилом:
44