Материал: Мясников В.В. Основы статистической
2.1.2Качество классификатора
Качество классификатора характеризуется величиной, называемой в теории статистических решений условньш средним риском. Она задает среднюю величину потерь, связанных с принятием классификатором решения об отнесении данного вектора признаков х к классу с номеромj:
_ |
1 |
i- i |
(2.5) |
Rj{x) = —^Yj^ljP{CLi)f{xlCLi). |
|||
|
/( ю |
/=о |
|
В данном вьфажении:
• Pifl-i) - априорная вероятность появления обьектов из класса О /;
•f(x/D. i) - условная плотность вероятностей случайного вектора
признаков X для обьектов класса Q/ ;
• /(х ) - безусловная плотность вероятностей случайного вектора X ;
•элементы квадратной матрицы
С = '« С о
характеризуют величины штрафов или потерь за ошибки классификатора. Матрица С может быть достаточно произвольной. Единственным ограничением на ее элементы является то, что штраф за ошибочное решение должен быть больше, чем штраф за решение правильное, то есть су > сц .
Интегральной величиной, характеризующей качество классификатора, является математическое ожидание потерь или общий риск, который с учетом (2.5) и (2.3) имеет вид
R = Y \ R ] ¥ ) f ¥ ) d ^ = |
• |
с-7) |
j=ODj |
j=0l=0 |
|
Процесс классификации аналогичен игре двух лиц с нулевой суммой, в которой одним из игроков является классификатор. В такой игре выигрыш (проигрыш) одного из участников равен проигрышу (выигрышу) другого. Выбор оптимальной стратегии в игре зависит от количества исходной информации. Могут использоваться байесовская, минимаксная стратегии или стратегия Неймана-Пирсона. В зависимости от того, какая из стратегий
15
используется для построения классификатора, последний называют, соответственно, байесовским классификатором, минимакснъш классификатором или классификатором Неймана-Пирсона.
2.1.3 Оптимальные стратегии классификации: классификатор Байеса
Байесовская стратегия используется при наличии полной априорной информации о классах, то есть когда известны:
•функции правдоподобия для каждого из классов;
•матрица штрафов;
•априорные вероятности для каждого из классов.
Стратегия решения выбирается таким образом, чтобы обеспечить минимум общего риска (2.7). Минимальный общий риск при этом называется байесовским риском. В соответствии с вьфажениями (2.5) и (2.7) минимум общего риска R будет обеспечен, если разбиение пространства признаков D будет осуществляться по следующему правилу: вектор хе4> относится к области Di только тогда, когда соответствующий условный средний риск
минимален:
У ] ф 1 R i i x ) < R j ( x ) ^ x e D i . |
(2.8) |
Графическая иллюстрация байесовской стратегии приведена на рис.2.1а. Если матрица потерь (2.6) является простейшей', то после подстановки в
(2.8) вьфажения для условного среднего риска (2.5) имеем следующий явный вид байесовского классификатора (рис.2.16):
У Р { П 1) / ( x / Q i ) > p ( q , ) / ( x / Q |
, ) ^ X е Ф . |
(2.9) |
Из (2.9), в частности, видно, что решающими функциями байесовского |
||
классификатора являются функции |
|
|
di(x) = P ( n i ) f ( x l ni ) , |
l = 0 , L - l . |
(2.10) |
' Матрица потерь С назьшается простейшей, если ее элементы Су = 0, |
i = j |
1, |
i ^ j ' |
16
Часто используют также следующую форму записи байесовского классификатора:
|
|
У ] ф 1 |
|
(2 .11) |
При |
этом |
функция Л /,(х )= |
называется |
отношением |
|
|
' |
/ ( x / q , ) |
|
правдоподобия, |
а величина Хр = |
P (Q .) |
значением. Таким |
|
" пороговым |
||||
образом, байесовский классификатор основан на сравнении отношения правдоподобия с пороговым значением:
|
У ] ф 1 A i j ( x ) > X j i ^ x e D j , |
|
|
и называется поэтому |
классификатором отношения правдоподобия. |
||
Легко показать, что при произвольном виде матрицы штрафов в случае |
|||
двух классов байесовский классификатор имеет вид |
|
||
|
/ Е М ) |
> Д ^о )(со 1 -со о ) |
|
|
/ ( х М ) |
< A A ) ( n o - n i ) |
М о |
с дискриминантными функциями: |
|
||
|
dj (Х) = Р(Оф(сд1_^.) - Cjj ) / ( x / q ^ . ), |
у = ОД. |
|
|
2.1.4 |
Оптимальные стратегии классификации: |
|
|
минимаксный классификатор |
|
|
Классификатор, основанный на минимаксной стратегии, используется для |
|||
случая двух классов и если известны: |
|
||
• |
функции правдоподобия для каждого из классов; |
||
• |
матрица штрафов. |
|
|
Минимизировать величину общего риска при отсутствии информации об априорных вероятностях классов, очевидно, невозможно. В то же время, предполагая возможность произвольного изменения значений априорных вероятностей классов, можно минимизировать максимально возможное значение риска. Действительно, общий риск (2.7) в случае двух классов может быть представлен в следующем виде:
18
= ( э 1 + А о ( э о - Э 1)) + Р ( ^ о ) - Е о о + Р 0 1 У 0 1 - Соо) ) - ( э 1 + А о ( э о “ Э i ))] -(2. 12)
При фиксированном классификаторе изменение априорной вероятности приводит к изменению величины общего риска, причем характер зависимости в (2.12) линейный (рис.2.2).
Рис. 2.2 Иллюстрация минимаксной стратегии построения классификатора
Поэтому поиск классификатора, минимизирующего максимально возможную величину общего риска, эквивалентен поиску такого байесовского классификатора, для которого величина (2.12) является постоянной, не зависящей от значения априорной вероятности
величиной. Таким классификатором, очевидно, является байесовский классификатор, удовлетворяющий следующему дополнительному условию:
19