Материал: Мясников В.В. Основы статистической
При наличии этой информации вьфажение для условного среднего риска (2.5) переписывается с учетом дискретного характера вектора признаков в следующем виде:
Предположим, что матрица штрафов является простейшей. Тогда байесовский классификатор может быть записан в одной из двух форм: либо в терминах дискриминантных функций (2.10), либо в терминах отношения правдоподобия (2.11). С учетом дискретного характера вектора признаков эти вьфажения имеют следующий вид:
V y V / P(fli)p{x =xlni)=di{x) |
> dj{x) = p (n j)p (x = x l n ^ ) ^ x ^ D i , |
|
Vy |
XI |
(2.21) |
Р{Х = х П Л |
|
|
В общем случае аналитически получить окончательные вьфажения для байесовского классификатора не представляется возможным. Однако это может быть сделано в предположении независимости компонент вектора признаков. В этом случае
ЛУ-1
p [ x = x l n j ) = Y \ P { x , = x J n i ) .
i=0
Учитывая, что возможные значения компонент вектора “О” или “ 1”, получаем следующее вьфажение для дискриминантной функции:
N - 1
й^Д х)=р(О г)П ((1-^(^> = 1 А ))(1 - ^ ,)+ ^ (^ , = 1 М к ) . / = o , i - i .
г = 0
Окончательным решением задачи является классификатор дискриминантной функцией вида
di(x) = l n{p{ni))+J]ln{l - P{X, =l/ni)) |
N - l |
+ |
|
i=0 |
i=0 |
p { X r = m i )
1 - P (X ,= 1 A ) ,
который, очевидно, является линейным. 26
Аналогичным образом можно получить вьфажение для байесовского классификатора в терминах отношения правдоподобия (2.21):
У ] ф 1 Л у ( х ) > ф / ^ х е ф ,
где
N - \
|
1 = 0 |
|
|
Р ( ф = 1 / а , ) |
1 - Н г , = 1 / п , ) |
(2 .22) |
|
=1п |
(X ,= 1 /Q i) |
4(X ,= 1 /Q ,) |
|
1 -4 |
|
||
f4 |
(Q ,h |
f l - 4 f c = l/Qy)' |
|
I j l =1п |
|
|
|
i=0
Очевидно, отношение правдоподобия также является линейной функцией компонент вектора признаков. Пример байесовского классификатора в терминах отношения правдоподобия приведен на рис.2.5.
2.1.8 Вычисление вероятностей ошибочной классификации: общий случай
Эффективность любого классификатора характеризуется вероятностями ошибок. Однако их нахо5цдение в общем случае оказывается достаточно сложной задачей, поскольку требует вычисления многомерных интегралов:
Plj= |
/,4 = 0 ,4 -1 . |
(2.23) |
При использовании байесовского классификатора, который является классификатором отношения правдоподобия, многомерный интеграл (2.23) может быть заменен одномерным от плотности вероятностей отношения правдоподобия Л,у в каждом из классов. В частности, в случае двух классов
для вероятностей ошибок имеем следующие вьфажения: |
|
|
|
+<ю |
X |
|
|
Ро= f /л ( « / ^ 0 )du, |
4i = f /л («/^ 1 |
. |
(2.24) |
где
27
л |
= л ( Г ) = / Ш . , = ф ] . |
|
|
^ ’ /(х/По) |
P{^i) |
здесь X - пороговое значение. Плотность вероятностей отношения правдоподобия удается найти далеко не всегда. Однако, когда случайный вектор X имеет нормальный закон распределения, это может быть сделано.
2.1.9 Вычисление вероятностей ошибочной классификации: нормально распределенные вектора признаков
Пусть вектор признаков в каждом из двух классов характеризуется нормальным законом распределения, причем все корреляционные матрицы
являются равными B i = B (/ = 0,l). Тогда случайная величина Л = 1п(л(х))
имеет нормальный закон распределения с параметрами:
|
м (л /О о ) = М (1п(л(х))/О о) = - |р ( ^ о , ^ 1 ), |
|
|
||
|
M (X/QI ) = M(ln(A(x))/Qi) = ip(M o,M i), |
|
|
||
|
п (л/О г) = п(1п(л(х))/Ог) = р(Мо,M i), |
/ = ОД, |
|
||
где |
p(rfo,M i) - расстояние Махаланобиса между векторами средних Mg |
и |
|||
M l . Вьфажения |
для вероятностей ошибок |
(2.24) |
преобразуются |
к |
|
следующему виду: |
|
|
|
|
|
|
;?о = 1 -Ф |
X - ip (M o ,M i) |
|
||
|
А = Ф |
|
I ) |
|
|
|
|
VP K , M |
|
||
где |
ф (...) - функция Лапласа, а |
|
|
|
|
|
|
p(QqXcoi - cqo) |
|
|
|
|
|
X = 1пХ = 1п |
|
|
|
p(C2i)(cio - с ц )
новая пороговая величина (рис.2.6). В частном случае, когда матрица штрафов является простейшей и априорные вероятности классов совпадают, тогда имеем:
29