2.6. ВЕРОЯТНОСТИ ОШИБОК И ИНТЕГРАЛЫ ОШИБОК

Представляя классификатор как устройство для разбиения пространства признаков на области решений, можно глубже разобраться в работе байесовского классификатора. Рассмотрим сначала

случай двух классов и предположим, что классификатор разделяет пространство на две области cfrj. и gR2. Возможны два типа ошибок классификации: когда наблюдаемое значение х попадает в область сЯ2, в то время как истинное состояние природы есть соь либо когда х попадает в сЯь а истинное состояние природы — со2. Так как эти события взаимоисключающие и составляют полное множество событий, то

Этот результат для одномерного случая иллюстрируется рис. 2.6. Два слагаемых в этом выражении, по существу, представляют площади, накрываемые «хвостами» функций р(х|(ог)/,((оі). В силу

произвольного выбора eRi и eft2 вероятность ошибки в примере не столь мала, как могла бы быть. Ясно, что, смещая границу области решений влево, можно свести на нет площадь темного «треугольника» и тем самым уменьшить вероятность ошибки. Вообще, если р(х|©1)/5 ((0].)>/} (x\w2)P (а>2), то выгоднее иметь х в области cRb чтобы вклад в интеграл был меньше; именно это и достигается применением байесовского решающего правила.

В случае многих классов больше возможностей допустить ошибку, чем оказаться правым, так что проще вычислять вероятность верного решения. Ясно, что

Полученный результат остается в силе независимо от способа разбиения пространства признаков на области решений. Байесовский классификатор делает эту вероятность максимальной за счет выбора областей, для которых интегрируемые величины наибольшие, так что никакое другое разбиение не приведет к меньшей вероятности ошибки.