2.10. НЕЗАВИСИМЫЕ БИНАРНЫЕ ПРИЗНАКИ

В качестве примера типичной задачи классификации при дискретных Значениях признаков рассмотрим случай двух классов, в каждом из которых компоненты вектора бинарны и условно независимы. Пусть для определенности х=(хи ..., xd)f, где компоненты вектора х равны либо 1, либо 0, причем

и

Это модель задачи классификации, в которой каждый из признаков несет ответ типа «да» — «нет». В случае pi>qt следует ожидать, что t-й признак будет чаще давать ответ «да» при состоянии природы Их, нежели при <о,. В предположении условной независимости можно записать Р (х|сог) в виде произведения вероятностей для компонент х. Записать это удобнее следующим образом:

Отношение правдоподобия при этом определяется выражением  а из (57) получим выражение для разделяющей функции

Видно, что данное уравнение линейно относительно xt. Таким образом, можно написать

где

и

Посмотрим, к каким выводам можно прийти на основании полученных результатов. Напомним прежде всего, что в случае g(x)>0 принимается решение соі, а в случае g(x)^0 — решение со2. Мы уже убедились, что g(x) представляет собой взвешенную комбинацию компонент вектора х. Величиной веса wt измеряется значимость ответа «да» для х% при классификации. Если Pi=qt, то величина Хі не несет информации о состоянии природы, так что Шг=0. В случае Pt>qi имеем 1—pt<. 1—qt, так что вес wt положителен. Следовательно, в этом случае ответ «да» для xt дает wt голосов в пользу а>і. Кроме того, при любом постоянном <7г<1, чем больше pit тем больше и wt. С другой стороны, при Pi<.qi величина wt становится отрицательной, и ответ «да» дает \wt \ голосов в пользу м2.

Величины априорных вероятностей Р(сог) проявляются в выражении разделяющих функций только через так называемый пороговый вес w0. Увеличение Р (coj) приводит к увеличению w0, склоняя решение к соі, тогда как уменьшение Р (<»!) оказывает противоположное действие. Геометрически векторы ѵ* можно представить вершинами d-мерного гиперкуба. Поверхность решения, определяемая уравнением g(x)=0, представляет собой гиперплоскость, отделяющую вершины (Oj от вершин сог. Положение этой гиперплоскости в дискретном случае можно, очевидно, изменять множеством способов, не пересекая вершин и не изменяя вероятности ошибки. Каждая из этих гиперплоскостей представляет оптимальную разделяющую поверхность, обеспечивая оптимальный образ действия.