4.5. ОЦЕНКА АПОСТЕРИОРНЫХ ВЕРОЯТНОСТЕЙ

Рассмотренные в предыдущих разделах методы можно использовать для оценки апостериорных вероятностей Р(й);|х) на основании п помеченных выборок, пользуясь выборками для оценки соответствующих плотностей распределения. Предположим, что мы

размещаем ячейку объема V вокруг х и захватываем k выборок, ki из которых оказываются помеченными W;. Тогда очевидной оценкой совместной вероятности р(х, Wj) будет

Таким образом, приемлемой оценкой для P(Wjlx) будет

Иначе говоря, оценка апостериорной вероятности того, что состояние природы есть С0(, является просто долей выборок в ячейке, помеченных со,.

Чтобы свести уровень ошибки к минимуму, мы выбираем класс, наиболее часто представляемый в ячейке. Если имеется достаточное количество выборок и если ячейка достаточно мала, то можно показать, что результаты будут в этом случае близки к наилучшим.

Если дело доходит до выбора размера ячейки, то можно воспользоваться или методом парзеновского окна, или методом /г„ ближайших соседей. В первом случае Ѵ„ будет некоторой определенной функцией от п, а именно Ѵ„= 1/Кп- Во втором случае будет расширяться до тех пор, пока не вместит некоторое определенное число выборок, а именно k=Vn. В любом случае по мере устремления п к бесконечности в бесконечно малую ячейку будет попадать бесконечное число выборок. Тот факт, что объем ячейки может стать бесконечно малым и все же будет содержать бесконечно большое число выборок, позволяет нам изучать неизвестные вероятности с определенной точностью и, таким образом, постепенно добиваться оптимальных результатов. Довольно интересно, как мы увидим далее, что можно получать сравнимые результаты, основывая наше решение только на метке единственного ближайшего соседа величины х.