3.3,1. плотности, УСЛОВНЫЕ ПО КЛАССУ

Сущность байесовской классификации заложена в расчете апостериорных вероятностей Р(сог|х). Байесовское правило позволяет вычислять эти вероятности по априорным вероятностям и условным по классу плотностям /?(х|©г). однако возникает вопрос: как быть, если эти величины неизвестны? Общий ответ таков: лучшее, что мы можем сделать,— это вычислить P((0;|x), используя всю информацию, имеющуюся в распоряжении. Часть этой информации может быть априорной, как, например, знание о виде неизвестных функций плотности и диапазонах значений неизвестных параметров. Часть этой информации может содержаться в множестве выборок. Пусть ^ обозначает множество выборок, тогда мы подчеркнем роль выборок, сказав, что цель заключается в вычислении апостериорных вероятностей P(co, |x,.2^). По этим вероятностям мы можем построить байесовский классификатор.

Согласно байесовскому правилу *),

Это уравнение означает, что мы можем использовать информацию, получаемую из выборок, для определения как условных по классу плотностей, так и априорных вероятностей.

Мы могли бы придерживаться этой общности, однако впредь будем предполагать, что истинные значения априорных вероятностей известны, так что  Кроме того, так как в данном случае мы имеем дело с наблюдаемыми значениями, то можно разделить выборки по классам в с подмножеств ..., ^с, причем выборки из принадлежат coj. Во многих случаях, в частности во всех, с которыми мы будем иметь дело, выборки из не оказывают влияния на р(х|со,-, ^), если іф]. Отсюда вытекают два упрощающих анализа следствия. Во-первых, это позволяет нам иметь дело с каждым классом в отдельности, используя для определения p(x|cOj-, :^) только выборки из Вместе с принятым нами предположением, что априорные вероятности известны, это следствие позволяет записать уравнение(12) в виде

Во-вторых, так как каждый класс может рассматриваться независимо, можно отказаться от ненужных различий классов и упростить записи. По существу, здесь имеется с отдельных задач следующего вида: требуется определить р{х\3^), используя множество ^ выборок, взятых независимо в соответствии с фиксированным, но неизвестным вероятностным законом /?(х). Это и составляет главную задачу байесовского обучения.