6.5.3. ПРИМЕР

Рассмотрим одномерную двухкомпонентную смесь с p(jcl<Oi)^ ~Л/’([і, 1), p(x\d)i, Ѳ)~Л/'(Ѳ, 1), где fi, P(coi) и ^((Oj) известны. Здесь

Рассматриваемая как функция от х, эта плотность смеси представляет собой суперпозицию двух нормальных плотностей, причем одна имеет пик при х=\і, а другая при x=Q. Рассматриваемая как функция от Ѳ, плотность р(х|Ѳ) имеет один пик при Ѳ=х; Предположим, что априорная плотность р (Ѳ) равномерна в интервале от а до Ь. Тогда после одного наблюдения

где а и а' — нормирующие константы, независимые от Ѳ. Если выборка Хі находится в пределах    то р(Ѳ|л:і) имеет пик при Ѳ=Хі. В противном случае она имеет пики либо при Ѳ=а, если ХіС.а, либо при Ѳ=Ь, если х{>Ь. Отметим, что прибавляемая константа ехр [—(1/2)(л:і—(а)^] велика, если х^ близок к ц. Это соответствует тому факту, что если х^ близок к [г, то более вероятно, что он принадлежит компоненте p(x|(Oi), и, следовательно, его влияние на нашу оценку для Ѳ уменьшается.

С добавлением второй выборки х^ плотность p(9|Xi) обращается в

 

к сожалению, первое, что мы узнаем из этого выражения,— это то, что р (Ѳ| J*") усложняется уже при п=2. Четыре члена суммы соответствуют четырем способам, которыми можно извлекать выборки из двухкомпонентных популяций. Прй п выборках будет 2” членов, и нельзя найти простых достаточнйх статистик, чтобы облегчить понимание или упростить вычисления.

Возможно использование соотйошения

и численного интегрирования для того, чтобы получить приближеа- ное числовое решение   Это было сделано для данных

табл. 6.1 при зйачениях (1=2, P((dJ—l/3 и Р ((Oj)=2/3. Априорная плотность р(Ѳ), равномерная йа интервале от —4 до 4, Включает данные этой таблица, ^и данные были использованы для рекуррентного вычисления     Полученные результаты представлены на рис. 6.5. Когда п стремится к бесконеЧносі-и, мы с уверенностью можем ожидать, что р (Ѳ|ІГ") будет стремиться к всплеску в точке Ѳ=2. График дает некоторое представление о скорости сходимости.

Одно из основных различий между байесовским и подходом по максимуму правдоподобия при обучении без учителя связано с априорной плотностью р(Ѳ). Рис. 6.6 показывает, как изменяется когда предполагается, что р(Ѳ) равномерна на интервале от 1 до 3, в зависимости от более четкого начального знания о Ѳ. Результаты этого изменения больше всего проявляются, когда п мало. Именно здесь различия между байесовским подходом и подходом по максимуму правдоподобия наиболее значительны. При увеличении п важность априорного знания уменьшается, и в этом частном случае кривые для п=25 практически идентичны. В общем случае можно ожидать, что различие будет мало, когда число непомеченных выборок в несколько раз больше эффективного числа помеченных выборок, используемых для определения р(Ѳ).