Задачи

1.   Предположим, что x может принимать значения О, 1, ..., m и что Р(д;|Ѳ) — смесь с биномиальных распределений

Предполагая, что априорные вероятности известны, объясните, почему эта смесь неидентифицируема, если т<с. Как изменится ответ, если априорные вероятности тоже неизвестны?

2.   Пусть X — двоичный вектор и Я(х|Ѳ) — смесь из с многомерных распределений Бернулли:

где

а) Покажите, что

б) Используя общее уравнение оценки по максимуму правдоподобия, пок^ жите, что оценка по максимуму правдоподобия Ѳ, для Ѳ,- должна удовлетворят!

3.   Рассмотрим одномерную нормальную смесь

Напишите программу для ЭВМ, которая использует общее уравнение максимального правдоподобия из п. 6.4.3 для итерационной оценки неизвестных средних, дисперсий и априорных вероятностей. Используя эту программу, найдите оценки по максимуму правдоподобия этих параметров для данных из табл. 6.1. (Ответ: )Іі=—2,404, (Г2= 1.491, а^=0,577, 02=1.338, Я (сОі)=0,268, Р(щ)=0,7ѣ2.)

4.   Пусть р(х|Ѳ) — нормальная плотность смеси из с компонент с р (хісо,-, Ѳ,)~

Используя результаты разд. 6.3, покажите, что оценка по максимуму правдоподобия для а? должна удовлетворять соотношению

где Д,- и Р(<о/! Xft, Ѳ,-) заданы ура&нениями (15) и (17) соответственно.

5.   Вывод уравнений для оценки по максимуму правдоподобия параметров плотности смеси был сделан при предположении, что параметры в каждой плотности компонент функционально независимы. Вместо этого предположим, что

где а — параметр, который появляется в некоторых плотностях компонент. Пусть I — логарифмическая функция правдоподобия для я выборок. Покажите, что

где

6.   Пусть р(х|«/, Qii~N (ц,-, 2), где 2 — общая матрица ковариаций для с плотностей компонент. Пусть — р?-й элемент 2, оМ — р(?-й элемент S

Хр ik) — /7-й элемент х* и уі.р (і) — р-й элемент ц/.

а) Покажите, что

dlogp(xft|«i> Ѳ,-)

—=(l--%) Ы~-(*р    (0) (*, (*)-Ц9 (i))].

doPt

б)   Используя этот результат и результат задачи 5, покажите, что оценка по максимуму правдоподобия для 2 должна удовлетворять

k=\ »=i

где Р((Оі) и ft,-— оценки по максимуму правдоподобия, данные уравнениями (14) и (15) в тексте.

7.   Покажите, что оценка по максимуму правдоподобия для априорной вероятности может быть равна нулю, рассмотрев следующий особый случай. Пусть

(лг| сОі)—TV (0, 1) и р (х\щ)~ N (0, (1/2)), Так что Р (o)j)— единственный неиз- вестаый параметр плотности смеси

р {х) = gM g - U/D «' +0-^)> е- /2я   Ѵп

Покажите, что оценка по максимальному правдоподобию Р (wx) для Р(«1) равна нулю, если имеется одна выборка хг и xJ<log 2. Каково значение Р (Wj), если xl>hg 2 ?

8.   Рассмотрим одномерную нормальную плотность смеси

■Л Р (со.) Г 1 /х—ІѴѴ"

"O'* [s[~)_

в которой у всех компонент одиа и та же известная дисперсия а2. Предположим, что средние настолько отдалены друг от друга по сравнению с а, что для всех х всеми, кроме одного, членами этой суммы можно пренебречь. Используя эвристические соображения, покажите, что значение

max

Hi

тЗХц

должно быть равно приблизительно с

X р (“/) 1о8 р (“/')— ■Jlog 2пае’

і    = 1

когда число п независимых выборок велико. Сравните его со значением, показанным на рис. 6.1.

9.   Пусть Ѳх и Ѳа—неизвестные параметры для плотностей компонент р{х\шъ Ѳх) и р(х|<о2- ®а) соответственно. Предположим, что Ѳх и Ѳ2 первоначально статистически независимы, так что р (Ѳх, Ѳ2)=рх (Ѳх)р2 (Ѳ2). Покажите, что, после того как была получена одна выборка Хх из плотности смеси, р (Ѳь ejUj) не может быть представлена в виде

Р (Ѳі I *і) Рі (Ѳ21 хх),

если

SpJx^Ji) ф 0> ,= 1)2

Ощ