Задачи

1.   Пусть величина x распределена по экспоненциальному закону:

а)   Изобразите зависимость р(д;|Ѳ) от х для постоянного значения параметра Ѳ.

б)   Изобразите зависимость р(д;1Ѳ) от Ѳ, Ѳ>0, для постоянного значения х.

в)   Предположим, что независимо получено п выборок х^    х„ъ соответствии

с р(;с1Ѳ). Покажите, что оценка по максимуму правдоподобия для Ѳ определяется выражением

2.   Пусть величина х распределена равномерно:

а)   Изобразите зависимость р(д;іІѲ) от Ѳ для некоторого произвольного значения х^.

б)   Предположим, что независимо получено п выборок в соответствии с р(д:|Ѳ). Покажите, что оценка по максимуму правдоподобия для Ѳ есть max х^-

k

3.   Пусть выборки получаются последовательным независимым выбором состояний природы м/ с неизвестной вероятностью P{(Oj). Пусть гц^=1, если состояние природы для fe-й выборки есть со,-, и 2(-fc=0 в противном случае. Покажите, что

и что оценка по максимуму правдоподобия для Р(со/) есть

4.   Пусть X есть бинарный (О, I) вектор с многомерным распределением Бернулли

где Ѳ= (Ѳі, Ѳд)* — неизвестный параметрический вектор, а Ѳ; — вероятность того, что х(= 1. Покажите, что оценка по максимуму правдопод^ия для Ѳ есть

5.   Пусть p(x\l)~N {ц, S), где ц известно, а 2 неизвестна. Покажите, что оценка по максимуму правдоподобия для 2 определяется выражением

последовательно выполняя следующие действия:

а)   Докажите матричное тождество а Ma=tr{ Л аа*}, где след іхА есть сумма диагональных элементов матрицы А.

б)   Покажите, что функцию правдоподобия можно записать в виде

в)   Полагая, что i4=S -if hXj, ..., суть собственные значения матрицы А, покажите, что это приводит к выражению

г)   Завершите доказательство, показав, что максимум правдоподобия достигается при Аі=...=Х,^=1.

в. Предположим, что р(х|ц,-, 2, (0,)~Л/(|Л/, 2), где 2 — общая ковариационная матрица для всех с классов. Пусть п выборок Xj, ..., х„ извлекаются обычным путем, и пусть /і, ..., 1„ — их индексы, т. е. /*=», если состояние природы для х*

было (О/.

а)   Покажите, что

б)   Используя результаты для выборок из одного нормально распределенного семейства, покажите, что оценки по максимуму правдоподобия параметров ц,- и 2

определяются выражениями и

7.   Рассмотрите задачу обучения при восстановлении среднего значения одномерного нормального распределения. Пусть По=о®/оо есть догматизм, и представим, что Но образуется посредством усреднения щ вымышленных выборок Xk, «0+1  0. Покажите, что выражения (23) и (24) для \і„ и а® дают

и

Воспользуйтесь полученным результатом для интерпретации априорной

плотности р((х)~Л^(Но. <А)-

8.   Докажите матричное тождество

где і4 и В — невырожденные матрицы одного порядка. Воспользуйтесь полученным результатом, чтобы доказать, что соотношения (31) и (32) на самом деле следуют из (28) и (29).

9.   Пусть выборочное среднее т„ и выборочная ковариационная матрица С„ для множества п выборок Хі, .... х„ определяются выражениями

и

Покажите, что влияние на эти величины добавления новой выборки х„+і можно выразить рекуррентными формулами

+ l  “Ь J (*п + 1

и

С„+, = ^С„ + ^(х„+і—щ„) ш„)*.

10.  Выражения из задачи 9 позволяют вводить поправки в оценки ковариационных матриц. Однако нередко представляет интерес обратная ковариационная матрица, а ее обращение отнимает много времени. Доказав матричное тож-

дество

и используя результаты, полученные в задаче 9, покажите, что

11.  В данной задаче ставится цель'^'получить байесовский классификатор для случая многомерного распределения Бернулли. Как всегда, мы имеем дело с каждым классом в отдельности, истолковывая Я(х|^ как среднее Я(х|^,-, ш,). Пусть условная вероятность для данного класса определяется выражением

и пусть есть множество п выборок Xj, .... х„, независимо извлекаемых в соответствии с этим вероятностным распределением.

а)   Полагая, что s= (Sj, ..., есть сумма п выборок, покажите, что

б)   Полагая, что распределение Ѳ равномерно, с учетом тождества  покажите, что

Изобразите эту плотность для случая d—l, п—1 и двух значений получаемых вероятностей для Sj.

в)   Посредством интегрирования по Ѳ произведения Р(хІѲ)р(ѲІ^) получите требуемую условную вероятность

Если считать, что Р(х|^) получается подстановкой оценки Ѳ в Р(х|Ѳ) на место Ѳ, то что является эффективной байесовской оценкой для Ѳ?

12.  Исходя из данных табл. 3.1, покажите, что оценка по максимуму правдоподобия для параметра Ѳ при распределении Релея определяется выражением

13.  Исходя из данных табл. 3.1, покажите, что оценка по максимуму правдоподобия для параметра Ѳ при распределении Максвелла определяется выра-

жевием

14.  Исходя из данных табл. 3.1, покажите, что оценка по максимуму правдоподобия для параметра Ѳ при полиномиальном распределении определяется выражением

где вектор s= («1, ..., s^)* — среднее для п выборок Хі, ..., х„.

15.  Рассмотрим случай двух классов, описанный в задаче 16 гл. 2, когда иавестно, что вероятность ошибки стремится к нулю при стремлении размерности d к бесконечности.

а)   Предположим, что извлекается одна выборка х= (jfi, ..., из класса 1. Покажите, что оценка по максимуму правдоподобия для р определяется выра- я№яием

б)   Опишите поведение р при стремлении d к бесконечности. Объясните, почему, если допустить беспредельное увеличение числа признаков, можно получить безмиибочный классификатор даже при наличии только одной выборки всего из одного класса.