Задачи

1.   Пусть p (дс)~ІѴ (ц, а^) и q>(«)~iV(0, 1). Покажите, что оценка окна Парзена  обладает следующими свойствами:

для небольшого h„. {Замечание-. если h„=hil Уп, то это показывает, что ошибка, вызванная смещением, стремится к нулю как 1/п, в то время как стандартное отклонение шума стремится к нулю только как Мп'^’Ч )

2.   Пусть р(х) распределена равномерно от О до а, и пусть q> (*)=«-*, если х>0, и О, если х<0. Покажите, что среднее значение оценки окна Парзена задается соотношением

Нарисовать график функции р„ (д:) от х для hn—a, а/4 и а/16. Насколько малой должна быть h„, чтобы смещение было менее одного процента при 99% -ном размахе 0<дг<о?

3.‘Пусть  .... х„} — множество п независимых помеченных выборок и   xfc} — fe ближайших соседей х. Правило k ближайших соседей

для классификации х заключается в присвоении х метки, наиболее часто представ- лммой в  Рассмотрим задачу с двумя классами с P((Bi)=P((Bj)= 1/2.

Допустим далее, что условные плотности р(х|<о,) однородны в единичных гиперсферах, расПоложетных на расстоянии десятй единиц друг от друга.

а)   Покажите, что если k нечетное, то средняя вероятность ошибки задается посреяством

б)   Покажите, что для этого сл.учая уровень ошибки у правила единственного ближайшего соседа будет ниже, чем у гіравила k ближайших соседей, А>1.

в)   (Не обязательно.) Если к позволяется возрастать с рсютом п, но оно ограничивается k<aYn, покажите, что Р„(е)-^0 при п-^оа.

4.   Легко заметить, что уровень ошибки правила ближайшего соседа Р может быть равным уровню Байеса Р*, если Р*=0 (наилучшая возможность) или если Р*= (с—1)/с (наихуДшая возможность). Может возникнуть вопрос, существуют ли задачи, для которых Р=Р*, когда Р* находится между этими крайними возможностями.

а)   Покажите, что ур'овень Байеса для одномерного случая, где Р(со,)=1/с и

будет Р*=г.

б)   Покажите, что для этого случая’Р=Я*.

5.   Рассмотрим множество из семи двумерных векторов х^= (1 0), х|=(0 !), хз= (О —1), хІ= (О 0), Xs= (О 2), Xj== (О —2), х*= (—2 0). Допустим, что первые три имеют метку о>і, а другйе четыре — метку соа.

а)   Нарисуйте границу областей решений, полученную в результате применения правила ближайшего соседа. (Она должна состоять из девяти отрезков прямых.)

б)   Найдите средние значения выборок Ші и та и нарисуйте границу решения, соответствующую классификации х при присваивании ему класса среднего значения ближайшей выборки.

6.   Пусть ф (дг)~Л^(0, 1), и пусть

Аппроксимируйте эту оценку путем факторизации функции окна и разложения коэффициента  в ряд Тейлора в начале координат.

а) Покажите, что при использовании нормированной переменной u=xlh„, /и-членная аппроксимация задается посредством

где

б) Положим, что п выборок очень тесно сгруппированы вокруг м=И(,. Покажите, что двучленная аппроксимация имеет два локальных максимума в точках, где u^+u/uo—l=0- Покажите, что один максимум имеет место приблизительно приіі=«о, как и требуется, если Ио<^1, но что он сдвигается только ки=1для U(^l. Нарисуйте кривую функции р„2 от и для «0=0,1; 1 и 10.

7.   Пусть рд;(х1а),') будет произвольной плотностью со средним ц,; и ковариационной матрицей 2,-, і=\, 2. Пусть j/=w*x, и пусть индуцированная плотность Ру {у\(О/) имеет среднее значение [Х,- и дисперсию с?.

а)   Покажите, что функция критерия

минимизируется посредством

б)   Если Р(а>і) есть априорная вероятность для со,-, покажите, что

минимизируется посредством

в)   С какой »з этих функций критерия теснее всего связано /(w) из соотношения (70)?

8.   Выражение

явно измеряет разброс между группами двух множеств выборок, из которых одно содержит Пі выборок, помеченных Ші, а другое содержит Па выборок, помеченных щ. Аналогично

явно измеряет полный разброс внутри групп.

а)   Покажите, что

и

б)   Если у=ѵ/*х, покажите, что w, минимизирующее Ji, при наложенном ограничении ^^=1 задается посредством

где

и

9.   Пользуясь определением матрицы разброса между группами, данным для случая многих классов:

покажите, что если с=2.

10.  Если Sg и Sfljr являются любыми вещественными симметричными матрицами размера dXd, то хорошо известно, что существует множество п собственных значений Xj, ..., к„, удовлетворяющих IS^—X,-S5*r|=0, и что существует соответствующее множество п собственных векторов ej, ..., е„, удовлетворяющих равенству 5ве;=Я,;5ц;ге,-. Далее, если Syr — положительно определенная матрица, собственные векторы можно всегда нормировать таким образом, что

и

Пусть     и SB=W'*SgW, где W — матрица размера dXn, столб

цы которой соответствуют п различным собственным векторам.

а)   Покажите, что есть единичная матрица размера пХп и что Sg— диагональная матрица, элементы которой суть соответствующие собственные значения ’).

б)   Каково значение У=|5в1/|§^рг|?

в)   Пусть у= преобразуется сначала масштабированием осей, что описывается невырожденной диагональной матрицей D размера пХл и последующим вращением, описываемым ортогональной матрицей Q; y'—QDy. Покажите, что J инвариантна относительно этого преобразования.