6.2. ПЛОТНОСТЬ СМЕСИ И ИДЕНТИФИЦИРУЕМОСТЬ

Начнем с предположения, что мы знаем полную вероятностную структуру задачи, за исключением лишь значений некоторых параметров. Более точно, мы делаем следующие предположения;

1.   Выборки производятся из известного числа с классов.

2.   Априорные вероятности Р (соу) для каждого класса известны, /=1, . . ., с.

3.   Вид условных по классам плотностей р (х|(Оу, Ѳ) известен, /=1,. . ., с.

4.   Единственные неизвестные — это значения с параметрических векторов Ѳі, . . . , Ѳс.

Предполагается, что выборки получены выделением состояния природы (o^ с вероятностью Р{ч>і) и последующим выделением х в соответствии с вероятностным законом р(х|(0;-, Ѳ).

Таким образом, функция плотности распределения выборок определяется как

где Ѳ= (Ѳі, . . Ѳс). Функция плотности такого вида называется плотностью смеси. Условные плотности р(х|(д;, Ѳ^) называются плотностями компонент, а априорные вероятности Р (©;) — параметрами смеси. Параметры смеси можно включить и в неизвестные параметры, но на данный момент мы предположим, что неизвестно только Ѳ.

Наша основная цель — использовать выборки, полученные согласно плотности смеси,'для оценки неизвестного вектора параметров Ѳ. Если мы знаем Ѳ, мы можем разложить смесь на компоненты, и задача решена. До получения явного решения задачи выясним, однако, возможно ли в принципе извлечь Ѳ из смеси. Предположим, что мы имеем неограниченное число выборок и используем один из непараметрических методов гл. 4'для определения значения р(х|Ѳ) для каждого х. Если имеется только одно значение Ѳ, которое дает наблюденные значения для р (хІѲ), то в принципе решение возможно. Однако если несколько различных значений Ѳ могут дать одни и те же значения для р (х|Ѳ), то нет надежды получить единственное решение.

Эти рассмотрения приводят нас к следующему определению: плотность p(xJ0) считается идентифицируемой, если из ЬфЬ'

следует, что существует х, такой, что р (х|Ѳ)=5^=р (х|Ѳ'). Как можно ожидать, изучение случая обучения без учителя значительно упрощается, если мы ограничиваемся идентифицируемыми смесями. К счастью, большинство смесей с обычно встречающимися функциями плотности идентифицируемо. Смеси с дискретным распределением не всегда так хороши. В качестве простого примера рассмотрим случай, где х бинарен и Р(х|Ѳ)— смесь:

Если мы знаем, например, что Р(.х=1 |Ѳ)=0,6 и, следовательно, Р(д^=0|Ѳ)=0,4, то мы знаем функцию Р (.х|Ѳ), но не можем определить Ѳ и поэтому не можем извлечь распределение компонент. Самое большее, что мы можем сказать, — это что Ѳі+Ѳа=1,2. Таким образом, мы имеем случай, в котором распределение смеси неиден- тифицируемо, и, следовательно, это случай, в котором обучение без учителя в принципе невозможно.

Как правило, при дискретных распределениях возникает такого рода проблема. Если в смеси имеется слишком много компонент, то неизвестных может быть больше, чем независимых уравнений, и идентифицируемость становится сложной задачей. Для непрерывного случая задачи менее сложные, хотя иногда и могут возникнуть небольшие трудности. Таким образом, в то время как можно показать, что смеси с нормальной плотностью обычно идентифицируемы, параметры в простой плотности смеси

не могут быть идентифицированы однозначно, если P((0i)=P((0a), так как тогда Ѳі и могут взаимно заменяться, не влияя на р(дг|Ѳ). Чтобы избежать таких неприятностей, мы признаем, что идентифицируемость является самостоятельной задачей, но в дальнейшем предполагаем, что плотности смеси, с которыми мы работаем, идентифицируемы.