6.4.1. СЛУЧАЙ 1. НЕИЗВЕСТНЫ СРЕДНИЕ ВЕКТОРЫ

Если единственными неизвестными величинами являются векторы средних значений (і/, то Ѳ, можно идентифицировать с jw; и использовать соотношения (6) для получения необходимых условий оценки по максимуму правдоподобия вектора Ці. Поскольку

то

Таким образом, из условия (6) для оценки по максимуму правдоподобия Hj получим

После умножения на Zj и перестановки членов получаем формулу

которая интуитивно оправданна. Она показывает, что оценка для fij— это просто взвешенное среднее выборок. Вес ^-й выборки есть оценка правдоподобия того, что принадлежит і-му классу. Если оказалось, что Р (©г Іх^, fi) равно единице для нескольких выборок и нулю для остальных, то Ці есть среднее выборок, которые оценены как принадлежащие /-му классу. В более общем смысле предположим, что |Шг достаточно близко к действительному значению |ш,- и что Р((0г|Х)5, fij) есть в сущности верная апостериорная вероятность для юі. Если рассматривать Р(ші|Хй ц) как долю тех выборок, имеющих значение х^, которые принадлежат і-му классу, то видим, что соотношение (12) определяет как среднее выборок г-го класса.

К сожалению, соотношение (12) не определяет цг явно, и если мы подставим

с р(х|о)г,    (jii,-, 2,-), то получим сложную комбинацию из по

парно совместных нелинейных уравнений. Решение этих уравнений обычно не единственно, и мы должны проверить все полученные решения, чтобы найти то, которое действительно максимизирует правдоподобие.

Если у нас есть какой-то способ получения достаточно хороших начальных оценок ц, (0) для неизвестных средних, уравнение (12) предполагает следующую итерационную схему для улучшения оценки;

Это—градиентный метод подъема или процедура восхождения на вершину для максимизации логарифма функции правдоподобия. Если перекрытие между плотностями компонент невелико, то связь между классами будет малой и сходимость будет быстрой. Однако, когда вычисление закончено, нам достаточно убедиться, что градиент равен 0. Как и все процедуры восхождения на вершину, эта тоже не гарантирует, что найденный максимум — глобальный.