3.2.1. ОБЩАЯ ИДЕЯ МЕТОДА

Предположим, что мы разбили множество выборок на классы, так что получено с классов выборок ..., причем выборки в каждом классе получены независимо в соответствии с вероятностным законом p{x\(sij). Предполагается, что плотность /0(х|(0;) задана в известной параметрической форме и, следовательно, однозначно определяется вектором параметров Ѳ^. Мы могли, например, получить распределение /?(x|(0;)~iV((i.j, 2^), в котором компоненты Ѳу- составлены из компонент fij и Sj. Чтобы явно выразить зависимость /?(х1(0у) от Ѳ/, запишем р(х|(0/) в виде1) р(х|(Оу, Ѳ;). Задача состоит в использовании информации, получаемой из выборок, для удовлетворительной оценки векторов параметров Ѳі, ..., Ѳс.

Для облегчения задачи предположим, что выборки, принадлежащие 3^1, не содержат информации о Ѳ^, если іФі, т. е. предполагается функциональная независимость параметров, принадлежащих разным классам ^). Это дает возможность иметь дело с каждым классом в отдельности и упростить обозначения, исключив индексы принадлежности классу. В результате получается с отдельных задач, формулируемых следующим образом: на основании множества ^ независимо полученных выборок в соответствии с вероятностным законом р(х|Ѳ) оценить неизвестный параметрический вектор Ѳ.

Предположим, что ^ содержит п выборок;

^={хі, х„}. Так как выборки получены независимо, имеем

Рассматриваемая как функция от Ѳ, плотность рі-^Щ называется правдоподобием величины Ѳ отно сительно данного множества выборок. Оценка по максимуму правдоподобия величины Ѳ есть по определению такая величина Ѳ, при которой плотность р{3!^Щ максимальна (рис. 3.1).

Интуитивно это означает, что в некотором смысле такое значение величины Ѳ наилучшим образом соответствует реально наблюдаемым выборкам.

Для целей анализа обычно удобнее иметь дело с логарифмом правдоподобия, нежели с самой его величиной. Так как логарифм есть монотонно возрастающая функция, то максимуму логарифма правдоподобия и максимуму правдоподобия соответствует одна и та же величина Ѳ. Если р{З^Щ есть гладкая дифференцируемая функция Ѳ, то Ѳ определяется посредством обычных методов дифференциального исчисления. Пусть Ѳ есть р-компонентный вектор Ѳ=(Ѳі, ..., Ѳр)‘, пусть также ѵв — оператор градиента,

и пусть I (Ѳ) — функция логарифма правдоподобия Тогда

и

Совокупность условий, необходимых для определения оценки по максимуму правдоподобия величины Ѳ, может быть получена, таким образом, из решения системы р уравнений ѵв /=0.