3.4.1. СЛУЧАЙ ОДНОЙ ПЕРЕМЕННОЙ: р(ц1.Г)

В данном разделе мы рассмотрим вычисление апостериорной плотности р(Ѳ|.2^) и требуемой плотности p{x\St^) для случая, когда р(х|р)~Л^(р,2), а вектор среднего значения р есть неизвестный вектор параметров. Для простоты начнем с одномерного случая, при котором

где единственной неизвестной величиной является среднее значение ц. Предположим, что любое исходное знание, которое мы можем иметь о (X, можно выразить посредством известной априорной плотности р((х). Кроме того, можно предположить, что

где (Хо и aj известны. Грубо говоря, величина (Хо есть наше лучшее исходное предположение относительно ц,, а отражает неуверенность в отношении этого предположения. Предположение о том, что априорное распределение для ц, нормальное, в дальнейшем упростит математические выражения. Однако решающее предположение заключается не столько в том, что априорное распределение (х нормально, сколько в том, что оно существует и известно.

Выбрав априорную плотность для ц., можно представить ситуацию следующим образом. Вообразим, что величина (х получена из множества, подчиняющегося вероятностному закону р((х). Будучи однажды получена, эта величина представляет истинное значение (х и полностью определяет плотность для х. Предположим теперь, что из полученного множества независимо взято п выборок Хи ... . . . , л:„. Положив St^=^{xu . . ., д:„}, воспользуемся байесовским правилом, чтобы получить выражение

где а — масштабный множитель, зависящий от SC, но не зависящий от ц. Из этого уравнения видно, как наблюдение выборочного множества влияет на наше представление об истинном значении ц, «превращая» априорную плотность р(^і) в апостериорную плотность р(^і|.2^).Таккакр(хд,|ц)-~/Ѵ(ц,а2)ир(ц)^/Ѵ(}іо, Оо), то имеем

где множители, не зависящие от включены в константы а' и а". Таким образом, p{\i\St^), представляющая собой экспоненциальную функцию квадратичной функции от ц, также является нормальной плотностью. Так как это остается в силе для любого числа выборок, то р (|х|.2^) остается нормальной, когда число п выборок возрастает, и p(yi\St^) называют воспроизводящей плотностью. Если воспользоваться p(n\3^)'^N (\іп, af^), то значения (х„ и могут быть найдены приравниванием коэффициентов из уравнения (18) соответствующим коэффициентам из выражения

Отсюда получаем и

где /п„ есть выборочное среднее

Решая уравнения в явном виде относительно (х„ и а%, получаем  и

Из этих уравнений видно, как комбинация априорной информации и эмпирической информации выборок дает апостериорную плотность  Грубо говоря, представляет наше лучшее предположение относительно после наблюдения п выборок, а а® отражает нашу неуверенность относительно этого предположения. Так как а% монотонно убывает с ростом п, стремясь к а^/п при стремлении п к бесконечности, каждое добавочное наблюдение уменьшает нашу

неуверенность относительно истинного значения (х. При возрастании п функция p{'^\St^) все более заостряется, стремясь к дельтафункции при /г-»-оо. Такое поведение обычно называется байесовским (Лучением (рис. 3.2).

Вообще представляет линейную комбинацию /п„ и [Хо с неотрицательными коэ^ициентами, сумма которых равна единице. Поэтому значение |х„ всегда лежит между /п„ и Цо- При ао#0 величина (х„ стремится к выборочному среднему при стремлении п к бесконечности. Если Оо=0, то получаем вырожденный случай, при котором априорная уверенность в том, что     настолько

тверда, что никакое число наблюдений не сможет изменить нашего мнения. При другой крайности, когда Оо^, мы настолько не уверены в априорном предположении, что принимаем ц„=т„, исходя при оценке (х только из выборок. Вообще относительный баланс между исходным представлением и опытными данными определяется отношением а* к а®, называемым иногда догматизмом. Если догматизм не бесконечен, то после получения достаточного числа выборок предполагаемые конкретные значения ро и аі не играют роли, а (х„ стремится к выборочному среднему.