2.1  Умовна ентропія

 

Раніше отримана формула ентропії (1.3) визначає її середньою кількістю інформації, що припадає на одне повідомлення джерела статистично незалежних повідомлень. Така ентропія називається безумовною.

Як відомо з відповідного розділу математичної статистики, мірою порушення статистичної незалежності повідомлень x і у є умовна ймовірність p(x/y) появи повідомлення xi за умови, що вже вибрано повідомлення yj або умовна ймовірність появи повідомлення yj, якщо вже отримане повідомлення xi, причому в загальному випадку p(x/y)p(y/x).

Умовну ймовірність можна отримати з безумовної ймовірності p(x) чи p(y) та сумісної ймовірності системи в. в. p(x, y) за формулою множення ймовірностей:

 

p(x, y)=p(x)p(y/x),                                             (1.7)

 

p(x, y)=p(y)p(y/x),                                             (1.8)

 

звідси

,              

.

В окремому випадку для статистично незалежних повідомлень маємо: p(y/x)=p(y),  p(x/y)=p(x).

При існуванні статистичної залежності між повідомленнями джерела факт вибору одного з повідомлень зменшує або збільшує ймовірності вибору інших повідомлень до умовних ймовірностей. Відповідно змінюється й кількість інформації, що міститься в кожному з цих повідомлень, згідно з (1.2). Ентропія такого джерела також змінюється відповідним чином, причому обчислюється ентропія за тією самою формулою (1.3), але вже з урахуванням умовних ймовірностей. Така ентропія називається умовною.