2.4  Ентропія об'єднання двох джерел інформації

 

Ентропію H(X, Y) об'єднання двох джерел інформації X і Y знаходять через імовірності p(xi, yj) системи випадкових повідомлень xi, yj для всіх i=1...k, і j=1...l. Для цього складається матриця ймовірностей системи двох статистично залежних джерел

 

.               (1.25)

 

Ентропія об'єднання двох джерел H(X, Y) (взаємна ентропія) - це середня кількість інформації, що припадає на два будь-які повідомлення джерел X і Y:

 

.                   (1.26)

 

З рівності p(xi, yj)= p(yj, xi) випливає, що

H(X, Y)=H(Y, X).

Скориставшись формулами (1.7), (1.12), запишемо вираз (1.26) так:

 

 

 

                Перший доданок цього виразу відповідає безумовній ентропії H(X) (1.3), а другий - умовній H(Y/X) (1.21). Звідси

 

H(X, Y)=H(X)+H(Y/X).                           (1.27)

 

З симетричності формул (1.7) – (1.8) випливає, що аналогічний вираз для взаємної ентропії H(X, Y) має вигляд

 

H(X, Y)=H(Y)+H(X/Y),                                  (1.28)

 

звідси

 

H(Y/X)=H(X,Y)-H(X),                                  (1.29)

 

H(X/Y)=H(X,Y)-H(Y).                                  (1.30)

 

Кількість інформації, що припадає на одне повідомлення, передане по каналу зв'язку джерелом X спостерігачу Y (рис.1.3), за наявності завад і статистичного взаємозв'язку ансамблів X і Y з урахуванням виразів (1.27), (1.28) і властивості 4 кількості інформації і ентропії знаходиться за формулою

 

I(X,Y)=H(Y)+H(X)-H(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X).  (1.31)

 

Властивості ентропії об'єднання двох джерел інформації:

1)            при статистичній незалежності джерел X і Y їх взаємна ентропія дорівнює сумі ентропій кожного з джерел, тобто H(X, Y)=H(X)+H(Y);

2)            при повній статистичній залежності джерел X і Y їх взаємна ентропія дорівнює безумовній ентропії одного з джерел, тобто H(X,Y)=H(X)=H(Y);

3)            взаємна ентропія статистично залежних джерел X і Y менша суми безумовних ентропій кожного з них, тобто H(X, Y)  H(X)+H(Y).