Зразки розв'язування задач до розділу 1

 

Приклад 1  Дискретні випадкові величини (д. в. в.) X1 та X2 визначаються підкиданням двох гральних кубиків. Д. в. в. Y=X1+X2. Знайти кількість інформації I(Y, X1), I(X1, X1), I(Y, Y).

Розв'язання

                Побудуємо розподіл ймовірностей д. в. в. X1 (або X2)  (табл. 1):

  Таблиця 1

X1           1              2              3              4              5              6

pi             1/6           1/6           1/6           1/6           1/6           1/6

 

                Звідси знаходимо ентропію д. в. в X1, що у даному випадку буде максимальною, оскільки значення рівноймовірні:

                               HX1=HX2=log26=1+log231+1,5852,585 (біт/сим).

                Оскільки X1 та X2 незалежні д. в. в., то їх сумісна ймовірність визначається так:

P(X1=i, X2=j)=P(X1=i)P(X2=j)=1/36; i=1...6, j=1...6.

                Побудуємо допоміжною таблицю значень д. в. в. Y =X1+X2 (табл.2):

                               Таблиця 2             

X2

                X1

                1              2              3              4              5              6

1              2              3              4              5              6              7

2              3              4              5              6              7              8

3              4              5              6              7              8              9

4              5              6              7              8              9              10

5              6              7              8              9              10            11

6              7              8              9              10            11            12

               

                Обчислимо ймовірності P(Y=j) (j=2, 3, …, 12):

P(Y=2)=1/36; P(Y=3)=21/36=1/18; P(Y =4)=31/36=1/12;

P(Y=5)=41/36=1/9; P(Y=6)=51/36=5/36; P(Y=7)=61/36=1/6; P(Y=8)=51/36=5/36;P(Y=9)=41/36=1/9; P(Y=10)=31/36=1/12; P(Y=11)=21/36=1/18; P(Y=12)=1/36;

                Скориставшись допоміжною таблицею (табл.2), запишемо безумовний закон розподілу д. в. в. Y (табл. 3):

Таблиця 3

Yj            2              3              4              5              6              7              8              9              10            11            12

qj             1/36         1/18         1/12         1/9           5/36         1/6           5/36         1/9           1/12         1/18         1/36

 

                Звідси знаходимо ентропію д. в. в. Y так:

 

 

(біт/сим)

                Побудуємо таблицю розподілу ймовірностей системи д. в. в. (X1, Y) pij=P(X1=i, Y=j) (табл. 4).

Таблиця 4

X1           Y

                2              3              4              5              6              7              8              9              10            11            12

1              1/36         1/36         1/36         1/36         1/36         1/36         0              0              0              0              0

2              0              1/36         1/36         1/36         1/36         1/36         1/36         0              0              0              0

3              0              0              1/36         1/36         1/36         1/36         1/36         1/36         0              0              0

4              0              0              0              1/36         1/36         1/36         1/36         1/36         1/36         0              0

5              0              0              0              0              1/36         1/36         1/36         1/36         1/36         1/36         0

6              0              0              0              0              0              1/36         1/36         1/36         1/36         1/36         1/36

                1/36         1/18         1/12         1/9           5/36         1/6           5/36         1/9           1/12         1/18         1/36

               

                Тоді взаємна ентропія д. в. в. X1, Y

=log236=2log26=2(1+log23)2+

+21,5855,17 (біт/сим).   

                Кількість інформації, що містить д. в. в. Y стосовно д. в. в. X1, обчислимо за формулою . Отже,

 

 

 

 

(біт/сим).

                Кількість інформації I(Y, X1) здебільшого зручніше знайти, скориставшись властивістю 4 кількості інформації і ентропії:

                               .

                Оскільки Y=X1+X2, де X1 та X2 – незалежні д. в. в., то

.

 

(біт/сим).

Відповідь: (біт/сим);

(біт/сим);

(біт/сим).

 

Приклад 2  Знайти ентропії дискретних випадкових величин (д. в. в.) X, Y, Z та кількість інформації, що містить д. в. в.   стосовно X та Y. X, Y – незалежні д. в. в., які задаються такими розподілами (табл. 1, табл. 2):

Таблиця 1                                                             Таблиця 2

X             1              2              3              4                             Y             1              2              3              4

p              1/8           1/8           1/4           1/2                          q              1/4

 

Розв'язання

                Скориставшись відповідним рядом розподілу ймовірностей д. в. в. X та Y, знаходимо їх ентропії.

                Ентропія д. в. в. X

(біт/сим).

                Ентропія д. в. в. Y (біт/сим).

                Побудуємо допоміжну таблицю значень д. в. в. Z=X-Y та їх ймовірностей (табл. 3). Оскільки X та Y – незалежні д. в. в., то сумісна ймовірність випадання пар значень (xi, yj) .

               Таблиця 3

X             Y            

                1              2              3              4             

1              0              1              2              3              1/8

                1/32         1/32         1/32         1/32        

2              1              0              1              2              1/8

                1/32         1/32         1/32         1/32        

3              2              1              0              1              1/4

                1/16         1/16         1/16         1/16        

4              3              2              1              0              1/2

                1/8           1/8           1/8           1/8          

 

1/4           1/4           1/4           1/4           1

Знайдемо ймовірності системи д. в. в. (Z=j, X=i, , ):

P(Z=0, X=1)=1/32, P(Z=1, X=1)=1/32, P(Z=2, X=1)=1/32, P(Z=3, X=1)=1/32; P(Z=0, X=2)=1/32, P(Z=1, X=2)=1/32+1/32=1/16, P(Z=2, X=2)=1/32, P(Z=3, X=2)=0; P(Z=0, X=3)=1/16, P(Z=1, X=3)=1/16+1/16=1/8, P(Z=2, X=3)=1/16, P(Z=3, X=3)=0; P(Z=0, X=4)=1/8, P(Z=1, X=4)=1/8, P(Z=2, X=4)=1/8, P(Z=3, X=4)=1/8.

                Побудуємо таблицю розподілу ймовірностей системи д. в. в.(X, Z) (табл. 4).

                                     Таблиця 4

X             Z            

                0              1              2              3             

1              1/32         1/32         1/32         1/32         1/8

2              1/32         1/16         1/32         0              1/8

3              1/16         1/8           1/16         0              1/4

4              1/8           1/8           1/8           1/8           1/2

 

1/4           11/32       1/4           5/32         1

               

                Тоді взаємна ентропія д. в. в. Z та X

 

(біт/сим).

                Скориставшись табл. 3 або табл. 4, побудуємо розподіл ймовірностей д. в. в. Z (табл. 5).

                                        Таблиця 5

Z             0              1              2              3

pi             1/4           11/32       1/4           5/32

               

                Звідси знаходимо ентропію д. в. в. Z:

 

 (біт/сим).

                Кількість інформації, що містить д. в. в. Z стосовно д. в. в. X, знаходимо, скориставшись властивістю 4 кількості інформації і ентропії:

 

(біт/сим).

                Побудуємо таблицю розподілу ймовірностей системи д. в. в.(Y, Z) (табл. 6). Для цього, скориставшись табл. 3, обчислимо ймовірності:

P(Z=0, Y=1)=1/32, P(Z=1, Y=1)=1/32, P(Z=2, Y=1)=1/16, P(Z=3, Y=1)=1/8; P(Z=0, Y=2)=1/32, P(Z=1, Y=2)=1/32+1/16=3/32, P(Z=2, Y=2)=1/8, P(Z=3, Y=2)=0; P(Z=0, Y=3)=1/16, P(Z=1, Y=3)=1/32+1/8=5/32, P(Z=2, Y=3)=1/32, P(Z=3, Y=3)=0; P(Z=0, Y=4)=1/8, P(Z=1, Y=4)=1/16, P(Z=2, Y=4)=1/32, P(Z=3, Y=4)=1/32.

                                        Таблиця 6

Y             Z            

                0              1              2              3             

1              1/32         1/32         1/16         1/8           1/4

2              1/32         3/32         1/8           0              1/4

3              1/16         5/32         1/32         0              1/4

4              1/8           1/16         1/32         1/32         1/4

 

1/4           11/32       1/4           5/32         1

 

                Тоді взаємна ентропія д. в. в. Z та Y

 

 

 

(біт/сим).

                Отже, кількість інформації, що містить д. в. в. Z стосовно  д. в. в. Y

               

               

(біт/сим).

Відповідь:   HX = 1,75 (біт/сим);  HY = 2  (біт/сим); (біт/сим);

(біт/сим);

(біт/сим).