Зразки розв'язування задач до розділу 2

 

Приклад 1  Матриця умовних ймовірностей каналу зв'язку між джерелом X і спостерігачем Y має вигляд

.

                Знайти часткову та загальну умовні ентропії повідомлень у цьому каналі, якщо задано розподіл ймовірностей джерела Px={0,65; 0,3; 0,05}.

Розв'язання

                Умовні ймовірності p(yj/xi) при i=j характеризують вплив завад у каналі зв'язку.

                Часткова умовна ентропія спостерігача Y щодо джерела X визначається за формулою

.

                Знайдемо часткові умовні ентропії для всіх xi, i=1, …,3

(біт/сим);

 

(біт/сим);

 

 

(біт/сим).

                Знаходимо загальну умовну ентропію дискретної випадкової величини (д. в. в.) Y стосовно д. в. в. X:

 

(біт/сим).

 

                Скориставшись формулою множення ймовірностей

                                                               p(xi, yj)=p(xi)p(yj/xi),

побудуємо матрицю ймовірностей системи д. в. в. X, Y:

Перевіряємо умову нормування: = 0,6305+0,013+0,0065+

+0,03+0,258+0,012+0,0015+0,004+0,0445=1.

                З матриці сумісних ймовірностей p(x, y) знаходимо взаємну ентропію д. в. в. X, Y:

 

 

 

(біт/сим).

                Скориставшись заданим рядом розподілу ймовірностей д. в. в. X, знайдемо ентропію X:

 

(біт/сим).

Перевірка: H(X, Y)=HX+H(Y/X)=1,142+0,3851,527 (біт/сим).

                Виконавши в матриці сумісних ймовірностей pij= p(x, y) згортку за i, отримаємо приблизний безумовний розподіл д. в. в. Y:

;

;

.

                Перевіряємо умову нормування

                               p(y1)+ p(y2)+ p(y3)=0,662+0,275+0,063=1.

 

                Знаючи приблизний безумовний закон розподілу Py={0,662; 0,275; 0,063}, знайдемо матрицю умовних ймовірностей p(x/ y), скориставшись формулою

.

                .

                Перевіряємо умови нормування:

;

;

.

                Виходячи з розподілу безумовних ймовірностей д. в. в. Y, знайдемо ентропію Y:

               

                (біт/сим).

                З матриці умовних ймовірностей p(x/ y) знайдемо часткові умовні ентропії  д. в. в. X  стосовно д. в. в. Y:

 

(біт/сим);

 

(біт/сим);

 

(біт/сим).

               

                Тоді загальна умовна ентропія X стосовно Y

               

(біт/сим).

                Перевірка: H(X, Y)=HY+H(X/Y)=1,157+0,369=1,527 (біт/сим).

Відповідь: H(Y/x1)0,222 (біт/сим); H(Y/x2)0,705 (біт/сим);

H(Y/x3)0,593 (біт/сим); H(Y/X)0,385 (біт/сим); H(X/y1)0,289 (біт/сим); H(X/y2)0,383 (біт/сим); H(X/y3)1,148 (біт/сим); H(X/Y)0,369 (біт/сим).

 

Приклад 2  Матриця сумісних ймовірностей каналу зв'язку має вигляд

.

                Знайти інформаційні втрати, пропускну здатність і швидкість передачі інформації по дискретному каналу зв'язку, якщо час передачі одного повідомлення =10-3 с. 

Розв'язання

                Інформаційні втрати в каналі зв'язку визначаються умовною ентропією H(X/Y) одного джерела щодо іншого.

                Для того щоб обчислити повну умовну ентропію H(X/Y), потрібно знайти розподіли безумовних ймовірностей p(xi), p(yj) і побудувати матрицю умовних ймовірностей p(xi/yj).

                Безумовний закон розподілу p(xi) знаходимо, виконавши в матриці сумісних ймовірностей p(xi, yj) згортку за j:

                p(x1)= 0,15+0,15+0=0,3,  i=1;

                p(x2)= 0+0,25+0,1=0,35,  i=2;

                p(x3)= 0+0,2+0,15=0,35,  i=3.

                Перевіряємо умову нормування

                               p(x1)+ p(x2)+ p(x3)=0,3+0,35+0,35=1.

                Виходячи з розподілу безумовних ймовірностей д. в. в. X, обчислимо її ентропію:

                (біт/сим).

                Безумовний закон розподілу p(yj) знаходимо, виконавши в матриці сумісних ймовірностей p(xi, yj) згортку за i:

                p(y1)= 0,15+0+0=0,15,  j=1;

                p(y2)= 0,15+0,25+0,2=0,6,  j=2;

                p(y3)= 0+0,1+0,15=0,25,  j=3.

                Перевіряємо умову нормування:

                               p(y1)+ p(y2)+ p(y3)=0,15+0,6+0,25=1.

                Матрицю умовних ймовірностей знаходимо, скориставшись формулою множення ймовірностей  p(xi, yj)=p(yj)p(xi/yj).

                Звідси випливає, що .

                Отже, матриця умовних ймовірностей p(xi/yj) знаходиться так:

.

                Для матриці умовних ймовірностей p(xi/yj) повинна виконуватися умова нормування

.

                Перевіряємо цю умову:

                               ,

                               ,

                               .

                Скориставшись матрицею умовний ймовірностей p(xi/yj), обчислимо часткові умовні ентропії X стосовно Y:

                (біт/сим);

               

                (біт/сим);

                               (біт/сим).

                Виходячи з безумовного закону розподілу д. в. в. Y та знайдених часткових умовних ентропій H(X/yj), відшукуємо їх математичне сподівання – загальну умовну ентропію

 

(біт/сим). Отже, інформаційні втрати в каналі зв'язку  H(X/Y)1,18 (біт/сим).

                Пропускна здатність каналу із шумом обчислюється за формулою

,

де через k позначено об'єм алфавіту джерела;  - час вибору повідомлення джерелом.

Отже, отримаємо (бод).

                Кількість переданої по каналу інформації, що припадає на одне повідомлення джерела, знаходиться, виходячи із середньої кількості інформації, що виробляється джерелом – його ентропії і інформаційних втрат в каналі:

I(X, Y)=HX-H(X/Y)=1,581-1,1760,406 (біт/сим).

                Швидкість передачі інформації  знаходиться так:

                               (бод).

Відповідь:  H(X/Y)1,18 (біт/сим);  C409 (бод); v=406 (бод). 

Задачі до розділу 2

 

Дослідження каналу зв'язку між джерелом X і спостерігачем Y виявило такі умовні ймовірності вибору повідомлень yjY:

.

Знайти часткові H(X/yj) і загальну H(X/Y) умовні ентропії повідомлень у цьому каналі, якщо джерело задане ансамблем {x1, x2, x3} з ймовірностями {0,3; 0,2; 0,5}.

Два статистично залежних джерела X та Y визначаються матрицею сумісних ймовірностей

.

Знайти часткові й загальну умовні ентропії H(X/yj), H(X/Y) і взаємну інформацію I(X, Y).

Два статистично залежних джерела X та Y визначаються матрицею сумісних ймовірностей

.

Знайти часткові й загальну умовні ентропії H(X/yj), H(X/Y) і взаємну інформацію I(X, Y).

Матриця сумісних ймовірностей каналу зв'язку має вигляд

.

Знайти часткові й загальну умовні ентропії H(X/yj), H(X/Y) і взаємну інформацію I(X, Y).

Дослідження каналу зв'язку між джерелом X і спостерігачем Y виявило такі умовні ймовірності вибору повідомлень yjY:

.

Знайти часткові й загальну умовні ентропії повідомлень у цьому каналі H(X/yj), H(X/Y), якщо джерело задане ансамблем {x1, x2, x3} з ймовірностями {0,7; 0,2; 0,1}.

Джерело повідомлень X задано ансамблем {x1, x2, x3} з ймовірностями p(x1)=0,65, p(x2)=0,25, p(x3)=0,1. Матриця умовних ймовірностей каналу має вигляд

.

Знайти кількість інформації, передану в одному й 100 повідомленнях джерела, інформаційні втрати в каналі при передачі 100 повідомлень з алфавіту X?

Канал передачі інформації заданий ансамблем {x1, x2, x3} з ймовірностями {0,3; 0,2; 0,5}. Матриця умовних ймовірностей каналу має вигляд

.

Знайти інформаційні втрати в каналі, пропускну здатність каналу й швидкість передачі повідомлень джерелом, якщо час передачі одного повідомлення =10-3 c.

Матриця сумісних ймовірностей каналу зв'язку має вигляд

.

Знайти інформаційні втрати в каналі й швидкість передачі інформації, якщо час передачі одного повідомлення =10-3 c.

Знайти кількість переданої інформації в одному повідомленні джерела й пропускну здатність каналу зв'язку при =10-3 c, де  - час, затрачуваний на передачу одного повідомлення, якщо матриця сумісних ймовірностей каналу має вигляд

.

Знайти пропускну здатність каналу зв'язку при =10-2 c, де  - час, затрачуваний на передачу одного повідомлення, якщо матриця сумісних ймовірностей каналу має вигляд

.

Чи можлива безпомилкова передача в цьому каналі, якщо продуктивність джерела Vдж=96 сим/с?

Знайти інформаційні втрати в каналі й пропускну здатність дискретного каналу зв'язку при =10-3 c, де  - час, затрачуваний на передачу одного повідомлення, якщо матриця сумісних ймовірностей каналу має вигляд

.

Чи можлива безпомилкова передача інформації в цьому каналі, якщо продуктивність джерела Vдж=860 сим/с?