2.6  Інформаційні втрати при передачі інформації по дискретному каналу зв'язку

 

Математично канал дискретної інформації описується ансамблем повідомлень на вході {xi}, {pi} та йому відповідними йому значеннями на виході {yj}, а також набором умовних ймовірностей p(yj/xi) вибору сигналу yj на виході при передачі сигналу xi.

Задача каналу зв'язку полягає в тому, щоб отримати однозначну відповідність повідомлення yi  повідомленню xi, тобто повинна виконуватися умова p(yi/xi)=1 при i=j і p(yj/xi)=0 при ij. У цьому випадку канал зв'язку називається каналом без шуму.

Виконання умов використання каналу без шуму означає повний збіг ансамблів X і Y, тобто повний статистичний взаємозв'язок джерел. Звідси випливає, що

 

H(X/Y)=H(Y/X)=0.                                               (1.35)

 

Тоді середня кількість інформації на одне повідомлення джерела X, яка дорівнює ентропії H(X), при повній відсутності інформаційних втрат відповідає такій самій кількості прийнятої інформації H(Y), тобто

 

I(X,Y)=H(X)=H(Y)=H(X,Y).                                   (1.36)

Отже, при відсутності завад кількість переданої інформації дорівнює ентропії об'єднання двох джерел або безумовної ентропії одного з них.

При високому рівні завад спостерігається повна статистична незалежність джерел X і Y, тобто

 

H(X/Y)=H(X),                                (1.37)

 

H(Y/X)=H(Y),                                 (1.38)

 

H(X,Y)= H(X)+H(Y).                                          (1.39)

 

У даному випадку через сильний вплив завад порушується взаємозв'язок джерел, і інформація від джерела X джерелу Y не передається, отже,

 

I(X, Y)= 0.                                            (1.40)

 

У проміжному випадку неабсолютного статистичного взаємозв'язку джерел X, Y завади деякою мірою спотворюють передані повідомлення. При цьому умовна ентропія змінюється в межах від нуля (при повній статистичній залежності джерел) до безумовної ентропії (за відсутності статистичної залежності джерел), тобто

 

0  H(X/Y)  H(X),                                              (1.41)

 

0  H(Y/X)  H(Y).                                           (1.42)

 

Кількість інформації, що передається джерелом X спостерігачу Y, можна визначити так. Якщо джерелом X вибрано повідомлення xiX, то ним, в середньому, передається кількість інформації H(X). Джерело Y, вибравши повідомлення yjY, за умови порушення повної статистичного залежності джерел X і Y виробляє певну кількість інформації H(X/Y).

Після вибору повідомлення yjY джерелом Y приймається рішення щодо того, яке з повідомлень xiX передане. Прийнявши це рішення, джерело Y виробляє кількість інформації про стан джерела X, яка дорівнює HX. Проте до цього джерело Y вже має H(X/Y) бітів інформації про X, тому кількість переданої по каналу зв'язку інформації як кількість нового відсутнього знання визначається різницею HX і H(X/Y):

 

I(X, Y)=H(X)-H(X/Y).                                    (1.43)

 

Вираз (1.43) за відсутності завад збігається з виразом (1.36), а при високому рівні завад, тобто при виконанні умови статистичної незалежності джерел (1.37 - 1.39) - з виразом (1.40).

Отже, інформаційні втрати в каналі визначаються умовною ентропією одного джерела щодо іншого, а кількість переданої інформації - безумовною ентропією джерела і інформаційними втратами за формулою (1.43).

З властивості симетричності взаємної ентропії (1.26) випливає рівність

 

H(X)+H(Y/X)=H(Y)+H(X/Y).                       (1.44)

 

Віднявши від обох частин цієї рівності суму H(X/Y)+H(Y/X), дістанемо

 

H(X)-H(X/Y)=H(Y)-H(Y/X).                         (1.45)

 

Звідси випливає властивість симетричності взаємної інформації

 

I(X, Y)=I(Y, X).                                 (1.46)

 

                Скориставшись виразами (1.43), (1.44), (1.46), маємо

 

I(X,Y)=HX-H(X/Y)=HX-(H(X,Y)-HY)=HX+HY-H(X,Y),   (1.47)

 

I(Y,X)=HY-H(Y/X)=HY-(H(Y,X)-HX)=HY+HX-H(Y,X),    (1.48)

 

чим доводяться властивість 4 кількості інформації і повна симетричність виразів (1.47), (1.48).