1.3  Способи вимірювання інформації

 

Припустимо, що стан деякого об'єкта або системи наперед відомий. Тоді повідомлення про цей стан не несе ніякої інформації для її одержувача. Якщо ж стан об'єкта змінився і джерелом передане якесь інше повідомлення про стан спостережуваного об'єкта, то це повідомлення несе нові відомості, які додадуть знання про об'єкт. Тоді можна говорити, що таке повідомлення містить деяку кількість інформації для її одержувача.

Отже, на якісному інтуїтивному рівні інформацію можна визначити як нове, наперед невідоме знання про стан деякого об'єкта або системи, а кількість інформації - кількість цього знання. Зрозуміло, що якщо нове знання збільшує загальний рівень знань про стан спостережуваного об'єкта, то кількість інформації накопичується і має адитивний характер.

До передачі джерелом повідомлення для його одержувача має місце деяка невизначеність щодо стану об'єкта спостереження. Після вибору повідомлення джерелом утворюється певна кількість інформації, що якоюсь мірою зменшує цю невизначеність.

В основу теорії інформації покладено запропонований Клодом Шенноном спосіб вимірювання кількості інформації, що міститься в одній випадковій величині щодо іншої випадкової величини. Цей спосіб дозволяє виразити кількість інформації числом і надає можливість об'єктивно оцінити інформацію, що міститься у повідомленні.

Коротко розглянемо основні викладки ймовірностного підходу Шеннона до визначення кількості інформації.

Нехай дискретне джерело інформації видає послідовність повідомлень xi, кожне з яких вибирається з алфавіту x1, x2, …, xk, де k - об'єм алфавіту джерела.

У кожному елементарному повідомленні для його одержувача міститься інформація як сукупність відомостей про стан деякого об'єкта або системи.

Для того щоб абстрагуватися від конкретного змісту інформації, тобто її смислового значення, і отримати саме загальне визначення кількості інформації, кількісну міру інформації визначають без урахування її смислового змісту, а також цінності і корисності для одержувача.

До того як зв'язок відбувся, є деяка невизначеність щодо того, яке з повідомлень з можливих буде передане. Ступінь невизначеності передачі хi можна визначити його апріорною імовірністю pi. Отже, кількість інформації I(Xi) буде деякою функцією від pi: I(Xi)=f(pi). Визначимо вид цієї функції.

Вважатимемо, що міра кількості інформації I(Xi) відповідає двом інтуїтивним властивостям:

1)            якщо вибір повідомлення джерела xi наперед відомий (немає невизначеності), тобто маємо достовірний випадок, імовірність якого pi=1, то I(Xi)=f(1)= 0;

2)            якщо джерело послідовно видає повідомлення xi і xj, і імовірність такого вибору pij - сумісна імовірність подій xi і xj, то кількість інформації в цих елементарних повідомленнях дорівнює сумі кількості інформації в кожному з них.

 

Ймовірність сумісного випадання двох випадкових подій xi і xj дорівнює добутку ймовірності однієї з цих подій на ймовірність іншої за умови, що перша подія відбулася, тобто pij=pipj/i=PQ.

Тоді, з властивості 2 кількості інформації випливає, що

 

I(Xi, Xj)=I(Xi)+I(Xj)=f(P∙Q)=f(P)+f(Q).

 

Звідси випливає, що функції f(pi) логарифмічна. Таким чином, кількість інформації зв'язана з апріорною імовірністю співвідношенням

,

при цьому коефіцієнт k і основа логарифма можуть бути довільними.

                Для того щоб кількість інформації визначалася невід'ємним числом, взяте k=-1, а основу логарифма найчастіше вибирають 2, тобто

.                                              (1.1)

 

У цьому випадку за одиницю кількості інформації так само береться біт. У такий спосіб біт – це кількість інформації в повідомленні дискретного джерела, алфавіт якого складається з двох альтернативних подій, які є апріорно рівноймовірними. Якщо кількість апріорно рівноймовірних подій дорівнює 28, то за одиницю інформації береться байт.     

Якщо джерело інформації видає послідовність взаємозалежних повідомлень, то отримання кожного з них змінює ймовірність появи наступних і відповідно кількість інформації у них. У такому випадку кількість інформації виражається через умовну ймовірність вибору джерелом повідомлення xi за умови, що до цього були обрані повідомлення xi-1, xi-2 …, тобто

 

.               (1.2)

 

Кількість інформації I(X) є випадковою величиною, оскільки самі повідомлення випадкові. Закон розподілу ймовірностей I(X) визначається розподілом ймовірностей P(X) ансамблю повідомлень джерела.

Натомість сам Шеннон зазначав, що смисловий зміст (семантика) повідомлень не має ніякого відношення до його теорії інформації, яка цілком базується на положеннях теорії ймовірності. Його спосіб вимірювання інформації наводив на думку про можливість існування способів вимірювання інформації з урахуванням її змісту, тобто семантичної інформації.

Одним із таких способів вимірювання кількості інформації є функція inf(S)=-log2p(S), де S - висловлювання, смисловий зміст якого вимірюється; p(S) - ймовірність істинності S. Властивості цієї функції:

1)            якщо S1S2 істинно, то inf(S1) ≥ inf(S2);

2)            якщо S істинно, то inf(S)=0;

3)            Inf(S) ≥ 0;

4)            Inf(S1, S2)= inf(S1) + inf(S2)p(S1, S2)=p(S1)+p(S2), тобто S1, S2  незалежні.

Приклад.  S1 = “a>3”,  S2=“a=7”; S2S1, inf(S2) > inf(S1).

Значення цієї функції-міри більше для висловлювань, що виключають більшу кількість можливостей.