измерение информации

алфавитный подход

А теперь познакомимся с другим способом измерения информации. Этот способ не связывает количество информации с содержанием сообщения, и называется он алфавитным подходом.

Проще всего разобраться в этом на примере текста, написанного на каком-нибудь языке. Для нас удобнее, чтобы это был русский язык.
Все множество используемых в языке символов будем называть алфавитом. Обычно под алфавитом понимают только буквы, но поскольку в тексте могут встречаться знаки препинания, цифры, скобки, то мы их тоже включим в алфавит. В алфавит так же следует включить и пробел.

Полное число символов алфавита принято называть мощностью алфавита. Будем обозначать эту величину буквой N. Например, мощность алфавита из русских букв и дополнительных символов равна 54.

Представьте себе, что тест к вам поступает последовательно, по одному знаку, словно бумажная ленточка, выползающая из телеграфного аппарата. Предположим, что каждый появляющийся на ленте символ с одинаковой вероятностью может быть любым символом алфавита.
В каждой очередной позиции текста может появиться любой из N символов. Каждый символ несет i бит информации; число i можно определить из уравнения:

2ⁱ=N

Для N=54, используя таблицу 1, получаем: i= 5,755 бит.
Вот сколько информации несет один символ в русском тексте.
А теперь для того, чтобы найти количество информации во всем тексте, нужно посчитать число символов в нем и умножить на i.

Возьмем с книжной полки какую-нибудь книгу и посчитаем количество информации на одной её странице. Пусть страница содержит 50 строк. В каждой строке – 50 символов. Значит, на странице умещается 50×60=3000 знаков. Тогда объем информации будет равен:
5,755×3000=17265бит.

Следовательно, при алфавитном подходе к измерению информации количество информации от содержания не зависит. Количество информации зависит от объема текста (то есть от числа знаков в тексте) и от мощности алфавита.
Сформулируем правило, как измерить информацию, используя для этого алфавитный подход.

Количество информации, содержащейся в символьном сообщении, равно К×i , где К – число символов в тексте сообщения, а i – информационный вес символа, который находится из уравнения 2ⁱ=N, где N – мощность используемого алфавита.

Алфавитный подход является объективным способом измерения информации в отличие от субъективного, содержательного, подхода.

наверх