Файл: Бовбель, Е. И. Элементы теории информации.pdf

Из таблицы видно, что'в 184756 последовательностях из 1048476 всех возможных символы А и В появляются с равной вероятностью (по 10 символов). С небольшой ошибкой к высоковероятной (типичные последовательно­ сти) группе можно отнести последовательности под номе­ рами 9— 13, суммарная вероятность появления которых равна 0,736.

3-й с л уч а й. Аналогично табл. 9 заполнена табл. 10 для случая Л4 = 30. Можно предположить, что при возра­ стании М на выходе источника все чаще будут появляться последовательности, в которых число символов А и В бу­ дет одинаковым, а суммарная вероятность нетипичных последовательностей как угодно мала.

Задана 3. Доказать теорему 1 для эргодического ис­ точника, у которого вероятностные связи между символа­

56

На основании теоремы Бернулли, в достаточно длин­ ной последовательности (длиной М) с вероятностью,, близкой к единице, число символов Х\ равно МР(хі), чи­ сло символов х2 равно МР(х2) и т. д. Следовательно, ти­ пичные последовательности имеют вероятности, близкие к

P(c)SÉ [/5(а-,)]л,Я('',).[Р(-А'2)]'ѴІР(д'з) ... [Р (*„)]ИР(Ч

Логарифмируя последнее равенство, получаем

57

откуда

)

что и доказывает теорему 1 в этом простейшем случае.

§ 3. Избыточность и поток информации источника сообщений

Как мы знаем, энтропия характеризует среднее коли­ чество информации, несомое одним символом источника. Она максимальна, когда символы вырабатываются источ­ ником с равной вероятностью. Если же некоторые симво­ лы появляются чаще других, энтропия уменьшается, а при появлении дополнительных вероятностных связей между символами становится еще меньшей. Чем меньше энтропия источника отличается от максимальной, тем ра­ циональнее он работает, тем большее количество инфор­ мации несут его символы.

Предположим, что мы получили одно и то же количе­ ство информации /0 от реального и оптимального источ­ ников. Тогда число символов п, затраченных на передачи

И

^tnin

П

-Из этих соотношений можно заключить, что избыточность увеличивает время передачи и поэтому нежелательна. Однако 'при передаче сообщений при наличии помех из-

58

г

дельные символы появляются через некоторые промежут­ ки времени; в этом смысле мы можем говорить о длитель­

Очевидно, поток Информации зависит от количества р аз­ личных символов, вырабатываемых источником, их дли-

• телы-юсти и вероятностных свойств источника. К примеру, если длительности всех символов одинаковы и равны ^о, то < т > = т0 и поток информации максимален, ког­ да энтропия источника максимальна, а длительность минимальна.

. Задача 1. Считая, что среднее количество информации, несомое одной буквой русского смыслового текста, при­ мерно равно 2,5 бит, показать, что равномерный пятизнач­

ных символов: х \— есть сигнал; х2— нет сигнала. Каждая кодовая комбинация содержит пять символов. Всего та­ ких комбинаций N = 25 = 32. (Если не различать буквы «е» и «ё», а также мягкий и твердый знаки, то в русском алфавите всего 31 буква; к ним нужно добавить еще про­ бел между словами, так что всего получается 32 сим­ вола.)

Максимальная энтропия источника, использующего для передачи русского алфавита пятизначный код Бодо, равна # max = log225 = 5 (бит). Избыточность такого представления сообщений источника с энтропией 2,5 бит (русского текста) R = ( 5—2,5) :5= 0,5. Таким образом, при передаче русского текста 50% сообщений Бодо явля­ ются лишними.

59