Файл: Толстоусов, Г. Н. Прикладная теория информации учеб. пособие.pdf

си запретенньши, так как по принципу построения кода будут яв­ ляться её началом. Например, если используется комбинация 1000, то запрещенными комбинациями будут 100,10 и I . На рис. 9.1 для примера подчеркнуты 10 разрешенных комбинаций неравномерного кода.

Рис. 9.1

Вторая задача кодирования заключается в использовании ко­ да минимальной длины, так как длина кодовой комбинации - это время, эатраченноѳ на передачу сообщения. Минимальная длина при использовании равномерного кода определяется соотношением (9 .1 ). Равенство выполняется в случае, когда правая часть (9.1) - це­ лое число. В противном случае, разрядность кодовой комбинации

К равна наименьшему целому числу, удовлетворяющему неравен­ ству (9 .1 ). При этом возникает избыточность, сигналы передатчи­ ка несут меньшее количество информации. Количество информации в каждом сообщении источника при п равновероятных состояниях

УX - іо^гь.

Каждый сигнал передатчика будет нести максимальное количе­ ство информации

Уг = & у т ,

если все т> сигналов будут равновероятны. Следовательно, чтобы передать информацию, содержащуюся в одном сообщении, необходи­ мо

58

сигналов передатчика. Когда число Ко дробное, иы вынуждены использовать только часть комбинаций К -разрядного кода. В этих комбинациях сигналы передатчика не равновероятны и поэто­ му несут меньшее количество информации;

Указанный недостаток частично исправляется при использова­ нии неравномерного кода без разделительных знаков. Для равномер­ ного кода положение улучшается при переходе к кодированию бло­ ков сообщений. Будем кодировать не каждое сообщение, а блоки из

N сообщений. Тогда необходимо закодировать

разных блоков. Если К(А/) - разрядность равномерных кодовых комбинаций, кодирующих блоки, то число комбинаций

Q -m

Из соотношения ^ <6 получаем

Так как К(А/) - наименьшее целое число, удовлетворяющее нера­ венству, то можно записать

Ф )

Разделим неравенство но N учтем, что величина ^ =К - число разрядов кодовой комбинации, приходящееся на одно сооб^ щениѳ. Получим

59

Врезультате получили неравномерный неприводимый код, ко­ торым можно пользоваться без применения специальных разделитель­ ных сигналов. Никакая кодовая комбинация не является началом дру­ гой.

Врассматриваемом примере состояния делились на точно рав­ новероятные группы и подгруппы. Поэтому вероятности сигналов пере­

равное энтропии источника Н(Х) . Следовательно, среднее коли­ чество сигналов передатчика, необходимых для передачи одного сообщения, или средняя длина кодовой комбинации Кср , равно энтропии источника:

Кср-Н(Х).

В общем случае состояния источника могут не делиться точно на равновероятные группы и подгруппы. Тогда в составленных кодо­ вых комбинациях сигналы 0 и I будут неравновероятными. Количе­ ство информации, передаваемое одним сигналом,будет меньше одно­ го бита. Следовательно, в общем случае для средней длины кодо­ вой комбинации будет иметь место следующее соотношение:

КсрЪ-ніЮ. Ѵ°-1)

Рассмотренный способ оптимального кодирования нетрудно

распространить на случай передатчика, имеющего т сигналов. Тогда состояния источника необходимо делить сначала на пъ при­

мерно равновероятных групп и т .д .

В оптимальном случае, когда все группы и подгруппы будут точно равновероятны, количество информации, передаваемое каж­ дым сигналом передатчика У(гЕ) , будет максимально возможным:

Средняя длина кодовой коюбинации в этом случае