Файл: Толстоусов, Г. Н. Прикладная теория информации учеб. пособие.pdf

Эта величина называется избыточностью. Чем больше энтропия ис­ точника отличается от максимально возможной Нтссх для данного числа состояний, тем больше избыточность. При определении избы­ точности следует учитывать вероятности состояний источника, ста­ тистические связи в случайной последовательности одного источни­ ка и статистические свяаи между источниками, входящими в объе­ динение, т .ѳ . все факторы, увеличивающие избыточность и позво­ ляющие уменьшить число сигналов передатчика, необходимых для кодирования одного сообщения, и тем самым уменьшить время пере­ дачи информации.

Однако применение оптимального кодирования допустимо толь­ ко при отсутствии помех. Если при передаче будет неправильно принят хотя бы один сигнал передатчика, это может привести к неверному декодированию очень большого числа сообщений.

§ I I . Пропускная способность канала связи при отсутствии помех. Согласование источника

и канала связи

Чтобы увеличить У , необходимо увеличивать числитель и уменьшать знаменатель. Очевидно, что возможно увеличить скорооть передачи информации, уменьшая длительность передаваемого сигна­ ла Ч/ . Однако в настоящем курсе не рассматриваются вопросы, возможного изменения технических характеристик канала овязи. За­ дача ставится следующим образом: какова максимальная скорость передачи информации для заданных характеристик передатчика? Чи­ сло сигналов и их длительности считаются заданными. Рассмотрим случай, когда все m сигналов передатчика имеют одинаковую

49

длительность, сигналы взаимонезависимы и помехи при передаче отсутствуют. Информация по линии связи передается с помощью сигналов передатчика. Каждый сигнал будет передавать максималь­ ное количество информации

ли равновероятны. В этом случае максимально возможная скорость передачи информации

Достигается эта величина при использовании оптимальных способов кодирования, рассмотренных в предыдущем параграфе.

К.Шеннон ввел понятие пропускной способности канала связи С как предельно достижимой для данного канала скорости пере­

дачи информации:

Для передатчика с сигналами равной длительности, различа­ ющихся только по уровню, и канала без помех пропускная способ­ ность.

растает с увеличением числа сигналов. Однако при выборе числа сигналов передатчика следует учитывать еще ряд факторов.

Рассмотрим, какую корректировку в.полученный результат

50

принимаемого сигнала будет отличаться от переданного на вели­ чину, меньшую . Тогда у приемника появляется возможность

принятия правильного решения о значении переданного сигнала.

51

Рис. И . 2

Эта величина представляет собой минимально возможное вре­ мя передачи сигнала, если необходимо уверенно различать все пе­ реданные сигналы. Подставляя в ( I I . 5) Т - Тп . получим про­ пускную способность

показан на

рис. I I . 3. Видно, что для принятых условий различения сигналов наиболее выгодным является двоичный код.

Приведенный пример показывает, что при выборе основания кода следует учитывать реальные параметры канала.

Согласование источника информации и канала связи без помех сводится к следующему. Данному источнику информации необходимо подобрать такой канал связи, по которому можно передать все со­ общения источника.

Источник информации характеризуется величиной энтропии на одно сообщение Н(Х) (измеряется в бит/сообщ.) и средней час-

52

Ютой смены состояний Л (измеряется в сообщ./сек). Канал свя­ зи характеризуется пропускной способностью С (бит/сек).

Существует теорема Шеннона, которая утверждает, что можно так закодировать сообщения источника, чтобы передавать их по каналу связи со средней частотой

«Ѵ>>

где <?- сколь угодно малая величина.

g Передавать сообщения со средней частотой, большей чем -Ң- , невозможно.

Рассмотрим канал связи с передатчиком, имеющим набор сиг­ налов равной длительности. Тогда можно привести следующее дока­ зательство теоремы.

. В этом случае пропускная способность канала связи согласно

(II .5)

53

При кодировании оптимальным кодом средняя длина кодовой комби­ нации согласно (10.8)

Здесь при вычислении энтропии основание логарифмов также равно ПЪ . Бремя, необходимое для передачи одного сообщения, есть время, необходимое на передачу кодовой комбинации этого сообще­

ния. В среднем это время

Теорема доказана.

Следовательно, если средняя частота смены состояний источ­ ника информации А не превышает максимально возможной частоты передачи сообщений по линии связи V , все сообщения источни­ ка будут переданы. По этому принципу следует выбирать канал связи для источника информации.

Рассмотрим следующий пример. Дан источник информации с

Может ди этот передатчик передать все сообщения источника?

54

частоты источника Я и все сообщения могут быть передан

Будем кодировать блоки из четырех сообщений источника оп­ тимальным неравномерным кодом. Средняя длина кодовой комбина­ ции блока будет при этом равна 1,96. Передатчик может передать эти 1,96 сигнала, т .е . четыре сообщения источника, за 3,92 сек. Источник выдает четыре сообщения за k секунды. Следовательно, все сообщения будут переданы.

§ 12. Передача информации при помехах. Частное количество информации.

В процессе передачи информации могут возникать различные помехи. Воздействие помехи на передаваемый сигнал приводит к тому, что принятый сигнал отличается от переданного.

Причинами помех могут быть неисправности и шумы передатчи­ ка и приемника, ошибки операторов, сбои аппаратуры, атмосферные разряды, изменение условий распространения радиоволн, ошибки измерения и т .д . Помеха монет быть регулярной, постоянной. На­ пример, вместо одной буквы систематически передается другая,но все время одна и та не. Или к переданному сигналу добавляется все время еще один постоянный сигнал. Такая помеха не представ­ ляет большой опасности, так как после её обнаружения принятые сигналы постоянным образом корректируются и система будет функ­ ционировать нормально при наличии этой помехи. Более опасными являются случайные помехи. При воздействии аддитивной помехи к

55