Файл: Бездудный, В. Г. Техника безопасности в шахтном строительстве.pdf

В случае неравновероятных символов равной длительности

1 т

С= — (— 2 Pi l°g2 Pi) бит!сек. (37)

тt=i.

Вслучае неравновероятных символов неравной длительности

При этом, увеличение С может быть получено за счет того, что им­ пульсы меньшей длительности будут появляться чаще. Однако боль­ шого разноса вероятностей появления символов следует избегать. Вспомним свойство произведения — /^log/?,- (см. рис. 9). Как видно из рис. 9, максимальное значение — p,log pt будет при 0,36 < pt > 0,37. При большом разносе вероятностей значения слагаемых в выражениях (37) и (38) будут малы, и увеличение скорости может не получиться.

Таким образом, в случае неравновероятных символов неравной длительности увеличение скорости передачи информации происходит за счет увеличения энтропии, потому что с ростом энтропии за то же время снимается большая неопределенность, т. е. получится большее количество информации, а это равносильно увеличению скорости пере­ дачи информации. Убедимся в этом на следующем примере.

Таким образом, максимальная скорость передачи информации достигается при некотором среднем распределении вероятностей отдельных символов, т. е. при 0,2 < pt < 0,6, что хорошо видно

37

из рис. 9. Это объясняется тем, что именно в этой области энтропия мак­ симальна, т. е. в увеличении энтропии есть резерв увеличения скорости передачи информации.

Теперь рассмотрим пропускную способность для передачи сообще­ ний по дискретному каналу связи без шумов. Напомним, что дискрет­ ный канал связи приспособлен для передачи конечного ряда элемен­

между ними отсутствует, их физическая природа может быть произ­ вольной.

Предположим, что требуется передать N сообщений с элементами длительностью т, например передать при помощи телетайпа N бука в коде Бодо. Известно, что каждая буква кода Бодо состоит из пяти символов двоичного кода (из пяти нулей и единиц, скомбинированных определенным образом), т. е. каждый символ несет 1 бит информа­ ций, код равномерный и энтропия максимальная, каждая буква — 5 бит. Если каждую букву передавать за 1 сек, то в идеальном случае канал связи будет пропускать информацию со скоростью 5 бит/сек. Это бу­ дет пропускная способность данного канала связи, что следует из ее определения как максимальной скорости передачи информации (ка­ нал связи не может передавать информацию со скоростью, большей, чем ее вырабатывает объект). Так как максимальная скорость передачи информации возможна при максимальной величине энтропии, то

роятных и взаимонезависимых символах алфавита в передаваемых со­ общениях.

При неравновероятных символах алфавита скорость передачи ин­ формации приближается к пропускной способности по мере удлинения сообщения, так как в этом случае уменьшается взаимозависимость символов и уравниваются шансы появления в сообщении символов с разными вероятностями. В бесконечно длинных сообщениях будет реа­ лизоваться оптимальное распределение символов алфавита. Тогда для сообщения из п символов

тт

Вработе [521 показано, что оптимальное распределение символов

38

алфавита сообщений конечной длительности должны удовлетворять равенству

i-го символа.

Эти соотношения позволяют по данным длительностям символов определить оптимальное распределение вероятностей. Так, для при­ мера 1 получаем значения вероятностей: рх = 0,775 и р0 = 0,225. При этом

Следует сказать, что на практике гораздо больший интерес пред­ ставляет обратная задача: определение необходимой длительности сим­ волов по данным вероятностям.

Заканчивая рассмотрение вопроса о пропускной способности ка­ нала связи без шумов, необходимо обратить внимание на то, что тер­ мин скорость передачи информации не следует путать с термином ско­ рость передачи сигналов. Скорость передачи сигналов определяется ко­ личеством элементов сигнала в единицу времени и зависит от частоты манипуляции скорости образования сигналов. Скорость передачи ин­ формации зависит от ее статистических характеристик еще до того, как она поступает на передатчик, и, прежде всего, от энтропии источни­ ка сообщений. Например, если сообщения передавать, комбинируя

Эффективность системы кодирования может быть оценена отноше­ нием действительной скорости передачи к пропускной способности ка­ нала связи. Так как при равных длительностях элементарных символов скорость передачи информациибудет зависеть от энтропии символов источника сообщений, то эффективность системы кодирования может быть оценена отношением действительной энтропии Н символов к максимально возможной энтропии Я тах:

39

Выводы: 1. Избыточность сообщений, составленных из равнове­ роятных символов, меньше избыточности сообщений, составленных из неравновероятных символов.

2.Избыточность сообщений, составленных из взаимонезависимых символов, меньше избыточности сообщений, составленных из взаимо­ зависимых символов.

3.Уменьшая избыточность сообщения, можно увеличить скорость его передачи.

4.Увеличивая избыточность сообщения, можно уменьшить ве­ роятность его искажения под действием помех.

Задачи к теме 6

1. При кодировании текстовых сообщений количество информации в пе ном сообщении длиной в т символов

I1= n\og2m1

и во вторичном сообщении длиной в п2 символов

/ 2 = я2 log2 тг,

где mi и т 2 — количество символов соответственно первичного и вторичного алфа­ витов.

Поскольку при любом виде кодирования количество информации в принятом Сообщении не может быть больше, чем в переданном, то для оптимальных условий

И — / 2, или m log2 mi = пг log2 m2, откуда:

где k — округленное р0пт-

Учитывая вышесказанное, определить избыточность сообщений при побуквенном и блочном кодировании, если кодируются цифровые сообщения (mi = 10) и пе-

40