Файл: Бездудный, В. Г. Техника безопасности в шахтном строительстве.pdf

средняя вероятность того, что, кроме одной точки веера (рис. 23),

соответствующей отправленному сообщению, все остальные 2пТ1,(А/в> сигналов являются ложными, или, другими словами, вероятность

Выражение (76) позволяет перейти непосредственно к доказатель­ ству основной теоремы Шеннона о кодировании в присутствии шумов.

Теорема 1. Если источник с энтропией Н (А) создает информацию на входе шумящего канала без памяти со скоростью R, меньшей про­ пускной способности С данного канала связи, то существует такой код, при котором вероятность ошибки на приемном конце сколь угодно мала.

106

безошибочного приема можно сколь угодно приблизить к единице, а вероятность ошибки — к нулю.

Вторая часть основной теоремы доказывается особо и в литературе фигурирует как вторая теорема Шеннона о кодировании в присутствии шумов. Доказательство этой теоремы приводим по Ф. П. Тарасен­ ко [32].

Теорема 2. Если Я ■< С, то при кодировании достаточно длинными блоками среди кодов, обеспечивающих сколь угодно малую вероятность ошибки, существует код, при котором скорость передачи информации

Rсколь угодно близка к скорости создания информации Я.

Вусловиях шумов скорость передачи информации

где Я (AJB) — апостериорная энтропия переданного сигнала, харак­ теризующая минимальную избыточность на символ, необходимую на восстановление информационных потерь в канале связи, т. е. ту вели­ чину информации, которой не достает, чтобы передача велась со ско­ ростью С.

Доказав, что существует код, при котором Н (А/В) сколь угодно мала, мы докажем теорему.

Пусть вероятность ошибки при приеме сигнала равна р (е). Тогда количество информации на символ, необходимое для обнаружения

Я (Л /Б )< — p(e)logp(e> — {1 — p(e)log[l — р(е)]} + р (е) log (т — 1). (84)

Для сигнала любой длины выражение (84) записывается следующим образом:

Я * (Д /Б )< —-aloga — (1 — cs)log(l — a) -f-alog(Ar — 1), (85)

где Я* (А/В) — апостериорная энтропия переданных сигналов; а — вероятность ошибочного отождествления сигнала; N = тп — число сигналов; п — число символов в сигнале.

Очевидно, что формулу (85) можно записать в виде

откуда количество недостающей информации на символ

107

Так как (согласно основной теореме) а может быть сделано сколь угодно малым, то при кодировании достаточно длинными блоками (п оо) рассеяние информации в канале связи также можно сделать сколь угодно малым. При этом скорость передачи R будет сколь угодно близка к скорости создания информации Н.

Доказанные выше теоремы Шеннона не указывают на конкретный метод кодирования, при котором с бесконечно малой вероятностью ошибки скорость передачи информации могла бы быть сколь угодно близкой к пропускной способности. Этого метода не найдено по сей

связи действие помех учитывается вероятностями рп ложного приема. При этом, вероятность рп правильного приема pn = 1 — рл. Если по каналу связи передаются дискретные сообщения при помощи равнове­ роятных качественных признаков, соответствующих 0 и 1, то интен­ сивность помех характеризуется вероятностями перехода 0 в 1 и на­ оборот, т. е. соответствующими условными вероятностями.

Рассмотрим теперь выражение для пропускной способности сим­ метричного бинарного канала. При этом бинарным будем называть канал связи, в котором сообщения передаются при помощи двух ка­ чественных -признаков. Бинарный канал, в котором вероятности лож­ ных переходов равны друг другу и вероятность правильного приема одного сигнала равна вероятности правильного приема другого сигна­ ла, будем называть симметричным. Модель симметричного бинарного

Из симметрии бинарного канала следует, что максимальная скорость передачи информации будет достигнута для источников,

Имеется в виду доказательство основной теоремы для канала с шумами.

1 P S

у которых вероятности передачи 1 и 0 равны. Тогда р (1) = р (0) =

=V2, а

Н(Л) = Н (В) = — (V2 log2 Vg + V2 log2 V2) = 1 бит/символ.

Именно эту единицу и видно в выражении (88), а остальная его часть — условная энтропия, которую мы отнимаем от энтропии источника (либо адресата). Если в выражении (88) значения рл достигают 0,5, то нарушается всякая корреляция между переданными и принятыми сигналами, а пропускная способность такого канала связи равна нулю. Как заметил Шеннон, в таком случае можно получать столь же «хоро­ шую» информацию, подбрасывая монету в точке приема, обходясь вообще без канала связи.

Перейдем теперь к выводу общего выражения для бинарного ка­ нала с шумами без памяти, под которым будем подразумевать канал связи со статистической независимостью искажений передаваемых символов.

Предположим, передаются сигналы Л (0) и Л (1), априорные вероятности которых рА (1) и рА (0) = 1 — рА (1), вероятности лож­ ных переходов р (%) и р (1/0), вероятности правильного приема р (1/1) = = 1 — р (%-) и р (°/0) = 1 — р (х/о). На приемном конце переданному сигналу Л (1) соответствует принятый сигнал В (1), а сигналу Л (0) — сигнал В (0). В этом случае, согласно правилам теории вероятностей, вероятности правильного приема сигнала:

t.i

+ P (°/i) log2 p (“/x)] — P^ (0) [p (°/o) log2 P (°/o) + p (1/„) log2 p (Vo)]•

Пропускную способность таких каналов связи удобно вычислять при помощи вспомогательных таблиц. Примером может служить табл. 18, составленная для случая, когда вероятности появления 0 и 1 равны. Для вычисления Сп достаточно соответствующие значения из табл. 18 подставить в выражение (73).

Рассмотрим конкретный пример расчета пропускной способности

109