Файл: Бездудный, В. Г. Техника безопасности в шахтном строительстве.pdf

Исследуем выражение (58). Если помехи отсутствуют или их уровень настолько низок, что они не в состоянии уничтожить сигнал или имитировать полезный сигнал в отсутствие передачи, то при передаче ах мы будем твердо уверены, что получим Ъх. События А и В статистически жестко связаны, условная вероятность максимальна [р (bjlcij) = 1], а условная энтропия

т

Н {А!В) = — 2 р (bj/aj) log р (bj/aj) = О, i=1

так как log р (bj/aj) = log 1 = 0. В этом случае количество информации, содержащееся в принятом ансамбле сообщений В, равно энтропии передаваемых сообщений ансамбля А.

При очень высоком уровне помех любой из принятых сигналов bj может соответствовать любому переданному сигналу, статистиче­ ская связь между переданными и принятыми сигналами отсутствует. В этом случае вероятности р (а-) и р (bj) есть вероятности независимых событий. Известно, что вероятность совместного появления независи­ мых событий равна произведению вероятностей этих событий. Следо­

С другой стороны, согласно принципу умножения вероятностей, вероятность совместного появления двух событий может быть представ­ лена через условную вероятность появления одного из них, умножен­ ную на условную вероятность другого относительного первого, т. е.

Сопоставляя выражения (59) и (60), находим, что при отсутствии статистической связи между at и bj

так как 2 Р (bj) — 1. Следовательно, энтропия равна безусловной,

/

а количество информации, содержащееся в В, относительно А равно нулю:

/ (А, В) = Н (Л) — Н (AJB) = 0.

Информационные характеристики реальных каналов связи лежат между двумя предельными случаями — когда помехи полностью отсутствуют и когда уровень помех настолько высок, что любому из принятых сигналов может соответствовать любой переданный. Дру­ гими словами, несмотря на то, что часто информация поражается

помехами, между принятыми и переданными сообщениями существует статистическая взаимосвязь. Это позволяет описывать информацион­ ные характеристики реальных каналов связи при помощи энтропии объединения статистически зависимых событий.

При наличии шумов в канале связи появление сигнала b/ не означает, что был передан сигнал ас, но предполагает появление хотя бы одного из сигналов аъ а2,..., а£,..., ат. Поэтому очевидно, что веро­ ятность совместного появления двух событий связана с условной вероятностью соотношениями, аналогичными выражению (60), т. е.

р {А, В) = р (Л) р (В/А) = р (В) р (А/В).

Используем эти соотношения при выводе выражения для энтропии объединения.

Энтропией объединения называется энтропия совместного появле­ ния статистически зависимых сообщений. Понятие энтропии объедине­ ния хорошо усваивается, если представить себе, что существует воз­ можность видеть и источник сообщений (скажем, некоторый телетайп на входе канала связи), и адресат (телетайп на выходе канала связи).

Предположим, первый телетайп передает цифры 0, 1, 2,..., 9, а второй их принимает. Если бы в канале связи отсутствовали помехи, то всегда переданной цифре соответствовала бы та же цифра на ленте приемного телетайпа. Однако наличие помех лишает нас уверенности, что принятая цифра будет соответствовать переданной. Поэтому с разной степенью вероятности допускают возможность принятия и других цифр, не соответствующих переданной. Наблюдая за переда­ чей данных по такому каналу связи, можно заметить, как помехи преобразуют одни цифры в другие, и путем подсчета установить какуюто закономерность перехода одних цифр в другие либо полное отсут­ ствие закономерности. Например, передав цифру 5 сто раз, мы заметили, что цифра 5 принялась 85 раз, цифра 6 — 10 раз, цифра 4 — три раза и по одному разу цифры 3 и 7. Так вот, энтропия объединения описыва­ ет неопределенность возникновения комбинаций 5—3, 5—4, 5—5, 5—6 и 5—7 при передаче цифры 5, либо неопределенность появления комбинаций 4—7, 5—7, 6—7, 7—7 и 8—7 при приеме цифры 7.

Таким образом, при передаче символов щ первичного и приеме символов bj вторичного алфавитов энтропия объединения статистиче­ ски зависимых сообщений показывает неопределенность появления комбинаций а£ и bj, устанавливает степень их взаимосвязи, т. е.

93

i/

Врезультате энтропия объединения

Таким образом, энтропия объединения равна сумме безусловной Я (Л) и условной Я (В/Л) энтропий. Энтропия Я (В/Л) представляет

вданном случае ту добавочную информацию, которая дает сообщение

Впосле того, как нам стала известна информация, содержащаяся в сообщении Л .

Свойства энтропии объединения:

1)на основании выражения (59) можно записать, что

2) вместе с тем

Я(Л, В) = Я(Л) + Я(В/Л),

т. е. неопределенность того, что будет передано Л и принятоВ, равна неопределенности того, что будет передано Л плюс неопределенность того, что будет принято В, если передано Л. Это было доказано при выводе формулы (63).

Очевидно и то, что

Н( В ,А ) = Н(В) + Н(А1В);

3)так как Я (Л, В) = Я (В, Л), то

4) согласно свойствам условной энтропии, если Л и В статистиче­ ски независимы, то

Я (Л/В) = Я (Л); Я (Л, В) = Я (Л) + Я (В),

что соответствует высокому уровню помех. Если Л и В статистически жестко связаны, то

Я (А/В) = 0; Я (А, В) = Н (А) = Н (В),

что соответствует низкому уровню помех либо полному их отсутствию. Таким образом, при передаче ансамбля сообщений А количество

информации в принятом ансамбле В, согласно выражению (58),

1(В,А) = Н ( А ) - Н ( А / В ) .

Однако на основании формулы (66) Я (AIB) = Я (В, А) — Я (В). Следовательно,

Известно, что

Н(А) = — 2 р (a,) log/? (а,); i

Н(В) = - ^ р ф ,) 1 о ш р ( Ь ,) ;

/

=—2 2 p fa) p fafa)los pfa) p fafa).

100