Файл: Бездудный, В. Г. Техника безопасности в шахтном строительстве.pdf

Предположим, получено сообщение АВ, в котором появление А зависит от В и наоборот. Обозначим через р(а£) вероятность появления г-го состояния события А, р (bf) — вероятность появления /-го со­ стояния события В, р (а{1Ь]) — условную вероятность t-го состояния со­ бытия А относительно /-го состояния события В, р (bj/ad — услов­ ную вероятность /-го состояния события В относительно i-ro состояния события А (например, появления /-го символа сообщения В после по­ явления i-гоюимвола сообщения А).

Согласно принципу умножения вероятностей, вероятность со­ вместного появления двух взаимозависимых событий равна произведе­ нию вероятности появления одного из событий на условную вероят­ ность другого события относительно первого:

тропия объекта В при условии, что реализовалосьi-e состояние объек­

и условной Н (В/А) энтропий. Это хорошо согласуется с общим поня­ тием условной энтропии в том смысле, что она представляет собой не­ которую добавочную энтропию, которую дает сообщение В, когда эн­ тропия сообщения Л уже известна.

Поменяв местами Л и В в выражении (21), нетрудно убедиться в том, что

Н (В ,А ) = Н(В) + Н(А/В).

28

При отсутствии статистической зависимости между сообщениями

А я В

Н(В, А) = Н(В) + Н(А).

При полной статистической зависимости, когда появление одного со­ бытия однозначно определяет информацию о другом событии, энтропия сообщений А я В

Н(А, В) = Н(А) = Н(В).

Если элементы источника сообщений принимают состояния аг,

а2, ..., щ , ..., ап с вероятностями соответственно р (%), р(а2).....р (а£), р(ап),

аэлементы адресата — состояния

а{, и, наоборот, принятый сигнал 6/ может появиться в результате отправления любого из сигналов щ (к этому вопросу мы еще вернемся в дальнейшем, при рассмотрении условий передачи сообщений в каналах связи под действием помех).

Формула условной энтропии отличается от классического выраже­

Ввиду того что для характеристики любого произвольного состояния адресата В выбран индекс /, при вычислении Н (bjla{) суммирование следует производить по /, в связи с тем, что именно энтропия bj нас интересует после отправления а£.

Так как для характеристики любого произвольного состояния ис­ точника А выбран индекс i, то при вычислении Н (a^bj) суммирование следует производить по t, поскольку именно оставшаяся энтропия множества отправленных символов нас интересует после получения символа bj:

29

Выражения (22) и (23) представляют собой частные условные эн-

тропии.

Общая условная энтропия сообщения В относительно сообщения А характеризует количество информации, содержащееся в любом сим­ воле алфавита. Ее определяют путем усреднения по всем символам, т. е. по всем состояниям а£ с учетом вероятности появления каждого из них. Она равна сумме вероятностей появления символов алфавита на неопределенность, которая остается после того, как адресат принял сигнал:

Выражение (24) является общим для определения количества информа­ ции на один символ сообщения в случае взаимозависимых и неравно­ вероятных символов.

Так как р (ад р(Ь,-/ад представляет собой вероятность совместного появления двух событий р (а{, bj), то формулу (24) можно записать следующим образом:

Выражения (24) и (25) — равноценны.

В случае взаимозависимых и равновероятных символов в сообще­

Вслучае неравновероятных, но независимых символов, т. е. при

р(a-Jbd = р (ад и Н (А, В) = Н (А) = Н (В), выражение для эн­ тропии приобретает знакомый нам вид:

И наконец, в случае равновероятных и независимых символов

Р (ад = P (ЬЦ =. - i- и Н (А, В) = Н (А) = Я (В),

т. е. приходим к формуле Хартли. Это предельное количество инфор­ мации, составленное из равновероятных и независимых символов и позволяющее максимально использовать символы алфавита, Шеннон назвал максимальной энтропией, тем самым установив предел инфор­ мационной нагрузки сообщения из ограниченного числа символов.

Выражения (24)—(28) могут быть использованы для подсчета ко­ личества информации как для отдельных элементов, так и для сооб­ щения в целом.

30

Для сообщений, составленных из п независимых символов, ко- ,личество информации определяют непосредственным умножением на п количества информации, полученного при помощи выражений (27) и (28). При небольшом количестве символов в алфавите вероятности pi легко задать. Для сообщений, составленных из п неравновероятных взаимозависимых символов, при достаточно большом числе п (т. е. при длинных сообщениях) можно использовать формулу (27), так как при этом отдельные символы становятся практически независимыми. В противном случае определить количество информации невозможно без таблицы условных вероятностей.

Если заранее известны статистические свойства источника сооб­ щений, в котором учтены распределения вероятностей отдельных сим­ волов (например, статистические свойства различных буквенных ал­ фавитов хорошо изучены и вероятности появления отдельных букв мо­ гут быть заданы априори) и взаимосвязи между ними (например, появление буквы h после t в английском языке), а также характер рас­ пределения помех в канале связи (например, свойства белого шума хорошо изучены, известно, что у него нормальный закон распределения, и даже-найдено выражение для энтропии суммы сигнала и шума [13]), то для вычисления, количества информации выписывают значения веро­ ятностей отдельных символов и исходных условных вероятностей и подставляют их в выражение (24). В противном случае соответствую­ щие вероятности определяют опытным путем.

Напомним, как это делается. Пусть при передаче п сообщений

совместного появления символов А и В р (АВ) — kin , условная веро­ ятность появления символа А относительно символа В

р (АВ) = р (В) р (А/В) = р (А) р (В/А).

31