Файл: Бездудный, В. Г. Техника безопасности в шахтном строительстве.pdf

где р (Ек1 А ) — условная вероятность появления сообщений относи­

тельно появления символа А:

П

Еi р (Ес) р (А1Е[) = р (А) — полная вероятность события.

В заключение несколько слов об основных свойствах условной эн­ тропии.

Свойство 1. Если сообщения А и В взаимонезависимы, то условная энтропия А относительно В равна безусловной энтропии А:

Н (А/В) = Н (А); Н (В/ А) = Н (В).

Действительно, если сообщения А и В взаимонезависимы, то ус­ ловные вероятности отдельных символов равны безусловным:

Подставим выражение (30) в формулу (24). Тогда

Н { В ! А ) = - У > Т р (о,-) Р (bj) log p(bf) = i i

= — EP {ад E P Фд log p (bj) = H (В), i !

так как Et p (ai) — 1-

Свойство 2. Если сообщения А и В настолько жестко статистиче­ ски связаны, что появление одного из них непременно подразумевает появление другого, то их условные энтропии равны нулю:

Н(А1В) = Н(В/А) = 0.

Для доказательства этого положения вновь воспользуемся свой­ ствами вероятностей, согласно которым при полной статистической за­ висимости р (bjlad = 1 и слагаемые р (Ь,-/а{) log р (b//at) выражения (24) также равны нулю [см. доказательство выражения (11)). Если ну­ лю равны отдельные слагаемые, тд и сумма равна нулю, откуда

H(BJA)=*H(AIB) = 0.

Выводы: 1. Энтропия сообщения, составленного из неравновероят­ ных символов меньше, чем энтропия сообщения, составленного из рав­ новероятных символов.

2. Энтропия сообщения, составленного из взаимозависимых сим­ волов меньше, чем энтропия сообщения, составленного из взаимонезависимых символов.

3. Максимальная энтропия — у сообщений, составленных из рав­ новероятных и независимых символов, т. е. у тех сообщений, у которых условная энтропия равна нулю, а вероятность появления т символов

алфавита р = —•

32

Задачи к теме 5

1. Сообщения передаются двоичным кодом. В первом случае вероятности появления 0 и 1 равны соответственно ро — 0,8 и pi = 0,2. Помехи в канале отсутст­ вуют, т. е. условные вероятности переходов 0 в 1 и 1 в 0 равны нулю. Во втором слу­ чае символы передаются с равными вероятностями: ро = pi — 0,5, однако в резуль­ тате действия помех условные вероятности переходов не равны нулю, а равны соответ­

Чему равно количество информации о том, что при передаче сигнала Л7 будет принят сигнал В7? Чему равно количество информации о том, что при передаче сигнала Л, бу­ дет получен сигнал В4? Чему равна энтропия получения одного из сигналов В1 — В1в при передаче Л7?

6. При передаче сообщений, построенных из первичного алфавита А ', В 1, С \ принимаются сообщения во вторичном алфавите Л", В", С . Статистические испыта­ ния показали, что в результате действия помех 3% символов с равной вероятностью могут перейти в любой другой символ данного алфавита. Чему равна энтропия при­ нятых сообщений, если символы первичного алфавита встречаются в сообщениях с вероятностями рА = 0,2, рв = 0,3 и рс = 0,5?

ИЗБЫТОЧНОСТЬ. СКОРОСТЬ ПЕРЕДАЧИ ИНФОРМАЦИИ

Для нахождения максимальной пропускной способности системы связи необходимо уметь определять максимальное количество инфор­ мации, которое может быть передано при помощи символов данного алфавита за единицу времени. Мы уже знаем, что максимальное ко­ личество информации на символ сообщения Н = log т можно полу­ чить только в случае равновероятных и независимых символов. Ре­ альные коды редко полностью удовлетворяют этому условию, поэтому

информационная нагрузка на каждый элемент их сигнала обычно мень­ ше той, которую они могли бы передавать. Энтропия таких сигналов меньше максимальной.

Раз сигналы сообщений недогружены, то само сообщение обладает информационной избыточностью. Понятие избыточности в теории ин­ формации и кодирования введено для количественного описания ин­ формационного резерва кода, из которого составлено сообщение. Сама постановка такой задачи стала возможной именно потому, что инфор­

можно было бы передать так: «Об­ работка сводок задерживается связи отсутствием электричества». Второе сообщение короче, в нем слова несут гораздо большую инфор­ мационную нагрузку, чем в первом, т. е. первое сообщение обладает информационной избыточностью по, отношению ко второму.

Однако не следует смешивать избыточность такого рода с избы­ точностью сообщений, рассматриваемых в теории информации и коди­ рования, где избыточность показывает количество лишней информации, которое не зависит от пишущего, а определяется структурой алфавита и обычно заранее известно из статистических данных. Например, для английского алфавита, состоящего из 26 букв, максимальное значение энтропии

Ятах = logs т = log2 26 = 4,7 бит.

Если условно представить частоту появления различных букв в английских текстах, как показано на рис. 12, то можно наглядно убе­ диться в том, что вероятности появления букв английского алфавита далеко не равны, а следовательно, энтропия английского языка мень­ ше, чем 4,7 бит. Действительно, исследования показали, что при учете частоты распределения восьмибуквенных сочетаний, т. е. взаимо­ зависимости между символами, энтропия английского языка уменьша­ ется до 2,35 бит. Если же учитывать статистику следования слов в английских текстах, то энтропия английского языка не превысит

2 бит.

При учете следования букв в различных сочетаниях и слов в раз­ личных сообщениях передаваемую информацию можно значительно

34

сжать, сократить. Отношение Я /Я тах = р называют коэффициентом сжатия, или относительной энтропией, а величину

избыточностью. Из выражения (31) очевидно, что избыточность боль­ ше у тех сообщений, у которых больше энтропия.

и приняли разность между единицей и р.

Для английского языка без учета взаимозависимости между сло­ вами

D = 1 -----1 — 0,5 = 0,5.

Действительно, проведенные эксперименты подтвердили, что удается восстановить содержание английских текстов, составленных из 50% алфавита.

Кроме общего понятия избыточности, существуют различные ча­ стные понятия, основными из которых являются следующие: избыточ­ ность Ds, вызванная статистической связью между символами сообще­ ния, и избыточность Dp, обусловленная неравновероятными распреде­ лениями символов в сообщении.

Избыточность Ds определяется выражениями (24), (27) и харак­ теризует информационный резерв' сообщении со взаимонезависимыми символами по отношению к сообщениям, в которых наблюдается ста­ тистическая связь между (символами:

где

я= — 23 2 P (ад Р (bi/°d log P (bjlad;

i/

я' = —2i л log л .

Однако выражение для Я ' само обладает избыточностью за счет неэкстремальное™ распределения вероятностей отдельных символов (напомним, что максимальная энтропия достигается при равномерном распределении вероятностей Я тах = log т для конечного алфавита т).

Избыточность Dp определяется выражениями (27), (28) и харак­ теризует информационный резерв сообщений с равновероятными сим­ волами относительно сообщений, символы которых неравновероятны:

Полная избыточность

(34)

При малых Ds и Dp полную избыточность вычисляют как сумму част­ ных избыточностей, так как последний член выражения (34) представ­ ляет собой произведение дробей, меньших единицы, и с уменьшением Dp и Ds стремится к нулю гораздо быстрее, чем два первых члена.

Наличие избыточности в сигнале равносильно его удлинению. Од­ нако считать избыточность исключительно отрицательным явлением нельзя, потому что, как мы увидим ниже, чем больше избыточность сообщения, тем меньше оно подвержено искажению за счет действия помех. Нахождение оптимальной избыточности кода при данном уров­ не помех — одна из главных задач теории информации и кодирования.

Кроме понятий энтропии, количества информации и избыточности, для характеристики системы передачи информации необходимо иметь представление о том, какое количество информации может быть переда­ но за данный промежуток времени по данному каналу связи, т. е. о его пропускной способности. Например, если бы троллейбусы были всегда одинаково загружены, всегда попадали на зеленый свет, при езде им не мешал ни гололед, ни аварии, то количество пассажиров, перевезенное за единицу времени, скажем за квартал или за год, и было бы пропускной способностью данного маршрута.

Пропускная способность канала связи характеризует его потен­ циальные возможности и определяется максимальной скоростью передачи информации. Скорость передачи информации определяется количеством информации, переданной в единицу времени.

Для дискретного канала связи скорость передачи информации сле­ дует характеризовать количеством переданных символов в единицу времени. За единицу времени удобнее всего принять время передачи одного символа. Так как энтропия представляет собой количество ин- <|юрмации на символ сообщения, то скорость передачи информации в

где т — время передачи одного символа.

Для простейшего случая (отсутствуют помехи, символы сообщения равной длительности, равной вероятности и взаимонезависимы, т. е.

прямо пропорциональна энтропии сообщения и обратно пропорцио­ нальна длительности элементарного символа. Увеличение С в этом слу­ чае следует искать за счет уменьшения длительности элементарного символа.

36