Файл: Толстоусов, Г. Н. Прикладная теория информации учеб. пособие.pdf

ся цифра). Но при передаче без помех принятое сообщение ^ соответствует переданному сообщению с тем кѳ порядковым номе­ ром. При воздействии помех количество принимаемых сообщений должно быть равно количеству передаваемых. Все многообразие ко­ довых комбинаций, возникающее из-за воздействия помех и прияммаѳмоѳ приемником, должно быть разбито на гь групп, по числу передаваемых сообщений. Способ разбиения пока не рассматривает­

ма этих сообщений определяется условными вероятностями^^-/#.;,/!, L -1 , 1 . . гь) . эти вероятности могут быть по­ дучены путем анализа действующих помех и статистической обрабо­

До приема сообщения источник X имел меру неопределенно­ сти, равную энтропии Н(Хj . После приема сообщения у источни­ ка осталась неопределенность, так как нам неизвестно передан­ ное сообщение. Но источник JC и получатель У" являются ста - тистнчѳски связанными системами. Эта связь определяется значе­ ниями условных вероятностей. Поэтому, когда извѳогно состояние

56

I

’системы У (сообщение принято), неопределенность источника равна условной энтропии H (X/Y) . Тогда можно положить, что количество информации в принятых сообщениях относительно источ­ ника -X в среднем равно изменению неопределенности источника

fy - x =Hfe)-H (X /Y ).

ѵчитывая соотношение (6 .10), получаем, что количество ин­ формации в принятых сообщениях, по крайней мере, не отрицатель­ но. (Тогда помехи таковы, что статистические связи между источ­ ником и получателем информации разрушаются (источник и получа­ тель статистически независимы), условная энтропияH(X/Y) равна априорной Н(Х) и количество информации равно нулю. В остальных случаях информация положительна. Однако, это утверн-

Этот результат может быть представлен следующим образом. Энтро­ пия Н(У)есіъ неопределенность получателя до передачи сообще­ ний. Неопределенность зависит от априорных вероятностей принимаемых сообщений. Энтропия Н(У/Х) есть неопределенность получателя, когда нам известны переданные (но не принятые) со­ общения. Тогда выражение (12.2) есть изменение неопределенно­ сти получателя после того, как нам становится известным пере­ данное сообщение. Следовательно, количество информации, выра­ жающееся в переданных сообщениях относительно получателя, в среднем равно количеству информации, содержащемуся в принятых сообщениях относительно источника. Количество информации есть обратимая величина, что можно записать следующим образом:

Согласно (6.12) выражение (12 .I) может быть представлено

57

так:

Используя операцию математического ожидания (4.23) и (5.3) запишем

Ь~у=м[- &$Р(Х)]+м[-£о$Р(У)]-

-м[~fogР(К У)]= МІбоу ppQ p(yj

Раскрывая операцию математического ожидания и учитывая,чт< вероятность появления каждого конкретного выражения в квадрат ных скобках есть вероятность одновременного появления двух со­ бытий X=Xö и У- , *»е« вероятность произведения

, получим

держащееся во всех возможных переданных или принятых сообщени­

58

выбора переданного сообщения по принятому сообщению при пере­ даче инфорыации с помехами. Выбирается такое сообщение Хс , для которого величина максимальна.

Рассмотрим свойства выражения (12.I I ) . Воспользуемся нера­ венством

59