Файл: Толстоусов, Г. Н. Прикладная теория информации учеб. пособие.pdf

Энтропия H(Y) есть мера неопределенности в тон случае, когда известны только статистические характеристики источника, рассматриваеного изолированно от других источников.Условная энт­

Предположение (6.10) будет доказано в § 14. Здесь покажем непротиворечивость предположения для двух крайних случаев. Пусть источники JC и У жестко связаны между собой. Информация о состоянии одного источника точно указывает и на состояние дру­ гого источника. Тогда условная энтропия равна нулю, так как ни­ какой неопределенности не остается:

H(Y/X)=0<H(Y).

Если источники независимы, то информация о состоянии одного ис­ точника не может уменьшить неопределенности другого. В этом случае имеем

H(Y/x) = H(Y).

Подставляя (6 .3) и (6 .9) в (6 .2 ), подучаем выражение для энтропии объединения зависимых источников

Энтропия объединения зависимых источников равна сумме энт­ ропии одного источника и условной энтропии другого источника.

Для независимых систем H(Y/X)~H(Y) и получаем доказан­ ный в § 5 результат:

h(x y )--h (x )+h [y ).

27

Учитывая предположение (6.10), в общей случае имеем

Необходимо учитывать сложность как вычислительной работы, так и подготовки статистического материала для определения выражения (6 .14). Условные плотности вероятности, начиная с трехмерных

P(X3j X 1Хл), получены лишь для ограниченного числа случаев.

§7. Энтропия случайной последовательности

Впредыдущих параграфах рассматривались дискретные источни­ ки информации, которые не меняли своих состояний. Эти источники находятся в каком-то одном состоянии, и после приема сообщения, указывающего на это состояние, неопределенность источника стано­ вится равной нулю. Больше от этого источника передавать сообще­ ния не нужно.

Более общий и чаще встречающийся случай дискретных источни­ ков - это источники, которые меняют свои состояния с течением времени. Меняет свои параметры самолет в полете. Меняют свои па­ раметры контролируемые детали на конвейере, хотя каждая конкрет­ ная выпущсмна-я деталь параметров не меняет. Меняет свои парамет­ ры и такой источник информации, как телеграфное сообщение: после

і>і источник меняет свое состояние и переходит в состояние Х \ которое также является одним из гь возможных состояний ( ЭС1 ,

28

х іъ). В момент времени bz источник переходит в со­ стояние X? и т .д .

Состояние источника в любой момент времени является случай­ ным. Моменты времени, в которые происходит смена состояний, тан- хе могут быть случайными. Зафиксированная последовательность со­ стояний одного источника называется случайной последовательное стью. Пример случайной последовательности показан на рис“; 7;І;На неограниченном интервале времени число различных случайных пос­ ледовательностей бесконечно.

Для описания случайной последовательности необходимо энать законы распределения состояний для каждого момента времени и за­ кон распределения моментов смены состояний.

Для вопросов, рассматриваемых в данном курсе, достаточно описывать процесс смены состояний с помощью средней частоты сме­ ны состояний или математического ожидания числа смен состояний в

смены состояний. Пусть у источника эти вероятности не зависят от чередования состояний до рассматриваемого момента времени, т .ѳ . состояния источника независимы. Тогда случайная величина X е характеризуется априорными вероятностями р? , где

29

Для стационарного источника вероятности состояний от време­ ни нѳ еавиояі. Поэтому для каждого момента переключений (для лю­

случае, когда состояние источни­ ка зависит от конечного числа предыдущих состояний, условные ве­ роятности имеют конечную размерность. У марковских источников каждое соотоянне зависит только от предыдущего, и для описания источника необходимы следующие условные вероятности:

М

Боли источники стационарные, то их условные вероятности не

условных вероятностей последующих состоянийX \ X ? ...

В дальнейшем будут рассматриваться эргодичѳскиѳ источники. Эргодичѳскиѳ источники отационарны, зависимость между состояния­ ми у них наблюдается на ограниченном интервале. Кроме того, для эргодических источников понятие вероятности, определенное для партии однородных источников и для случайной последовательности, совпадают.

При вычислении энтропии случайной последовательности эрго-

Энтропия второго состояния X * определяется в общем случае с по­ мощью условных вероятностей и будет равна следующей условной энт­ ропии:

80