Файл: Бовбель, Е. И. Элементы теории информации.pdf

ров, когда после получения информации у нас остается еще некоторая неопределенность. Вот два из них.

1. Пусть известно, что напряжение на клеммах не торого источника может изменяться в пределах 180— 230 вольт. Поэтому на вопрос, каково напряжение в дан­ ный момент времени с точностью до одного вольта, мож­ но высказать 51 предположение: 180, ..., 230 вольт. Пусть опыт заключается в измерении напряжения с точностью ,±'5 вольт. Произвели опыт. Напряжение оказалось рав­ ным 220 вольт. Значит, на самом деле истинное значение напряжения находится где-то между 215—225 вольтами.

с,чет того, что в результате опыта мы приобрели некото­ рое количество информаций, численно равное разности между количеством неопределенности до и после опыта. Вычислим его в предположении, что все значения напря­

действуют шумы, искажающие передаваемые по ней сиг-’ налы (рис. 2). По линии связи передаются сообщения, составленные по некоторому закону из п различных сиг­ налов хі . Сигналы, смешавшись с шумом, поступают на выход линии связи. Обозначим принимаемые сигналы буквой y j ( j = \ , 2, ..., m ). После приема сигнала у г мы не

можем достоверно сказать, какому из переданных сигна­ лов х і он соответствует, так как случайный шум может

из любого сигнала хі создать подобный ему сигнал у г.

24

В этом случае для принятия правильного решения необ­ ходимо использовать вероятности P(xijyj).

Если, к примеру,, они оказались такими, что любой сигнал хі (кроме.хг) со сколь угодно малой вероят­ ностью (раз в столетие) может превратиться в уг , то, приняв этот сигнал, мы с как угодно близкой к единице вероятностью можем утверждать, что был передан х п так как

Если бы дело обстояло так со всеми передаваемыми сиг­ налами х і (і= \ , 2, ..., п), мы могли бы считать, что в ка­ нале связи вообще отсутствуют шумы, и соотношение бы­ ло бы справедливо для всех сигналов л>*

Иначе говоря, после опыта (после приема какого-либо сигнала y j ) у нас нет никакой неопределенности в соот­ ветствии принятого у] переданному хі , и количество*ин­ формации,содержащееся в yj о хі, численно равно неоп­ ределенности принять в данный момент какой-либо сиг­ нал X і, т. е. энтропии ансамбля сигналов

1(Y, X) = Н(Х).

Однако наибольший интерес представляет другой крайний случай, когда искажения сигналов в линии свя­ зи таковы, что любой из сигналов хі может с равной ве­ роятностью перейти в любой из сигналов yj. Это соответ­ ствует случаю, когда сигналы yj и хі статистически не­ зависимы (см. задачу 2 §.2), т. е.

Тогда, наблюдая у\лмы не получаем никакой информации о х і . Что же необходимо предпринять при таком разру­ шающем действии шумов на передаваемую информацию? Имеется единственный выход— подобрать такое разли­ чие (вид модуляции) в передаваемых сигналах хі , чтобы вероятности искажений были как можно ближе к (1.18).

Подсчитаем количество информации, имеющееся (в среднем) в сигнале yj о сигнале хі при произвольной ста­ тистике искажений p(xi/yj).

25

Среднее количество неопределенности, которым мы обладали до опыта, равнялось Н(Х). Представим теперь, что мы примяли какой-то сигнал yj (к примеру, tjn) и оцениваем, какова неопределенность (после опыта) соот­ ветствия его некоторому переданному хі (к примеру, х\). Эта неопределенность равна

— log P(xi/yj) = Н{х,-:;У]).

Как видим, неопределенность этого соответствия яв­ ляется случайной величиной, значения которой при каж­ дом заданном у j наступают с вероятностями P(xi'yj). Поэтому среднее значение количества неопределенности

чений равны Р( уj). Тогда среднее значение H(X/yj) оп­ ределит среднее количество неопределенности соответст­

ленность ансамбля X после опыта.

Таким образом, мы установили, что неопределенность передачи некоторого сигнала X до опыта Н(Х), а после опыта H(X/Y). Поэтому количество информации, имею­

Эта мера количества информации получена нами на при­ мере передачи сообщений по каналу связи. Совершенно аналогичные рассуждения могут быть применены к слу­ чайным объектам произвольного вида и приведут нас к той же мере.

26

На основании свойств энтропии 4 и 6

M(Xt Y) = Н (Y) + Н (X/Y).

Подставляя этр выражение в (1.19), получаем

I(Y, X ) = H ( X ) + H ( Y ) - H ( X , Y).

Умножая первое и второе слагаемое правой части равен-

т

ства соответственно на единицы вида l = v P (lJjixi) ~

= 2 P(x'Jyj). 11 расписывая энтропии через вероятнос-

/=1

ти соответствующих событий, получаем

содержащееся в случайном объекте Y о случайном объ­ екте X, равно количеству информации, содержащемуся а

=0.

3.1 (X, Х ) = Н ( Х ), т. е. энтропия может быть истол­ кована как информация, содержащаяся в объектах от­ носительно самих себя. Из этого также непосредственно вытекает, что энтропия есть максимальное количество информации, которое можно получить об объекте:

27

Ф

лить среднее количество информации, которое может по­

ностью. Пусть Х\— случайное число студентов, сдавших зачет, Хо— не сдавших зачет; у \— случайное число подго­ товленных студентов; уч— не подготовленных студентов.

По условию задачи известны следующие вероятности:

Р(х1, Уі) а> Р(Х1 , Уі) — ß, Р(х2, уо) — ч,

Для определения искомого количества информации по формуле (1.20) необходимо найти соответствующие безусловные^вероятности. Их можно найти из формулы пол­ ной вероятности:

Подставляя в (1.22) соответствующие совместные веро­ ятности из (1.21), получаем:

_ Р(хі) — Р{хі* Уі) + Р(хі, Уъ) = а + ß;

4

ио из двух сообщений Х\ или х2 с вероятностями соответ­

Р{хи Уі) = Я *і)Ж Уі/* і)

Р(хг, у г) = р{х2) Р(у2/Х2) =рЬ;

Р(хи у2) = Р(Х,) Р(уг Хх) =-• р{ 1 — Д);

Ң х л, у,) = Р(х2) РІУі/Хг) = р ( \ — Ь).

Подставив в формулу полной вероятности

P(yj) = і Р(ХІ. yj)

/= 1

соответствующие вероятности P(xh yj), найдем вероят­ ности сообщений y j :

Р{Уі) == Р(хъ Уі) + Pix* У,) = р.Д + р(1 — В);

Р(Уі) = Р(Хі, уг) + Р(Х2, Уг) =р( 1— д) + р ь.

Наконец, среднее количество информации, содержащееся: в у о х:

-а