Файл: Бовбель, Е. И. Элементы теории информации.pdf

Подставляя сюда значения Р( хі, у/.) из табл. 2, получа­ ем табл. 3 точных неопределенностей Н(хі, у/):

Среднее количество неопределенности в любом сов­ местном наступлении событий x t и у/ равно, по опреде- ' леншо среднего значения, сумме произведений значений ’случайной величины Н(хі, у /) па вероятность этого зна­

чения:

в том или ином совместном наступлении события (хи У]) давались табл. 3, усреднением мы равномерно «размаза­ ли» эти разные количества неопределенностей по всем .со­ бытиям (xit У/), приписав каждому среднее количество

Найдем теперь точные значения неопределенностей в наступлении события уу при известном исходе некоторо­ го другого события х і . Для этого необходимо7 знать ус­ ловные вероятности Р(У]ІХі ) } а затем воспользоваться формулой

Н (У]Іхі) = — log P(yj,!XiX

2Д)

Наконец, по формуле умножения вероятностей вычис­ лим

Р(УіІХі) = Я'(лѵ, У ] ) / Р ( хі).

Из табл. 5 видно, что наибольшей неопределенностью исхода обладает событие tj2 при любом известном собы­

тии xt. При каждом заданном xi H ( y j / x i) является слу­ чайной величиной, значения которой появляются с веро­ ятностями P(yjlXi). Поэтому среднее значение H(yjj х() при заданном хі

Эти результаты образуют случайную величину, значения которой наступают с вероятностями Р(х.і). Поэтому только среднее H(Ylxi ), усредненное с весом Р(хі), не случайно, а именно:

Н ( У / Х )=% Н ( У / х 0 Р ( хс) =

/= I

личиной H(yjfxi). Среднее количество неопределенности в любом из yj при заданном хі определяется величиной H(Yjxi). Количество же неопределенности в среднем в

21

любом из yj при любом заданном x t — //(К Д ). Други­

q = 1—р. При каком р результат испытания обладает наи­ большей неопределенностью?

О т в е т : р = 0 ,5 , так как в этом случае Н(Х) = = Н тп(Х).

Задача 4. По цели может быть произведено п незави­ симых выстрелов; вероятность поражения цели при каж­ дом выстреле равна р. После k-vo выстрела производится разведка, сообщающая, поражена или не поражена цель. Если поражена, стрельба прекращается. Определить k из того условия, чтобы количество инфор­ мации, доставляемое разведкой, было максимальным.

Р е ш е н и е . Рассмотрим физическую систему Х к— цель после k-то выстрела. Возможные состояния систе­ мы Хк: Х\— цель поражена; х2— цель не поражена.

Вероятность непоражения цели после k выстрелов по теореме умножения независимых событий.

Р(х2) = (1 —р)к = <?*•

Тогда вероятность поражения цели будет равна вероят­ ности противоположного события:

Р(*і) = 1 - Р ( х 2) = 1 - ( 1 -/>)*.

Так как после опыта предполагается отсутствие неопре­ деленности (с вероятностью «единица» известно, после k выстрелов поражена цель или нет), то количество инфор­ мации, несомое разведкой, численно равно энтропии H(Xk )• А энтропия ансамбля Хамаксимальна тогда, ког­ да события, составляющие ансамбль, равновероятны, т. е.

(1 — ^ “ 1 — о

и

log (1 - р ) •

Отсюда видно, что если р<§Д, то

. Задача 5. Вероятность появления события А при од­ ном, испытании равна р. 'Испытания повторяются до пер-

22

вого появления'события А. Найти энтропию числа испы­ таний.

Р е ш е н и е . Определим распределение случайной ве­ личины X — числа испытаний. X может принимать зна­ чения от единицы до бесконечности. Вероятность полу­ чить событие А в первом испытании ( х = \ ) равна р, во втором (1— р)р, в k-u (1—р)к^1 р. Таким образом, опыт X выглядит так:

и его энтропия

со

где q = 1—p. Ряд, стоящий сомножителем в первом

слагаемом, есть геометрическая прогрессия. Поэтому

оо

(1Л7)

к=1

Продифференцировав тождество (1.17) по q и умножий обе его части на q, получим ряд, стоящий сомножителем во втором слагаемом (1.16). Подставив в (1.16) найден­ ные суммы рядов, получим

ЩХ) = — Р ]0gP + q ]0gq

При получении формулы для количества информации предполагалось, что после опыта неопределенности в его исходе нет. Однако можно привести множество приме­

23