ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 24.10.2024
Просмотров: 50
Скачиваний: 0
■откуда P,- = exp(Xln2— 1). Чтобы найти неопределен ный множитель Лагранжа, подставим найденное зиаче--
мне Р/ в |
дополнительное условие: |
|
П |
2 exp (Xln 2— 1) = дехр |
(Xln 2— 1) = 1, |
Ъ Р і |
откуда exp |
(X In 2— 1) = 1 jti = Р£. |
|
Дифференцируя второй раз левую |
||
чаем, что |
п |
|
да |
||
Я + Х ( У і Р і - 1 |
||
дР] |
||
/ - 1 |
||
часть (1.8), заме-
1
Pi ln 2 < 0 ,
а это есть необходимое условие того, |
чтобы |
значения |
|
Р ,= Г/д доставляли максимум функции И ( Р ь Р2, |
Рп). |
||
Подставим найденные Р /= 1/д, і = 1 , |
2,..., /г |
в |
(1.7): |
п |
|
|
|
а д “ - 2/=і4 - 1ог 4 - = 1ог я. |
|
|
|
что и требовалось доказать. |
согласуется |
с на |
|
Полученный результат прекрасно |
|||
шей интуицией. В самом деле, если вероятности некото рых событий одинаковы, неопределенность столь велика, что мы совершенно отказываемся от их прогнозирования, в отличие от случая, когда вероятности событий резко отличаются.
3. Прежде чем сформулировать третье свойство, вве дем более сложный опыт, объединяющий два следующих опыта:
X __ (X1 |
••• Х/і \ |
у = ( У*- |
У2 |
••• Ут ). |
№ ) |
Р{х%) . . Р(хп) г |
[р(уі) |
Р Ы |
... Р(ут)І |
Будем рассматривать все возможные совместные ис ходы х£ и у/. Пары (х/, у/) с вероятностями их появле ния порождают некоторый новый опыт (X, Y), который схематично может быть записан в виде табл. 1:
|
|
|
|
|
|
|
Т а б л и ц а 1 |
N. |
X- |
*і |
|
Д'а |
|
9 9 9 |
*п |
|
|
|
|
|
|||
У\ |
|
Р(ХI, Уі) |
1 |
У\) |
Р(х3. Ух) |
. . . |
Р(.Ха, Ух) |
• * 9 |
|
1 • • • * |
1 |
• • ■• |
9 9 9 9 |
|
9 9 9 9 |
Ут |
|
Ң*1. Ут) |
|
Р(х2. Ут) |
1 Р(х3. Ут) |
• • •' |
1 Р(Хп. Ут) |
15
ч.
Полученный объединенный опытописывает более сложную физическую систему с пт возможными состоя ниями. Примером такого опыта может служить опыт с одновременным подбрасыванием двух игральных кос тей.
Энтропия произвольного опыта, согласно определению (1.7), есть взятая со знаком минус сумма произведе ний вероятностей сообщений, составляющих опыт, умно женная на логарифм этих вероятностей. Поэтому энтро пия опыта, заданного табл. 1:
|
ЩХ, |
Y) = |
П Ш |
Уі) log Р(хі, Уі), |
|||
|
— 2 |
2 |
Р(Хі, |
||||
|
П |
III |
|
/=і |
j =1 |
|
|
причем |
|
|
= |
1* т- e. какое-либо из событий |
|||
2 |
2 |
Р ( х і , У j) |
|||||
(Х/. у}) |
/=і |
y=i |
|
в результате |
опыта. |
||
наступает |
|||||||
Таким образом, |
энтропия Я (X, Y) дает среднюю не |
||||||
определенность до опыта в совместном наступлении лю бого из событий (xh yj) в опыте.
4. Н(Х, |
Y) =H( Y, X). |
|
|
= P( yj , |
|
||
Свойство 4 следует из того, что P( x it у/) |
х,). |
||||||
5. Я |
(X, |
У ) < Я ( , ¥ ) + Я |
(У), причем знак равенства |
||||
имеет место лишь тогда, когда события х,- |
и у } |
при все |
|||||
возможных і и / независимы. |
|
|
|
|
|||
Д о к а з а т е л ь с т в о . |
Предварительно докажем, |
что |
|||||
если P t |
и |
Q ,— произвольные |
положительные |
числа, |
|||
удовлетворяющие равенствам |
|
|
|
|
|||
|
|
2 Pi = |
2 Q/ = l. |
|
|
|
|
то |
|
/=1 |
/=1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
— '2 Ql log Ql < |
— 2 |
Ql log Pi. |
|
|
(1-9) |
|
|
|
/=1 |
/=1 |
|
|
|
|
Очевидно, знак равенства в (1.9) выполняется, когда
P t = Q t. Установим, |
при каких значениях Pt |
функция |
||||
|
ф (Ри Рг........Рг) = |
— Ѣ Qi log Pi |
(1.10) |
|||
(Qi рассматриваем |
|
|
/=1* |
|
||
как параметры) имеет минимальное |
||||||
значение. |
Используя |
способ |
множителей Лагранжа (см. |
|||
сноску на |
стр. |
14), |
найдем |
PL из уравнений: |
||
дФ __ _д_ |
|
|
.... |
+ 4 2 ^ - 1 |
о |
|
ф (Ри |
|
|||||
дРі |
дРі |
|
||||
|
/«=1 |
|
||||
іб
Подставляя сюда значение Ф из (1.10) и выполняя дифференцирование, получаем
р _ |
Qi |
1 |
Xln 2 e ' |
Просуммируем обе части последнего равенства по I:
/=1 |
XIn 2 ‘ 2 |
^- |
|
|
1=1 |
|
|
|
г |
г |
Qi ^ Ь ’то X In 2 — 1 |
Так как по условию 2 Рі = |
2 |
||
|
/=і |
/= |
1 |
и, значит, Pi = Q,. Легко видеть, что вторая производная функции Ф (Рь Л2, Рг) положительна. Поэтому Р, = = Q; ( / = 1 , 2,..., г)доставляют минимум функции Ф(Р\,Р% •••, Яг ). Следовательно, в остальных случаях,
когда Рі Ф Q/, |
правая часть |
(1.9) |
больше левой. |
||||||||
Теперь умножим |
энтропии |
Н (X) и Н (Y) |
соответст |
||||||||
венно-на единицы вида |
|
|
|
|
|
|
|||||
#/1 |
|
|
|
|
п |
|
И |
III |
|
|
|
1 = 2 |
р Ш*і) = |
2 |
pte/*/y) = |
S' 2 |
p w> |
Уі)- |
|||||
j= 1 |
|
|
|
/ = 1 |
|
|
/~1 У=1 |
|
|
|
|
Получим: |
|
|
пи |
іит |
|
|
|
|
|
|
|
Н{Х) = |
|
р (хі) р (У,!а) log P(xi) = |
|
||||||||
- |
2 |
2 |
■'• |
||||||||
|
|
|
1=1 |
/= 1 |
|
|
|
|
|
||
|
|
;i |
m |
|
|
|
|
|
|
||
|
= - 2 |
|
2 % й ) і о № ; ' ' |
i :- |
( U i ) |
||||||
|
|
/=i |
y-i |
. |
|
|
• |
|
• •• |
||
|
|
|
n |
|
m |
|
|
|
|
|
• |
•я(К) = |
- |
2i=i2j= 1р (Уі) р Ы уі) l°s р (Уі) = |
|
||||||||
|
|
п |
т |
, |
|
|
|
|
|
||
|
= — 2 |
|
2 |
|
0/) !°g p (W)- |
|
|
( 1• 12) |
|||
|
|
/=1 у=1 |
|
|
|
|
|
|
|||
Складывая |
(1.11) |
и |
(1.12), получаем |
|
|
|
|||||
|
|
|
|
|
п |
т |
|
|
|
|
|
Н Щ + H(Y) = - 2 2 р (х'-’ Уі) lQg р (х <) р (Уі)-
/=1 у=1
Положим |
г=тп, Qi = P{xi\ у,), |
Р[ = Р(Хі) P(yj). |
|
||
Тогда |
|
|
|
|
|
ЩХ, Y) = |
2 Qi lo g Qr, Н ( Х І ± Ш І = |
- Ш |
Ы рр |
||
|
/ = 1 |
|
./-1 |
|
|
2 За к. 2340. |
|
|
•Vi. . |
t- |
;i7 |
|
|
|
|
||
|
i |
( '' TT• Г*! |
r /N~s |
|
и |
|
|
АЛА |
|||
|
|
|
|
|
|
Сравнивая эти равенства с (1.9), заключаем:
Н (X, У)4>Н ( X ) + H ( Y ) ,
что и доказывает свойство |
4. |
|
|
6. Я (X, Y) = Я (X) + Н (Y/X). |
п |
т |
|
|
|
||
Д о к а з а т е л ь с т в о . Н(Х, Y) — — ѵ V р (х(-, у,) X |
|||
|
|
/ = і ; = і |
|
п |
' |
т |
Р(у,-!Хі) — |
X log Р(Хі, у,) = — V Р(х,) log Р(Х[) V |
|||
'=> |
|
;=> |
|
П til |
|
|
|
- 2 2 р (Л'ь У]) lo g р (Уі*і) = Н(х ) + Н(У:Х), где мы
і м у - 1
ввели обозначение для величины
Я ( В Д |
п |
т |
(1.13) |
s |
уу) log я О/,-/*/.), |
||
|
/-1 |
У=1 |
|
имеющей фундаментальное значение для теории инфор
мации. Ее называют у с л о в н о й э н т р о п и е й |
о п ы |
|||
та Y. H(Y/X) дает |
среднюю неопределенность исхода лю |
|||
бого из событий у j (7 = 1, |
ш) при любом известном ис |
|||
ходе |
события X; |
(7= 1, .... |
п). |
|
7. |
H(Y/X) > 0 . |
|
|
|
Положительность условной энтропии очевидна, |
а ра |
|||
венство нулю возможно лишь тогда, когда события хі и
yj статистически полностью зависимы, т. |
е. |
|
РІУііхі) = |
і ф і . |
(U 4 ) |
0, |
|
|
В самом деле, если известен исход события xh то, со |
||
гласно (1.14), с вероятностью |
«единица» |
известен и ис |
ход события y j . Другими словами, зная исход события Хі, мы не имеем неопределенности в исходе события yj .
Подставив |
(1.14) в (1.13), получим Н (Y/X) |
= 0 . |
|||
В, Если |
события Хі |
и yj |
статистически |
независимы |
|
при любых і и /, то H'(Y/X) |
= |
H(Y). |
|
||
Условием статистической независимости событий хі и |
|||||
Уі является |
|
|
|
|
|
Р(У]\Ч) |
= P(ilj) |
(І = |
1, |
.... п; j = 1, ..., |
т). . (1.15) |
18
Подставив (1.15) в (1.13), получим
ЩѴ/Х) = - |
п |
т |
Р(Уі:Хі) іоgPüi.’xi) = |
V Р(Хі) V |
|||
|
/= 1 |
y-1 |
m |
M |
« |
|
|
*= — 2 а д log а д 2 а |
д |
= - 2 а д io g P (y ,)= //(n . |
|
y=l |
/=1 |
|
/=1 |
Свойство 8 достаточно |
очевидно и без доказательст |
||
ва. В самом деле, |
зная исход хі} мы не получаем никакой |
||
информации о ijj, если х х и уу* независимы, т. е. средняя неопределенность в исходе у/ остается равной Н (Y), знаем ли мы об исходе л:/ или нет. Однако если события X/ и у j статистически зависимы, то, зная исход xt-, мы по лучаем некоторую информацию о том или ином возмож ном исходе события у/ и неопределенность Н (YIX)r уменьшается по сравнению с # (Т ). Последнее замеча ние сформулируем в виде свойства 9.
9. Если события Хі и у/ статистически зависимы, то всегда Н (Y/Х) < Н {Y).
Требуемое неравенство вытекает из свойства 5 при ис пользовании свойства 6.
Как мы видели, описанные свойства энтропии хорошо согласуются с интуитивными требованиями, которые можно предъявить к количественной мере неопределен ности. Это не случайно, ибо эти интуитивные представле ния были заложены нами в постулатах § 1.
Задача 1. Даны две дискретные случайные величины
ѵ = |
/0Л |
0,2 |
0,3\ |
у |
/10 |
20 |
30 \ |
|
\1/3 |
1/3 |
1/3/’ |
|
Д 1/3 |
1/3 |
і/зу* |
Энтропия какой случайной величины больше? |
|
||||||
От в е т : |
Н(Х) = |
H(Y) — log |
3, так как энтропия не |
||||
зависит от значений, принимаемых случайными величи нами, а. зависит только от вероятностей их появления.
Задача 2. Располагая в виде табл. 2 совместные ве роятности сообщений х і опыта X и у/опыта У, рассчи
тать точные и среднее количества неопределенности в совместном наступлении событий х£ и у/, а также точ ные и среднее количества неопределенности в у j при из вестном исходе х і .
Точные количества неопределенности в совместном наступлении событий х£ и у/ находятся по формуле
И (Х1. У і ) = — \ogP(xi, іи).
19