ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 24.10.2024
Просмотров: 56
Скачиваний: 0
Аналогично |
/(У, Х ) = 0 и в пункте б). |
Мы знаем, |
что количество информации, содержащее |
ся в сообщении у j о хі, равно нулю только в том случае,
•когда сообщения у j и хі |
статистически независимы. По |
||||||
кажем, что сообщения yj |
и х; |
в пунктах а) и б) незави |
|||||
симы. |
|
|
|
|
|
P(yj/Xi) = |
|
= |
Условие |
независимости выглядит |
так- |
||||
Р ( у j) (і, |
/= 1, 2). Покажем, |
к примеру, что в пункте |
|||||
•а) |
у 1 не зависит от х2: |
|
: |
|
|
|
|
|
Р(Уі,%) = 1 - Р(У2/х а) = |
1 - |
В= |
0,5; |
(1.24) |
||
Р(уг) = ЯЛ + /? (1 — 8) = |
р-0,5 |
4- р( 1 — 0,5) = |
0,5. (1.25) |
||||
Сравнивая (1.24) и (1.25), получаем |
условие |
независи |
|||||
мости у\ от х2: |
|
|
|
|
|
||
|
|
Р(У\ІХ2)= Р ( У \) . |
|
|
|
||
Аналогично можно показать независимость у\ |
от Х\ и т. п. |
||||||
|
Задача 3. По каналу связи |
передается один из двух |
|||||
сигналов Х\ |
или х2 с одинаковыми вероятностям^ На вы |
||||||
ходе канала сигналы х хи х2 преобразуются в сигналы у\ и і/о, причем из-за помех, которым одинаково подвержены сигналы Х\ и х2, в передачу вносятся ошибки, так что в среднем один сигнал из 100 принимается неверно. Опре делить среднее количество информации на один сигнал,
передаваемой |
по такому |
каналу. |
Сравнить ее с коли |
|||
чеством информации |
при отсутствии помех. |
|||||
Р е ш е н и с. В условиях задачи даны следующие ве |
||||||
роятности: |
|
|
|
|
|
|
Р(Л-,) = Р(х2) = 0,5, |
Р{Уі/х2) = |
РІУг'Хі) = 0,01. |
||||
По теореме умножения вероятностен находим: |
||||||
Р(х1, У\) = |
Я(-Сі)11 - |
Р (у * М |
= |
0,5-0;99 = 0,495; , |
||
Р(Х„ Уг) = Р(хг) Р(у2/х,) = |
0,5-0,01 = 0,005; |
|||||
Р(Х2, Уі) = Р{хг) Р{уі/хг) = 0,5-0,01 = 0,005; |
||||||
Р(Х,, Уі) = |
Р(х2) [1 - Р Ы х 2)} |
= |
0,5-0,99 = 0,495. |
|||
Из формулы |
полной |
вероятности |
|
|||
Р(Уі) = |
2 Р{хі, |
Уі) = |
Р{хi, |
Уі) + Р{Уі, X,) = |
||
|
I= 1 |
|
|
|
|
|
|
= 0,495 + |
0,005 = |
0,5; |
|||
:зо
о |
J i |
|
Р(Уй) = X Р(Хі, уг) = Р(Х\, Уі) + Р(х2, Уг) =
1=1
» 0,005 + 0,495 = 0,5.
При отсутствии помех количество информации равно эн тропии выходных сигналов:
I(Y, Х) = H(Y) = - 2 P{yj) log P(yj) = log 2 = 1 (бит).
Для определения количества информации при наличии помех вычислим условную энтропию:
H(Y/X) = - I I |
P(Xit у ) log p(yj/xi) = |
||
|
і =1 y=i |
y |
y |
= — P(x„ |
t/i) log РІУн'х,) — P(JC„ >',) log P y tlx2) — |
||
— Р(Хг, |
Ух) log Я ОУ*,) — Я(х2, |
у2) log P(yoJx2) = |
|
=— Q,495 log 0 ,9 9 -0 ,0 0 5 log 0,01 —
—0,0051og0,01 — 0,495 log 0,99 = 0,081 (бит).
Таким образом, при наличии помех
I(Y, X ) = H ( Y ) —H(Y/X) = 1—0,081=0,919 (бит).
Задача 4. Используя (1.20), найти формулу для точ ного количества информации, содержащегося в сообще
нии у j о |
сообщении Х[. |
перепишем |
в виде |
|
Р еш е и и е. |
Формулу |
|||
1{У, |
* ) = |
P{yj) 2 |
P(xtlyj) log |
Р(Уі)Р(хі/Уі) |
|
|
1=1 |
|
Р(Уі) Р(Хі) |
|
|
|
|
|
' т п
= У) P(yj) 2
X“ 1 і—і
P(Xiiyj) log Р(Хі/Уі)
Л*/) '
Отсюда видно, что величина
П |
P(Xi/yj) |
ПУр X) = У P(xi'yj) log |
|
/=1 |
P(Xi) |
|
случайна и представляет собой среднее количество ин формации, содержащееся в ijj относительно любого из сообщений хі , а случайная величина
Хі) = log P(Xj/y,)
P(Xi)
31
есть точное количество информации, содержащейся в со общении IJj о Хі .
Задача б. Число X появлений события А в серии п независимых испытаний распределено по биномиально му закону
Р(Х = т) = С™р т qn~m
где р — вероятность события А при одном |
испытании, а |
q = 1—р. В зависимости от результатов указанной серии |
|
испытаний происходит или не происходит |
некоторое со |
бытие В с условными |
вероятностями |
Р(В/Х = т) = Gm; |
Р{В;Х = /л) = 1 — Gm= Qm. |
Определить количество информации, несомое событием В о X, рассматривая его как случайную величину, при нимающую значения 1 или 0.
+ Gmlog —-------— ---- —
2 РкХ = m) Gm
От в е т : /(У, X) = — qnlog qn— (1 — qn) log (1 — qn).
Задача 7. В условиях предыдущей задачи определить число испытаний в серии по, которое доставляет макси мум информации I(Y, X).
От в е т : |
Яо= — 1 /log (1—р). |
Задача 8. |
На вход линии связи, в которой действуют |
шумы, поступает сообщение X в двоичном виде МП 1000* На выходе линии связи зафиксирована последователь ность 11100001. Определить точные и среднее количества информации, содержащиеся в Y о X.
32
Р е ш е н и е. Для удобства расчетов обозначим
Х-+ АААААВВВ; Y-+ CCCDDDDC.
Между X и У имеется некоторый элемент беспорядочнос ти, представляющий шум. Легко видеть, что
Р(х, у), |
Р(А, С) ='3/8, |
Р(А, Д) = 2/8, |
Р(В, Z?; = 2/8, |
Р(В, С) = 1/8, |
Р(х), |
Р(А)=5/&, |
P(A) = 5ß, |
Р(В) =3/8,- |
Р(В) =гЗ/8, |
Р(у). |
Р(С) — Щ, |
P(D)=4j&, |
Р(7>) = 4/8, |
Р[С) =4/8, |
Р(хіу), |
P(AJC) = m , |
P(AjD) = \I2, |
P(B/D) = 1/2, |
P(B/C) = 1/4, |
P(ylx), |
P(C/A)= 3/5, |
P(D/A)~2/5, |
P(DfB) = 2/3, |
Р(С/В) = 1/3. |
По формуле
Am z/) = |
ж *.)') |
|
A * ) P(y) |
||
|
определим соответствующие точные количества инфор мации (бит):
|
ДЛ , С) = |
/(С, |
Л) = |
log-jr- — 0,263-, |
||
« |
% |
|
|
|
|
|
/(Л, |
D ) = I ( D , |
Л) — log — = —0,322; |
||||
|
||||||
|
АД, |
Я) = |
/(А |
Д) = |
log -і- = 0,415; |
|
АД, С) = АА Д) = - 0,585.
Вычислим средние количества информации при соответ ственно известных событиях А, 5, С и D:
/ , = /(Л, С) Р(С/А) + /(Л, D) P(D/A) -
= |
|
log |
4- -g- 1°S 4" = |
0,029 (бит); |
|
/ в = |
/(С, Д) Р(С/В) + /(Д, |
D) P(D/B) = |
|||
= |
|
log- -§—!—|- |
= |
0,082 (бит); |
|
/ с = ДС, Л) Р(А, С) + /(Д, С) Р(В, С) = |
|||||
= |
4 - l o g - f + 4 jog |
= |
0,051 (бит); |
||
Д, = ДЛ, D ) P(A/D) + I{В, |
D) P(BID) = |
||||
= |
4 |
Jog 4 |
+ “5" loff "Г = |
0>047 (бит)- |
|
3 Зак. 2340. |
|
|
|
|
33 |
Наконец,
I(Y, |
Х) = Р(А, |
С) /(А, |
С) + |
Р(А, |
D )/(A |
£>)•+ |
||||||
|
|
+ Р(В, |
D) І(В, |
D) -I- />(£, С) /(5, |
С) |
= |
|
|||||
о |
. |
о |
8 |
log |
4 |
_2 |
log |
+ |
8 |
log |
3 |
|
= Х |
10^ — - |
|
5 |
+1 8 |
4Ѵ"Ь 3 |
|
|
|||||
=0,049 (бит).
§4. Относительная энтропия и количество информации
До сих пор понятие энтропии применялось к дискрет ным объектам произвольного вида, имеющим конечное (счетное) множество состояний. Однако на практике го раздо чаще встречаются непрерывные объекты. Так как понятие непрерывности применимо только к количест вам, то мы будем говорить о непрерывных случайных ве личинах.
Пусть непрерывная случайная величина X задана плотностью распределения вероятности іѵ (х) на конеч ном или бесконечном интервале ее возможных значений.. По определению, іи(х) пропорциональна вероятности'по пасть случайной величине X в достаточно малый интер вал около точки х:
Р(х < |
X < X -f А я) = |
w(x) А X. |
Разбив точками |
х _ и Л'о, Х\, ..., |
.ѵ,*, ... весь интервал |
(— оо, оо) возможных значений X на счетное множество |
||
отрезков одинаковой длины Ая, мы от непрерывной слу
чайной величины X перейдем |
к ее оценке— дискретной |
случайной величине X', которая тем точнее описывает |
|
величину X, чем меньше шаг разбиения А х. Поэтому эн |
|
тропия дискретной случайной величины А7' . |
|
со |
|
Н(Х') = ~ У |
P(*i)logP(Jfi). |
1= — со |
|
Подставив сюда значение P ( x i ) = w ( x i) А х, получим
|
|
|
|
со |
Н( Х) = lim |
Н( Х') = |
lim |
і — |
"V w(xi)Ax log [ш(я7 )Дя:] |
Д .ѵ->0 |
|
Д л ' ^ 0 |
. * " 1 |
|
|
|
|
/ = |
— оо |
= |
Нт |
ОО |
w(X[) logw(Xi) А X ■+ |
|
У |
||||
|
Д.г-.о |
( = ' —'со |
|
|
34 |
|
|
|
|
*