ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 24.10.2024
Просмотров: 60
Скачиваний: 0
и
Нг (X/Y) = |
— |
Гw(x, ГУ) log w(x/y) dxdy — log s |
|||
|
|
_CO _oo , |
|
||
в (*), получим |
|
|
|
||
1(X , |
Y) — — . f ^(л:) log w(x) dx — log в -f- |
||||
|
|
|
|
• * |
|
|
|
|
_co |
|
|
+ |
j |
j w(x, |
y) log w (x/y) dxdy + log e=• |
||
__00 |
__0 0 |
|
|
|
|
|
|
1' |
w(x, |
y) loO" W (x, y) |
dxdy, |
|
|
___CO |
|
w(x) w(y) |
|
что и требовалось доказать.
Результат этой задачи показывает, что в отличие от относительной энтропии количество информации, содер жащееся в одной случайной величине X о другой У, но
сит абсолютный характер. |
|
|
|
|
Задача 7. Определить |
количество |
информации |
||
І(Х, Y) для системы (X, У) гауссовских случайных |
||||
величин |
|
|
|
|
w(x, |
1 |
/ *2 |
2Т ху , Л у |
|
2(1 - |
г) 1 в2 |
Gy /J 1 |
||
|
||||
_ у> — коэффициент корреляции случай
У <х2> < у 2>
пых величии X и У.
От в е т : 1{Х, Y)' — — log \/і — у .
§ 5. Определение плотности вероятности, доставляющей максимум относительной энтропии
Найдем вид функции w(x), обеспечивающей макси мум функционалу
Н (X) — — I w (х) logw(x)dx
__со
при заданной дисперсии случайной величины X, т. е.
а2г = j x2w(x) dx = const, |
(1.31) |
40
и очевидном |
условии |
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
оа |
|
|
|
|
|
|
|
|
|
|
|
|
|
к\) w(x) dx |
= |
1. |
|
|
|
(1.32) |
|
|
|
|
|
|
|
_оо |
|
|
|
|
|
|
|
Согласно |
изопериметрическоп |
задаче |
вариационного |
|||||||||
исчисле11ия*, составим фуикцию |
|
|
|
|
|||||||||
|
Ф [і<у(,ѵ)] = |
— w(x) logco(x) + |
Хх x 2w(x) -j- Uw(x), |
|
|||||||||
где |
X* |
и Х2— постоянные |
неопределенные |
множители |
|||||||||
Лагранжа. |
Искомая функция определяется из уравнения |
||||||||||||
Эйлера: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
д Ф [^(л:)] |
~ |
— logöy(x) |
|
ln 2 |
,2 |
|
|
|
||||
|
діѵ(х) |
|
|
Хх X |
|
|
|
||||||
откуда |
|
w{x) = |
exp (XJ X2) exp (X' — 1), |
|
|
(1.33) |
|||||||
|
|
|
|
|
|||||||||
где |
X' = X/ ln 2 |
|
. |
(/ = 1, 2) . |
|
|
|
|
|
|
|||
|
Найденная |
плотность вероятности 'доставляет |
энт |
||||||||||
ропии' |
Нг |
(X) |
|
|
максимум, |
|
так |
как |
д2Ф/д2ьи |
(х) = |
|||
= — ІДфс) 1п2 < |
0. |
|
|
|
|
|
|
||||||
|
Подставив (1.33) в (1.31) и (1.32), определим значе |
||||||||||||
ния иостояниыX |
|
множ ителей: |
|
|
|
|
|||||||
|
|
exp (X'— 1) |
|
|
|
|
|
|
|||||
И |
окончательно |
|
|
|
|
|
|
|
|
||||
|
|
|
|
w(x) = |
exp |
|
|
(1.33а) |
|||||
|
Таким образом, если,задана дисперсия случайной ве |
||||||||||||
личины X, то максимальной неопределенностью обладает |
|||||||||||||
гауссовское |
|
пли |
|
нормальное |
распределение |
вероятнос |
|||||||
тей. Другими словами, при заданном среднеквадратиче ском разбросе та из случайных величин «ведет себя наи
более хаотически», |
которая распределена по •закону |
|
(1.33а). |
• |
• |
Уместно здесь же сформулировать еще одну важную задачу, которая является частным случаем решенной. Предположим, что' имеется множество случайных вели чин со всевозможными законами распределения вероят
* См. Л. Э. Э л ь с г о л ь ц . Дифференциальные уравнения и ва риационное исчисление. М., 1969.
41
ностей и с различными среднеквадратическими разбро сами относительно среднего, равного нулю. Какое рас пределение вероятностей обладает в этом случае наибольшей неопределенностью (наименьшей предска зуемостью) ?.
В точной постановке задача гласит: найти такую функцию w(x), которая доставляет максимум энтропии Н г (Х) при одном дополнительном условии (1.32), огра ничивающем возможный выбор функций w(x).
В этом случае |
искомой плотностью вероятности бу |
||
дет функция (1.33), если в ней |
положить |
= 0, т. е. |
|
w(x) = |
exp (X' — 1) = |
const. |
(1-34) |
Итак, если дисперсия случайной величины X не ограниче на, ее наблюдаемые значения обладают наибольшей ин формативностью, когда она им'еет равномерное распреде ление вероятностей (1.34).
Задача 1. Определить энтропию случайной величины, распределенной по экспоненциальному закону:
(с > 0).
Р е ш е н и е. Нв (X) = — j' |
с е сх log |
се сх d х = * |
6 |
|
|
сю |
00 |
сх dx = |
= — с log с [ е~~сх dx + |
с2log е [ хе |
|
• |
• |
|
о |
о |
|
= — löge + loge = log
Задача 2. Показать, что при заданной энтропии гаус*
совское распределение вероятностей w(x) = —J=—-expf-—А-Л
у 2 г .п х |
\ 2а vJ |
имеет наименьшую из всех одномерных распределений дисперсию.
Р е ш е н и е . Чтобы найти функцию w(x), доставля ющую мимммум дисперсии
о2 — Г x 2w{x) dx
t/
_эо
при заданной энтропии
со |
(1.35) |
Я . = — Сw(x) ^ ш ( х ) dx |
42
/
и |
втором дополнительном |
условии |
|
|
|
||||
|
|
|
|
00 |
|
|
|
|
(1.36) |
|
|
|
|
і* w (х) dx — 1, |
|
|
|||
|
|
|
|
__со |
|
|
|
|
|
необходимо |
составить функцию |
|
|
|
|||||
|
Ф [сУ(х), |
А'] = x2w(x) — )4 w(x) log ТУ(а) + |
Х2ш(а) |
||||||
и |
из |
уравнения |
Эйлера |
|
|
|
|
|
|
|
|
-? f . = |
А2 — X, log ш(а ) — |
+ |
Х2 = |
О |
|||
|
|
дгѵ(х) |
і |
ь |
V / |
ln 2 |
* |
|
|
найти |
искомую |
функцию |
|
|
|
|
|||
|
|
w(X) = exp (Х2 ln 2 — X,) exp / Л ^ |
2 |
(1.37) |
|||||
|
Подставив найденную плотность вероятности (1.37) в |
||||||||
(1.35) |
и (1.36), |
найдем: |
|
|
|
|
|
||
|
|
In 2 = |
— тс ехр (2Н In 2 — 1) |
|
(1.38) |
||||
и |
|
exp (Х2 In 2 — Xj). = |
\/ехр (2Нвln 2 — 1). |
(1.39) |
|||||
|
|
||||||||
Наконец, подставим (й.38) и (1.39) в (1.37):
&у(а) = \/ exp (2 //с In 2 — 1) ехр [— тс ехр (2Н. In 2 — 1) а2] =
7 1 Т 7 Г е х р (_ 2«®
где
X • Y 2тс ехр (2Н In 2—1)
Задача 3. Среди всех законов распределения непре рывной случайной величины X с плотностью вероятности, равной нулю для л'<0, найти при заданном математи ческом ожидании тх закон распределения с максималь ной энтропией.
От ве т : ш(л:) = ^ -е х р ^ — |
х ^ О . |
Задача 4. Вычислить относительную энтропию случай ной величины X, распределенной по гауссовскому за кону.
43