ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 24.10.2024
Просмотров: 58
Скачиваний: 0
|
00 |
+ lim {•—"V ш(л'і) A * log Ах |
|
Д Л'->0 |
l=—со |
|
|
СО |
|
J ш(л:)log-£іу(лг) djc — |
lim logД х - > + со. |
— со |
Дл'-'О |
Таким образом, энтропия непрерывной случайной ве личины всегда бесконечна. Да и интуиция подсказывает, что неопределенность примять случайной' величине из бесчисленного множества заданное значение сколь угод но велика.
Чтобы избавить теорию от бесконечности, имеется единственная возможность — ввести относительную ме ру неопределенности исследуемой непрерывной случай ной величины X по отношению к заданной Х0. В качест ве заданной величины Х0 возьмем непрерывную случай ную величину, равномерно распределенную на интервале с шириной S = Ь — а. Тогда ее плотность вероятности
w (xo) = \/z7 а |
энтропия |
|
|
Н{Х0) = |
\_ |
dx — lim log Д X = |
|
е |
|||
|
Д Л--.О |
||
|
|
= logs — lim log A X.
Д л ' - О
Положив, для простоты записи, е= 1, составим разность
Нс (X ) = Н{Х) — Н{Хй) = — Сw(x) log ay(х) dx,
_loo
которая показывает, насколько неопределенность непре рывной случайной величины X с законом распределения w(x) больше [Я _(Х );>0] или меньше [Я£ (Х )<;0] неоп
ределенности случайной величины, распределенной рав номерно на интервале с шириной е = Г. Поэтому вели чину
Н Z(X) = — j*w(x)\og w(x)dx |
(1.26) |
__ 1 СО
называют о т н о с и т е л ь н о й энтропией.
Задача L Доказать, что относительная энтропия не зависит от того, какие конкретные значения принимает случайная величина X.
35
\
Д о к а з а т е л ь с т в о . Для этого достаточно пока зать, что «сдвиг» распределения вероятностей иа любой интервал а не изменяет относительной энтропии. В самом деле,
00
= X — а) — — j' w(x — а) log w{x — a) dx —
__*00
w(x) log w{x) dx = HZ{X).
Заметим, что аналогичным' свойством обладала энтропия дискретной случайной величины.
Задача 2. Доказать, что для любых плотностей веро ятности w(x, у) и g(x, у) справедливо неравенство
J |
J |
У) Іоg f l * ’' ~ |
dxdy > |
0. |
(1.27) |
|
_со |
_ со |
|
|
|
|
|
Д о к а з а т е л ь с т в о . Воспользуемся неравенством |
||||||
log и(х, у) = |
In а (х, уК |
1 |
Л |
1 |
|
|
ln 2 |
1п |
2 1 — |
и(х. у) ' |
(1-28) |
||
справедливым при любом « > 0 . В самом деле, |
если гг^-1, |
|||||
то 17!> 1/и при 1 |
и |
и |
|
|
|
|
Іп* = і - Т > М d t = X - ( u — \) = (l - 4 -);
|
|
1 |
|
|
1 |
|
|
|
4 |
' |
|
если |
0 <1 и < |
1, то |
— Х/t ^ |
— l /и при |
а |
t < 1 и |
|
||||
ІП гг = _ J |
|
|
и |
= - - і - (1 - Ц) = 1 - - І-. |
|
||||||
|
|
U |
|
|
|
|
|
|
|
|
|
Из |
неравенства |
(1.28) следует |
|
|
|
|
|||||
|
|
со |
со |
|
|
|
|
|
|
|
|
|
|
I |
|
|
y |
) l o |
g f ^ ^ |
y |
|
|
|
|
|
_со |
_СО |
|
|
|
|
|
|
|
|
|
|
|
|
00 |
со |
*/) |
1 - |
g(x, |
у) |
dxdy |
|
|
|
In 2 |
|
J |
[ |
г |
|
|
|||
|
|
_со |
_оо |
|
|
W (х, у) |
|
|
|||
|
|
|
|
|
|
|
|
|
|||
|
1 |
о* |
со |
|
|
|
00 |
00 |
|
|
|
|
Г |
w(x,Г у ) dxdy —. |
J |
|
g(x,j |
у) dxdy |
О, |
||||
|
In 2 |
|
|||||||||
|
_оо _со |
|
|
|
_о* —в* |
|
|
|
|||
|
|
|
|
|
|
|
|
||||
-36
так как из условия нормировки плотностей вероятности
|
J |
J w(x, |
у) dxdy = |
J |
J g(x, |
у) гілчД/ = 1. |
|
_оо |
со |
|
_со |
оо |
|
Знак равенства в. (1.27) |
|
имеет |
место только при |
|||
w(X, |
y ) = g ( x , |
у). |
|
|
|
|
Задача 3. Используя неравенство (1.27) из предыду |
||||||
щей |
задачи, доказать неравенство |
|
||||
Hjx, Y ) < H t(X) + H,(Y).
Д о к а з а т е л ь с т в о . |
Я Е {X) |
-|- Я , (F) = |
|||||||
|
ев |
|
|
|
со |
|
|
|
/ |
|
|
|
|
|
|
|
|
||
= — j w(x) log w(x) dx — I' w(y) log w(y) dy — |
|||||||||
|
_ CO |
|
|
|
» __CO |
|
|
|
|
CO |
CO ■ |
|
|
|
CO |
CO |
\w(x, y)logw(y)dxdy — |
||
= — f |
I w(x, y) log w(x) dydx— |
l‘ |
|||||||
4 . / J |
|
|
|
|
щJ |
I * |
|
|
|
|
— |
CO |
00 |
|
y) log [ш(л') да(у)] dxdy — |
||||
|
)' |
j' w(x, |
|||||||
|
|
__CO |
__00 |
|
|
|
|
|
|
|
= — |
00 |
00 |
|
y) log r |
Z |
|
dxdy |
|
|
J |
J w(x, |
|
|
|||||
|
__SO |
__Э0 |
|
|
u> (y/x) |
|
|
||
|
|
|
|
|
|
w (y) |
|
|
|
= |
и . (X, |
|
00 |
|
CO |
|
|
dxdy |
|
Y) -h |
|
?w(x, y) log |
|||||||
|
|
|
__00 |
_t© |
|
|
|
|
|
Я (X, |
|
00 |
00 |
|
w (x, y) |
dxdy. |
|||
Y) + - J |
J w(x, y) log — jj |
|
|||||||
|
|
|
.00 ___OQ |
|
|
W (x) W (y) |
|
||
Так как последнее слагаемое положительно, то |
|
||||||||
|
|
HJX, |
Y X H J - X ) + |
HJY), |
|
||||
что и требовалось доказать.
Аналогично можно доказать, что, как и для дискрет ной случайной величины, справедливо неравенство
HJXIY) < Н в(Х).
Задача 4. Доказать, что
я £{X, Y) = Я (X) + Я (Y/X) = Я (У) 4- я (X/Y).
37
Д о к а з а т е л ь с т в о . По определению, относитель ная энтропия в совместном наступлении двух случайных величин X и Y
Я (Л\ |
Y) = — |
|
со |
со |
||
|
I' |
(■w(x, y)logffi<A-, y)dxdy = |
||||
*• |
|
|
|
|
«• |
I |
|
|
|
|
_00 |
__ 00 |
|
= |
— |
f |
f w{x, |
у) log [сф) w(y/x) ] dxdy — |
||
|
|
__oO |
__ oo |
|
|
|
|
|
= |
— |
oo |
oo |
|
|
|
J‘ |
|
1' w(x) log w(x)dx — |
||
|
|
|
_oo |
__oo |
||
00 |
00 |
|
y) log w(y/x) dxdy = /V (Ar) + HE( Y/X), |
|||
I' |
J w(x, |
|||||
_CO |
_oo |
|
|
|
|
|
где Hc(YjX)=s— |
00 |
|
00 |
|||
Г |
|
I' w(x] y) log w(y/x) dxdy —относи- |
||||
- |
|
|
|
I* |
|
•* |
|
|
|
_00 |
_00 |
||
тельная условная энтропия случайной величины Y. Ана логично доказывается второе равенство.
Задача 5. Доказать, что всякое усреднение (сглажи вание) распределения вероятностей
g {y ) = J с(х, у) w(x) dx, |
(1.29) |
—00
где с(х, у ) — весовая функция, удовлетворяющая усло
виям
«
с(х, У) > 0 , |
|
Г с(х, |
y)dx = |
j' с(х, |
у) dy — 1, |
(1.30) |
||
|
__00 |
|
|
_00 |
|
|
|
|
приводит к возрастанию энтропии. |
|
|
|
|||||
Д о к а з а т е л ь с т в о . |
Для |
доказательства покажем, |
||||||
что разность |
HÈ(Y) — Н£( Х ) ^ 0: |
|
|
|
||||
Н (К) — Н=(ЛГ) = |
\ w(x) log |
dx — |
|
|||||
|
|
|
|
__ 00 |
|
|
|
|
|
СО |
СО- |
|
|
|
|
|
|
|
.СО |
f с(х, y)w(x)logg(y)dxdy = |
|
|||||
|
_00 |
|
|
|
|
|
|
|
СО |
со |
|
|
, |
(X) |
|
|
|
j' |
]■ с(х, |
y)w(x) log - f ^ - d x d y = |
|
|||||
_00 |
_00 |
|
|
о |
ѴЭ / |
|
|
|
OO |
ао |
|
|
|
|
|||
oo |
со |
c(x, |
у) w(x) log — |
|
dxdy. |
|
||
—00 _oo |
|
|
||||||
|
|
|
c(x, |
V) g(y) |
|
|||
38
На основании неравенства (1.27) последний интеграл
будет |
положительным, |
если |
а(х, |
у ) —с(х, y)w(x) и |
||||||
Ь(х, у) = |
с(х, y)g(y) являются |
плотностями вероятнос |
||||||||
ти. |
Положительность а(х, у) и Ь(х%у) |
следует из того, что |
||||||||
g(il) > о и с(х, у)^> 0. Остается показать, |
что |
|
||||||||
|
|
со |
|
со |
оо |
со |
у) dxdy = |
\ . |
||
|
|
Г\ |
а(х, y ) d x d y = |
(' |
Г b(x, |
|||||
|
|
•/ |
_СО |
*> |
t« |
«; |
|
|
|
|
|
_ОО |
|
_00 |
со |
|
|
|
|||
В самом деле, с учетом |
(1.29) и (1.30) |
|
|
|||||||
|
03 |
|
СО |
|
|
03 |
|
ос |
y)dij |
— 1. |
|
Г |
|
Га(х, y)dxdy = |
Гw(x)dx |
Г с(х, |
|||||
|
•' |
|
J |
|
|
* |
|
t' . |
|
|
|
__ 00 |
_ 0 0 |
|
|
00 |
со |
|
|
||
Аналогично, |
|
|
|
|
|
|||||
f |
j' |
b(x, |
у) dxdy — j |
w(x) dx |
\ c(x, y)dx |
\c{x, y)dy = 1. |
||||
__ 30 |
_ o o |
|
|
|
%oo |
— |
o o |
|
__ oo |
|
Таким |
образом, //.(T J — Iic( X ) ^ 0, |
что |
ii требовалось |
|||||||
доказать.
Задача 6. Определив количество информации, содер жащейся в одной непрерывной случайной величине отно сительно другой, как разность безусловной и условной дифферемциальных энтр опий:
|
1(Х, |
Y) |
= |
Ht ( X ) - H ' ( X / Y ) , |
(•) |
|
доказать |
ее независимость от е. |
относительная |
||||
Д о к а з а т е л ь с т в о . |
Совместная |
|||||
дифференциальная |
энтропия |
|
|
|||
Н {X, |
Y) = — |
Г |
Г |
w (х, у) log e2w(x, у) dxdy = |
|
|
= —«•1' w{y) log г w(y) dy — t/ Г |
«•)' w(x, |
у) log £ w(x/y) dxdy = |
||
— oc |
_00 |
CO |
|
|
|
= h =(X) + я |
(Y/X), |
||
так как для w(x, у) = const: |
|
|
|
|
const = |
j - j l -----= |
Л> |
(г = |
ь — a). |
S fd x d y
a a
Подставив
00
H' (X) = — j' w(x) log w(x) d x — log e
39