Файл: Агекян Т.А. Теория вероятностей для астрономов и физиков учеб. пособие.pdf

Скачать файл
Заказать решение

ВУЗ: Не указан

Категория: Не указан

Дисциплина: Не указана

Добавлен: 25.06.2024

Просмотров: 179

Скачиваний: 3

ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.

126

СЛУЧАЙНАЯ ВЕЛИЧИНА

НЛ. 2

вычислять ее для дискретной величины, имеющей беско­ нечно большое число значений, и при п -> оо считать,

например, р%= .

В выражении (2.172) только первый член зависит от плотности вероятности случайной величины (второй ра­ вен оо!). Поэтому естественно, не определяя абсолютной величины меры неопределенности, сравнивать меры не­ определенности различных распределений, путем сравне­ ния первых членов в выражении (2.172). Для этого введем понятие дифференциальной меры неопределенности (диф­ ференциальной энтропии)

оо

Ч Х ) = — \

f{x)\og\j(x))cLx.

(2.173)

— оо

 

 

Пусть

X -f Z,

(2.174)

Y =

тогда I — Y — X. Так как при любой f (х)

оо

оо

— ^ f(x) log I/ (z)] dx = — ^ / (x -f l) log [/ {x + /)] d (x + Z),

— oo

— oo

(2.175)

то это показывает, что дифференциальная энтропия не зависит от математического ожидания случайной ве­ личины.

Покажем, что если случайная величина задана в про­ межутке [а, 6], то наибольшей дифференциальной энтро­ пией обладает равнораспределенная случайная величина. Так как всегда должно удовлетворяться условие

ь

 

\j{x)dx = 1,

(2.176)

а

 

то для нахождения максимума энтропии нужно составить функцию Лагранжа

ь

ь

 

L = ^/ log f dx — X ^ / dx

(2.177)

а

а

§ 341 МЕРА НЕОПРЕДЕЛЕННОСТИ СЛУЧАЙНОЙ ВЕЛИЧИНЫ 127

и, рассматривая вариацию плотности вероятностей, при­ равнять нулю вариацию L. Находим

ь

 

^ (log / + log е — %)6fdx = 0.

(2.178)

а

 

Равенство (2.178) должно выполняться при произвольной вариации 6/. Из этого следует, что

log / = Я — log е,

т. е. f — const в промежутке [а, Ь).

Таким образом, утверждение доказано. Оно полностью соответствует введенному понятию меры неопределен­

ности, так как при равнораспределении в

промежутке

1а, Ь] предсказание, в какую из частей

промежутка по­

падает случайная величина, наиболее

затруднительно.

Согласно равенству (2.176), раз / = const,

то

1 = ь&-« •

 

<2-179>

Это дает и неопределенный множитель Я. Значение диф­ ференциальной энтропии для равнораспределенной в про­ межутке [а, Ъ] случайной величины равно

 

ь

Н х ) = —

jZTS dx = log (b - а)щ

 

a

Определим, при каком распределении случайной ве­ личины в промежутке [—оо, оо] дифференциальная энт­ ропия максимальна при фиксированной дисперсии слу­ чайной величины

Так как, кроме условия нормировки (2.176), теперь вве­ дено условие фиксированной дисперсии,

 

оо

 

 

б2 =

§ (х — X f j (х) dx,

(2.180)

 

— ОО

 

 

то функция Лагранжа имеет вид

 

 

оо

оо

со

 

1log / dx — Я1 § fdx 4

Я2 ^

(.r — .TYfd.r.

-— Ск>

—- (V

— op

128

СЛУЧАЙНАЯ ВЕЛИЧИНА

[ГЛ.

Рассматривая вариацию / и учитывая, что энтропия не зависит от X, приравняем вариацию L нулю:

оо

^ [log / + loge — %1-\r \ 2(х — X)2] bfdx = 0. (2.181)

—ОО

Так как равенство (2.181) должно быть справедливо при любой вариации б/, то из него следует, что

log / = — log е -f Ai — Я2 (х — Х)й.

(2.182)

Это показывает, что при фиксированной дисперсии макси­ мальную энтропию имеет нормальная функция. Ее можно записать в каноническом виде''

Пг) = ~ 1 k r e~ “ ■ '

<2Л83)

где а — заданная дисперсия, а X может быть любым. Условия нормировки и (2.180) определяют также и Л2. Значение дифференциальной энтропии нормальной фун­ кции находится путем подстановки (2.183) в (2.173):

h’(X) = log'(e/2ite).

(2.184)

Глава 3

СЛУЧАЙНЫЙ в е к т о р

§ 35. Понятие случайного вектора. Функция распределения случайного вектора

Пусть

 

 

 

 

 

 

Хи

Х 2.

•

•

•>

Xk

(3.1)

— случайные величины;

можно

рассмотреть

^-мерный

вектор

 

 

 

 

 

 

X = (Хи Х 2,

•

•

•,

Xft).

(3.2)

Мы назовем его случайным вектором. Говорят также, что X есть многомерная случайная величина. Ей можно со­ поставить точку (конец случайного вектора) в /с-мерном пространстве с координатами (3.1).

Случайный вектор считается заданным, если для лю­

бых значений xlt х2, . . .,

x k известна функция

 

F (хи х2,. . ., x h) —

 

 

= Р {X1 < хи Х 2

< х 2, . . ., X h < x h),

(3.3)

называемая интегральной функцией распределения слу­ чайного вектора (3.2).

F (xi, х2, . . . . x k) есть, очевидно, неубывающая функ­

ция по каждому

аргументу. Она обладает свойствами

 

lim

F {хъ хг, . .., хк) = 0

(1 < i < к),

(3.4)

 

Ч -*-~

 

 

 

 

 

 

 

 

какими

бы ни

были

значения остальных аргументов, и

 

F (-Ь

 

+

00..........+

оо) =

1.

(3.5)

Если

существует

такая

функция /

(хи х2, . .

., x k)f

что для

любых

значений

хъ х2..........x k выполняется

равенство

 

Xt

хг

х к

 

 

 

 

 

 

S21• • •» Ю

 

F {%1, х2, . . ., £fc) =

^

5

• • •

S / (Sii

 

 

 

 

— ОО — ОО

— ОО

 

 

(3.6)

 

 

 

 

 

 

 

 

 

5 T. А, Агекян

130 С Л У Ч А Й Н Ы Й В Е К Т О Р { Г Л . 3

то / (хи х2, . . , x h) называется дифференциальным зако­ ном распределения или плотностью вероятности случай­ ного вектора (3.2).

На основании (3.5) заключаем, что

с» оо оо

5

5 ...

5 / (gi,&2,...,Б * ) <&. . . <& = 1,

(3.7)

— оо — оо

— оо

 

т. е. плотность вероятности нормирована.

. , x k

Из равенства (3.6) для всех значений хи х2, ..

следует,

что вероятность попадания точки (Хи Х 2, . . .

. . ., Xк) в борелевское множество *) G fe-мерного прост­ ранства равна

$••• S

У < & ...« * .

(3.8)

G

 

 

Каково бы ни было G, вероятность (3.8) неотрицательна. Из этого следует, что / (хи х2, ■. ., Х&) есть неотрица­ тельная функция. Если G является fc-мерным параллеле­ пипедом с ребрами

1*1,

 

+ d®il, \х2, х2

+ dx2],

. .

lxh,

x k +

dxh]

(3.9)

и

подынтегральная

функция непрерывна

в

точке

(ж1(

х2,

. . .,

х ^ , то интеграл

(3.8),

как

известно,

с точ­

ностью

до

бесконечно малых

высших

порядков

равен

/ (хи х2, . .

Xh) dxi

dx2 . . .

dxh■

Следовательно,

пос­

леднее выражение равно вероятности того, что случайные

величины (3.1) примут значения,

заключенные

соответ­

ственно, в промежутках (3.9):

 

 

 

 

/ (xlt . . , xh) dxj. . . . dxk = Р {xi <

Х г < %! +

dxlt . . .

 

. . ., x h <

X k <

x h + dxk).

(3.10)

В некоторых случаях удобно использовать обозна­

чение

. . ., x h) dxi ..

. dxh = / (х) dx.

(3.11)

/ {хи

Если для каких-то хи . . .,

 

событие, состоящее в

том, что случайные величины

 

 

 

 

______________

Хг.......... X,

(* <

к)

(3.12)

*) То есть множество, получаемое из параллелепипедов с по­ мощью счетного числа операций объединения и дополнения.

Смотрите также файлы