Файл: Агекян Т.А. Теория вероятностей для астрономов и физиков учеб. пособие.pdf
ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 25.06.2024
Просмотров: 182
Скачиваний: 3
§ 3 3 ] |
КОЛИЧЕСТВО ИНФОРМАЦИИ |
121 |
Просуммировав (2.156) по всем i и /, найдем, что с = 1. Итак,
P ( A iBJ) = PI{Ai) P ( B i), |
(2.157) |
т. е. Я (ЛОВ) максимально, когда системы А и 53 взаимно независимы. В этом случае, как показывает (2.152),
Н(АЗЗ) = Я {.А) + Я (53) |
(2.158) |
и, следовательно, согласно (2.150)
Я (53 | Л) = Я (53). |
(2.159) |
В общем же случае, когда не известно, являются ли си стемы А и 53 взаимно независимыми, справедливо нера венство
Я (S3 M X Я (53). |
(2.160) |
Если полные системы событий А и 53 однозначно определяют друг друга, т. е. если условная вероятность события при условии A t равна 1, а все Р (Bj | A t) = 0 при / ф I, то
т
Я (531А ) = - 2 Р (В; I А;) log Р (Я; I 4 ) = 0. (2.161)
i |
3 = 1 |
|
|
|
На основании (2.149), в этом случае и |
|
|||
и, следовательно, |
Я (53 \ А) |
= 0, |
(2.162) |
|
Я (.ЛЯ) = |
Я (.Л). |
(2.163) |
||
|
||||
Таким образом, поскольку Я (53 | А) отрицательным быть не может, в общем случае
0 < Я (53 M X Я|(53). |
(2.164) |
Информацией называется изменение меры неопреде ленности (энтропии) системы событий. Если, например, стало известно, что произошло событие A t, то количество информации для системы 53 равно
/ (53, А,) = Я (53) - Я (53 | A t). |
(2.165) |
Как показывает (2.165), информация считается поло жительной, если мера неопределенности системы} умень шилась.
122 |
СЛУЧАЙНАЯ ВЕЛИЧИНА |
[ГЛ. |
2 |
В общем случае, когда становится известным, что |
|||
произошло |
событие Аи энтропия системы 53 |
может |
и |
уменьшиться, и увеличиться, следовательно, количество
информации при |
этом |
может быть и положительным, |
||
и отрицательным. |
|
|
|
|
Математическое ожидание количества информации для |
||||
системы 53, когда становится известным, |
что произошло |
|||
какое-то событие системы Л, |
равно |
|
||
|
|
П |
|
|
I (33, |
Л) = |
2 |
р (4) I (®, А)- |
(2.166) |
|
|
г = 1 |
|
|
I (53, Л) называют также средним количеством информа ции, содержащимся в системе Л, о системе 53. Докажем, что всегда
I |
(53, Л) |
> |
0. |
(2.167) |
Подставив (2.165) в (2.166) |
и |
учитывая (2.149), нахо |
||
дим, что |
Я (33) |
— Я (53 | Л). |
(2.168) |
|
I (S3, Л) = |
||||
Сложив (2.150) и (2.168), напишем выражение для сред него количество информации в виде
I (53, Л) — Н (Л) + Я (53) - Я (Л53). (2.169)
Как было показано выше, максимальное значение Я (ЛЗЗ) равно Я (Л) + Я(53). Таким образом, утверждение (2.167) доказано, среднее количество информации, со держащейся в одной полной системе событий о другой полной системе событий, всегда неотрицательно. Если системы событий взаимно независимы, количество ин формации, содержащейся в одной из них о другой, равно нулю. Если же системы зависимы, то это количество ин формации положительно. Симметричность выражения (2.169) относительно Л и 33 показывает, что среднее ко личество информации, содержащейся в Л о 53, равно сред нему количеству информации, содержащейся в 53 о Л.
З а д а ч а 60. Среди слабых голубых звездообразных объектов, наблюдаемых в высоких галактических широ тах, 47% являются звездами — белыми карликами, 23% — звездами — субкарликами и 30% — звездопо добными галактиками. Для выяснения природы объектов
§ 33] КОЛИЧЕСТВО ИНФОРМАЦИИ 123
измеряют их собственное движение или измеряют ультра фиолетовый избыток излучения в спектре. Если объект — белый карлик, то после измерения его собственного дви жения он с вероятностью 0,68 отождествляется с белым карликом, с вероятностью 0,24 — с субкарликом и с ве роятностью 0,08 — с галактикой. Ошибочные отождест вления могут происходить из-за ошибок измерений и на личия дисперсии характеристик у объектов данного типа. Если объект — субкарлик, то после измерения собствен ного движения соответствующие вероятности отождестввлений равны 0,3, 0,64, 0,06, а если объект — галакти ка,— 0,13, 0,11, 0,86.
После измерения избытка ультрафиолетового излу чения, если объект — белый карлик, соответствующие вероятности отождествлений равны 0,6, 0,12, 0,28, если объект — субкарлик,— 0,15, 0,74, 0,11, если галакти ка, - 0,13, 0,25, 0,62.
Определить, какое измерение — собственного движе ния или ультрафиолетового избытка — содержит в сред нем больше информации о природе слабых голубых объектов.
Р е ш е н и е . Вычисления удобно производить при помощи формулы (2.169). Обозначим А и А 2, А 3 события, состоящие в том, что до выполнения измерений слабый голубой объект есть соответственно белый карлик, суб карлик, звездоподобная галактика, а В и В2, В 3 — соот ветствующие гипотезы после выполнения измерения соб ственного движения. Тогда Р (Ах) = 0,47, Р (Л2) = 0,23,
Р Ц 3) = |
0,30. |
Согласно |
условиям |
задачи Р (Вг \ А = |
||
= 0,68, |
Р (В2 | А г) = 0,24, |
Р (В3 | А,) |
= 0,08. |
|||
Р (В 1 | А 2) = 0,30 и т. д. |
Поэтому можно вычислить все |
|||||
Р (AiBj) |
= Р (A i) Р (Bj | А г). Запишем |
их в |
таблице: |
|||
|
Р(Л{В}) |
А, |
|
As |
P(Bj) |
|
|
Вх |
0 , 3 2 |
0 , 0 7 |
0 , 0 4 |
0 , 4 3 |
|
|
Въ |
0 , 1 1 |
0 , 1 5 |
0 , 0 3 |
0 , 2 9 |
|
|
Вг |
0 , 0 4 |
0 , 0 1 |
0 , 2 3 |
0 , 2 8 |
|
Р И О |
0 , 4 7 |
0 , 2 3 |
0 , 3 0 |
1 , 0 0 |
124 |
СЛУЧАЙНАЯ ВЕЛИЧИНА |
1ГЛ. 2 |
Сумма вероятностей в строке дает соответствующее Р (Bj), а сумма в столбце — соответствующее Р (А$.
По формуле (2.139) находим
Я (А) == 1,521, Я (33) = 1,556, Я (АЗЗ) = 2,632.
Следовательно, согласно (2.169), среднее количество ин формации, даваемое измерением собственного движения голубого объекта, равно I (А, В) = 0,445.
Если измеряются не собственные движения, а ультра
фиолетовые избытки объектов, |
то |
таблица значений |
||||
Р (At Bj) имеет |
вид: |
|
|
|
|
|
Р ( А 4В . ) |
А, |
А2 |
|
|
|
Р(Вj) |
Вх |
0 , 2 8 |
0 , 0 3 |
|
0 , 0 4 |
0 , 3 5 |
|
Ва |
0 , 0 6 |
0 , 1 7 |
|
0 , 0 8 |
0 , 3 1 |
|
В3 |
0 , 1 3 |
0 , 0 3 |
|
0 , 1 8 |
0 , 3 4 |
|
Р(Аг) |
0 , 4 7 |
0 , 2 3 |
|
0 , 3 0 |
1 , 0 0 |
|
Соответственно |
|
|
|
|
|
|
Я (А) = 1,521, |
|
Я (33) |
= |
1,583, |
||
Я (АЗЗ) |
= 2,802 |
и |
I |
(А, |
33) = 0,302. |
|
Таким образом, измерение собственного движения дает в среднем больше информации для отождествления слабо го голубого объекта, чем измерение ультрафиолетового избытка.
§ 34. Мера неопределенности случайной величины
Понятие меры неопределенности для дискретной слу чайной величины вводится обычным образом, так как совокупность значений, которые может принимать слу чайная величина, является полной системой событий. Таким образом, если случайная величина X принимает значения
34] МЕР А. НЕОПРЕДЕЛЕННОСТИ СЛУЧАЙНОЙ ВЕЛИЧИНЫ 125
с вероятностями, соответственно |
|
||
Pit P%t |
• |
• •» Put |
|
то ее мера неопределенности равна |
|
||
|
|
П |
|
Я ( 1 ) = |
- |
2 а log-а . |
(2.170) |
|
|
г=1 |
|
Чтобы ввести понятие меры неопределенности для не прерывной величины X, принимающей значения в про межутке [а, Ъ], разобьем промежуток [а, Ъ] на п частей, определим вероятность попадания p t случайной величи ны X в каждую из этих частей, напишем выражение (2.170)
для этих вероятностей и будем стремить п к оо так, |
чтобы |
длина наибольшего промежутка А 0. Тогда |
|
П |
|
Н(Х) = - lim 2 ft log А. |
(2.171) |
Уг*°° i=i |
|
X—ю |
|
Так как вероятность попадания случайной величины в бесконечно малый промежуток (х, х + dx) равна / (х) dx, то, казалось бы, при определении Н (X) следует исходить из чисто формального соотношения
ъ
Н (X) = — ^f(x)dx log [/ (х) dx] —
а |
Ь |
Ь |
= — \ f i x) log [/ (я)] d x — ^f (х) log (dx) dx. |
(2.172) |
|
а |
а |
|
Первый член в (2.172) в общем случае ограниченная ве личина. Второй же член, поскольку dx бесконечно мало, бесконечно большая положительная величина, поэтому и Н (X) — бесконечно большая положительная величи на. Этот результат понятен, так как мы задались целью предсказать положение случайной величины внутри бес конечно малого промежутка. Очевидно, что мера неопре деленности для такого предсказания должна быть неогра ниченно велика. Точно так же мера неопределенности будет бесконечно велика, если по выражению (2.170)