Файл: Агекян Т.А. Теория вероятностей для астрономов и физиков учеб. пособие.pdf

Скачать файл
Заказать решение

ВУЗ: Не указан

Категория: Не указан

Дисциплина: Не указана

Добавлен: 25.06.2024

Просмотров: 181

Скачиваний: 3

ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.

§ 32] МЕРА НЕОПРЕДЕЛЕННОСТИ СИСТЕМЫ СОБЫТИЙ 117

Согласно правилу нахождения условного экстремума

составим функцию

Лагранжа,

П

 

 

 

 

П

 

 

 

 

 

L = -

2

Р (4 ) log Р (4 )

+ X 2

Р (4),

(2.142)

 

 

t=i

 

 

i=i

 

 

где

X — неопределенный

коэффициент,

и приравняем

нулю все ее частные производные

по Р (Лг).

 

-

log Р{ A t) -

1 -f X = 0,

i =

l , 2 ,

. . ., п.

(2.143)

 

Равенства (2.143) показывают,

что значения

Р (Л*)

не зависят от £, т. е. все Р (Лг) равны между собой и, следовательно,

P ( 4 ) = -jL. £ = 1,2, ... , и.

(2.144)

Таким образом, при фиксированном п наибольшую меру неопределенности имеет система событий, в которой вероятности всех событий одинаковы.

Поставляя (2.144) в (2.139), находим, что мера неопре­ деленности полной системы событий в этом случае равна

Н {.А) = log п.

(2.145)

Чем больше число событий в системе, тем больше мера неопределенности этой системы при ее максимальном зна­ чении, когда все события равновероятны.

Выберем единицу меры неопределенности полной си­ стемы событий. Наименьшее число событий в полной систе­ ме событий — 2. Целесообразно за единицу меры неопре­ деленности принять максимальную меру неопределен­ ности, которую может иметь полная система событий, состоящая из двух событий. Равенство (2.145) показывает, что когда основанием логарифмов в выражении (2.139) принято число 2, Н (А) в этом случае равно 1. Таким об­ разом, хотя в принципе основанием логарифмов в выраже­ нии (2.139) можно взять любое число, большее 1, целе­ сообразно в связи с выбором единицы меры неопределен­

ности принять его равным 2.

 

З а д а ч а

59. В первой урне находится 2 белых, 3 чер­

ных и 4 красных шара,

а во второй

урне — 8 белых,

2 черных, 1

красный и 1

зеленый шар.

Событие состоит

в извлечении

шара данного цвета из урны. Определить,

118

СЛУЧАЙНАЯ ВЕЛИЧИНА

[ГЛ. 2

какая из полных систем событий имеет большую меру не­ определенности .

Р е ш е н и е . Для полной системы событий при извле­ чении шаров из первой урны находим

н {.л)= - 4-log4 - 4-1о?4-- 4-log4 - 1’5303-

Для второй полной системы событий

Н (S3) = — log

l o g — 2 • ~ log

Таким образом, хотя в первой системе число событий меньше, мера неопределенности ее оказалась больше.

Выражение (2.139) для меры неопределенности пол­ ной системы событий по структуре совпадает с выраже­ нием для энтропии физических систем. Если объем физи­ ческой системы мысленно разбит на элементарные объемы и вероятность состояния, в котором находится i-й элемен­ тарный объем, равна р (A t), то выражение (2.139) опре­ деляет энтропию физической системы. Энтропия характе­ ризует меру хаоса, меру неупорядоченности физической системы. В этом понятии можно усмотреть определенную аналогию с мерой неопределенности полной системы со­ бытий. Поэтому часто наряду с выражаением «мера нео­ определенности» употребляю выражение «энтропия пол­ ной системы событий».

§ 33. Количество информации

Пусть Л и 33 — две полные системы событий

И

• • •»

^-71

 

В т.

^1>

• • •»

Их меры неопределенности соответственно равны

 

П

 

я м ) = -

2

(4 ) log р и о ,

 

i~ l

 

 

m

 

н т = -

2

р (р #)1о8 р (ро -

§ яз! КОЛИЧЕСТВО ИНФОРМАЦИЙ И 9

Рассмотрим полную систему событий, составленную из

попарных произведений событий

систем Л и 33

 

 

 

 

A XB U

AiB2,

. . .,

А пВ т.

(2.146)

Ее энтропия равна

 

771

П

 

 

 

 

 

 

 

 

 

 

 

 

Н (ЛЗЗ) =

- 2

2

^

(AiBi) 1о? Р

(2.147)

 

 

 

3=1

i = l

 

 

 

 

Используя

теорему

умножения вероятностей

и

оче-

 

 

 

m

 

 

 

 

 

 

видное равенство

2 Р (Я,- I ^i) =

1 > напишем

 

 

 

та

п

3=1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Н (ЛЗВ) = -

2

2

^ (4 ) Р (Р) I A i) bg IP (Л ) Р (В) |А д\

=

J^l i=-1

 

 

та

 

 

 

 

п

 

 

 

 

 

 

 

= - 2 m ) i o g P H i ) 2 р (5з 1 4 ) -

i^i

та

j*»i

 

п

 

 

- 2 р ( Л ) 2 я

1 4 ) b g р № | Л ) -

 

г= 1

з = 1

п

 

 

 

 

=

н (А) + 2 Р (4 ) Н (331А,).

(2.148)

 

 

i=i

 

Н (33 | A t) будем называть

условной энтропией системы

33 при условии А{.

 

 

 

Положим

П

 

 

 

 

 

H ( 3 3 \ A ) ^ '2 s P ( A i)H (3 3 \d l),

(2.149)

 

1= 1

 

 

и назовем эту величину условной энтропией системы В от­ носительно системы А. Равенство (2.149) показывает, что Н (33 \Л) имеет смысл математического ожидания условной энтропии системы 33 при условии осуществле­ ния событий из системы Л.

Ив (2.148) вытекает, что

Я (ЛЗЗ) = Я (Л) + Н (33 \ Л ),

(2.150)

и аналогично можно получить

Я (ЛЗЗ) = Я (33) + Я (Л | 33).

(2.151)

120

СЛУЧАЙНАЯ ВЕЛИЧИНА

1ГЛ. 2

Пусть полные системы событий Л и 33 заданы. Опре­ делим условие для полной системы событий ЛОВ, при ко­ тором Н {ЛЩ максимально. Для этого, имея в виду спра­ ведливость равенств

 

 

771

 

 

п

 

 

 

 

 

 

2 Р (А{В,.) =

Р (А),

2

Р (ABj) =

Р (В}),

 

 

3=1

 

 

i=l

 

 

 

напишем (2.147) в форме

 

 

 

 

Н (,Л33) =

 

 

 

 

 

 

 

 

т

п

 

Р Ы В )

 

 

 

=

- 2

2

lQg г а ^ р

вл

+ Н М) +

н

(®)- (2.152)

 

3 = 1 г = 1

 

'

* ' '

? '

 

 

 

В

выражении

(2.152)

переменными являются

величины

 

(Лг5Д, для

которых должно удовлетворяться условие

 

 

 

771

П

 

 

 

 

 

 

 

 

2

2

Р (4^з)

= 1.

 

(2.153)

 

 

 

3 = 1

i =

l

 

 

 

 

Число этих переменных равно пт. Для того чтобы найти максимум Н (ЛЗВ), нужно составить функцию Лагранжа

£ = - 2 2

р (AiBj)

х 2

2 р ( Ш -

р (АВ}) logР(А.)Р(В^

j=i i=i

 

3 = 1

г= 1

(2.154)

и приравнять нулю все ее частные производные по Р(Аф}), имея при этом в виду, что Р (А{) к Р (В }) фиксированы. Находим, что

- 1 + ^ = 0 . (2.155)

i = 1, 2,..., п, у = 1,2, ..., т .

Уравнений в (2.155) будет всего пт. Они показывают, что величина фигурирующей в них под знаком логарифма дроби не зависит от значков i и /. Следовательно, макси­ мум Н (ЛЗВ) достигается, когда выполняется условие

P { A tBj) = cP( Ai) P { B }).

(2.156)

Смотрите также файлы