Файл: Ливенцев В.В. Кибернетика горных предприятий (основные положения) учеб. пособие.pdf

участок находится в

состоянии

D x (план выполнен). В самом деле, коли­

чество информации, заключенное в сообщении

о состоянии

D 3 , составит

Іфі) = — iog,/>2 = — l o g , 0,15.

Пользуясь табл. 1 приложения, находим

/(£>,) =

— (log2 15 —logalOO) = logslOO—log215 =

=-6,644—3,907=2,737

бита.

Количество информации,

заключенное в

сообщении о

состоянии Dlt

составит

участку не

выполнен — состояние

D 2 ) реакция руководителя производства

несомненно

сильнее,

чем

при сообщении

о более

вероятном

событии —

состоянии

D j .

До сих пор мы рассматривали измерение энтропии

и ин­

формации применительно к одной системе.

Рассмотрим две дискретные независимые друг

от

друга

системы

5

и

Т.

Система 5

имеет

п состояний: S\,

S2,

Sn

с вероятностями

ри

р2 , —,рп-

Система

Т

имеет m

значений:

Tu Т2,

Тт

с вероятностями

qu

Яъ - ,

Чт-

система

S

будет

Совместная

вероятность

того,

что

находиться

в

состоянии

а

система Т—в состоянии Гу,

определяется по формуле

Rij

=

Pfij-

(П -29)

Подставив в эту формулу выражение для Ry,

получим

H(S,

Т)=-

2

2

(/W/)log(jtWy) =

i=l

j=1

n

m

n

m

= — 2

2

PUjlogPt—

2

S

Pt4)^ogqj

=

i

= l

У=1

i--=l y = l

=

(— />i<7i l o g A - P i ^ l o g / ? ! — .

. .

- A ^ l o g / ? , —

- ^ i l 0 g /

? 2 - ^ 2 l 0 g / »

2 —

•

•

• —AWmlogft —

—

• •

• - A , 7 m

log/>,,)+( - Pift

log

ft-prfi

log ft —

- •

•

• — / W i l o g f t — A f t l o g f t —

Asftlogft—

- •

•

• - P « ^ 2 log ^

-

•

• • -

P A

log qm)

=

=

[

—

+

•

• +9m)Pl l O g ^ i -

•

•

•

+

•

-

•

•

••+?»)AilogA,] + [— (A

+ ^

2 +

• •

• +Pn)

ft log ft

-

— . . . — ( Л + Л +

• • + / ? „ ) ? m l o g ? J .

В

связи

с

тем,

что

по

условию

Р 1 + Р 2 +

• • • +рп

~

1;

H(S,T) = -pi\ogpl

- .

.—pn\°gPn

—

- f t l o g f t -

. . .

- ^ m l o g ^ m .

Отсюда получаем

Л (5, Л = - 2 Л

l o g / 7 , - 2

ft-log

ft,

("-SI)

« = 1

у=1

H{S, T)=H(S)+H(T).

(11.32)

ме энтропии этих

систем. Данное свойство энтропии назы­

вается аддитивностью

Распространяя принцип аддитивности энтропии

(информа­

ции) на п независимых систем, можно записать

Н(Аи

А2

Л „ ) = 2 Я Иі)-

(11.33)

і = 1

Т а б л и ц а

3

Вероятности

состояний

Возможные состояния

шахты

шахта А

шахта

Б

Суточный

план

добычи

выполнен

0,9

0,8

Суточный

план

добычи

не выполнен

0,1

0,2

Система,

состоящая из

обеих

шахт, будет

характеризоваться

табл. 4.

Т а б л и ц а

4

Возможные состояния

системы

Совместная

вероят­

ность состояния

План по шахтам А и Б выполнен

0,9.0,8= =0,72

План по шахте А выполнен, по шахте Б не вы­

0 , 9 - 0 , 2 = і 0 , 1 8

полнен

План по шахте А не выполнен, по шахте Б вы­

0,1-0,8= =0,08

полнен

План по шахтам А и Б не выполнен

0,1-0,2= = 0,02

Энтропии подсистем (шахт) составят:

ЩА)=— 0,9

logü 0,9—0,1 logs 0,1=0,137+0,332=0,469

бита;

ЩБ)=-— 0,8

log2 0,8—0,2 log2 0,2 = 0,258+0,464=0,722

бита.

Суммарная энтропия подсистем равна:

Н(А)±Н{Б) =0,469+0,722=1,191 бита.

Как видим, она в точности равна энтропии системы.

стемы

V и W. Система

V имеет п значений: Ѵ\, Ѵ2,

Ѵп

с ве­

роятностями

pu

Р2,

рп.

Система

W

имеет

m

значений:

Wi, W2

Wmc

вероятностями qu

q2,

qm-

в том, что

Зависимость систем друг от друга выражается

вероятность

нахождения системы W

в

некотором

состоя­

нии Wj зависит от того, в каком

состоянии в данный

момент

находится система V. Таким образом, если вероятность

нахож­

дения

системы

V в состоянии

Vt

определяется

величиной nh

то вероятность

нахождения

зависимой

от нее системы

W в

состоянии Wj определяется условной вероятностью.

Совместная

вероятность того,

что система

V будет

нахо­

диться

в состоянии Vti

а система

W — в состоянии

Wj,

опре­

деляется по формуле

Ягі=РЛт-

( I L 3 4 )

H(V/W)=-

2

2

RijlogRij.

(11.35)

( = 1 у=1

Подставив

в данную

формулу

выражение для /?;,-,

получим

л

m

H{VjW)=-

2

2

Prtjniogpfij^

i = î j

= i

л

о т

л о

т

= -

S

2 РіЯінЩРі—

2

2

/Ѵ7у/* l ° g < 7 у 7 / =

i = \j=\

«=1 j = \

= -PiÇ'/Jogp1-plqyilogpl-

.

.

. —РіЧыЛьЪРі

—

~РгЯ1\Л°%Рг—

РгФі№Рх-

•

•

• — Wm/ . logPa -

—

•

• •—Pn94n\ogpa—pnq>/n\ogpn—.

.

. —

n

m

— PnQm/n^gPn—

S

2l

P0j/ttogqj!l

=

i =

l j = l

=

— (4v,+

<7v,+

•

•

. +

4mùP\

l o g / V -

•

• • -

- (Ячп + Я'/п + . .

. + qmm)

Pn log Pn

-

n

m

—

S

S

Pfljtilogqjn.

В

связи

с тем, что

условные

вероятности

по

каждо­

му і

дают

сумму

<7ѵ;Н~<7Ѵг + .

. • -f-<7m /,-=l, можно записать

H{VIW)

=

— p1\ogpl-p2\ogp2—

. .

.—

n

m

-Pn^gPn

—

S

S

РіЯѵЛ^Ят-

i

=

l y = i

Отсюда получаем

и

n

m

H{V}W)

=

—

2

Piïogp,—

2

S

РіЯііАоъЯрі-

(11-36)

i = l

t

=1

Выражение

— 2

P< log/^представляет собой энтропию си-

i =

1

Л

7П

стемы К, выражение—

2

^/лпредставляет

энтро-

t = i

У=1

пию системы W при известном состоянии системы V. Поэтому

окончательно имеем

H(VIW)=H(V)

+ HV(W),

(11.37)

где

Н(Ѵ)

— энтропия системы

V;

Нѵ( W)

— условная энтропия системы W.

HV{W)<H{W),

'

(II38)