Файл: Толстоусов, Г. Н. Прикладная теория информации учеб. пособие.pdf

Зависимость энтропии источника

с двумя возможными состояниями от ве­

роятности состояний показана на рис.

4 .3 . На рисунке обозначено

рі » p

,

тогда $t=» I - р

. Видно, что в

качестве единицы энтропии, равной I

биту, можно принять энтропию источ­

ника с двумя равновероятными состоя­

ниями.

Для численных расчетов

удобно

пользовгться таблицами функции

t f p b - P t y z P

.

при­

водимой в литературе

по теории ин­

Н(Х)= м[- &$Р(Х)] t

(4.23)

где Н(Х) -

энтропия источника

информации

X ;

М[ 3 -

операция математического ожидания;

P C X ) -

вероятность любого

случайного

состояния источника,

рассматриваемая как

случайная

величина.

появления

состояния

равна

. Если мы поставим в соот­

ветствие

появлению состояния Хі

появление величины - toflp. »

Рассмотрим вначале объединение, состоящее из двух дискрет­

ных источников информации X

и У .

sc, , х г

Пусть

источник

X

имеет

/г

возможных состояний

. . .

Хп ,

а

источник

Y

ийеет пг

возможных состояний

yt ,

. . .

.

По каналу

связи передается сообщение о действительном

парные

комбинации состояний источников: Xtyi ; Х,ул . . .

Хп

* т*е. всего имеем ГЪ*т разных сообщений. Под состо­

ков, входящих в объединение.

Чему равна

вероятность

одного

из

состояний

объединения

X^

? Это есть

вероятность произведе­

ния, т .е . одновременного появления двух

событий: X - Х с

(ис­

точник X

находится

в состоянии

Х0 )

и Y~*/y

(источник

Y находится в состоянии

) .

Эту

вероятность обозначим

следующим образом:

Рѵ = р [ х ~ х і ; у . ^ ]

ш

ний (5 .1 ), то

энтропия объединения Н(Х Y)

по определению энтро­

пии источника

(Ф.І8) может быть записана следующим образом:

H< x r h - ifc P v &>?Pv .

t o )

И(ХГ)=м[-еодР(ХУ)],

(Si)

где P(XY) - вероятность состояния объединения,

рассматривае­

между источниками.

Предположим, что источники X и У

независимы. Для не­

Пусть источник X

характеризуется табл. 5 .1 ,

а источник У

- табл. 5 .2 ,

где

^

есть вероятность состояния ß

Таблица

б .І

,

Таблица

5 .2

Хі,

Xi

Xx • • •

РЛ

ь

& • * • Ѵѣ

Pi

Pt

Ръ

« • «

J L L

• »

•

-

Вероятность произведения

состояний для независимых

источ­

ников равна

произведению вероятностей этих состояний:

ІѴ=АѴ

(SM

P (X Y hP iX )P {Y ) .

(SS)

Подставив

(5.5)

в (5 .S ), получим

н(х у zw... )=н(х)+н(у)+н(г)+h (w)+...

ш)

Рассмотрим объединение двух зависимых дискретных источни­

ков информации X

и У , Источники называются зависимыми,ког­

да вероятности состояний одного источника зависят от того, в

каком состоянии находится другой источник.

Вычислим энтропию объединения зависимых источников. Веро­

ятность состояния

объединения Р (Х У) в этом случае равна

ность

второго. Принимая, например, ъ качестве первого источник

X

, имеем

Р(Х У)=Р(Х)Р( Y/X),

(6.1)

где Р(У/Х)~

условная вероятность источника

У

,

вычисляемая

при известных состояниях

источника

X .

Подставив

(6.1) в выранение для

энтропии объединения

(5 .3 ), получим

Первое слагаемое в правой части согласно

(4.23)

представля­

ет собой энтропию первого источника:

Н{Х)=м[- £о$Р(Х)].

(65)

Рассмотрим второе слагаемое выражения (6 .2 ) .

Условная ве­

роятность Р(У/Х)рассматривается здесь

как случайная величина.

Случайными

являются состояния

),

для

которых

вычисляется

вероятность и условия ( Xf ,X z ...

x ^ ,

), при ко­

м[-& уР(У/Х)/=-£1 Р¥ ео$р(у./хс) ,

(ел)

Для конкретных значений

Х - х ^

и

У~у#

согласно

(6.1)

имеем

Подставляя

(6 .5)

в (6 .4 ),

получим

м[-&уР(У/х)]=£рс[-1 Р^Ю & уРІЪ/Хі)].

(6-6)

Выражение

в квадратных

скобках

H (Y/xl)=- Z p fa /x J Coypfa/xc) t

(е.г)

согласно (4 .1 8 ),есть энтропия

источника

У .

В

это

выражение

вместо

априорных

вероятностей

источника

У

входят

условные

вероятности P (y J

,

которые

необходимо

использовать,ког­

да

нам

известно,

что источник

X

находится

в

состоянии

х с .

Поэтому энтропия

Н (У /хс)

называется

частной

условной

энтропи­

ей источника. Это мера неопределенности источника

У

,

кото­

рая остается, когда нам известно,

что

зависимый

от

У

источник

X

находится

в

состоянии

.

Частная условная

энтропия ис­

точника

У

ость

величина, которая может изменяться

в зависимо­

сти

от

состояния

источника

X

. Вычислим среднее значение вели­

чин Н(У/хс )

,

которое обозначим чере > И(Y /X )

. Осредняя

по

всем

состояниям источника

X

,

получим

H(Y/X)=lpc Ы г М .

(6.8)

Величина Н(У/Х)

называется

условной

энтропией

источника У .

Используя

(6 .6 ),

(6.7)

и (6 .8 ),

имеем

H (Y/X htl[-eoyP (Y/X )J

(в-9)

Таким образом, неопределенность источника может измеряться

двумя видами энтропий:

обычной

Н(У)

и

условной Н(У/Х),