Файл: Толстоусов, Г. Н. Прикладная теория информации учеб. пособие.pdf
ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 30.10.2024
Просмотров: 89
Скачиваний: 0
H=H(s)= Boys. |
(WO) |
Для источника с равновероятным состояниям мера неопреде ленности или энтропия равна логарифму числа состояний.
Найдем выражение для энтропии источника с неравновероятны ми, состояниями, заданного в общем виде табл. 3.1* При непосред ственном раскрытии неопределенности этого источника,согласно первой аксиоме,получим некоторую величину
н=н(Рі.Рл ,.-.р*). tort
Представим вероятности состояний источника в следующем ви
де: |
|
|
Кі ' |
|
1 |
|
|
|
п= |
|
|
|
|
||
|
|
|
|
|
|
|
|
|
л — |
|
Кг |
|
|
|
(WZ) |
|
Н.- |
5 |
* |
' |
[ |
|
|
|
|
|
|
||||
|
• |
|
Кп. |
|
|
|
|
|
Нт 4 |
|
|
|
|
|
|
где Кі \ |
; . . . |
; |
Кп - |
целые |
числа. |
г |
|
Например, |
если |
р1= | |
| |
, |
то Kt = 2, Kt - |
3,J l rtj, = 5. |
|
Если pt = 0,81, />*= 0,19, |
то |
Кі = 81, Кг = 19, f |
=100 . |
|
Представление вероятностей в |
виде |
(4.12) возможно с‘'любой |
задан |
|
ной |
наперед точностью и тогда, когда вероятности - иррациональ |
|||
ные |
числа. |
|
|
|
Рассмотрим некоторый вспомогательный источник информации с
А |
|
равновероятных состояний. Очевидно, что вероятность как- |
|
дого состояния равна |
К,- . Раскроем неопределенность этого |
источника в два этапа. Группы на первом этапе образуем следую
щим образом. В |
первую группу (обозначим её |
x t ) объединим ні |
|||||
состояний ^ р и с .4 .2 ). Очевидно, что |
вероятность этой |
группы . |
|||||
равна |
— |
или»согласно |
(4.12)» |
Рі . Во вторую группу ( х д ) |
|||
о б ъ е д и н и м с о с т о я н и й . |
Тогда вероятность |
этой |
группы равна |
||||
Кг |
или р |
. Объединяя |
в каждую группу |
x L |
по |
состоя- |
|
£,Кі |
|
|
|
|
|
|
|
ГіубЛИЧИЯ.І1 - -алгі», ,е кая
loi-j С ОС?"
с 'чЗг'.'СЛЛЯР
41 IT ■*'l'sw r.r п 3 л Г д
ний, мы распределим BceZZ^ состояний вспомогательного источни ка в гь групп. Вероятность группы Хс равна рс . Обращаясь к табл. 8 .1 , видим, что вероятности этих групп совпадают с вероят ностями состояний исходного источника. На первом этапе раскрытия неопределенности вспомогательного источника устраняется неопре деленность исходного источника, записанная в виде (4 .I I ) . Коли чество неопределенности на первом этапе
п
Г а*
ы
На втором этапе,раскрывая неопределенность перЕій группы, мы должны выбрать одно из Я , равновероятных состояний. Неопре деленность .согласно (4.10)»
Ні =
Раскрывая неопределенность второй |
группы, следует выбрать |
одно |
||
из Кц |
равновероятных состояний. |
Неопределенность в |
этом |
случае |
Всего на |
втором этапе может быть |
П разных случаев, |
так |
как |
имеется гь групп, и может быть получено гь |
различных |
значений |
неопределенности в зависимости от того, в какой группе |
содержит |
|
ся состояние вспомогательного источника. |
|
|
Необходимо вычислить среднее значение |
неопределенности, |
|
18
раскрываемое на.втором этапе Нг |
, т .ѳ . |
математическое ожида |
|
ние величины |
. |
|
|
Величина HI |
получается в |
случае, если состояние вспомо |
|
гательного источника содержится |
в группе |
£^ . Вероятность это |
|
го, как было указано ранее, равна pL . Следовательно, для ма тематического ожидания
|
|
|
Рь |
■ |
(**} |
_ |
Если |
раскрыть |
неопределенность вспомогательного |
источника |
|
с |
равновероятными состояниями |
непосредственно, |
то согла |
||
сно |
(4.10) |
получим |
|
|
|
№ )
Согласно третьей аксиоме неопределенность не зависит от
способа раскрытия, |
поэтому |
|
|
|
Подставляя значения |
из |
(4 .13), (4.16) |
и (4 .17), имеем |
|
logt KL=n(p„ps,...pj% |
ft CcgKc . |
|
||
Отсюда искомое значение энтропии исходного источника |
||||
н(РиР*>..РЛ)= |
Я |
ъ . |
|
|
Умножая второе |
слагаемое на величину У р. |
равную ѳди- |
||
нице, получаем |
|
|
|
|
|
|
|
Kl |
|
Учитывая (4 .12), имеем окончательное»выражение |
||||
Н(Р,*Р*.:РП.)=-£РС&ЧРС - |
K«) |
|||
Таким образом, |
основываясь на трех аксиомах, |
изложенных в |
||
§ 3, мы получили выражение для энтропии дискретного источника информации.
Рассмотрим некоторые свойства энтропии. Следует сразу от метить, что I - 3-ѳ свойства вытекают из трех аксиом и поэтому
19
здесь не рассматриваются.
4. Энтропия есть вещественная, ограниченная и неотриц ная функция. Это следует из того, что значения вероятностей за ключены в пределах
|
5. |
Для систеиы с однии возыовныы состоянием энтропия р |
||||
нулю. |
В этом |
случае ѵ. в ' (4.18) следует |
положить р= 1, |
Dl- О |
||
( і, |
= 2 . . . |
гг |
) . Тогда, |
очевидно, |
для первого источника^ |
|
имеем |
|
|
|
|
|
|
|
|
|
|
= 0 . |
|
|
|
При вычислении последующих слагаемых сталкиваемся с неопре |
|||||
деленностью вида |
О ‘ о° , |
Раскрывая |
неопределенность, |
получим |
||
&/пр&зср= Ііпг^Я£--£йп |
=Зслгр-Зоде-О. |
|
||||
P-о |
Р-'О ф р-*о |
|
* |
|
||
Таким образом, каждое слагаемое в (4.18) равно нулю, и эн тропия равна нулю. Действительно, никакой неопределенности у системы с одним, а следовательно, известным состоянием, не мо жет быть.
6 . Если вероятности состояний источника изменяются та их величины сближаются, энтропия увеличивается. Рассмотрим веро
ятности р , |
и |
рл |
двух |
произвольных состояний. Пустьр, |
. |
Изменим эти значения в сторону сближения. Обозначим новые зна |
|
||||
чения через |
рі |
и |
рі |
. Учитывая, что сумма всех вероятнос |
|
тей постоянна |
(она |
равна |
единице), получим |
|
|
РМ +& Р.
p ’=pz - b p .
Предполагая, что д р мало, вычислим вариацию энтропии
ЛН :
(-*9« ' 8* *
20
+ & $ ф р = (& $ -$ )А р .
Так как р г ^Р/ и |
Ар^О , |
ю |
вариация положительна и |
||
свойство |
доказано. |
|
|
|
|
7 . |
|
Энтропия максимальна |
в |
случае равновероятных состояний |
|
источника. Для доказательства необходимо найти условия экстре |
|||||
мума функции |
(4 .18). При решении задачи необходимо учесть, что |
||||
аргументы |
р^ |
функции не могут изменяться произвольно. Вероят |
|||
ности всегда подчиняются условию |
|
|
|||
|
|
£ / > . = / . |
|
|
(Ш |
Для решения используем метод неопределенных множителей Лагранжа.
Составим вспомогательный функционал
F = -iPcto9Pi+A(£f Pc - l) , |
№ ) |
где Ä - неизвестный постоянный множитель Лагранжа.' Составим условия экстремума функционала:
Заметим, что условия экстремума функционала (4.20) |
и функции |
(4.18) одинаковы. Указанные выражения одинаковы по |
величине,так |
как согласно (4.19) последнее слагаемое в (4.20) равно нулю. |
|
Из (4.21) следует, что в точке экстремума все |
вероятности |
одинаковы, т .ѳ . состояния равновероятны. Экстремум |
(он один) |
соответствует максимуму, что следует из предыдущих свойств энт ропии. Таким образом, максимальное значение энтропии источника равно логарифму числа состояний
Нтж = е°$'г
и достигается в случае равновероятных состояний источника. Рассмотренные свойства хорошо характеризуют энтропию как
21