Файл: Толстоусов, Г. Н. Прикладная теория информации учеб. пособие.pdf

втся с разной частотой, мера Хартли является непригодной.Напри­ мер,контролируемые системы при правильном режиме эксплуатации и контроле должны чаще быть исправными, чем неисправными. Парамет­ ры движения самолета должны чаще находиться вблизи расчетных значений, а большие отклонения хотя и могут иметь место, но бу­ дут наблюдаться реже и т .д . Подобные примеры могут быть приве­ дены для большинства информационных систем. Но все состояния источника равноправны с точки зрения частоты их появления.

Частота появления различных состояний источника информации характеризуется законом распределения вероятностей. Поэтому в отличии от Р.Хартли, который в качостве признака источника ин­ формации рассматривал число его возможных состояний, К. Шѳннои ввел для определения дискретного источника информации вероятно­

серии опытов? Под источником в теории информации понимается фи­ зическая система из некоторой большой партии систем с одинаковы­ ми законами распределения вероятностей состояний. Каждая из этих систем находится в каком-то одном состоянии и не меняет

терминах теории вероятности это положение формулируется следую­ щим образом. Вероятность того, что отношение числа систем,нахо­

Для характеристики статистического источника информации К.Шенноном предложена мера, аналогичная мере Р.Хартли и наз­ ванная им энтропией. Эта характеристика может быть получена, например, следующим путем.

9

Среди различных длинных блоков из N сообщений источника информации согласно теории вероятности большая часть будет та­

ких, где сообщение х , будет встречаться A/f раз, сообщение Хг - раза и т .д . Причем

и т .д .

Общее число различных блоков такого вида равно

/ , .. М.....

L /Ц /Ц /...Л /п / '

Согласно Р.Хартли информационной характеристикой блока,ко­ торую К.Шеннон называет энтропией Н^ , является логарифм чи­ сла различных блоков. Поэтому

имеем

HN~ к[ы (іпЫ -і)-£(епЫ і - <)].

Так как

Л . - Р

получаем

HN — N Lpcfojp. .

Это характеристика блока из N сообщений, а для одного сообще­ ния, входящего в блок,

Н=- £ рс tyPc ■

Найденное выражение справедливо не только в рассмотренном комбинаторном смысле. К.Шеннон получил это выражение при самых общих предположениях, к рассмотрению которых мы и перейдем.

До получения сообщения источник информации обладает некото­ рой неопределенностью. Известно, какие могут быть состояния у

10

угол полета самолета может лежать в пределах + 5°. Информация

о курсе выдается гироскопом с интервалом 1°. Тогда самолет пред­ ставляет собой источник информации с II состояниями. Неопреде­ ленность зависит от вероятностей этих состояний и может быть раскрыта (устранена) после получения сообщения от источника ин­ формации - гироскопа. Однако возможен другой способ раскрытия неопределенности. Пусть кроме гироскопа на борту имеется директорный указатель курса. Предположим, что при положении самолета в пределах + 2° он выдает сигнал о нормальном полете. При поло­ жении в пределах + 3° * + 5° поступает сигнал об отклонении влево. При положении в пределах - 3° + - 5° поступает сигнал об отклонениях вправо. С помощью директорного указателя и гироско­ па можно неопределенность раскрыть следующим образом. На первом этапе пилот получает информацию от директорного указателя, а на втором этапе он уточняет её по информации гироскопа.

Неопределенность, раскрываемая на первом этапе, равна не­ определенности источника с тремя возможными состояниями: "нор­ ма", "влево", "вправо"-и определяется вероятностями этих состо­ яний. На втором этапе раскрытия неопределенности может встре­ титься три различных случая. Первый случай, когда после сигнала "влево" может поступить три сигнала гироскопа: + 5°; + 4°; + 3° и раскрывается неопределенность источника с тремя состояниями. Неопределенность в этом случае определяется вероятностями ука­ занных состояний. Второй случай будет после сигнала "норма".Тѳперь возможные сигналы гиооскопа лежат в пределах + 2 4 - - 2°. Третий случай будет после сигнала "вправо".

Таким образом, при раскрытии неопределенности на втором этапе мы в общем случае получаем разные значения неопределенно­ сти, так как число возможных сообщений и их вероятности могут быть различными. Поэтому в качестве меры неопределенности, рас­ крываемой на втором этапе,следует принимать среднестатистичес­ кое значение неопределенности для разных случаез, т .е . матема­ тическое ожидание. Как вычисляется математическое ожидание не­ определенности на втором этапе, будет показано в следующем па­ раграфе.

Мы рассмотрели два возможных способа раскрытия неопреде­ ленности: первый, когда с помощью гироскопа сразу указывается состояние источника, и второй, когда сначала с помощью дирек­

12

торного указателя определяется группа, к которой принадлежи состояние источника, а затем с помощью гироскопа указывается состояние. Оба способа схематично показаны на рис. 3,1;

Рис. 3.1

Оба способа точно указывают состояние одного и того же ис­ точника, поэтому в третьей аксиоме и утверждается, что величина раскрытой неопределенности в обоих случаях одинакова.

Три аксиомы К.Шеннона являются только одним из методов по­ строения математического аппарата теории информации. Существует еще несколько методов определения количества информации, но все они приводят прсктичѳски к одинаковым результатам,и нами рассма­ триваться не будут,

§ 4. Эн т р о п и я дискретного источника информации

Рассмотренные в предыдущем параграфе трп аксиомы позволяют получить математическое выражение для меры неопределенности дискретного источника информации. К.Шеннон меру неопределенности называет энтропией; в дальнейшем и мы будем пользоваться этим термином.

Предварительно найдем выражение для энтропии источника с

такого источника, как функцию вероятностей состояний

13

равновероятных групп. Величина этой неопределенности в соответ­ ствии с первой аксиомой есть некоторая функция

S

которую для краткости обозначим как

Ht=H(s)

При раскрытии неопределенности на втором этапе мы имеем S вариантов, так как на первом этапе выбирается одна из 5

групп. Но все эти варианты равноценны, так как в каждом иэ них на втором этапе надо выбрать одну иэ S равновероятных групп, поэтому величина неопределенности, раскрытой па втором этапе,

На третьем этапе может быть s г вариантов, но в каждом раскрывается неопределенность

M9 = H(s).

Так как для полного раскрытия неопределенности источника необ­

висит от способа её раскрытия. Поэтому величина неопределеннос­

15

В соответствии оо второй аксиомой, используя обозначение (4 .1 ), запишем

Согласно (4.3) последнее выражение примет вид

ных значений её аргументов равно отношению логарифмов этих аргу­ ментов. Следовательно, функция пропорциональна логарифму аргу­ мента: __.___

H(s )=k £oqs.

Так как основание логарифмов может быть любое, коэффициент пропорциональности к можно опустить и записать выражение для энтропии источника информации с равновероятными состояниями в виде

16