Файл: Ливенцев В.В. Кибернетика горных предприятий (основные положения) учеб. пособие.pdf
ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 02.08.2024
Просмотров: 62
Скачиваний: 0
Формула Шеннона приобретает в этом случае вид
k
w w = _ 2 ] - i i o g 4 - = - * . A . w |
j - = |
|
— — log _ L — — jog i _|_ i 0 g # — i 0 g k. |
||
k |
|
|
В окончательном виде имеем |
|
|
H(W)=\ogk, |
(11.17) |
|
т. е. энтропия системы |
с равновероятными |
состояниями |
равна логарифму числа состояний. |
1 |
|
Выражение (П.17) носит название формулы |
Хартли и яв |
|
ляется частным случаем формулы Шеннона. |
|
|
Формулой Хартли следует пользоваться всякий раз, когда |
||
известно число состояний |
системы, но неизвестны вероятности |
|
этих состояний. Как мы видим, в формуле Хартли эти вероят ности априори принимаются равными друг другу. Важным свойством формулы является то, что постериорные значения вероятностей только уменьшают энтропию системы.
Таким образом, формула Хартли дает выражение для мак симума энтропии системы с конечным множеством состояний.
Докажем это свойство. |
Пусть система |
W имеет k состоя |
||
ний с вероятностями р\, р2, |
/?/,••> |
/ V |
Найдем |
максимум |
функции H(W): |
|
|
|
|
|
k |
|
|
|
H{W)^^^pl\ogpi^mux |
|
|
(11.18) |
|
при условии |
( = 1 |
|
|
|
|
|
|
|
|
k |
|
|
|
|
2 Pi = 1. |
|
|
(11.19) |
|
В математическом отношении задача свелась к нахожде |
||||
нию максимума (точнее, экстремума) |
функции k |
переменных |
||
с добавочным условием. Для отыскания оптимальных значе
ний переменных р\, р2, |
Pi,..., |
рк |
воспользуемся |
методом |
неопределенных множителей Лагранжа. |
|
|||
Как известно, этот метод сводится в данном случае к оты |
||||
сканию экстремума функции |
|
|
|
|
|
k |
|
k |
|
L = - |
2 Pl\ogPl |
+ k |
2 Pi- |
(11-20) |
|
1 = 1 |
|
t = l |
|
38
Дифференцируя (11.20) по ри р2, Р к и приравни вая частные производные к нулю, получим систему уравнений
dL |
= |
— log pt |
— loge + 1 = |
0; |
|
дрх |
|
||||
|
|
|
|
|
|
dL |
= |
— log/>2 |
— log e + X. = 0; |
(П. 21) |
|
др2 |
|
||||
|
|
|
|
|
|
dL |
|
log Pi — loge + X = 0 ; |
|
||
dpi |
|
|
|||
|
|
|
|
|
|
dL |
|
— log/?« — loge + X = |
0, |
|
|
dpK |
|
|
|||
|
|
|
|
|
|
или |
|
|
|
|
|
|
|
log/?! = |
X —loge; |
|
|
|
|
log р2 = Ь — loge; |
|
|
|
|
|
|
|
|
(11.22) |
|
|
log pi = |
к — loge; |
|
|
log/7K = X - log e;
откуда видно, что максимум функции H(W) достигается при
l o g p j ^ l o g ^ , ^ |
|
|
-AogpK. |
(11.23) |
Это означает, что |
|
|
|
|
|
-Pi |
|
Р к = — , |
(11.24) |
a максимальная энтропия системы равна |
|
|
||
Hmn(W) |
= |
\ogk, |
|
(11.25) |
т. е. мы получили формулу Хартли.
Довольно часто мы встречаемся с системами, возможные состояния которых не являются равновероятными. К та ким системам, например, относятся горные машины, механиз мы и их комплексы: состояние работоспособности этих систем является более вероятным, чем неисправность, (ибо в против ном случае или в случае равенства вероятностей этих состоя-
39
ний эксплуатация подобного оборудования была бы весьма неэффективной).
«Степень неожиданности» того или иного состояния систе мы определяется его вероятностью: чем меньше вероятность, тем событие неожиданнее. С увеличением неожиданности со бытия возрастает ценность связанной с ним информации, иными словами, чем меньшей вероятностью обладает событие, тем большее количество информации несет в себе сообщение о том, что система попала именно в это, маловероятное, со стояние.
Назначением информации, заключенной в сообщении, яв ляется уменьшение энтропии системы под воздействием этого сообщения. Если, например, до поступления сообщения эн тропия системы была равна двум битам, а после него стала равной одному биту, то информация, заключенная в сообще нии, равна одному биту.
Следовательно, |
информация |
является |
мерой |
определенно |
|
сти вероятностной |
системы. |
|
|
|
|
Таким образом, количество информации о некоторой си |
|||||
стеме X можно представить в виде следующего |
выражения: |
||||
|
І(Х) |
=Н{Х) |
— Н'(Х), |
|
(11.26) |
где І(Х) —количество |
информации о системе |
X: |
|||
Н(Х)—начальная |
|
энтропия системы (начальное незна |
|||
ние о состоянии системы X) ; |
|
|
|||
Н'(Х)—конечная |
|
энтропия |
системы |
(конечное незнание |
|
о состоянии системы |
X). |
|
|
||
Если сообщение полностью ликвидирует неопределенность системы, т. е. Н'(Х)=0, то величина информации, содержа щейся в этом сообщении, численно равна начальной энтропии системы.
Поскольку в подавляющем большинстве случаев сообще ния строятся таким образом, чтобы полностью снять неопре деленность системы, то для измерения информации в дискрет ных системах вполне применима формула Шеннона; символ энтропии необходимо только заменить символом информации:
k |
|
|
I(W)=~% |
Pilogp,. |
(И-27) |
i = |
l |
|
Информация измеряется в |
тех же единицах, |
что и эн |
тропия. |
|
|
Понятию «информация в битах» можно дать очень на глядное истолкование: она равна числу ответов «да» или «нет» на разумно поставленные вопросы о состоянии системы. Разумность постановки вопросов определяется тем, что их
40
Задают в дихотомическом порядке (дихотомия — последова тельное разбиение пополам). Поясним это на примере.
Пусть система А может иметь два равновероятных состоя ния Ах и А2. Тогда полное выяснение состояния этой системы несет информацию в 1 бит, и, значит, можно ее получить в ре зультате ответа на один вопрос. В самом деле, задав одинединственный вопрос: «Находится ли система в состоянии Л]?» и получив на него ответ «да» или «нет», мы полностью выяс ним состояние системы.
Возьмем другой пример. Пусть в лаве длиной 160 м рабо тает узкозахватный комбайн, передвигающийся по раме скреб кового конвейера. На конвейере через каждые 20 м установ лены контактные датчики, на которые последовательно нажи мает комбайн при своем движении вдоль забоя.
По показаниям датчиков, сигналы от которых передаются, допустим, на пульт горного диспетчера, можно судить, на ка ком участке лавы находится комбайн в каждый момент вре мени.
Комбайн может быть в одном из восьми состояний: на участках лавы от 0—20 м до 140—160 м. Эти состояния будем считать равновероятными, так как комбайн последовательно проходит все участки лавы, не минуя ни один.
Сообщение, несущее информацию о том, на каком участке лавы находится комбайн в данный момент, полностью ликви дирует неопределенность системы. Следовательно, информа ция о местонахождении комбайна численно равна энтропии системы, т. е.
8 |
|
/(К) = - S Л ^ЬРь бит, |
(11.28) |
« = 1 |
|
где І(К) —количество информации о местонахождении ком байна (К), бит;
1 Рі— априорная вероятность г-того состояния, равна — .
8 Подставляя значение р( = — в формулу, получаем
|
1 |
1 |
1{К) = - У |
г |
1 о § 2 — = 3 бита. |
. |
, о |
о |
Это означает, что полное выяснение того, на каком участке лавы находится комбайн, можно получить с помощью трех ответов «да» или «нет» на три дихотомически поставленных вопроса. Зададим эти вопросы. Первый: «Находится ли ком-
41