Файл: Бездудный, В. Г. Техника безопасности в шахтном строительстве.pdf
ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 18.10.2024
Просмотров: 79
Скачиваний: 0
этого, как известно, необходимо найти точку, в которой производная исследуемой функции меняет свой знак, т. е.
dptd (— Pilogpt) ==— \\o g p c
= — log pi — log e = — log pte = 0,
так как производная |
произведения (и, |
v)' = |
u'v |
-f и o'. Отсюда pte |
||||
= 1, или p{ — — . Тогда максимальная величина слагаемого |
||||||||
|
Pi log Pi = Pi log — |
= |
l loge = |
0,531. |
||||
Итак, энтропия есть величина веществен- |
, |
|
||||||
ная и имеет экстремум. Так как логариф- |
|
|
||||||
мы правильных дробей отрицательны', то |
|
|
||||||
энтропия опыта с конечным числом исходов |
|
|
||||||
всегда положительна. |
|
|
|
|
|
|
||
График |
функции — рс log рс = f |
(р{) |
|
|
||||
изображен на рис. 9. Этот график пред |
|
|
||||||
ставляет интерес с,той точки |
зрения, |
что |
|
|
||||
позволяет |
оценить |
влияние |
вероятности |
|
|
|||
появления отдельного символа на величину |
|
|
||||||
выражения |
энтропии для сообщения в це |
|
|
|||||
лом. Как видно из графика, |
при р{ < |
0,1 |
|
|
||||
величина —p^log р{ растет круто. |
Это |
оз |
Рис. |
9. График функции |
||||
начает, что на данном участке даже незна |
||||||||
Pi log Pi: = f (Pi)- |
||||||||
чительное уменьшение вероятности pt ведет |
||||||||
|
|
|||||||
к резкому уменьшению слагаемого p,log ри т. е. при малых значениях вероятности pt члены в выражении энтропии, содержащие pt, не игра ют существенной роли и часто могут быть опущены.
Из рис. 9 также видно, что наибольшие значения слагаемых ви да —Pflog pi принимаются при вероятностях появления импульса с i-м признаком, лежащих в области от 0,2 до 0,6. Это понятно, так как при малых вероятностях появления i-ro признака легко предсказать его отсутствие в сообщении и, наоборот, при больших вероятностях по явления i-ro признака легко предсказать его присутствие в сообщении. В обоих случаях величина неопределенности, существующей до по лучения сообщения, будет мала. Соответственно мало и количество ин формации при снятии этой неопределенности, что и иллюстрируется рис. 9.
Если число символов в сообщении равно двум, то |
|
Н = — Ц Pi logt pi = — (Рх logар* + p2logt pJ. |
(14) |
i==l |
|
23
т |
1, то рг + |
р2 = 1. Обозначим для удобства рх |
— р2 |
= |
||
Так как^Р,- = |
||||||
1=1 |
1 — Pi = |
1 — р. |
Подставим |
значения рх |
и р2 |
в |
= р, тогда р2 = |
||||||
формулу (14): |
Н = — [plog2p + |
(l — p)log2(l — р)]. |
(15) |
|||
|
||||||
График функции (15) |
представлен на рис. |
10. Как видим, |
энтро |
|||
пия бинарного сообщения изменяется от 0 до 1 и достигает максимума
при |
равных |
вероятностях появления |
в |
сообщении обоих |
признаков, |
|||||||
т. е. при Pi |
= р2 = 0.5. |
|
|
|
|
|
|
|
признаков |
|||
m > |
Для сообщений, в которых количество качественных |
|||||||||||
2, максимальная энтропия также будет |
при соблюдении условия |
|||||||||||
|
|
|
равной вероятности |
появления |
признаков |
|||||||
|
|
|
в сообщении, |
что |
хорошо согласуется с |
|||||||
|
|
|
интуитивными |
представлениями |
неопреде |
|||||||
|
|
|
ленности. |
В |
литературе существуют не |
|||||||
|
|
|
сколько доказательств |
этого важного поло |
||||||||
|
|
|
жения [8, 12, 13, 41]. Воспользуемся на |
|||||||||
|
|
|
иболее простым из них, изложенным в |
|||||||||
|
|
|
работе [13]. |
|
|
|
что энтропия |
|
||||
|
|
|
|
Итак, |
докажем, |
Н = |
||||||
|
|
|
= |
т |
|
Pi |
максимальна |
при |
Pi = |
|||
|
|
|
— 2 Р |
|
||||||||
|
|
|
|
i~1 |
|
|
|
|
|
|
|
|
Рис. 10. График функции |
= |
р2 = ... = |
р„, |
= |
р = —. Для |
этого не |
||||||
обходимо |
найти |
экстремальное |
значение |
|||||||||
F — |
f (р). |
|
||||||||||
|
функции Я. |
|
|
|
|
|
|
|||||
Составим функционал вида |
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
||||
|
|
т |
|
т |
|
т |
|
|
|
|
|
|
|
F = —2 Pi log Pi —К l1Pi = —2 (Pi log Pi + Vi) |
|
||||||||||
|
|
i—i |
|
i—1 |
|
i=l |
|
|
|
|
||
и найдем его максимум. Обозначим предварительно каждое слагаемое под суммой через F*r
т |
т |
г = — 2 (P i log Pi + |
к р с) = — 2 f * . |
i=1 |
i=l |
Максимум будет в точке перегиба, т. е'. в точке, где производная меняет знак:
dF*{ |
! |
|
= — 1 log Pi — — р-, log e — Ik — Pl ■0 = log Pi — loge — X = 0 |
или |
logPi = — loge — X (i = 1, 2, 3, . . . , m). |
|
Как видим, ни величина pit ни величина log рг не зависит от номе ра i-го признака, что может быть только при условии равенства ве роятностей появления любого из признаков в сообщении, т. е. рх =
= Рг = ••• = рт — Р = |
что и требовалось доказать. |
24
Подставив значение Pi — — в выражение (10), найдем
Я = Я тах = — Y i ~ k los~ k == logm- |
(16) |
i—I |
|
Для любого количества символов среднее количество информации на один символ достигает максимума в том случае, когда все символы используются с равными вероятностями.
В заключение рассмотрим еще одно свойство энтропии: энтропия сообщения, состоящего из некоторых частных сообщений, равна сумме энтропий составляющих его сообщений.
Предположим, имеются сообщения А к В с энтропиями соответ ственно Я (Л) и Я (В). Необходимо доказать, что энтропия сообщения, состоящего из сообщений А и В,
Н(АВ) = Н(А) + Н(В).
Так как для независимых событий вероятность совместного со бытия АВ равна произведению вероятностей событий А к В, то, обо значив через р^ pj и р,л вероятности событий соответственно А, В и АВ и используя формулу для энтропии случайного события (10), выражение для энтропии сообщения АВ запишем следующим образом:
Я (ЛВ) = |
— 2 ри log ри = — 2 PiPi log PiPi = |
|
|||||
|
|
*./ |
|
i j |
|
|
|
= — 2 PiPi (log Pi + log Pj) = — 2 |
Pi log рс 2 p,- — 2 |
Pi log Pi 2 |
Pi- |
||||
i,j |
|
|
i |
i |
} |
i |
|
Так как .2 Pi = 1 |
и 2 /? ; = 1, то окончательно можно записать |
|
|||||
Я(ЛВ) = |
- |
2 Pi log Pi - |
2 р/ logp/ = |
Я (Л) + |
Я(В), |
(17) |
|
|
|
i |
i |
|
|
|
|
что и требовалось доказать.
Это свойство энтропии, или правило сложения энтропий, хорошо
согласуется со смыслом энтропии как меры неопределенности. Дей ствительно, неопределенность сообщения АВ должна быть больше
неопределенности отдельных сообщений Л и В. Правило сложения эн тропий распространяется и на п событий при п > 2. Доказательство
этого положения аналогично приведенному выше.
Выводы. 1. Если известно, что данное событие наверняка произой дет или не произойдет, то его энтропия минимальна и равна нулю.
2.Если событие с равной вероятностью может произойти либо не произойти, то его энтропия максимальна.
3.Энтропия — величина вещественная и положительная. Для
любого количества символов энтропия достигает максимума при рав ной вероятности появления их в сообщении.
25
Задачи к теме 4
1. Чему равна энтропия сообщений: «Сейчас Луна упадет на Землю», «Сейчас Луна не упадет на Землю»?
2.На вычислительном центре постоянная информация хранится в 32 768 стан дартных ячейках. Сколькими способами можно передать сведение о том, из какой ячейки необходимо извлечь информацию? Чему равно количество информации в каждом отдельном случае? Какое геометрическое расположение ячеек в хранилище позволит передавать эту информацию минимальным количеством качественных при знаков?
3.В плановом отделе работают три экономиста: два — опытные и один — не
опытный. Опытные специалисты знают, что сводки типа А составляют 10% от обще-' го количества документов, поступающих в отдел. Определить, какое количество ин формации получит каждый специалист при получении сводок типа А?
Таблица 2
Таблица для вычисления энтропии украинского алфавита (без учета пропуска меж ду словами)
Буква
А
Б
В
Г
Д
Е
Ж
3
И
I
I -
Й
к
л
м
Средняя вероят |
|
|
ность появления |
Pi log Р,- |
|
в тексте Р[ |
||
|
||
0 ,0 8 5 5 5 |
0 ,3 0 3 3 4 8 |
|
0 ,0 1 8 3 ' |
0,105195 |
|
0 ,0 5 4 0 |
0,227388 |
|
0 ,0 1 5 0 |
0,090983 |
|
0,0 2 9 8 |
0 ,151043 . |
|
0 ,0 4 7 3 |
0,208511 |
|
0 ,0 0 3 6 |
0,029224 |
|
0 ,0 0 8 0 |
0 ,055726 |
|
0,0 2 0 3 |
0,113716 |
|
0,0 6 8 4 |
0,264941 |
|
0,0634 |
0,252546 |
|
0,0 0 6 7 |
0,048385 |
|
0,0202 |
0,113716 , |
|
0,0368 |
0,175321 |
|
0)0388 |
0,1 7 9 9 3 3 |
|
0 ,0 2 6 8 |
0,139939 |
Буква
Н
О
п
р
с
т
У
ф
X
ц
ч
ш
щ
ю
я
ь
-
Средняя вероят |
Pt log Pi |
ность появления |
|
в тексте р^ |
|
0 ,0 6 1 3 |
0,247431 |
0 ,1 0 3 7 |
0 ,3 3 8 6 8 3 |
0 ,0 2 9 6 |
■0,150316 |
0,0 4 6 8 |
0,206732 |
0,0 3 9 4 |
0 ,183827 |
0 ,0 5 0 9 |
0,218961 |
0,03689 |
0,175321 |
' 0,0023 |
0,020158 |
0,0 0 9 7 |
0 ,064872 |
0,0074 |
0 ,052379 |
0,0 1 3 6 |
0,084323 |
0,0 1 1 0 |
0 ,071570 |
0,0091 |
'0 ,0 6 1 6 9 7 |
0,0 0 7 2 |
0,051248 |
0,0172 |
0,100817 |
0,0146 |
0 ,089029 |
4. Определить, в каком из приведенных ниже текстов количество Информации больше и почему:
а) «Рара, ра, ра, ра, ра, ра»; б) «Соблюдайте правила техники безопасности. Не стой под краном! Не сорить!»
в) «Здравствуйте.— Да, Петров.— Идете в цех?— А накладные?— Хорошо, у диспетчерской»;
г) «Румяной ... Восток ... Огонек ... Спешат к пастухам...»
5. Для прибора Zдетали из кладовой отдела комплектации доставляет конвейер ная лента 1, для прибора Y — лента 2. В комплектующие изделия прибора 1 входят 10 конденсаторов, пять резисторов и пять триодов, а прибора Y — восемь конден саторов, восемь резисторов и четыре триода. В каком случае неопределенность того,
какая деталь на ленте будет первой, больше? Определить |
энтропию в битах и дитах. |
6. Сообщение А передано двоичным пятизначным, а |
сообщение В — цифровым |
(набор из любых арабских цифр) трехзначными кодами. Чему равна энтропия сооб щения, состоящего из сообщений А и В?
26
7. Определить количество информации в произвольном украинском тексте, если известна энтропия украинского алфавита (табл. 2):
32
Я = - 2 Pi log Pl = 4,577179. i=i
8. В сообщении, составленном из пяти качественных, признаков, последние используются с разной частотой, т. е. вероятности их различны и равны соответствен^
но pi = 0,8, р2 = 0,15, рз = 0,03, р4 = 0,015 и рь = 0,005. Всего в сообщении при нято 20 знаков. Определить количества информации на букву сообщения и во всем сообщении. Каково было бы количество информации в данном сообщении, если бы все признаки имели равную вероятность?
Т е м а 5 |
I УСЛОВНАЯ ЭНТРОПИЯ |
До сих пор, оперируя понятием энтропия, мы имели в виду некоторое удельное количество информации, приходящееся на один элемент со общения. Такая энтропия была названа средней, а при ее вычислении использовали выражение
тт
н = — j p / iogp< = |
S f t 1°g 4 r '-' |
(18) |
г=1 |
г=1 |
|
При этом подразумевалось, что |
символы сообщения взаимонеза- |
|
висимы, т. е. с приходом одного символа распределение вероятностей последующих символов не изменяется. Так может быть, например, при передаче букв бесконечного алфавита, вынимаемых из кассы, либо при передаче букв конечного алфавита, но с обязательным услови ем, что после передачи каждой буквы она опять будет возвращена в кассу.
На практике же чаще всего встречаются взаимозависимые символы и сообщения. Если передавать не просто отдельные буквы алфавита, а смысловые сообщения, то можно убедиться, что существует взаимо зависимость передаваемых символов. Одни буквы встречаются чаще, другие реже, одни буквы и слова часто следуют за другими, другие ред ко и т. д. Например, в английском языке наиболее часто встречается бук ва е; во французском языке после буквы q почти наверняка следует буква и, если q, естественно, не стоит в конце слова; в советских га зетных сообщениях после слова «передовик» чаще всего следует слово «труда» или «производства»; появление в сообщении слов «передовик труда» дает, в свою очередь, информацию о характере сообщения, например, что это сообщение ближе к заводской, чем к театральной жизни и т. д.
В случае взаимозависимых символов удобно использовать среднее количество информации, приходящееся на один символ, с учетом вза имозависимости через условные вероятности. '
27