Файл: Бездудный, В. Г. Техника безопасности в шахтном строительстве.pdf
ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 18.10.2024
Просмотров: 80
Скачиваний: 0
ву, то в сводке одного колхоза, возможно, цифра 3 не будет содержать ся. Возможно также, что и в сводках 10 колхозов не встретится циф ра 3, но это уже маловероятно. Зато с уверенностью можно сказать, что в сводках 1000 колхозов цифра 3 будет встречаться наравне с другими цифрами, и вероятность ее появления будет близка к 1/т =
= 1/ 10.
Если рассмотреть ряд таких примеров, то нетрудно заметить, что всегда с увеличением числа сообщений вероятность появления г-го символа в сообщении будет расти, и щ /п-*- 1 /т = р{ при оо, что математически обосновано теоремой Бернулли и известно под названием закона больших чисел.
Таким образом, при больших п вполне допустимо следующее при
ближение: — л: Р;, |
|
|
откуда |
п,-« пр^. |
(7) |
Подставив значение nt в формулу (6), получим |
|
|
|
т |
|
|
Р = П р"рк |
(8) |
|
i=i |
|
Подставив теперь значение р в выражение (5), найдем оконча |
||
тельно |
т |
|
|
|
|
I = — log р = — log П p f i = — пр! log рх— |
|
|
|
t= l |
|
— np2\ogp2— ■■ ■— pm\ogpm = — пУ , p£\ogPi. |
(9) |
|
|
i=i |
|
Это соотношение было |
получено Шенноном для определения среднего |
|
количества информации в сообщении с произвольными вероятностями появления значений символов. При равновероятных символах, т. е.
при р£ = 11т, |
формула Шеннона переходит в формулу Хартли: |
||
|
т |
гп |
|
I |
п J |
Pi log pi = — « S |
= n\ogm . |
|
;=i |
i=i |
|
Выводы: 1. Информация имеет количественную оценку.
2. Зависимость между количеством информации и количеством комбинаций, составленных из данного алфавита,— логарифмическая.
3.Единица количества информации — двоичная. Получается она при выборе одного из двух равновероятных символов и равна 1 бит.
4.Для случая неравновероятных, независимых, символов количе
ство информации
т
1 = -~п S Pi\0gpt.
;=1
19
Задачи к теме 3
1. Определить: |
log2 4б; |
Ig45; |
log2yT6; lg уОб; |
Ioga |
; |
log, - Ц - ; |
|
|
|
lg 5; |
l g - j - ; |
lg 12. |
|
|
|
Преобразовать: |
loga (XKZ); |
loga |
-xyz- ; |
— k loga X — |
k loga Y -f |
k loga Z. |
|
2.Как определить количество информации в сообщении, если известно макси мально возможное количество сообщений? Как определить количество информации
всообщении, если известно количество качественных признаков (алфавит) сообще ний и количество символов в каждом сообщении? Привести примеры.
3.Символы алфавита обладают двумя качественными признаками. Какое ко личество сообщений можно получить, комбинируя по три, четыре, пять, шесть эле ментов в сообщении?
4.Сколькими способами можно передать положение фигур на шахматной дос ке? Чему равно количество информации в каждом случае?
5.В алфавите три буквы: А, В я С. Составить максимальное количество со общений, комбинируя по три буквы в сообщении.
6.Какое количество информации приходится на букву алфавита, состоящего из 16 букв, 25, 32?
7.Чему равно количество информации в сообщении, переданном в двоичном коде пятизначной комбинацией? Двумя пятизначными комбинациями?
8.Чему равно количество информации при получении восьми сообщений че тырехзначного троичного кода?
9.Чему равно количество информации о выходе из строя одного из восьми стан ков, полученных в одно и то же время с'одного и того же завода?
ЭНТРОПИЯ. СВОЙСТВА ЭНТРОПИИ
Как уже было сказано, понятие информация связано со снятием неоп ределенности, которая существовала до получения сообщения. И чем большая неопределенность была до передачи сообщения, тем большее количество информации содержится в принятом сообщении.
Предположим, в урне находится 100 шаров: 99 |
черных и один |
белый. Вынимаем шар, передаем сообщение, какого |
цвета был шар, |
в какой-то условный пункт приема, ложим этот шар |
обратно в урну, |
перемешиваем шары и повторяем процедуру. Вероятности получения сообщения о том, что вынут черный или белый шар, будут равны соот
ветственно рх = 0,99 и р2 = |
0,01. Количество переданной информации |
при этом |
|
I = — (Pi logs Pa + |
р2log2 р2) = — (0,99 log2 0,99 + |
+ 0,01 log2 0,01) = 0,0143 -f- 0,0664 = 0,0807 бит/символ.
Следовательно заранее предсказать, какой будет вынут шар, не пред ставляет особого труда, так как мы почти уверены в результате опы
20
та. Количество полученной информации мало. Если мы заранее уве рены в ответе, то ответ несет нулевую информацию.
Если в примере с шарами в урне было бы 50 черных и 50 белых, то трудно было бы предсказать содержание сообщения. В этом случае неопределенность максимальна, так как вероятности появления чер ного и белого шаров равны друг другу: рг = рг = 0,5.
Количество полученной информации при этом
/ = — (Pi log2 Pi + р2 1оЙ2 Рг> = — (°-5 log2 0-5 + 0,5 log2 0,5) =
= 1 бит/символ.
Чем больше априорная неопределенность, тем большее количество информации получается при снятии ее. В этом смысле величина, определяющая степень неопределенности, является удобной мерой оцен ки количества информации при исследовании ее свойств.
В теории информации мерой неопределенности является энтро пия — удельное количество информации, приходящееся на один эле мент сообщения. Для сообщения из п элементов эта величина равна
|
т |
т |
|
|
н = ~ |
= —X Pi los Pi = S |
Pi 1о§ 7 Г |
0 !0) |
|
и называется средней |
энтропией |
сообщения. |
Величина log i |
назы |
вается частной энтропией, характеризующей лишь г-е состояние. Как видим из выражения (10), сама энтропия Н есть среднее значение частных энтропий.
В случае одинаковой вероятности появления любого из т элемен тов сообщения
тт
Н = — £ |
Pi^ogpi = — 2 -^-tog-jr = logm. |
(11) |
(=i |
i=] |
|
При исследовании свойств энтропии наибольший интерес пред ставляет ее зависимость от числа т возможных признаков (качеств) и вероятности pt появления в сообщении элемента с t-м признаком.
Энтропия характеризует меру неопределенности совокупности
событий, составляющих полную группу (сумма вероятностей появления
т
отдельных событий должна быть равна единице т. е. |
— |
1; в про- |
|
1= 1 |
т = i = |
тивном случае теряет справедливость формула (10)1. Если |
||
= 1, т. е. передается сообщение с одним t-м признаком и вероятность его появления р{ = 1, то
т |
|
Н = £ p < l ° g - ^ = 1 l°g 1 = 0- |
(12) |
Это очевидно, так как заранее известно, что будет передано сообщение с t-м признаком и при его получении ничего нового мы не узнаем, т. е.
21
получим нулевую информацию. Если |
сообщение заранее известно, |
то энтропия минимальна и равна 0. |
признака в ансамбле сообщений |
Если вероятность появления t-ro |
равна нулю, то слагаемое с этим признаком принимает вид неопреде ленности типа нуль на бесконечность. Действительно,
Pi log •— = 0 • со.
Раскроем эту неопределенность, используя правило Лопиталя1. Для этого прежде всего неопределенность вида 0 • оо приводим к виду
о о /о о :
|
|
Нш (р, log |
Pt |
|
|
|
|
|
|
||
|
|
pt-*о ' |
|
|
|
|
|
|
|
||
Обозначим — = |
к (при р{ |
|
0 к |
|
оо). Тогда можно записать |
||||||
|
|
lim I -----р 1— |
/ |
= lim |
log fe |
|
|||||
|
|
ррО \ |
|
L |
|
к-*со |
k |
|
|
||
|
|
|
|
pi |
|
|
|
|
|
|
|
Согласно правилу Лопиталя |
|
|
|
|
|
|
|
||||
- ^ Т ~ = |
{~ТГ~) ’ но производная |
(log k)' = |
log е, |
||||||||
то есть |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Нш log fe |
|
± \o g e |
|
|
|
|||
|
|
|
|
|
1 |
|
|
|
|||
|
|
|
ft-*со k |
|
|
|
|
|
|
||
Известно, что если отдельные |
слагаемые |
стремятся к |
нулю, то |
||||||||
к нулю стремится и сумма, т. |
е. |
окончательно можно записать |
|||||||||
|
|
|
|
m |
|
|
|
|
|
|
|
|
|
|
lim |
£ |
Pi log - 1 - = |
0. |
|
, (13) |
|||
|
|
|
Pr*° |
|
|
|
|
pl |
|
|
|
Таким образом, найдены два крайних условия, при которых, эн |
|||||||||||
тропия минимальна и равна 0. |
|
|
|
|
, |
|
|||||
Исследуем теперь |
выражение |
для энтропии на экстремум. Для |
|||||||||
1 Правило |
Лопиталя: если f (х) |
= |
—— —, причем функции ф {х) и ¥ (х) опреде- |
||||||||
лены в интервале, содержащем а, |
|
|
¥ |
(д:) |
|
|
производные |
||||
и имеют в этом интервале конечные |
|||||||||||
! ¥ ' (х) ф 0; |
ф' (х) |
Ф 0), |
и если |
|
|
|
= 0 и J™al |
¥ |
(х) = 0 (неопределенность |
||
0/0) или |
ф (х) |
~ оо и |
¥ |
(х) = |
оо (неопределенность оо/оо), то |
/ (*) = |
|||||
lim ф '( * ) |
|
|
|
|
|
|
|
|
|
|
|
*=* х-*а ^ \ х ) |
' |
|
|
|
|
|
|
|
|
|
|
22