Файл: Кравченко Р.Г. Основы кибернетики учеб. пособие.pdf

дением опытов. Из закона больших чисел Бернулли следует, что чем больше произведено опытов, тем большая вероятность отно­ сительной повторяемости каждого результата, мало отличаю­ щейся от вероятности этого результата.

Напомним, что вероятность возникновения какого-то случай­ ного явления находится в пределе 0—1 и устанавливается соот­ ношением числа благоприятных случаев к числу возможных случаев. Чем больше вероятность появления случайного явле­ ния, тем точнее, определеннее можно предсказать, произойдет ли случайное явление.

В таком случае неопределенность в принятии решения зави­ сит, во-первых, от числа возможных результатов, во-вторых,— от распределения вероятности. Неопределенность в принятии решения (в данном случае трудность определения последующего состояния системы) меньше при выборе из меньшего числа воз­ можностей и постепенно возрастает с увеличением числа воз­ можностей.

Например, необходимо решить, развивать систему мелиора­ ции или нет, т. е. выбрать из минимального числа возможностей две. Это решение будет положительным, если будет получена прибыль, или отрицательным, если прибыли не будет.

Неопределенность в принятии решения в значительной сте­ пени зависит от распределения вероятности. Причем зависимость между вероятностью появления определенного состояния си­ стемы и неопределенностью в принятии решения обратно про­ порциональна. Если какое-то состояние наступает с равной ве­ роятностью, то неопределенность максимальна. Если вероят­ ность равна единице, то неопределенность равна нулю.

Преобладающее большинство информационных процессов в сложных экономических системах имеет вероятностный (сто­ хастический) характер и поэтому содержит неопределенность. Информация способна устранять или уменьшать неопределен­ ность. Поэтому укажем, как измерить эту неопределенность.

Количественная оценка неопределенности i-ro результата

ленно, что какой-то результат обязательно должен быть получен. Для того чтобы эта функция могла стать количественной оценкой неопределенности результата, она должна удовлетво­

рять следующим требованиям.

1.Если t'-й результат определенный, то неопределенност

этого результата равна нулю, т. е. должно быть применимо

Ф ) = о .

80

2. Чем больше вероятность результата, тем меньше его не­ определенность.

Пусть pi и pj являются вероятностью разных результатов и пусть pi<.pj, тогда должно быть применимо

f(Pi)<f(Pj)•

3. Неопределенность результата, состоящего из двух взаимно независимых результатов с вероятностью pi и р3, равна сумме неопределенности отдельных результатов. В этом случае должно быть применимо

f(PrP,) = f(Pi) + f(Pi)-

Количественная оценка неопределенности (Я) может быть распространена на множество возможных результатов. Это уве­ личит число требований к Я.

4.Я является функцией всех вероятностей возможных ре­ зультатов.

5.Я приобретает максимальное значение именно тогда, ког­ да все вероятности одинаковы. Это требование следует из того, что неопределенность решения возрастает одновременно с чис­ лом возможных результатов и равномерностью распределения вероятности между ними.

Если предположить, что каждое из п явлений появляется све-

П

к количественной оценке неопределенности. Если п явлений представляет п возможных результатов какого-то опыта, то функция Я согласно приведенному выражению отражает с р еднюю э н т р о п и ю опыта.

Измерение энтропии, неопределенности системы, информа­ ционного сообщения. Общепринято единицей количества инфор­ мации считать один бит. Единица измерения информации «бит» представляет собой одно из двух возможных состояний носи­ теля информации, передающих сообщение об одном из двух равновероятных состояний системы. Один бит (двоичный раз­ ряд) устраняет неопределенность решения при двух возмож­ ностях, имеющих одинаковые вероятности.

Известно, что максимальная информационная емкость си­ стемы выражается как Я = 1одЫ. Примем за основание лога­ рифма число два (log2 2). Это удобно главным образом потому, что наиболее простая форма решения представляет собой выбор между двумя возможностями (0 или 1; да или нет).

Тогда для систем, содержащих п элементов, с двумя ус­ тойчивыми состояниями максимальное разнообразие (информа­ ционная емкость) будет составлять

# = log2 2" = п бит.

Если рассмотреть эту систему в динамике, в процессе пере­ хода от t-ro состояния к /-му, с какой-то вероятностью рц, то тогда при рц = pi

N

Я = — Hftlogp,.,

1=1

H = — '2lpl\ogpi = \ogN i= 1

при р{ = р = — .

Иными словами, выражение указывает на максимальную информационную емкость системы, или на то, какое количество информации необходимо для устранения неопределенности си­ стемы (упорядочения, достижения организованности в системе).

Таким образом, энтропия может рассматриваться так же, как количественная характеристика организованности систем. Мера / информации, устраняющей неорганизованность системы, и энтропия этой системы находятся в следующей зависимости:

N

1— — н = 2 p t iogp(-. {=1

Минус в формуле перед Н не означает, что энтропия явля­ ется отрицательной величиной. Вероятность pi находится в пре­ делах 0 < p i < l 1, и логарифм такого числа всегда отрицатель­ ный. Поэтому величина результата будет положительной.

Проиллюстрируем сказанное следующим примером. На ос­ новании многолетних метеорологических данных установлено, что в данной местности в первой декаде апреля число дожд­ ливых и солнечных дней равно; следовательно, будет ли на сле­ дующий день дождь или солнце равновероятно (при условии, что нет зафиксированной информации о погоде в уже прошед­ ших днях первой декады). Следовательно, вероятность той или

иной погоды — Pi = ~y - Тогда количество информации, необ­

82

ходимое для принятия решения о сельскохозяйственных рабо­ тах на следующий день, можно выразить через энтропию дан­

Энтропия имеет в данном случае величину в 1 бит. Следова­ тельно, информация, необходимая для устранения этой неопре­ деленности, должна достигнуть величины в 1 бит.

Рассмотрим важнейшие особенности энтропии, вытекающие из требований, предъявляемых к ней как мере неопределенности.

1.Энтропия — число положительное (в крайнем предельном случае равно нулю).

2.Энтропия определенного явления i приближается к нулю, если вероятность p i приближается к единице.

3.Энтропия равна нулю, если данное явление однозначно определенное.

4.Максимум энтропии соответствует наибольшей неопреде­ ленности, т. е. равенству вероятностей всех возможных явлений.

Тогда Ятах = loga n бит, где п — число явлений.

5. Энтропия сложного опыта Я (a, р), в котором важен по­ рядок результата и опыты а и р независимы, равна сумме энт­ ропий отдельных опытов: Я(а, р) = Я (а )+ Я (р ).

Количество информации, или информационное содержание принятого сообщения (I), получают как разность между неоп­ ределенностью у принимающего до принятия этого сообщения (Н) и неопределенностью после принятия ( H i) : 1 = Я — Я4.

Для выражения степени информированности принимающего

где Ящах — максимальная энтропия при pt = — .

Для определения процента принятой до сих пор информации получающим может быть использован показатель

/о т н - - 1 0 0 ( % ) .

** т а х

Процесс устранения неопределенности и роста информиро­ ванности покажем на следующем примере. Для удобства обоз­ рения сведем все результативные данные в табл. 4.

Имеется пять вариантов различных схем внесения удобре­ ний с различными дозировками отдельных видов минеральных удобрений. Подбор осуществлялся таким образом, чтобы каж-

дый из этих вариантов в определенных, но различных условиях обеспечивал высокую урожайность пшеницы, т. е. для конкрет­ ных условий каждый из этих вариантов был оптимальным, наи­ лучшим. Предстоит рекомендовать какой-то из этих вариантов для внесения удобрения под пшеницу в определенной зоне. Ка­ кой из них будет рекомендован?

В первый момент лицо, которое должно принять решение о выборе схемы и доз внесения удобрений, знает только то, что удобрение будет вноситься под пшеницу и что каждый из рас­ сматриваемых вариантов отобран как оптимальный для извест­ ных условий. Так как пока неизвестны условия, в которых бу­ дет высеваться пшеница, то каждый из пяти вариантов с рав­ ной вероятностью может быть рекомендован как наиболее

Разнообразие, определенное числом вариантов, равно 5. Так как наибольшая неопределенность соответствует максимальной мере разнообразия, то ее максимальная информационная ем­ кость равна lg5 = 2,322 бит информации.

Наибольшей неопределенности, т. е. равенству вероятностей

log2W = log2-5= 2,322 бит.

84