Файл: Крулькевич, М. И. Основы систем производственно-экономической информации учеб. пособие.pdf

фиктивности логических характеристик информационных данных.

В структурном направлении, учитывающем только ди­ скретное строение информационной системы, различаются геометрическая, комбинаторная и аддитивная меры информа­ ции.

Геометрическая мера сводится к измерению длины, цлощади или объема геометрической модели информационного комплекса в единицах, называемых квантами (неделимые ин­ формационные элементы). Обычно геометрическая мера от­ ражает максимально возможное количество информации в заданной структуре. Применяется чаще всего для измерения информативности изображений.

Если, например, дискретные отсчеты осуществляются но трем осям с интервалами Ах, Ay, Az, то непрерывные ко­ ординаты распадаются на кванты, количество которых равно

а количество информации во всем изображаемом комплексе, определяемое в квантах, составит

N = nxnynz .

В комбинаторной мере количество,информации вычисля­ ется как количество комбинаций элементов. Используется' эта мера при передаче и хранении в памяти ЭВМ различных комбинаций цифровой информации. Комбинирование инфор­ мации — это одна из форм кодирования информационных данных.

Комбинирование данных возможно в комплексах с неоди­ наковыми элементами, переменными связями н различными позициями, занимаемыми конкретными цифрами.

Количественно комбинаторная мера определяется с ис­ пользованием формул:

а) для сочетаний из п информативных элементов по п:

п !

N — т ! (п — т )! ’

б) для перестановок п информативных элементов

N = 1 ■2 • 3 ... п!;

18

в) для размещений из п информативных элементов по m

N^ - ^ Ц у .

(п—ш)!

-Возможное количество информации при применении комбинаторной меры соответствует числу возможных соеди­ нений информативных элементов, то есть оценке структур­ ного разнообразия информационного -комплекса.

Аддитивная оценка количества информации (мера Харт­ ли) представляет собой двоичную логарифмическую меру, позволяющую вычислять количество информации в двоич­

ных единицах, называемых битами, то есть

I = log2N = mlog3n, бит.

Единица измерения бит соответствует количеству инфор­ мации, равному

I = log32.

Другими словами, это символ, представляющий собой физическую систему с двумя возможными состояниями — О н 1. Информация, которую дает этот символ, равна энтропии системы и максимальна в случае, когда оба состояния равно­ вероятны. При этом говорят, что элементарный символ пере­ дает информацию в 1 дв. ед. или бит.

Для примера рассмотрим некоторый объект или систе­ му х, за которой ведется наблюдение, и оценим информацию, в результате получения которой состояние системы стано­ вится полностью известным. До того момента, пока ника­ ких сведений о системе не имелось, энтропия ее была (Нх); после того как получены сведения, состояние системы пол­ ностью определилось, то есть энтропия стала равной нулю. Информация 1х, получаемая в результате выяснения состоя­ ния системы х, равна уменьшению энтропии

1х= Н ( х ) - 0 ,

или

1х=*Н(х),

Другими словами, количество информации, приобретае­ мое при полном выяснении состояния некоторой системы, равно энтропии этой системы. В теории информации понятие об энтропии является основным и используется в качестве меры априорной (до опьттной) неопределенности системы.

19

Энтропией системы называют сумму произведений веро­ ятностей различных состояний системы на логарифмы этих вероятностей, взятую с обратным знаком

Н(х) = — 2 pi logi,

1=1

где п — количество состояний; р — вероятности состояний.

Логарифм может быть взят при любом основании, боль­ шем единицы. На практике чаще всего пользуются логариф- ■ мом при основании 2, и тогда энтропию и информацию изме­

Рассмотрим числовой пример, иллюстрирующий способ измерения информации по системе, содержащейся как в от­ дельных сообщениях о ее состоянии, так и в самом факте выяснения события. Так, например, необходимо угадать чис­ ло от 1 до 16, поставив минимальное количество вопросов, на каждый из которых дается ответ «да» или «нет». Для ре­ шения вначале определяем информацию, заключенную в со-, общении, какое число неизвестно. Считаем априори, что все значения чисел от 1 до 16 равно вероятны:

По формуле определения информации

Ix= log2 16 = 4.

Цифра 4 определяет минимальное число вопросов, кото­ рое необходимо задать при выяснении неизвестного числа, если сформулировать их так, чтобы вероятности ответов «да» и «нет» были одинаковы. Предположим, неизвестным явля­ ется цифра 10. Задаем следующие вопросы.

20

Вопрос 1. Число х больше восьми? Ответ. Да.

Вывод. Эго одно из чисел 9, 10, 11, 12, 13, 14, 15, 16.

■Вопрос 2. Число х меньше тринадцати? Ответ. Да.

Вывод. Это одно из чисел 9, 10, 11 или 12. Вопрос 3- Число х больше 11?

Ответ. Нет.

Вывод. Это 9 или 10.

Вопрос 4. Число х больше девяти? Ответ. Да.

Вывод. Число х равно 10.

Таким образом, задав четыре вопроса, нам удалось оп­ ределить неизвестное число. Но при решении практических задач часто оказывается, что система х недоступна для не­ посредственного наблюдения. В этом случае приходится вы­ яснять состояние не самой системы х, а связанной с ней си­ стемы у.

Какое количество информации о системе х дает наблю­ дение системы у определяется по формуле

Iy-X —Н(х) — Н (х/у),

где .(Нх/у) — «остаточная» энтропия системы после получе­ ния о ней сведений.

Применять аддитивную меру удобно в тех случаях, ког­ да необходимо складывать или устанавливать пропорцио­ нальность количества информации к длине числа'гп.

В статистическом направлении информация рассматри­ вается как сообщение об исходе случайных событий, реали: зации случайных величин и функций. При этом количество информации ставится в зависимость от априорных вероят­ ностей этих событий, случайных величин и функций.

Под событием обычно понимают элементарное одно­ предметное явление, которое может быть с вероятностью от-

самбль или полную группу событий с известным распределе­ нием вероятностей, составляющих в сумме единицу. Вообще событиями X], х2, ..., хй можно считать п возможных ди-

21

Скретных состояний отдельных производственно-экономиче­ ских систем, состояние п элементов производственного обо­ рудования и т. д.

Неопределенность каждой ситуации системы или эле­ ментов оборудования в статистическом направлении харак­ теризуется величиной, называемой энтропией.

В информатике энтропия характеризует способность источника отдавать информацию. Предложенная Шенноном энтропия количественно выражается как средняя функция множества вероятностей каждого из возможных исходов опыта или

к

Н = — 2 Pilog2Pi, бит.

1=1

Энтропия совокупности двух и более взаимозависимых ансамблей дискретных случайных переменных может быть условной, взаимной, безусловной и совместной.

Пусть имеется два ансамбля дискретных случайных ве­ личин х и у, тогда по теории вероятностей имеем:

а) условная энтропия

Н (х/у) = Н (х) - Н (х • у);

б) взаимная энтропия

Н (х-у) = Н (х,у) - Н (х/у)—Н (у/х);

в) безусловная энтропия

Н (х) = Н (х/у) + Н (х- у);

г) совместная энтропия

Н(х,у) = Н (х ) -Ь Н ( у ) -Н ( х - у ) .

Количество информации равно энтропии в одном лишь

Максимальное количество информации потребитель по­ лучает в том случае, когда полностью снимается неопреде­ ленность таких событий, вероятности которых примерно оди-

22

каковы. Мера такого количества информации оценивается мерой Хартли

I = logjN — — log2 Р,

где N — число событий, а Р — вероятность их реализации в условиях равной вероятности всех событий. Разность меж­ ду максимально возможным количеством информации и эн­ тропией называют абсолютной избыточностью

=Imax. Н ИЛИ D a = Н max. Ь .

Тогда относительная избыточность равна

Н

Наконец, семантическое направление изучает смысл, со­ держание информации.

Основные понятия семантики относятся к системе поня­ тий семиотики — знак, слово и язык.

Знак — это условное изображение элемента сообщения. Слово — совокупность знаков, имеющая смысловое или

формации, или значение знаков и слов с учетом их практи­ ческой полезности. Это объясняется тем, что не имеющие смысла сведения бесполезны, а бесполезные сведения бес­ смысленны.

Одно из направлений семантической Формализации смысла предложено Бар-Хиллелом и Карнапом. Они поедложили использовать для целей измерения смысла функции истинности и ложности логические, предложения. При этом за основу дискретного описания объекта берется неделимое предложение, подобное элементарному событию теории ве­ роятностей и соответствующее неделимому кванту сообще­ ния. Такая оценка названа, содержательностью информации.

23