Файл: Матлин Г.М. Проектирование оптимальных систем производственной связи.pdf

вой) форме измеряется в знаках, тыс. знаков; геометрической — в приведенных к стандартному размеру листах; визуальной — в ко­ личестве отпечатков данного формата (для фотографии) и коли­ честве кадров или времени передачи (для промышленного телеви­ дения); акустической — в количестве переданных знаков или про­ должительностью разговора. Все эти характеристики однозначно связаны между собой, что позволяет определить целесообразность использования того или иного физического алфавита сигнала для осуществления передачи заданного сообщения. Объем сообщения определяется выбранным физическим алфавитом сигнала (спосо­ бом кодирования), его избыточностью, субъективными особенно­ стями кодировщика (отправителя) и не может служить оценкой содержания информации, а тем более его значимости для получа­ теля. Для этого должны использоваться иные показатели.

Количество информации. От объема информации следует отли­ чать количество информации, введенное К- Шенноном и послужив­ шее основой раздела кибернетики — теории информации. 'Понятие количества информации позволяет точнее, чем объем информации, оценить сообщения, независимо от того, каким способом они пере­ даны и приняты, однако и это понятие не затрагивает содержа­

ние информации.

Если какая-либо система может находиться в z равновероят­ ных состояниях, то мерой неупорядоченности данной системы, на­ зываемой э н т р о п и е й , является функция, удовлетворяющая сле­

числа возможных состояний системы; 3) если система состоит из подсистем, каждая из которых мо­

жет находиться в z\, z2, . . . состояниях, то должно соблюдаться ра­

где к — постоянный коэффициент, зависящий от выбора единицы

измерения.

Формула (І.І) неприменима, как показал Л. Бриллюэн [22], только к системам, неупорядоченность которых по выбранному признаку зависит от способа соединения и взаимодействия их под­ систем. Бриллюэном введено понятие н е г э н т р о п и и , характери­ зующей меру упорядоченности системы и являющейся мерой на­

шего знания о ней:

У

— 14 —

Нетрудно видеть, что упорядоченность системы будет увеличи­ ваться с увеличением 1/г. Поскольку все состояния равновероят­ ны, то вероятность нахождения системы в каждом состоянии рав­ на Р — \/г. Отсюда — Н = к\п Р. В случае, если состояния системы

неравновероятны, а характеризуются вероятностями Р,-

П

— Н = к У Рі \п Рс. (1.3)

І=1 Если принять двоичную систему исчисления, то

видно, что чем больше величина гіегэнтропии, тем меньше неупо­ рядоченность системы. Следовательно, задачей управления являет­ ся постоянное введение в систему негэнтропии, что позволяет уве­ личить знания о ней, сделать ее более определенной, упорядочен­ ной. Степень увеличения прироста упорядоченности системы назы­ вается количеством информации, которая равна

где Ні~і — энтропия системы при (і—1)-м шаге управления, ког­ да система могла находиться в z возможных состояниях; # і — эн­ тропия системы при t-м шаге управления, когда было установлено, что система может находиться в z0 возможных состояниях (zQ<.z); / — количество информации, бит.

Из ф-лы (1.5) следует, что

общее количество этих состояний равно г; P0£ — вероятности на­ хождения системы в і-м состоянии, когда общее количество этих состояний равно г0.

Можно установить некоторые приближенные соотношения меж­ ду объемом сообщений и количеством информации. Данные о ве­ роятностях появления отдельных букв в текстах русского языка, полученные А. А. Харкевичем [168], Д. С. Лебедевым и В. А. Гар­ маш [81], позволили установить, что энтропия одной буквы (вклю­ чая пробелы между словами) равна примерно 4,36 бит. Поэтому информация, содержащаяся в каком-либо русском тексте (сооб­ щении) определенного объема V, равна произведению количества

где J0 — количество информации; Ѵі — количество букв в t-м со­ общении (объем сообщения).

— 15 —

При этом, однако, не учитываются связи, существующие меж­ ду двумя, тремя и т. д. буквами, между отдельными словами, фра­ зами. Указанные связи резко уменьшают неопределенность текста, а следовательно, и количество информации, которое можно из дан­ ного текста почерпнуть. Как указывают А. М. Яглом и И. М. Ягяом [183], значение предельной энтропии hx , приходящейся на од­ ну букву русского языка, в настоящее время не определено, но есть основание полагать, что оно находится в пределах от 0,7 до 1 бит. Для сравнения укажем, что полученные Д. С. Лебедевым и В. А. Гармаш [81] значения энтропии для двух буквенных и трехбуквен­ ных сочетаний русского литературного текста соответственно рав­ ны h2~ 3,5 бит и /із » 3,0 бит.

В устной речи (речевые сообщения) имеется еще большая из­ быточность, чем в текстовых сообщениях, из-за различных повто­ рений, неравномерности речи (наличия пауз), ограниченности сло­ варя и т. д. С учетом этих обстоятельств среднее количество «смы­ словой» информации, содержащейся в устной речи за отрезок вре­ мени в 1 с, находится в пределах от 0,7 до 3,3 бит [183]. Дополни­ тельная информация живой речи (интонация, ударения, громкость, тембр, акцент и т. д.) по грубой оценке составляет в среднем 75% от смысловой информации (30% — при очень быстром разговоре и 150% — при очень медленном). Таким образом, количество ин­ формации, содержащейся в устной речи, -переданной за Ъс, 'прибли­

устной речи за 1 с; Т — объем информации, содержащейся в дан­ ном устном сообщении, выраженный в секундах.

В системах промышленного телевидения энтропия одного эле­ мента изображения hrv по грубой оценке находится в пределах от 0,54 до 2,53 бит (если различаются 64 разных градации яркости элемента), причем для бедных деталями изображений (например, лицо крупным планом) энтропия значительно меньше, чем для изображений с большим количеством различных деталей [183]. Так как число элементов телевизионного изображения огромно, то и

ном сообщении (кадре); hTv — энтропия одного элемента изобра­ жения; Z — количество элементов изображения в кадре; Z « 625 строк X 500 линий = 312 500).

Так как телевизионные изображения передаются со скоростью 25 кадров в секунду, то за время Тс передается количество инфор­