Файл: Толстоусов, Г. Н. Прикладная теория информации учеб. пособие.pdf

ВУЗ: Не указан

Категория: Не указан

Дисциплина: Не указана

Добавлен: 30.10.2024

Просмотров: 86

Скачиваний: 0

ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.

г

Министерство высшего и среднего специального образования СССР

М о с к о в с к о е , ) ордена Ленина и ордена Трудового Красного Знамени

высшее техническое училище им. Н. Э. Баумана

Г. Н. ТОЛСТОУСОВ, Д^Я. ГЕРМАН

/

Прикладная теория информации

Учебное пособие

М о с к в а

1974

Министерство высшего и среднего специального образования СССР

Московское ордена Ленина и ордена Трудового Красного Знамени высшее техническое училище имени Н.Э.Баумана

Г.Н.Толстоусов, Д.я.Герман

Утверждено в качестве учебного

пособия

<•

ПРИКЛАДНАЯ ТЕОРИЯ ИНФОРМАЦИИ

Москва

1973

Данное учебное пособие по курсу "Прикладная теория инфор­ мации" иадается в соответствии с учебной программой специально­ стей 0608, 0609, 0616, 0620, 0646, 0648,

Рассмотрено и одобрено кафедрой П-7 27/10-73 г . , Методиче­ ской комиссией факультета П и Учебно-методическим управлением.

§I . Основные понятия

,Понятие "информация" имеет много определений и использует­ ся в самых различных выражениях: информативность, информацион­ ный взрыв и т .д . Для привлечения математического аппарата к оп­ ределению информации необходима удачная абстрактная схема,пере­ ход от всеобъемлющей и неисчерпаемой объективной реальности к некоторой несуществующей, но математизированной схеме. Для это­ го, прежде всего, как это принято в теоретической механике, от­

деляют движение от движущегося объекта. Будем различать сигнал - физический носитель информации (звуковые или электрические колебания, намагниченную среду, механическую борозду на поверх­ ности, сажу в типографской краске и т .д .) и сообщение - те из­ менения в каком-то параметре физического носителя,которые и по­ зволяют нам считать, что сигнал несет в себе некоторое сообща - ниѳ (изменение фазы электрических колебаний, изменение давления, изменение направления канавки в звукозаписи и т . д . ).

Систему, в которой существуют сигналы, несущие сообщение, назовем информационной системой.

Изменение какого-то параметра сигнала для сообщения может быть как непрерывным, так и дискретным. Соответственно будем подразделять системы на дискре гныѳ и непрерывные информационные системы. Кстати сказать, сравнение и оценка дискретных и непре­ рывных систем является одной из задач теории информации.

Одно и то же сообщение монет передаваться различными сиг­ налами-носителями. Последовательное соединение устройств, в ко­ тором сообщение переходит от одного физического носителя к дру­ гому или от одного параметра носителя к другому (звук - микро­ фон - электрические колебания звуковой частоты - изменение амп­

литуды, фазы,

частоты и т .д .) , назовем информационной цепью.По-

мимо установившихся традиционных названий звеньев этой цепи

(модулятор -

демодулятор, микрофон - телефон, тракт высокой ча

сѵоты, тракт

промежуточной частоты и т .д .) будем пользоваться

обобщенным названием кодирующие и декодирующие

устройства для

всех устройств, формирующих сообщение в сигнал,

как в нѳпрерыв--

ных, так и в

дискретных системах.


Каждое предыдущее звено для последующего является источни­ ком сообщений ^информации), а каждое последующее для предыдуще­ го - приемником сообщений. Роль источника и приемника для неко­ торых устройств может быть разделена во времени. При записи лента магнитофона является приемником, а при воспроизведении - источником. Устройства такого рода будем называть средствами хранения информации, или устройствами памяти.

Типичная цепь такого типа изображена на рис. І . І .

Рис. І . І

В информационной системе могут появиться вследствие различ­ ных причин помехи. Воздействие помехи на сигналы приводит к то­ му, что принятый сигнал может отличаться от переданного и при - нятое сообщение может отличаться от переданного. Восстановление с заданной точностью переданного сообщения является одной из задач информационной системы.

Приведенная на рис. І . І структурная схема информационной системы охватывает все практически важные случаи: передача те - леграымы, система телевидения, передача параметров космического пространства с борта космического корабля на Землю, контроль выпускаемой продукции и т .д .

Однако принятая абстрактная схема информационной цепи не так безобидна и всеобъемлюща, как это может показаться на пер­ вый взгляд. Например, передавать и принимать в этой схеме можно только то, что уже известно. Нельзя на аппарате Боде принять изображение телевизионного сигнала или телепрограмму, передан -

нуш для записи

азбукой Морзе. При передаче и приеме в этой схе­

ме происходит

только выбор из заранее известных сообщений. В

этой схеме совершенно невозможно объяснить возникновение инфор­ мации. Невозможно объяснить процесс'познания и обучения. Помеха передаче сообщений в такой схеме неизбежно становится сообщени­

ем, но сообщением

вопреки или вместо нашего

выбора. Помеха иска­

жает не сигналы (

а. всегда остается а ,

а не f

или cP ),

4

а ваш выбор. Другими словами, в принятом определении канала ин­ формация не возникает и не монет возникнуть,она может быть то л :- ко передана. Любая обработка информации, при принятой схеме ин­ формационной цепи, может в лучшем случае сохранить имеющуюся информацию, а в худшем случае её потерять.

Перечень недостатков принятой абстрактной схемы можно было бы продолжить, но главное её преимущество, как это будет видно из дальнейшего изложения курса, заключается в том, что она поз­ воляет воспользоваться существующим математическим аппаратом и успешно решить многие вопросы передачи, обработки и хранения информации.

Началом математической теории информации принято считать публикацию в 1949 г . работы К.Шеннона "Математическая т-'орпя связи" [I] . Если начало исследовался вопросов физических свойств различных сигналов невозможно указать, то работ, пред­ шествующих выходу "Математической теории связи" было всего две:

Р.Хартли "Передача

информаціи," (опубликована

в США

в 1927 г .)

и В.А.Котельникова

"О пропускной способности эфира

и проволо -

ки" (опубликована в

1933 г . ) . Работа Хартли,

трактующая частные

вопросы передачи информации, был" обобщена ІС.іенноном на все случаи передачи информации по схеме рис. І . І . Результаты В.А.Ко­ тельникова использованы К.Шенионом для обобщения теории дискрет­ ных систем на системы с непрерывными сигналами.

Теория информации создавалась и начала свое развитие как наука, позволяющая решить проблемы связи. Однако, бурное разви­ тие кибернетики - общей науки об управлении - привело к необхо­ димости изучения процессов передачи информации в технических, биологических и экономических системах. В живых и технических системах имеются чувствительные органы, выбирающие информацию об окружающей среде, эта первоначальная информация преобразует­ ся в форму, пригодную для дальнейшего использования. Затем цент­ ральный орган управления определяет, что должна делать система на основе полученной, накопленной и пореработаниой информации. Исключительная сложность процессов, протекающих как в живых ор­ ганизмах, так и в современных больших технических и экономичес­ ких системах делают теорию информации одной из неотъемлемых со­

ставных

частей

кибернетики.

В

настоящем

курсе рассматриваются процессы передачи инфор-

5


нации в технических системах и свойства информационных систем, обеспечивающих передачу информации с требуемой точностью и ско­ ростью.

Так как результаты теории информации, полученные для диск­ ретных систем более очевидны и могут быть использованы при изу­ чении непрерывных систем, то в курса нет четкого деления на не­ прерывные и дискретные системы, хотя изложение вопросов начина­ ется с дискретных систем.

§ 2. Комбинаторная мера информации (Р. Хартли)

Первый шаг в определении меры информации был сделан в 1927 году Р.Хартли. Согласно его результатам все источники ин - формации различаются между собой только по числу возможных зна­ чений, которые может принимать его параметр, т .ѳ . по числу раз­ ных сообщений, которые от источника могут быть переданы.

Предположим, что источник меняет свои состояния и о каждом состоянии передается сообщение, т .е . по каналу передается после­ довательность состояний источника. Предлагается считать, что в каждом таком сообщении содержится одинаковое количество инфор - мации. У Хартли это выражено следующими словами: " . . . телеграф передает десятое слово известия не с большим трудом, чем пред - шествующее..."."...Чтобы мера информации имела практическую ценность, она должна быть такой, чтобы информация была пропор - циональна числу выборов". Действительно, если у источника име - ется П возможных состояний, то при каждой смене состояния

принимается одно из п возможных сообщений.

Обозначим количест­

во информации в одном сообщении через/4 (лЛ

.

Тогда

в к пос­

ледовательно принятых сооощениях количество информации будет

равно кА(п)

. Количество информации в каждом блоке

из к

сообщений по ранее указанному предложению будет функцией чис­

ла возможных блоков. Число разных блоков равно

п к

, а коли­

чество информации в блоке обозначим через А(гъ*)

Способ пѳ -

редачи сообщений (последовательно или блоком) не полней изменять количества информации, передаваемого этими сообщениями. Следова­

тельно, для определения неизвестной функции А(п)

имеем соотно­

шение

 

кА(іг) = А (п 'с),

(Zi)

6


 

Пусть инеем два источника информации с

числом

состояний

/г,

и

/гя . Составим блоки сообщений длиной К, и

Кг . Значе­

ния

Ht и

Kz

выберем

из условия, чтобы число возможных блоков

для каждого

источника

было одинаково:

 

 

 

 

 

 

л .

 

 

(гл)

 

Тогда количество информации в блоке каждого источника так­

же будет

одинаково:

 

 

 

 

 

 

 

 

А(п^)=А(пя г) ,

 

(2.3)

 

Это уравнение, учитывая (2 .1 ), запишем в виде

 

 

 

 

 

K1A(n,)=Hll_A(nJ

 

(г.ч)

Прологарифмируем обе части равенства (2 .2 ).

Получим

 

 

 

 

 

 

 

 

 

(2.5)

Разделим

(2.4)

на (2 .5 ).

Имеем

 

 

 

 

 

 

А (ti<) _

A (nJ

 

(Z.6)

 

 

 

 

 

~ èogn^

 

 

 

 

 

 

 

 

Для выполнения этого равенства при произвольных значениях аргу­

мента

необходимо, чтобы функция А(п) имела вид

 

 

А(п)= ß-fofftt,

(Z.r)

где

В - произвольный

коэффициент.

 

 

Поскольку масштаб

может быть выбран с помощью основания

логарифмог, которое произвольно, коэффициент В

можно опустить.

Таким образом, Р.Хартли считая, что количество информации в од­ ном сообщении равно логарифму числа возможных состояний источ - ника:

Э=6оуП. (ы)

Предположим, что передатчик имеет пъ различных сигналов. Тогда, чтобы закодировать п сообщений источника, необходимо составить п кодовых комбинаций. Число сигналов передатчика в одной кодовой комбинации длиной % будет определяться из усло­ вия

7


п= пь'*'.

Или

п - г . (2.9)

Подставляя полученный результат в (2 .8 ), получим

у= г.

(*і0}

Количество информации в одном сообщении равно числу сигна­ лов передатчика, необходимых для кодирования и передачи одного сообщения*

§ 3 . Аксиомы теории информации К. Шеннона

Мера информации, предложенная Р.Хартли, как не трудно за - метить, очень просто позволяет сравнивать возможности.различных дискретных кодов мечду собой. Она показываем, что можно записать равные количества состояний кодами с различными основаниями.

Тремя цифрами десятичного кода можно перечислить столько же go- стояний, что и десятью цифрами двоичного кода. Однако передава­ емое сообщение может и не использовать все возможности кода или канала передачи. Для алфавита в 32 буквы только трехбуквенные слова дадут (согласно результатам Хартли) 32^ = 32768 комбина­ ций, в то время как обычно мы пользуемся значительно большим числом букв. Можно убедиться, что с учетом фиксированных огра - ничений, ограничений существующих всегда (например, нет слов, состоящих из одинаковых букв, как "ааааа" или "ввввв"; не может быть слов, начинающихся с "Ы" или "Бп,и т .д .) , мера Хартли об - тается в силе. Uepa Хартли становится непригодной тогда, когда используются в выборе все комбинации символов, но не о равной частотой. В этом случае источник информации не использует все возможности кода и канала и передаваемое сообщение содержит меньшую информацию, чем это получается из июрмулы Хартли

Сод(г.

Мера Хартли монет измерять информацию только в некоторых част - ных случаях. В общем случае, когда различные сообщения использу-

8