Файл: Основы автоматического управления..pdf

Скачать файл
Заказать решение

ВУЗ: Не указан

Категория: Не указан

Дисциплина: Не указана

Добавлен: 09.04.2024

Просмотров: 398

Скачиваний: 15

ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.

472 Г Л . 12. П Е РЕ Д А Ч А ИНФ О РМ А Ц И И ПО КАН АЛАМ С В Я ЗИ

Процесс передачи информации можно представить схемой, изображенной на рис. 12.1.1. Информация X преобразуется в пере­ датчике 1 в сигнал U, носителем которого является канал 2. В результате в приемник 3 попадает сигнал V, из которого выде­ ляется информация У.

Любое физическое явление, используемое для передачи инфор­ мации, всегда связано с бесчисленным множеством других явле­ ний. Это приводит к тому, что на закономерности этого явления

всегда

накладываются случайные

факторы, которые искажают

 

 

 

 

передаваемые сигналы и затруд­

 

 

 

 

няют их обнаружение и выделе­

 

 

 

 

ние на приемном конце. Поэтому

 

 

 

 

информация У, выделяемая в

 

 

Рис.

12.1.1.

приемнике (рис. 12.1.1), прак­

 

 

тически всегда несколько отли­

 

 

 

 

ции

X.

 

 

чается от передаваемой информа­

Задача проектирования систем передачи

информации за­

ключается в

том, чтобы сделать

эти

искажения

по возмож­

ности минимальными. Таким образом,

никакой канал не мо­

жет

передать

информацию абсолютно

точно,

без

искажений.

В любом канале к передаваемым сигналам примешиваются слу­ чайные помехи или, что одно и то же, шумы. Поэтому передачу информации по различным каналам необходимо изучать с учетом помех. Принимая во внимание, что и само понятие информации является существенно вероятностным, нетрудно прийти к заклю­

чению, что

в основе

того раздела общей теории управления,

в котором

изучаются

вопросы передачи информации — теории

информации,— лежат

вероятностные методы.

Для передачи информации необходимо прежде всего преобра­ зовать подлежащую передаче информацию в определенного вида сигналы. На приемном конце эти сигналы надо обнаружить, отделить от шумов и выделить из них передаваемую информацию. Операция преобразования информации в сигналы называется кодированием. Обратная операция — преобразование передавае­ мых сигналов в информацию — называется декодированием. Коди­ рование и декодирование являются необходимыми элементами любого процесса передачи информации. Максимальная скорость передачи информации, т. е. максимальное количество информации, которое может быть передано по данному каналу в единицу вре­ мени, называется пропускной способностью канала.

Основными задачами теории информации являются кодирова­ ние информации, изучение свойств сигналов, несущих информа­ цию, в частности определение количества содержащейся в них информации, расчет пропускной способности каналов, обнару­ жение сигналов в шумах, отделение их от шумов и декодирование. На основании изучения перечисленных задач можно поставить

§ 12.2. СИ ГН А Л Ы , И С П О Л ЬЗУ ЕМ Ы Е Д Л Я П Е Р Е Д А Ч И ИНФ О РМ А Ц И И 4 7 3

общую задачу комплексного проектирования системы передачи информации, исходя из условия получения максимального эффек­ та на приемном конце при данных условиях. Однако такая ком­ плексная задача слишком сложна, и в настоящее время наука не располагает средствами для ее решения. Поэтому в современной теории информации стараются найти оптимальное решение пере­ численных задач по отдельности.

В этой главе мы изучим свойства сигналов, используемых для передачи информации, рассмотрим некоторые вопросы кодирова­ ния, изучим основные свойства каналов связи и научимся рассчи­ тывать их пропускную способность. Задачи обнаружения сигналов в шумах и наилучшего отделения их от шумов, которые будут изу­ чены в последующих главах, возникают не только в теории инфор­ мации, но и в других разделах теории автоматического управления, в частности в теории проектирования следящих систем и в теории самонастраивающихся и самоорганизующихся систем.

§ 12.2. Сигналы, используемые для передачи информации. Измерение количества информации, содержащейся в сигналах

Во многих случаях информация передается при помощи языка как, например, в телеграфных передачах и телефонных разговорах. В таких случаях любое сообщение представляет собой конечную последовательность знаков — букв и промежутков между словами. Для передачи информации в подобных случаях используются сиг­ налы, представляющие собой конечные последовательности знаков, например точек, тире и промежутков при применении азбуки Морзе

вобычном телеграфе. Задача кодирования при этом заключается

вустановлении соответствия между передаваемыми знаками и бук­ вами или словами передаваемого текста. Таким образом, одним из типичных сигналов, содержащих информацию и используемых для передачи информации, являются дискретные последователь­ ности конечного числа знаков. Так как разные сообщения коди­ руются различными последовательностями знаков, то каждый знак последовательности следует рассматривать как случайную вели­ чину, которая может принимать различные возможные значения. Следовательно, в общем случае последовательность знаков, несу­ щую информацию, необходимо рассматривать как случайную последовательность. При этом каждое конкретное сообщение будет представлять собой реализацию этой случайной последователь­ ности.

Общее количество информации, содержащейся вданной конечной последовательности знаков, равно энтропии этой последователь­ ности, так как после того, как все знаки последовательности ста­ новятся известными, в этой последовательности не остается ника­

кой неопределенности (средняя условная энтропия системы конеч-

474

ГЛ . 12. П Е РЕ Д А Ч А ИНФ О РМ А Ц И И ПО КАН АЛАМ С В Я ЗИ

ного числа прерывных случайных величин относительно самой себя равна нулю) *). Таким образом, если последовательность содержит N знаков, представляющих собой случайные величины X lt . . .

. . ., X N, то полное количество информации в данной последо­ вательности знаков равно энтропии совокупности случайных вели­ чин X], . . *, Х^:

 

Н [ Х и . . .,

X N] = - М [log2/ (X!,

X*)],

(12.2.1)

где /

(хі, . . ., x N) —

совместная

плотность

вероятности слу­

чайных величин Х і, . . .,

X N. Количество информации,

содержа­

щееся

в среднем в одном знаке,

равно энтропии последователь­

ности, приходящейся в среднем на один знак:

 

 

 

H i — —

[loga/ ( X1

 

(12.2.2)

Однако непосредственное вычисление количества информации по формулам (12.2.1) и (12.2.2) практически невозможно, так как число знаков в сообщении N обычно очень велико. Поэтому при определении количества информации, содержащейся в данной последовательности знаков, обычно вычисляют среднюю услов­ ную энтропию каждого знака, учитывая не полную зависимость между всеми знаками сообщения Х1; . . ., X N, а лишь зависимость каждого знака Х к от небольшого числа непосредственно предше­ ствующих знаков Х к -і, . . ., X h-i. Эта зависимость определяется на основании изучения статистических свойств языка. Подобные исследования показывают, что для практических целей вполне

.достаточно учитывать зависимость каждого знака не больше чем от восьми непосредственно предшествующих.

На основании изложенного будем рассматривать последователь­

ность знаков сигнала как

стационарную цепь Маркова

(см. [54],

§ 4.8), у которой условный закон

распределения каждой случай­

ной величины

Х к относительно

всех

предшествующих величин

зависит только от значений I непосредственно предшествующих

величин X h-i,

. . ., Хь_і.

Пусть хи . . .,

хп — совокупность воз­

можных значений каждой случайной величины Х к (к = 1, . . .,

N),

Ріі.........it — вероятность

того,

что

Х к -и . . ., Х к -і

примут

значения

. . ., ж,-

соответственно,

q,l........ u,j —

условная

вероятность того, что величина

Х к примет значение

Xj при

ус­

ловии,

что Х к -і, . . .,

Х к-г принимают

значения х{^

. . .,

Х{.

Тогда условная энтропия] случайной

величины Х к относительно

события

Х к -і = хі±, .

. .,

Х к -і

Xіг

определится

формулой

*) Относительно понятий энтропии, средней условной энтропии и коли­ чества информации см. [54], гл. 7.

§

12.2. СИ ГН А Л Ы , И С П О Л ЬЗУ ЕМ Ы Е Д Л Я

П Е Р Е Д А Ч И И Н Ф О РМ А Ц И И 475

(см.

[54],

§

7.2)

П

 

 

 

 

Н [Xfc I

=

x\i, ..., Xk-i —#i;] =

Qii,l■■■, ij, } l°l?2Qu, ■• ■, tj, }•

 

 

 

 

(12.2.3)

Для вычисления средней условной энтропии случайной величины

X h

относительно

величин Х к-і,

. . ., X h-i следует

умножить

выражение

(12.2.3)

на вероятность события Х к^

 

=

X h- l = x^

и

просуммировать

по

всем значениям

ij, . . ., іі.

В

результате

получим

 

 

 

 

Hi = HXk

..., *ftl [Xh]=

 

 

 

 

 

 

 

n

 

 

 

 

 

 

=

 

 

Pii........

.,ii, j 1°?2?ii,...,I,, j«

(12.2.4)

 

 

H, . . . , i ;, i = l

1

1

1

 

Эта формула и определяет количество информации, содержащееся в среднем в одном знаке последовательности *). Для сокращения записи мы будем обозначать совокупность индексов іи . . ., іг одной буквой і. Тогда формула (12.2.4) перепишется в виде

П

 

Н і= — s PiQu bg2 qij.

(12.2.5)

г, i = l

 

Пользуясь этой формулой, необходимо помнить, что сумма в этой формуле в общем случае является I + 1-кратной.

Дискретные последовательности знаков, каждый из которых может принимать конечное число возможных значений, исполь­ зуются в качестве сигналов, несущих информацию, в телеграфе

ив математических машинах дискретного действия, в частности

вцифровых машинах.

*) Покажем, что в рассматриваемом случае среднее количество информа­ ции, содержащееся в одном знаке, можно считать равным Hxh_l, ■• ■,xk_l [Zft],

Для этого воспользуемся известной [формулой (см. [54], § 7.2)

II [Хи ...,

XN] = H[ X1]+ Hx l [X2] + . . . + H xu

N - l i

(А)

 

 

 

 

 

 

 

 

 

Если условное

распределение

каждой случайной

величины

Х к зависит

только от I непосредственно предшествующих,

то каждый член суммы в (А),

кроме г первых, равен Нх

. х

^ [Xft] и формулы (12.2.1) и (І2.2.2) дают

Н[Х{\ + Н [Х2] + . . . + Я ,

 

*і-і

№1

N — 1

.[**]•

Н1——"

 

дт

~

_____

• +

N

_ Я Ѵ

 

 

~

 

'

k-i'

 

Отсюда видно, что если N велико по сравнению с 1,

то можно принять

 

 

н , = II

 

h-l'

fc-1 [Xft].

 

 

 
Рис. 12.2.1.

476

Г Л . 12. П Е РЕ Д А Ч А И Н Ф О РМ А Ц И И ПО КАН АЛАМ С В Я ЗИ

Кроме дискретных последовательностей знаков, для передачи информации часто используются непрерывные функции времени. Примерами таких непрерывных сообщений могут служить устная речь, представляющая собой звуковые колебания воздуха, музы­ ка, непрерывные колебания электромагнитного поля, используе­ мые для передачи звука по радио, непрерывные колебания электро­ магнитного поля, вызываемые разверткой изображения при теле­ визионных передачах, сигналы, передаваемые по линиям обратной связи в непрерывных автоматических системах управления, и т. д. Так же как и дискретные последовательности знаков, непрерывные сигналы, несущие информацию, представляют собой случайные

функции времени, а каж­ дое конкретное непрерыв­ ное сообщение является возможной реализацией случайной функции.

Непрерывные сигналы всегда можно преобразо­ вать в дискретные после­ довательности знаков. Это можно сделать различными способами. Так, например, разложив случайную функ­ цию, представляющую со­

бой несущий информацию сигнал, в какой-нибудь ряд, на­ пример представив ее каноническим разложением, и ограничи­ ваясь конечным отрезком ряда, можно вместо самого сигнала передать последовательность значений коэффициентов ряда.

Можно также аппроксимировать функцию ступенчатой функ­ цией. Тогда достаточно будет передать последовательность ее зна­ чений в дискретном ряде точек (рис. 12.2.1). Эта операция обычно называется квантованием сигнала по времени. Кроме того, практи­ чески имеет смысл ограничиться дискретной шкалой передаваемых значений функции, т. е. заменить значение функции при любом фиксированном значении времени, представляющее собой в общем случае непрерывную случайную величину, прерывной случайной величиной, имеющей конечное число возможных значений. Эту операцию обычно называют квантованием сигнала по уровню.

Для обеспечения возможности однозначной расшифровки при­ нимаемых сигналов обычно стараются выбирать шаг между сосед­ ними передаваемыми уровнями сигнала, т. е. «квант» изменения сигнала, так, чтобы он превышал уровень шума по меньшей мере в два раза. Так как уровень шумов обычно увеличивается, а сигнал ослабляется по мере увеличения дальности передачи информации, то для обеспечения надежной передачи информации на большие расстояния обычно вводят в линии связи промежуточные усилите­

Смотрите также файлы