Файл: Бовбель, Е. И. Элементы теории информации.pdf

Г Л А В А 3

ДИСКРЕТНЫЕ КАНАЛЫ БЕЗ ШУМОВ

§ 1. Модель информационной системы передачи дискретных сообщений в отсутствие шумов

Основной функцией информационных систем является хранение информации и ее перенос в пространстве. Систе­ му передачи информации между двумя заданными пунк­ тами называют одноканальной информационной систе­ мой связи, или просто к а н а л о м с в я з и .

Простейшая блок-схема дискретного канала связи без шумов приведена на рис. 3.

Рис. 3

Выходным сообщением источника может являться пе­ чатный текст, графическое изображение, звуковая волна, показания прибора и т. п. Назначение кодирующего уст­ ройства (кодер) состоит в том, чтобы представить выход­ ное сообщение источника в некоторой стандартной форме, например в виде последовательности двоичных сигналов. -Однако основная задача кодирования заключается в том, чтобы стандартное представление было наиболее эконом­ ным, т. е. требоъало в среднем наименьшего возможного числа двоичных сигналов, а также чтобы в случае отсут­ ствия шумов на приемной стороне по полученным кодиро­ ванным сигналам можно было однозначно восстановить вид переданных сообщений, т. е. чтобы W—X. Последнее накладывает некоторые ограничения на допустимый вид кодированных сигналов (см. § 3 этой главы).

Кодированные сигналы, пройдя линию связи, поступа­ ют на вход декодирующего устройства, которое преобра­ зует их в форму, наиболее удобную для данного прием­ ника.

61

§ 2. Пропускная способность канала связи

Введем определение пропускной способности канала

ствующую ей последовательность примятых сообщений,

канала о последовательности X уліа его выходе. I(Wr X T) зависит от вероятностных характеристик источника сооб­ щений и характеристик шумов, действующих в линигГсвязи, ‘метода кодирования сообщений, а также от промежут­ ка времени Т.

Предел

(3.1)

определяет среднее количество информации, получаемое на выходе канала за единицу времени, и называется с к о р о с т ь ю п е р е д а ч и и и ф о р м а ц и и.

представиться следующие случаи:

1)канал связи определен полностью: заданы способы кодирования и декодирования сообщений, длительности передаваемых сигналов, полоса канала связи и вероятно­ стные характеристики помех; тогда максимальная ско­ рость передачи информации отыскивается по статистиче­ ским характеристикам источника сообщений, т. е. разыс­ кивают такое распределение вероятностей по сообщениям X, при котором скорость передачи информации наиболь­ шая;

2)статистические показатели источника сообщений за­ даны; в этом случае способы модуляции, кодирования и декодирования выбираются так, чтобы скорость передачи информации была максимальной;

62

3) канал связи полностью не определен — имеется* возможность изменять те или иные его параметры: дли­ тельности символов, способ кодирования и т. и.; в этом случае параметры канала, которые не заданы, выбирают из условия получения возможно большей скорости пере­ дачи информации, а максимум в (3.2) снова отыскивают

Так как весь информационный канал связи не может про­ пускать информацию со скоростью большей, чем его ‘часть, то всегда Сс^ С .

При отсутствии шумов wT=x.n zT = у т. На основании

Обозначим через N(T) число~всех возможных последова­ тельностей сообщений, вырабатываемых источником, дли­ тельностью Т. Тогда энтропия Н(ХГ) максимальна/если

где Nk(T) — число всех возможных кодированных после­ довательностей длительностью Т.

63

Задача 1. Определить пропускную способность линии связи, использующей для передачи сообщений код с осно­ ванием т (т. е. с т различными символами). Длитель­ ность всех символов кода одинакова и равна т. Ограни­ чения на допустимый вид кодовых последовательностей символов не накладываются.

Р е ш е н и е. Рассмотрим последовательность из М ко­ довых символов. Длительность ее Г= Мт. Количество различных последовательностей, которое можно составить из т символов по М штук в каждой,

Nk(T) = m ■VI

Подставляя (*) в (3.5), получаем

Если используется двоичный код, то т —2 и Сс=Д((5ит/с).

Задача 2. В условиях предыдущей задачи-определить пропускную способность линии связи, если на допустимый вид кодовых последовательностей накладываются неко­

где H(Y) — энтропия кодовых символов, вычисленная с учетом наложенных ограничений. Подставляя (3.7) в (3.6), получаем

где максимум отыскивается с учетом наложенных ограни­ чений.

Задача 3. В информационном канале используется код, при котором запрещается передача подряд двух одинаковых символов. Алфавит кода состоит из четырех различных символов. Вероятности передачи всех разре­

= 1, 2, 3, 4). Число различных пар, которое можно соста-

64

%

вить из четырех различных символов, равно 42= 16. Че­ тыре из них (уі,Уі) запрещены. По условию,-вероятности разрешенных пар кодовых символов одинаковы. Поэтому

Чтобы найти энтропию кодовых символов, необходимо воспользоваться формулой, учитывающей вероятностную связь между двумя символами кода:

По формуле полной вероятности

Из теоремы умножения вероятностей

Задача 4. Доказать, что в условиях предыдущей зада­ чи найденная скорость передачи является максимальной и равна пропускной способности линии связи.

Д о к а з а т е л ь с т в о . Внутренняя сумма энтропии

Щ У ) = - S P (y j)S p ( y tly j)1 o g Р ІУ і/y j)

j= 1 /»1

максимальна, когда условные вероятности Р(уіІУу) всех разрешенных переходов i=£j равны между собой.(см. свойства энтропии), т. е.