Файл: Бездудный, В. Г. Техника безопасности в шахтном строительстве.pdf

Выражения (69) и (70) позволяют определить среднее количество информации, содержащееся в принятом ансамбле сообщений В отно­ сительно переданного ансамбля сообщений А в условиях действия помех. Используя формулу (60), находим

Выражения (69) и (70) удобны при вычислениях, так как для определения количества информации в принятом ансамбле В относи­ тельно переданного ансамбля А используют вероятности, не прибегая

квычислению вероятности совместных событий Л и В. Выражение

(71)интересно тем, что оно иллюстрирует возможность выражения среднего количества информации как через энтропию источника со­

характеристикой как источника сообщений Л, так и адресата В. Коли­ чество информации характеризует взаимосвязь между источником сообщений и адресатом и является мерой соответствия принятых сигналов переданным.

Выводы: 1. Влияние помех в каналах связи полностью описывается канальной матрицей. При наличии канальной матрицы может быть подсчитана средняя условная энтропия для произвольного количества качественных признаков, а следовательно, и количество информации, передаваемой по симметричному каналу с шумами при любом основа­ нии кода.

2.Средняя энтропия может характеризовать информационные потери в канале связи с шумами.

3.Информационные характеристики реальных каналов связи могут

быть описаны при помощи как условной энтропии, так и энтропии

101

объединения, устанавливающей степень взаимозависимости между пере­ данными и принятыми сигналами.

4.Количество информации может быть определено как со стороны источника сообщений, так и со стороны адресата. Являясь отражени­ ем одного объекта другим и мерой соответствия состояний объектов на передающем и приемном концах, информация обладает свойством симметрии. .

5.При отсутствии шумов количество информации на элемент

сообщения будет равно энтропии. Вследствие свойства симметрии, эта энтропия может быть энтропией как источника, так и адресата.

Задачи к теме 11

В ы ч и с л и т ь к о л и ч е с т в о и н ф о р м а ц и и , к о т о р о е п е р е н о с и т с я о д н и м с и м в о л о м с о ­ о б щ е н и я :

а ) п р и р а в н о в е р о я т н о м п о я в л е н и и с и м в о л о в в с о о б щ е н и и ;

В ы ч и с л и т ь к о л и ч е с т в о и н ф о р м а ц и и в с о о б щ е н и и , с о д е р ж а щ е м 1 5 0 0 с и м в о л о в , и с г щ л ь з у я э н т р о п и ю о б ъ е д и н е н и я .

102

Пропускная способность канала связи определяется максимальным числом знаков, пропускаемых данным каналом связи в единицу време­ ни. При отсутствии помех пропускная способность ограничивается частотными характеристиками отдельных элементов канала связи, разрешающей способностью цифропечатающих аппаратов, инерцион­ ностью реле. В общем случае пропускная способность системы передачи информации при отсутствии помех определяется быстродействием аппаратуры приемно-передающего тракта.

Наличие помех приводит к неоднозначности между входными и выходными сигналами. Соответствие определенных значений принятых сигналов определенным значениям передаваемых сигналов уже лишь предполагается с различными степенями вероятности. Наличие по­ мех увеличивает неоднозначность, уменьшает количество принимаемой информации, а уменьшение количества информации за единицу време­ ни есть уменьшение пропускной способности. Таким образом помехи уменьшают пропускную способность канала связи.

Количество недостающей информации в сигнале, или, другими словами, неопределенность того, какой из сигналов ас источника сообщений А был передан, когда на выходе канала связи принят сигнал bj, является характеристикой влияния помех и равен условной эн­ тропии Н (А/В), которая численно равна неопределенности на пере­ данную букву.

Пропускная способность канала связи при наличии помех Сп вычисляется как произведение количества принятых знаков на раз­ ность энтропии источника сообщения и условной энтропии источника сообщений относительно принятого сигнала:

Используя формулы (65) — (67), характеризующие свойства ус­ ловной энтропии и энтропии объединения, выражение (72) можно

Первое выражение представляет пропускную способность как раз­ ность передаваемой в секунду информации и неопределенности пере­ даваемой информации относительно принятой, второе — как меру принятой информации за вычетом информации, пораженной шумами,

103

а третье— как сумму переданной и принятой информации минус количество информации, обусловленное энтропией совместных собы­ тий [имеется в виду энтропия объединения Я (Л, б)].

Как видим, и в этом случае проявляется свойство симметричнос­ ти информации, позволяющее характеризовать систему передачи информации как со стороны источника, так и со стороны адресата, определяя во всех случаях степень соответствия переданных и приня­ тых сигналов.

Если проанализировать выражение (73), то нетрудно заметить, что чем больше значения энтропий Н (А) и Я (В), тем больше пропускная способность. Сами же энтропии Я (Л) и Я (В), в свою очередь, зависят от значений априорных вероятностей появления символов на входе канала связи и достигают максимальной величины при равновероятном распределении символов (см. рис. 10). Таким образом, максимальная пропускная способность достигается при равномерном распределении вероятностей появления символов на входе канала связи.

Это утверждение не справедливо лишь для случая, когда в ре­ зультате эксплуатации канала связи установлено, что помехи пора­ жают одни символы сильнее, чем другие Е Тогда, естественно, сигналы, которые ( чаще поражаются помехами, следует использовать реже. Выигрыш в значениях пропускной способности будет за счет уменьше­ ния членов Н (A/В) и Н (А, В), которые как раз и характеризуют

равна произведению энтропии источника сообщений на количество переданных знаков, т. е. равна пропускной способности канала связи при отсутствии шумов.

Рассмотрим более подробно соотношения в канале связи с шумами. При этом обозначим: А — ансамбль передаваемых сообщений, В — ансамбль принимаемых сообщений, Я (А ) — энтропия источника со­ общений, неопределенность того, какой символ будет передан; Я (В) — неопределенность того, какой символ будет принят от данного источ­ ника сообщений по данному каналу связи; Я (В/А) — условная эн­ тропия, характеризующая степень неопределенности принятой ин­ формации; Н (А/В) — неопределенность того, что было передано А, если принято В; Н (Л, В) — неопределенность того, что будет передано А, а принято В; Т — длительность сообщения (время использования канала связи); п — количество символов в сообщении за единицу времени; пТН ( А ) — общее число переданных двоичных символов

за время Т ; 2пТН(А) — приблизительное число высоковероятностных последовательностей передаваемых сигналов; 2 пТН {В) — приблизи­ тельное число высоковероятностных последовательностей принимае-1

1 Такие случаи редки, но возможны. Например, наличие постоянной помехи на одной из частот при передаче сигналов с частотными качественными признаками.

104

мых сигналов; 2 пТН<л,в> — приблизительное число высоковероят­ ностных последовательностей передаваемых сигналов а, которые могут

привести к приему сигнала 6; 2пТН (В/Л>— приблизительное число высоковероятностных последовательностей принимаемых сигналов Ь, которые могут быть получены в результате передачи сигнала а.

Предположим, при передаче сигнала а{ мы должны были получить сигнал bj. В результате действия помех может быть получен какой-то другой сигнал. Если проделать много опытов, то получим группу

имы получим:

но ш

оооп |

о н и U .

01001

о ю ю

Вероятность того, что одновремен­ но два символа исказятся таким

образом, что две единицы будут приняты как два нуля, уже меньше. И совсем маловероятно, хотя теоретически допустимо, что все знаки будут приняты как противоположные. Поэтому группа кодов S может быть отнесена к высоковероятностным последовательностям принимае­ мых сигналов при передаче сигнала 01011, а код 10100 — к маловероят­ ностным последовательностям.

При вычислениях учитывают только высоковероятностные последо­ вательности сигналов, а они могут лишь приблизительно характеризо­ вать возможное число принимаемых сигналов.

Если при отсутствии помех каждой принятой последовательности

каждой принятой последовательности сообщений будет соответство­ вать уже

последовательностей переданных сообщений. В выражении (74) учтено действие помех введением условной энтропии. Если существует неодно­ значность приема, когда одному посланному сигналу могут с какой-то

105