Файл: infoteh3part.docx

Далее происходит наблюдение сигнала. Если шумов нет, то после приема мы точно фиксируем сообщение, т.е. значение посланного сигнала. Следовательно, после приема неопределенность становится равной нулю. В этом случае мы можем считать, что полученная информация численно равна априорной энтропии сигнала.

Если имеется шум, то и после акта приема сигнала остается неопределенность, характеризуемая энтропией принятого сигнала. Тогда мы можем считать, количество переданной информации есть

Таким образом понятие энтропии является первичным, количество информации вторичным, определяемым как мера изменения неопределенности, т.е. энтропии.

Количество информации в сигнале при наличии помех

Информационная модель канала приема/ передачи дискретного сигнала может базироваться на следующих характеристиках:

- энтропия множества отправляемых символов (элементов сообщения)

– энтропия множества принимаемых символов

– энтропия множества всевозможных пар ( ) символов

– энтропия множества отправляемых символов, оставшаяся после приема символа

– энтропия множества принятых символов при условии, что известен отправленный символ

- математическое ожидание

– количество информации, полученное при приеме :

– среднее количество информации в объекте относительно объекта . А также:

При этом – среднее количество информации, потерянное из-за воздействия помех.

Напомним:

для дискретного сигнала:

для непрерывного сигнала:

Свойства количества информации

Модели каналов передачи информации

Сообщения в ИИС и системах связи передаются непрерывными или дискретными сигналами (во времени).

Информационные каналы классифицируются:

непрерывные
дискретные

Непрерывные каналы

Моделью непрерывного канала является линейная система, характеризуемая: импульсной переходной функцией или частотной функцией .

Основной характеристикой непрерывного канала является полоса пропускания.

Эффективный частотный диапазон или полоса пропускания:

На практике для передачи сигнала по непрерывному каналу, как правило, используют методы модуляции. В этом случае полоса пропускания канала выбирается исходя из потребности передачи модулированного сигнала.

Передача информации по непрерывному каналу

Причин потерь информации две:

измерение с конечной точностью
шумы

Скорость создания (генерации) информации источником.

– реализация случайного процесса

– интервал наблюдения

– полоса частот сигнала (реализации) или спектр плотности случайного процесса

Учитывая, что собственная (полная) энтропия непрерывного сигнала стремиться к нулю, будем считать, что процесс получения информации от осуществляется по отсчетам и при этом с конечной погрешностью, определяемой СКО «».

Во избежание потери информации вследствие дискретизации, необходимо при формировании отсчетов обеспечить условия Котельникова (т.е. отсчетов за время ).

Информация, снимаемая за один отсчет:

- -энтропия сигнала

За время имеем отсчетов и получаем за счет измерения информацию:

За единицу времени, т.е. скорость генерации информации:

Введем некоторые допущения:

Пусть ошибка измерений нормальна с дисперсией ;
Пусть сигнал на каждом отсчете нормален (белый шум) с дисперсией и полосой .

Тогда скорость генерации информации:

Скорость передачи и пропускная способность канала

Считаем полосу пропускания канала достаточной, т.е. ( – полоса сигнала). Потеря информации в отсутствии динамических искажений будет обусловлена только наличием шума .

Считаем также, что измерительное устройство на выходе канала имеет погрешность, значительно меньшую, чем дисперсия приведенного к выходу канала шума .

Далее используем тот же подход к анализу скорости получения информации, что и при анализе скорости ее генерации, т.е. через отсчеты. Только в нашем случае для каждого отсчета:

При этом:

Тогда за время :

Скорость передачи информации:

Пропускная способность канала:

max – по всем возможным законам распределения и .

Предположим корректность аддитивной модели шума:

в том числе для любого отсчета, а также распределение по нормальному закону в диапазоне (белые шумы), т.е.:

дисперсия

шума

Тогда ;

Следовательно,

Где – мощность сигнала ( ), – мощность шума( ).

Передача информации по дискретному каналу

Дискретный канал – это канал, по которому производится передача сигналов, имеющих дискретное множество состояний, т.е. сообщений. При этом дискретной является также сама передача сигналов во времени.

Входной алфавит – алфавит источника сообщений, например , – число сообщений, - буквы алфавита. Для того, чтобы передавать по линиям связи с помощью элементарных сигналов, используют процедуру кодирования, например, используя системы счисления, т.е. , где - элементы кода, а - кодовая комбинация. Элементы символы, например, двоичные. Алфавит кода короче алфавита входного, например, для двоичного кода он состоит из двух символов «0» и «1». Таким образом, для передачи одного сообщения требуется передать пачку символов кода сообщения. Иногда число сообщений не равно длине входного алфавита, если используется начальное кодирование исходных сообщений. например, сообщения:

Входной алфавит:

Для передачи сообщений по дискретному каналу можно использовать разные по форме сигналы, например, бинарные или многоуровневые:


Бинарные сигналы	Дискретный многоуровневый сигнал

В данном разделе мы не будем изучать, как аналоговым сигналом производится и передается импульсный сигнал.

Для передачи дискретных сигналов необходимо:

задать среднее время передачи одного символа:

– длительность символа

оценить влияние помех на достоверность передаваемой информации.

Скорость создания информации измеряется в символах в секунду:

, симв./с.= бод

Для двоичного сигнала 1бод=1 бит/сек.

Для многоуровневого сигнала скорость _{бит/сек.} _бод – число уровней.

При этом за время по каналу может быть передана информация

Где:

– информация, передаваемая одним символом.
- количество информации в битах, созданное источником за время .
- потери информации за время (в канале).

Тогда реальная скорость передачи информации по дискретному каналу с шумом:

Пропускная способность дискретного канала с шумом:

Максимальная величина выбирается по всем источникам информации.

Как мы видим, понятие пропускной способности применимо как для непрерывных, так и для дискретных каналов. Для непрерывного канала значение пропускной способности соответствует передачи белого шума с ограниченным спектром. В целом, величина пропускной способности определяет возможность передачи сигналов при наличии шумов со сколь угодно малой вероятностью ошибки.

Кодирование информации (сообщений) в дискретном канале.

Введем следующие понятия и обозначения:

– множество входных/ исходных сообщений,

– алфавит входных сообщений,

– алфавит передаваемых/ выходных сообщений,

– множество передаваемых/ выходных кодовых слов над алфавитом выходных сообщений.

Кодирование есть отображение Г: , в частном случае предметом кодирования может быть построение Г₁: .

Пример:

Множество сообщений – слова русского языка, их количество приблизительно равно . Кодировать слова неудобно из-за их количества. Использует алфавит грамматики русского языка а,б,в,г,д,…33 буквы. Тогда Г₁: , т.е. кодировать будем буквы русского алфавита. Для передачи по каналу связи (КС) следует использовать алфавит минимальной длины, например, двоичный, т.е. .

Символы алфавита образуют кодовые слова. В зависимости от условий передачи и принципов кодирования кодовые слова: