Файл: Толстоусов, Г. Н. Прикладная теория информации учеб. пособие.pdf

Таким образом, энтропия равна двум слагаемым. Ъторое слагаемое равно бесконечности. Этого и следовало ожидать, так как число возможных состояний у непрерывного источника бесконечно. Следо­ вательно, и степень неопределенности состояний также должна

второе слагаемое для всех объектов будет одинаково и мы прини­ маем его за нуль отсчета. Сравнивать же все объекты между собой будем по первому слагаемому, которое называется приведенной энтропией:

Далее будем рассматривать только выражение (20.4) и термин "приведенная" упоминать для краткости не будем.

Рассмотрим, какой вид закона распределения обращает выра­ жение (20.4) в максимум. Иначе, какие непрерывные источники об­ ладают максимальной энтропией? Плотность вероятности lJ(х)

не мо.-.ст быть произвольна, а должна’удовлетворять ряду ограни­ чений. Например, интеграл от плотности вероятности, взятый по всему диапазону, равен единице:

izos)

Поэтому должна рассматриваться вариационная задача на поиск.ус­ ловного экстремума.

Укажем общий метод решения таких задач. Пусть надо найти вид функции 2*Г(х) , при котором некоторый функционал экстре­ мален: ^

II5

Доланы быть учтены дополнительные условия, ограничивающие ЬГ(л),

вида ^

а.

Составляется в соответствии с методом, указанным в § Ч, вспомо­

функционала, которое совпадает с условием экстремума исходного функционала:

ограниченной пиковой мощностью . Пусть верхняя и нижняя грани­

H ( X h - J l r ( x ) & y i S ( x ) d x ;

при дополнительном ограничении

ßr(x)cCx.-i. (яа9)

'съ

ІІб

Условие экстремума ( 2 0 . 8 ) примет вид

g-Q, ■

Экстремальным в данном случае является равномерный закон распределения. Величина энтропии согласно (20.4)

а

Найдем источники, обладающие максимальной энтропией, ког­ да на область возможных состояний ограничений нет. Задано сред­ неквадратичное значение параметра источника или, как говорят,

•источник обладает ограниченной средней мощностью . Определяется экстремум энтропии

При дополнительных ограничениях

где - заданная средняя мощность. Условия экстремума (20.8) примут вид

-Содъг-

ІІ7

где Ы, и - некоторые константы.

Для их определения проведем следующие рассуждения. Запишем плотность вероятности для нормального закона распределения

H(X)=~Sof^^ßj-(x,)dx+4^/ х . гъГ(х)сСх.

Для любых дискретных источников энтропия максимальна в случае равновероятных состояний. Условия максимума энтропии непрерыв­ ных источников зависят от вида ограничений, накладываемых на область возможных состояний источника.

Рассмотрим объединение двух непрерывных источников и

У .

п а

Энтропия объединения двух источников такие монет быть получена аналогично выражению (20 .4). Так как вероятность состояния объе­ динения определяется двумерной плотностью вероятности Л~(х,у/ * получим

Н (Х Y h jJ '< ф , y )te jb T (x y j d x t y .

—ОО

Если источники независимы, то

ъг(х,ц)=ъГ(х)ъГ(у)^

и после преобразования получим

H(XY)=HpC)+H(Y).

Если источники зависимы, то

ъГ(х,ц)-ъГ(х)ъГ(у/х),

и после преобразования имеем

H(XYhH(X)+н(у/х).

Для непрерывных источников получены такие ке соотношения, что и для дискретных источников.

§ 21. Пропускная способность непрерывного канала связи

Рассматривается канал связи, передающий сообщения непре­ рывного источника информации х(-б) . В канале связи действует помеха п (б ) в виде случайного процесса. Пусть непрерывное

119

принимаемое сообщение

процессов будут одинаковы (рис. 2 I . I ) . Количество информации в переданном сообщении определяется равенством

Н(Х7)=Н(Х)+Н(А/).

С другой стороны,по свойству энтропии объединения

HtXY)= н(х)+Н (У /X).

Следовательно, величина потери информации обуоловлана только шуиами и равна энтропии помехи

120

Вместо (21.2) запишем

Н(У) -Н(Ы). (21Л)

Найдем пропускную способность канала - максимально возможную скорость передачи информации ~

~ г г и ^ с [ н ( У ) - И ( А / ) ] ѣ ( u s )

При вычислении пропускной способности технические характеристи­ ки канала связи, в том числе и характеристики помехи, считаются заданными и не варьируются. Так как характеристики помех часто бывают неизвестны, предположим, что в канале существует наихуд­ ший вид помехи, вызывающий наибольшую потерю информации. Тогда характеристики помех определяются из условия максимума энтропии

пия одного отсчета максимальна. Средняя мощность помехи ограничена.Следовательно, худшая в смысле потери информации помеха име­ ет вид случайного шума, у которого закон распределения нормаль­ ный, а спектральная плотность постоянна. Энтропия такой помехи длительности Т

что скорость передачи информации будет равна пропускной способ­ ности в том случае, когда энтропия принимаемых сообщений H(Y) будет максимальна. Следовательно, надо организовать передачу так, чтобы принимаемое сообщение имело вид случайного шума (по­ стоянная спектральная плотность и нормальный закон распределе­ ния). Причем это условие сохраняется для любой помехи, если

І2 І

кон распределения. Это может быть только тогда, когда отсчеты

мации будет максимальна, если передаваемое сообщение закодиро­ вать так, что отсчеты его будут взаимно независимы и распреде­ лены по нормальному закону.

Для определения величины пропускной способности подставим

средних мощностей -jp- . Тогда выражение пропускной способнос­ ти непрерывного канала связи для принятых условий имеет вид

122