Файл: Бовбель, Е. И. Элементы теории информации.pdf

ВУЗ: Не указан

Категория: Не указан

Дисциплина: Не указана

Добавлен: 24.10.2024

Просмотров: 62

Скачиваний: 0

ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.

При этом по формуле полной вероятности

4

Р(Уі) = Уі) = РШ Р(УіІУг) + Р(Уз) Р(УіШ +

/=1

+ Р(уд Р(Уі/У4) = 4- Иѵ>) + р (У*) + Р ( У Л

 

4

 

 

 

Так как

^ Р і у д = 1, то

Я(у,) = -|-(|

— Я(г/,)),

откуда

Р(Уі) =

/ = 1

 

Р(Уз) — Р(у<\) =

Аналогично получим Р(у2) =

= 1/4. Найденные значения

вероятностей, при

которых

H ( Y y имеет максимальное значение, равны соответствую­

щим величинам, полученным в предыдущей задаче, и, сле­ довательно, найденная там скорость передачи, согласно (3.8), равна пропускной способности линии связи.

Задача 5. Длительности каждого из т кодовых сим­ волов составляют t u /2, із, t nr Определить число всех

возможных последовательностей длительностью Т, кото­ рые можно составить из этих пі кодовых символов.

Р е ш е н и е. Обозначим искомое число последователь­ ностей через /Ѵ(Т). Тогда число различных последователь­ ностей длительностью —/,*) равно /Ѵ( Т — /,*). Эти после­

довательности,

очевидно,

не содержат

кодового симво­

ла ///. Прибавив

к любой

из этих N(T — //)

последова­

тельностей кодовый символ уі, получим

последователь­

ность длительности Т. Поэтому

 

 

N(T) = N(T -

t x) + N ( T -

t2) + ... + N(T -

t m). (3.9)

Уравнение (3.9) есть линейное уравнение в конечных раз­ ностях. Методы решения таких уравнении аналогичны методам решения линейных дифференциальных уравне­ ний с постоянными коэффициентами.

Решение уравнения (3.9) будем искать в виде

Л'(7) = 2 Сіг ] .

(3.10)

/=1

 

Подставим (3.10) в (3.9):

 

су'І [Г— г-'« — г~/я — ... — * у 1т] +

... +

+

(З.П)

66


Если г1, Гг, гг, ...,

гп являются корнями уравнения

1

— гГ*' — ...

0;

 

 

(3. 12)

1

г,,1' — ... — г,Л' = О,

то левая часть (3.11) тождественно обращается в нуль и, следовательно, (3.10) является решением уравнения (3.9). При этом-существенно заметить, что N(T) должно быть вещественно и неотрицательно при всех положительных значениях Т.

Если /*і— максимальный корень уравнений (3.12), при достаточно большом Т слагаемое С\гхг значительно боль­ ше суммы остальных слагаемых в правой части (3.10). Поэтому можно записать искомое, число последователь­ ностей в виде

N ( T ) ~ c xr ( = c r r ( Г » 1 ) . ■ (3.13)

Задача 6. Пусть длительности кодовых символов оди­ наковы и равны т0. Показать, что в этом случае N(T) —

==сг топределяет число всех возможных последователь­ ностей длиной в М символов, которые можно составить из m различных кодовых символов ( Т = М ^ 0).

Решение . Если длительности всех кодовых симво­ лов одинаковы, то из уравнения (3.12)

_і_

r=(m)~°.

(3.14)

*4.

 

Подставляя (3.14) в выражение (3.13) предыдущей зада­ чи, получаем

N(T) =

c(m)7/’° — cmA\

 

 

(3.15)

где М = Т/^0— число

символов

в

последовательностях

длительностью

Т. Постоянная с = 1 ,

так как

число раз­

личных последовательностей длительностью Г = т 0

равно

числу кодовых

символов, т. е.

N(^0) = т,

а из

(3.15)

N(*o) —ст.

 

 

 

 

 

 

Таким образом, N(T) = mM,

что и требовалось пока­

зать.

 

 

 

 

 

 

Задача 7. Вычислить пропускную

способность линии

связи, у которой длительности символов различны.

 

67


Р е ш е н и е . Подставляя выражение N(T) из (3.13)

задачи 5 в формулу (3.6),

получаем

 

С

с

lim

log' сг т

log/*.

 

У'-.оо

Т

 

Задача 8.'Источник вырабатывает три различных сим­ вола a, b и с соответственно с длительностями 2, 3 и 4 ед. времени. Определить число различных сообщений, кото­ рые может выработать источник в течение Т— 20 ед. вре­ мени.

Р е ш е и и е. Уравнение (3.9) из задачи 5 в нашем слу­ чае имеет вид

N(T) = N ( T —2) + N (T —3) + N ( T —4).

(3.16)

Подставим в уравнение (3.16)

минимальную длительность

Т= 2. В результате

должны

получить ЛД2) =УѴ(0)+

+/ Ѵ( —

—2) =

1. При использовании

положитель­

ных длительностей сообщений для выполнения последне­ го равенства необходимо положить

іѴ(0) = 1, Л/ (— 1) = іѴ (—2) = 0 .

(3.17)

Результаты непосредственного расчета по формуле (3.16) с учетом (3.17) сведем в табл. И.

N( 1)=Щ—1)■+Щ—2)-j-N(—3)=0

ЛГ(2)=W(0)+ЛГ(-1)+М—2)=1

N(3)=N(\)+N(0)+N{—1)=1

W(4)=W(2)-j-W(l)+N(0)=2

N(5)=N<ß)+N(2)+N(\)=2

jV(6)=Л-(4)-fЛ-(3)+N{2)=■4

N{7)=N(5)-\-N(4)-\-N(3)=5

N(S)=N(6) +N{b)+N(4)=8

N(9)=N(7)+N(6)+N(5)=U

N(20)=N( 18)+//(17) 16)=760

Таблица 11

а

b aa, c

ab, ba

aaa, bb, ac, ca

aba, baa, aab, bc, cb

aaaa, abb, babt bba, aac, аса, caat cc

bbb, abc,"acb, bac, bca, cab, cba, aaab, aaba, abaa, baaa

'

Задача 9. Для передачи сообщений по линии связи ис­ пользуют три-различных символа с длительностями t\ — = 10~6с, /2= f 3= 2-10“°с. При отсутствии ограничений на

68


допустимый вид последовательностей.символов вычнсліпъ пропускную способность такой линии связи.

Р е ш е н и е . Искомая пропускная способность пахо- -дится по формуле (см. задачу 7)

C= log г,

где /‘ — максимальный корень уравнения

1 — Г 1' - г~*' — r~h = 0.

ѵ (3.18)

Введем

где 2^0 —2t\ =

t2 = h^ Тогда уравнение (3.18) примет.вид

2x2-j-x— 1 = 0 ,

откуда хтах = 0 ,5 . Таким образом, г~~'° =

= 0,5. Логарифмируя обе части последнего равенства, на­

ходим .

'

 

С *= log г = -----— log 0,5 — — = 10(5 (бит, с).

 

то

т0

Задача 10. Для передачи сообщений используются ко­ довые символы одинаковой длительности ѵ Вероятности появления кодовых символов на входе линии связи одина­ ковы и равны Р (уі) = \/т ( / =1, 2, ..., т). Показать, что • при этом фактическая скорость передачи кодовых симво­ лов равна пропускной способности линии связи.

Р е ш е н и е . Скорость передачи кодовых

символов в

этом случае можно вычислить по формуле

 

7 = ^ П

(3.19)

т0

 

Так как по условию кодовые символы равновероятны, эн­ тропия

т

 

H{Y) = -

2

Р(УІ) log Р М = log т.

(3.20)

 

 

/=1

 

' Подставив (3.20)

в (3.19), получим

 

 

 

7 =

3 - log т, '

(3.21)

 

 

 

Т0

 

что совпадает с пропускной способностью этой линии свя­

зи, вычисленной в задаче 1.

сообщения т ко­

3

а м е ч а н и е.

Если мы кодируем

довыми символами одинаковой длительности, то для по­

лучения

максимальной скорости передачи необходимо

так выбирать кодовые последовательности,

составляемые

09