ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 24.10.2024
Просмотров: 52
Скачиваний: 0
образом построить код и произвести декодирование, что бы вероятность ошибки была как угодно мала, а скорость передачи как угодно близка к пропускной способности ли нии связи. Поэтому можно сказать, что теоремы о кодиро вании в присутствии шумов оправдывают поиск помехо устойчивых кодов, не давая рецептов к их .отысканию.
Задача 1. В запоминающем устройстве накоплено ІО4 дв. единиц информации. Для ее передачи можно вос
пользоваться |
одним из двух симметричных каналов с |
иезависимы ми |
ошибками. Определить, каким каиалом |
следует воспользоваться, чтобы передать накопленную ин формацию за минимальное время с высокой верностью при следующих параметрах каналов: Ѵк— скорость пере дачи канальных символов; Р ош— вероятность ошибки в канале. Найти время передачи в каждом канале. Срав нить со временем передачи по каналу без помех.'Обсу дить результаты. (В обоих случаях допускается кодиро вание с любой сложностью. и1= 2000 бит/с, ѵ2= 1000 бит/с,
Ріош =0,03, Р2ош==0,003.)
Ре ш е и и е. Пропускная способность двоичного сим
метричного канала связи определяется по формуле
с = V [Н - |
Рошlog Р ош + |
(1 — Р ош) log (1 - Рош )] • |
Для первого капала связи |
|
|
С{ = 2000(1 + |
0,03 log 0,03 + |
0,97 log 0,97) ^1611 (бит/с), |
для второго |
|
|
С2 = 1000(1 + 0,003 log 0,003 + 0,997 log 0,997) = '
= 970 (бит/с).
Время передачи накопленной информации по первому и второму каналам соответственно равно:
/1 = - Ш Г ~ 6>21 (°); ^ = - ^ ~ 1 . 3 Н с ) .
Согласно теоремам Шеннона, для обоих каналов всег да существует код, при котором вероятность ошибочного приема может быть сделана как угодно малой величиной. Поэтому для передачи 10000 бит информации целесооб разно воспользоваться вторым каналом, так как время пе редачи при этом меньше примерно в 5 раз.
7 За к. 2340. |
97 |
Г Л А В А 5
НЕПРЕРЫВНЫЕ КАНАЛЫ С ШУМАМИ
§ 1. Пропускная способность непрерывных каналов
Под сообщением, вырабатываемым источником, будем понимать реализацию x(t) случайного процесса, задан ную на конечном интервале времени Т. Будем считать, что входные сообщения x(t) и Еыходиые у(і) линии связи являются стационарными, эргодическими и стационарно связанными случайными функциями времени.
Произвольную реализацию x(t) случайной функции, заданной на конечном интервале времени Т с как угодно большой степенью точности, можно представить вектором X, координаты которого суть коэффициенты разложения x(t) по некоторой системе регулярных функций (см. при ложение). Это представление будет тем более точно, чем больше число членов разложения берется. В дальнейшем будем считать, что разложение производится согласно теореме. Котельникова (см. приложение). Тогда коорди натами ъектора X являются значения функции х (t) в точ ках опроса:
2 \ |
/п — 1 \ |
2Wу |
•••’ Хп [ 2\Ѵ )' |
Для различных сообщений эти координаты принимают различные значения. Координаты вектора X являются случайными величинами, которые в'общем случае непре рывны. Статистическое описание такой совокупности случайных величин дается п-мерной плотностью вероят ности w(xь х2, ..., хп).
Врезультате воздействия шумов входное сообщение
х(і) линии связи отличается от соответствующего выход ного сообщения y(t).
Для определения количества информации, содержа
щегося в сообщении y(t) и x(t),
I ( X T , Y T )^= H ( Y т) - H i ? т; X T) |
(5.1) |
98
определим H ( Y T) и H(YTiXT):
H{YT) = — ?... |
[ш(уі, |
yn)logw(yu |
yn) dyv |
dyn. |
• (5.2)
Если у I, #2/ •••> У n— независимые случайные величины, то
w{ yt. у а , . . . , уп) = ад(Уі) а д ( у 2) ... w ( * f o ) - '
Подставляя (5.2) в (5.1) и выполняя интегрирование, получаем
ЩУТ) = - 2 |
Тад(у;) logco (у<) dyi = 2WTH(Y), |
(5.3) |
/=1 -do
так как для стационарных функций для всех i w (уі) одинаковы, а число точек опроса на интервале [О, Т], со гласно теореме Котельникова, равно 2WT, где W — поло са частот, занимаемая сигналом y(t).
Условную энтропию H(Yr/ X T) определим по формуле
|
|
00 |
|
00 |
|
СО |
|
. . . |
I' |
|
|
|
ЩѴТІХТ) = - |
1I ' |
. . .Ir |
|
I’V |
... |
..., -vn; i/i, .. .y„)X |
||||||
|
|
|
|
|
|
J йфгь |
||||||
|
|
00 |
— |
00 |
— |
00 |
|
— |
00 |
|
|
|
X Іоg w ( y ly • • *j |
У |
|
*• • > xn) d x 1...dx„dyl ...dyn. |
|
||||||||
Положим, что значение уі |
|
зависит лишь от значения х |
||||||||||
и не зависит |
|
от xj, |
если / |
|
фі. |
Так как, |
|
кроме того, |
уі и |
|||
уу-— независимые случайные величины, то |
|
|||||||||||
w(xu ..., хп; |
|
уи ..., |
y„) = |
|
w(x1, y j w( x 2, уг) ...w(x„, |
y„). |
||||||
Поэтому |
|
|
|
|
|
|
|
|
|
|
|
|
H{YT / х т) = |
— V |
f ... |
j |
w(xi, |
Уі) legwiyii'Xi) dxidyi = |
|||||||
|
|
/==1 — bo |
— OO |
|
|
|
|
|
|
|||
|
|
= 2WTH(Y;X), |
|
|
|
(5.4) |
||||||
где мы воспользовались тем, что процессы x(t) и y(t) стационарно связаны, т. е. ад (я/, у^) и wix^yi) для всех і~ одинаковы.
Подставив (5.3) и (5.4) в (5.1), получим
І(ХТ, Y T) = 2WT[H(Y) - H(Y/X)] .
По определению скорости передачи
Т{Х, Y) = lim -/(Лт' І Т] • = 2W[H(Y) — H(Y:tX)\. |
(5.5) |
г- 00 1
9 9
Если линия связи задана, т. е. заданы полоса частот и условная плотность вероятности w(x/y), то, варьируя в (5.5) w(x), можно найти такую функцию распределения входных сообщений, при которой скорость передачи бу дет максимальна. Поэтому для пропускной способности непрерывного канала можем записать:
Стах = max 2W[H(Y) - |
H(Y/X)} = 2U7max I(X, Y). (5.6) |
{w(x)} |
{w{x)} |
Если в липши связи на сообщения наложены некоторые ограничения, при отыскании максимума в (5.6) их сле дует учитывать.
§ 2. Пропускная способность стационарной гауссовой линии связи
Предположим, что шум, действующий в линии связи, стационарный гауссов, а выходное сообщение y(t) явля ется суммой полезного сообщения инезависимого от него шума: y(t) = x(t)-\-n(t). Условная плотность веро ятности w ( у / х ) = w(y — х) = w(n). Поэтому
H{Y;X) = |
— |
I' |
w(x, у) log w(y'x) dxdy = |
||
|
|
|
_ |
öo — bo |
|
= |
— |
00 |
|
|
Oo |
1. |
1' w(x)dx I’ w{y'x) \ogw(lJ;X)dy = |
||||
|
_ |
|
_ |
•* |
|
|
oo |
|
00 |
||
= |
— |
00 |
|
|
00 |
C &у(л:) dx |
I’ w{a) log w(n) da — |
||||
|
_ |
00 |
|
_ 0O |
|
|
= |
— |
Oo |
|
|
|
|
f w(n) log w(n) da = H(n), |
|||
— OO
где H(n) — энтропия шума. Так как заданный шум нор мален, на основании формулы (1.40)
Н{п) = log \]2г,е ап,
где о- — дисперсия шума. Выражение
7 = 2 \ V [ H ( Y ) — Н(п)] ' (5.6а)
максимально, когда максимальна энтропия принятых
сообщений, |
a H(Y) |
максимально |
и равно log \/2^ е ау, |
когда сообщения у |
распределены |
по гауссовому зако |
|
ну. Таким |
образом, |
|
|
100
Сс = |
2W(\0g\j2^ecy — log\'2~^aJ = |
||
= |
2 W log |
av |
(5.7) |
= W log |
|||
|
|
G/i |
cn |
Так как передаваемые сообщения и шум независимы, то
а.у = ад* T“ |
(5-8) |
Подставив (5.8) в (5.7), получим
Cc = r io g ^ l +
Если u(f) и n(t) соответственно напряжения принима емого сигнала и шума, то з2 и а2— соответственно сред ние мощности принимаемого сигнала и шума. Обозначнв через Р среднюю мощность принимаемых сооб щений, а через N — среднюю мощность шума, из (5.9), будем иметь
Сс = W log ||l + |
Y |
(5.10) |
Это известная формула Шеннона. |
|
|
Из формулы (5.3) видно, |
что одна и та же пропуск |
|
ная способность может быть получена, во-первых, расшн-- реиием полосы частот W и снижением за счет этого иеоб-- ходимого отношения сигнала к помехе, что ведет к сни-- жению необходимой мощности сигнала; во-вторых, суже нием необходимой полосы за счет повышения отношения сигнала к помехе (этот путь может быть использован там, где требуется сузить полосу частот).
Щ
§ 3. Зависимость скорости передачи информации от распределения сигнала и шума по спектру частот
Получим выражение для скорости передачи / через спектральные плотности мощности передаваемого сигна ла x(t) и шума n(t).
Если сипнал и шум статистически независимы и адди тивны, мощность принятого сигнала y(t), приходящаяся на элементарную полосу частот df,
4rf/) = ѴЗДМ-ь sn\f)df,
где Sx(f) и Sn(f) — соответственно спектральные плот ности мощности передаваемого сигнала и шума.
І01