Файл: Казаков В.А. Введение в теорию марковских процессов и некоторые радиотехнические задачи.pdf
ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 28.06.2024
Просмотров: 201
Скачиваний: 3
В. А. К а з а к о в
ВВЕДЕНИЕ В ТЕОРИЮ
МАРКОВСКИХ ПРОЦЕССОВ
И НЕКОТОРЫЕ
РАДИОТЕХНИЧЕСКИЕ
ЗАДАЧИ
МОСКВА «СОВЕТСКОЕ РАДИО» 1973
УДКС21.37-519.217 |
ЗЦС$/$ |
К а з а к о в |
В. А. Введение в теорию марковских процес |
сов и некоторые радиотехнические задачи. М., «Сов. радио», 1973, 232 с.
В доступной форме излагаются основы теории марковских процессов. Рассматриваются дискретные цепи Маркова, раз рывные и непрерывные марковские процессы. Излагаются основные идеи теории условных марковских процессов. Каж дый раздел теории сопровождается примерами из статисти ческой радиотехники. Примеры выбраны так, чтобы проиллю стрировать основные методические преимущества и подчерк нуть специфику использования теории марковских процессов при решении практических задач.
Книга предназначена для широкого круга читателей-, инженеров, студентов и аспирантов, специализирующихся в области радиотехники и автоматики.
Табл. 7, рис. 58, библ. 134 назв.
Редакция литературы по вопросам космической радиоэлектроники
|
0341-75 |
К |
046(01)-73 d ~ ' à |
(© |
Издательство «Советское радио», 1973. |
Введение
В теоретических исследованиях по радиотехнике за последние годы нашли широкое применение идеи и мето ды теории марковских процессов. Об этом свидетель ствует большое количество публикаций — научных ста тей и монографий, в которых используются достижения этой математической теории.
К сожалению, инженеры-исследователи, окончившие радиотехнические факультеты даже в самые последние годы, не имели возможности в процессе учебы ознако миться с началами теории марковских процессов. Учеб ные планы, по которым ведется подготовка инженероврадистов в настоящее время, как правило, не содержат дисциплин, дающих хотя бы основы этой теории. В связи с этим значительное число новых исследований по радио технике остаются недоступными широкому кругу радио инженеров. К тому же в настоящее время не существует книги, которая могла бы служить пособием для первого знакомства с предметом. Предлагаемая книга призвана
вкакой-то мере способствовать этому.
Воснову книги положен расширенный конспект лек ций, которые автор читал студентам старших курсов радиотехнического факультета и сотрудникам некоторых научно-исследовательских организаций.
Целью книги является систематическое и доступное изложение основ теории марковских процессов с привле чением ряда конкретных задач из статистической радио техники.
При написании книги были использованы материалы из разнообразных капитальных и периодических изданий, на которые во всех случаях сделаны ссылки. В силу раз нородности затрагиваемых в книге проблем (теория и примеры) составлять обширный библиографический пе речень работ было признано нецелесообразным, поэтому список литературы ограничен.
Радиотехнические примеры выбраны так, чтобы про иллюстрировать основные возможности теории марков ских процессов и не загромождать изложение вспомога-
3
тельным материалом. В ходе работы над курсом лекций, а затем и над книгой автору удалось решить несколько задач, которые включены в текст.
Книга состоит из пяти глав.
Первая глава посвящена дискретным цепям Маркова. В ней приводятся определения цепи Маркова, переход ной и финальной вероятностей, обсуждается уравнение Колмогорова — Чепмена, дается классификация состоя ний и цепей. Рассматриваются поглощающие и эргодические цепи Маркова, после чего разбираются две кон кретные радиотехнические задачи.
Во второй главе излагается теория разрывных мар ковских процессов. Дается определение разрывного про цесса с конечным числом состояний. Рассматривается пуассоновский поток событий и обсуждаются его свой ства. Приводится методика составления систем диффе ренциальных уравнений для вероятностей состояний мар ковского процесса. Изучается процесс гибели и размно жения, разбираются примеры из теории надежности и теории массового обслуживания. Исследуются импульс ные марковские процессы с дискретными состояниями, причем особое внимание уделяется процессу с двумя со стояниями. Выводится интегро-дифференциальное урав нение Колмогорова для разрывных процессов Маркова с непрерывным множеством состояний. Глава завершает ся рассмотрением импульсных разрывных процессов с не прерывным множеством состояний:
В третьей главе рассматриваются непрерывные мар ковские процессы. Разбирается процесс броуновского движения. Дается вывод прямого и обратного уравнений. Колмогорова. Изучаются свойства белого шума и винеровского процесса. Устанавливается связь уравнения Фоккера — Планка — Колмогорова с дифференциальным уравнением, описывающим поведение случайного процес са. Анализируются методы решения уравнения Фокке ра — Планка — Колмогорова. Исследуются свойства нор мального марковского процесса. Обсуждаются задачи о достижении границ и излагаются основные сведения из теории многомерных диффузионных процессов.
Четвертая глава целиком посвящена применениям теории непрерывных марковских процессов в радиотех нических задачах. Рассматривается пример о воздейст вии шума на параллельный колебательный контур. Ис следуются флюктуации амплитуды и фазы колебаний
4
в автогенераторе/Определяется закон распределения фа зы автоколебаний в колебательных системах, находящих ся под воздействием гармонического сигнала и шума. Разбирается задача о воздействии шума на детектор с экспоненциальной характеристикой. В заключение при водится ряд примеров, в которых анализируется явление срыва слежения в простейших системах авторегулирова ния. .
В пятой главе изучаются основы теории условных марковских процессов применительно к задачам фильтрациии и обнаружения случайных сигналов. Вначале выводятся рекуррентные соотношения для условных ве роятностей процесса с дискретным временем и дискрет ным числом состояний. Последовательно рассматриваются задачи фильтрации марковского процесса с двумя со стояниями, марковского процесса с конечным числом со стояний и нормального марковского процесса на фоне белого шума. Освещается вопрос о фильтрации марков ского сообщения из белого шума и марковской помехи. Дается вывод основного уравнения нелинейной филь трации для непрерывных марковских процессов и затем на его основе анализируется помехоустойчивость опти мальных методов приема радиосигналов, модулирован ных 'непрерывными сообщениями. Глава завершается обсуждением задачи об обнаружении марковских сигна лов на фоне белого шума и марковских помех.
Для понимания материала читатель должен быть знаком с основами теории вероятностей и случайных процессов в объеме вуза. , ~
Книга предназначена для широкого круга читателей: инженеров, студентов и аспирантов, специализирующих ся в области радиотехники и автоматики.
Автор выражает свою признательность канд. техн. наук Р. И. Банкгальтеру за проявленное внимание к ра боте и гароф. Ю. С. Левину, прорецензировавшему пер вый вариант рукописи. Особую благодарность автор при носит проф. В. И. Тихонову за помощь и полезные сове ты, способствовавшие улучшению «нити.
i
ДИСКРЕТНЫЕ ЦЕПИ МАРКОВА
1.1.Вводные замечания
При первом знакомстве с теорией вероятностей непременно при ходится сталкиваться с так .называемой схемой н е з а в и с и м ы х испытаний, которая служит математической моделью для описания обширного круга разнородных явлений. Смысл термина «независи мые испытания» состоит в том, что исход испытания в некоторый дискретный момент времени совершенно не влияет на исход любого другого испытания в любой последующий момент времени. Общая постановка решаемой в подобных условиях задачи такова: при за данных вероятностях каждого из возможных событий необходимо определить вероятность того, что за серию испытаний некоторое со бытие произойдет определенное число раз.
Сформулированную задачу можно решать и для другогоболее
сложного |
случая |
з а в и с и м ы х |
испытаний. Для схемы |
зависимых |
|
испытаний' характерно, что вероятность осуществления |
некоторого |
||||
события в |
і-м |
испытании з а в и с и т в общем случае |
от исходов |
||
і—/ ( / = Л |
2, ..., |
i—1) предыдущих испытаний. При этом |
естественно |
||
предположить, |
что предыдущие |
испытания по-разному |
влияют на |
исход цроводимого испытания. Можно, например, полагать, что при увеличении / степень этого влияния убывает. Обычно величина / ограничена некоторым т, так что при всех j>in исходы испытании
не влияют на результаты t-ro испытания. Последовательности таких
зависимых испытаний |
названы ц е п я м и |
М а р к о в а |
в честь |
выдающегося русского |
математика Андрея |
Андреевича |
Маркова |
(1856—1922 гг.). А. А. Марков впервые начал изучать схемы зависи мых испытаний и получил ряд основополагающих результатов.
•Выбор числа m является принципиальным при описании цепей, так как это число определяет так называемую с в я з н о с т ь цепи. Именно, цепь Маркова называется т-овятой, если «а іисход испыта ния оказывают влияние результаты m предыдущих испытаний. Та
ким образам, іможно рассматривать одно-, двух- |
>и т. д., |
ш-шязные |
цели. Односвязная цепь называется п р о с т о й |
цепью |
Маркова, |
а цепи, связность которых большей двух — м н о г о с в я з н ы м и. Поскольку цепи Маркова описывают последовательность и с п ы
т а н и й , то влияние предыдущих |
опытов на последующие носит в е- |
|
р о я т н о с т н ы й характер. В противном случае, если |
бы это влия |
|
ние характеризовалось какой-то |
детерминированной |
зависимостью, |
испытания можно было ібы и «е проводить. Так как будущие испыта ния зависят от исходов предшествующих, необходимо характеризо вать исходы будущих испытаний у с л о в н ы м и вероятностями.
Значительная часть явлений, которые можно представить как схему зависимых испытаний, достаточно хорошо описываются много связными цепями Маркова. Однако основное внимание исследовате лей было направлено на изучение простых цепей Маркова, для которых удалось создать обширную теорию. Роль теории простых цепей Маркова столь велика, что часто класс марковских цепей огра ничивается лишь односвязными цепями. Это обстоятельство обуслов
лено |
также |
и тем, что |
марковские |
разрывные (гл. |
2) и непрерыв |
|
ные |
і(гл. 3) |
процессы |
определяются |
с помощью |
м а р к о в с к о г о |
|
с в о й с т в а , |
которое |
в |
дискретном |
случае удовлетворяется лишь |
6
для дростых цепей. Под марковским свойством понимается следую
щее положение: исход испытания в момент |
зависит |
только |
от |
||
исхода |
п о с л е д н е г о испытания в |
момент th<h+\ и |
не зависит |
||
от исходов всех прошлых испытаний, произведенных до момента |
tk. |
||||
В последующем изложении мы будем |
иметь в |
виду это свойство, |
|||
и м а р к о в с к о й ц е п ь ю будем |
называть |
лишь |
п р о с т у ю |
||
о д и о с в я з и у ю ц е п ь . |
|
|
|
|
|
Для |
марковских цепей знание исхода последнего («настоящего») |
испытания позволяет при прогнозе будущего испытания пренебречь информацией об исходах прошлых испытаний. Такая особенность це
пей Маркова позволяет |
назвать их ц е п я м и б е з п о с л е д е й |
с т в и я . В дальнейшем |
этим определением будем характеризовать |
только такие цепи (или процессы), которые обладают марковским свойством.
Использование простых цепей Маркова как некоторой матема тической модели, описывающей простейший вид зависимых испыта ний, не нашло широкого распространения. Чаще всего при изложе нии теории марковских цепей придерживаются иной схемы, предусматривающей наличие некоторой физической системы.
Предполагается, что система в каждый момент времени может
находиться в одном из состояний хі, Хг, ..., |
XN И может изменять |
|
сш'ое состояние только в дискретные моменты времени ri, tz, ... |
th.... |
|
Чтобы іпіроцеос в такой системе описывался |
простой целью |
Мар |
кова, необходимо соблюдение марковского свойства, которое в дан ном случае формулируется так: вероятность перейти в какое-либо состояние ХІ в момент tu+\ при условии, что в момент іи система
находится в состоянии Xj, зависит |
только от состояния Xj |
и не зави |
|||
сит |
от того, в каких состояниях |
|
система |
находилась в |
моменты |
th-i, |
tu-2, • • • Иначе: для процесса |
в такой |
системе «будущее» зави |
сит только от известного «настоящего» и не зависит от «прошлого».
Если число N конечно, то марковская |
цепь называется к о н е ч - |
||
II о й. Ниже мы ограничимся изучением |
только этого |
-случая. На |
|
промежутки времени между моментами ti и |
ограничений не |
||
накладывается. Важно лишь то, чтобы моменты tt |
были |
фиксирова |
|
ны. Для простоты однако чаще всего полагают, |
что |
ІІ+І—t{=A= |
|
= const. |
|
|
|
Таким образом, цепи Маркова дискретны как по состояниям, так и по времени. Дискретность состояний имеет ясную физическую основу, дискретность времени — понятие менее очевидное. Нужно понимать, что термин «дискретное время» не противоречит общим представлениям о течении времени вообще. Он выражает только то, что некоторый процесс изменяется лишь при определенных дискрет ных значениях t. Работу системы в дискретном времени хорошо
иллюстрируют электрические часы, которые изменяют положение своих стрелок в дискретные моменты, отнюдь не опровергая тем са мым непрерывности времени.
Иллюстрацией процесса, описываемого цепью Маркова, слу жит, .например, движение человека, который через некоторые про
межутки времени бросает монету и в зависимости от |
выпадения |
орла яли решки делает шаг вправо или вшево. Совершенно |
аналогич |
ный пример возникает при наблюдении за движением частицы, кото рая может двигаться вверх или вниз единичными шагами. Частица совершает перемещения под воздействием случайных толчков, про исходящих в моменты t[, h, ... В дальнейшем пример случайного
блуждания частицы будет рассмотрен в различных вариантах.
7
1.2.Вероятности перехода
Важнейшей особенностью марковской цепи является го, что переход системы в последующий момент в неко торое состояние (или исход последующего испытания) зависит только от состояния, в котором'система находит ся в настоящий момент (или от исхода настоящего испы тания) .
Следовательно, состояния системы je,, jea ,..., xN
вмомент tn. необходимо характеризовать условными
вероятностями |
(1) того, что система за один шаг перей |
||
дет Б какое-то |
состояние Xj при |
условии, что в момент |
|
она находилась в состоянии ХІ. Вероятности pfj |
Ц ) = |
||
(к) |
|
|
|
= /г ' являются |
основными характеристиками марковской |
||
цепи. Эти вероятности называют |
п е р е х о д н ы м и |
или |
|
в е р о я т н о с т я м и п е р е х о д а . |
|
|
Поскольку система может находиться в одном из N состояний, то для каждого момента времени h необходи мо задать N2 вероятностей перехода p[f, которые удоб но записать в виде матрицы *>
(1.1)
Следует иметь в виду, что в обозначениях ptj первый
индекс означает состояние системы в предшествующий момент времени, а второй указывает на возможное со
стояние системы в последующий момент. |
|
|
Матрица (1.1) называется п е р е х о д н о й |
или |
ма |
т р и ц е й ' п е р е х о д а . Ее особенность состоит |
в том, |
что |
в каждой строке записаны вероятности в с е х возможных переходов из выбранного состояния, в том числе и «пе
реход» |
в самое |
себя. Очевидно, эти переходы образуют |
|
полную |
группу |
событий, так что сумма |
вероятностей |
каждой |
строки |
равна единице. Матрица |
перехода — это |
непременно квадратная матрица с неотрицательными элементами, образующими по строкам единичную сумму.
*) В дальнейшем матрицы будут обозначаться полужиірныім шрифтом.
8