Файл: Казаков В.А. Введение в теорию марковских процессов и некоторые радиотехнические задачи.pdf

- По виду матрицы можно заключить, что," если система

вэтом состоянии—вероятность этого события равна 3 Д,

водном случае из четырех она перейдет в состояние хі;

переход же из состояния Хз в состояние х% невозможен. Пример 2. Обратимся к описанию движения блуждаю­ щей, под действием случайных сил частицы. Рассмотре­ ние этого движения позволяет проиллюстрировать основ­ ные разновидности марковских цепей, что определило широкое распространение этого примера в литературе

[1 - 4] .

Пусть движение частицы ограничено двумя экранами, установленными на границах. Зададим число возможных состояний N=5, совместив граничные точки с состоя­ ниями ХІ и л*. Предположим, что экраны являются п о-

9

г л о щ а ю щ ІІ м и . Это означает, что процесс, достигнув состояний ХІ, х5, не может перейти из них ни в какое другое состояние. Следовательно, рц—\ для /=1,5. Что касается внутренних состояний (1 = 2, 3, 4), то по усло­ вию в каждый момент времени частица должна переме­

Пример 3. Запишем матрицу перехода для блуждаю­ щей частицы между о т р а ж а ю щ и м и экранами.. Условия отражения могут быть весьма разнообразными. Сначала мы предположим, что частица при достижении граничной точки на следующем шаге отражается в то состояние, из которого она пришла. Для данной задачи такими состояниями могут быть только х-ь и х і и поэтому матрица перехода выглядит следующим образом:

Условия отражения могут быть такими, что частица из граничной точки переходит в любое другое заданное

Матрицы (1.4), (1.5) описывают эффект полного от­ ражения от границы. Возможны и другие варианты. Рас­ смотрим пример полупоглощающих (или полуотражаю­ щих) границ, для которых характерно, что частица на

10

следующем шаге с вероятностью и отражается в какоето состояние (пусь в л'з) и с вероятностью 1—и остается на границе. Тогда

Аналогично можно составить матрицы перехода для дру­ гих граничных условий. Матрицы перехода удобно пред­ ставлять в виде сигнальных графов, интерпретируя пере­ ходы системы из состояния ХІ В состояние Xj кяк переда-

чу сигнала от одного узла к другому с коэффициентом передачи ветви рц. Сигнальные графы для матриц (1.3) — (1.6) изображены на рис. 1.1—1.4 соответственно.

рехода не полностью определяет цепь Маркова. Если отнести матрицу перехода к первому шагу, определяю­ щему н а ч а л о работы системы, то для исключения условности необходимо задать еще вероятности началь­ ных состояний — начальные условия.

Вероятности начальных состояний р[°\ р%\ ..., р^" являются безусловными вероятностями и образуют ма­ трицу-строку Ро = (/?{0), р{°\ ... , р(®), сумма элементов

11

которой по условию нормировки должна быть равна еди­ нице. Характер распределения вероятностей начальных состояний целиком определяется условиями задачи. В ча­ стности, в начальный момент система может находиться

Рис. 1.4.

в каждом из N С О С Т О Я Н И Й С равной вероятностью. При этом

pi°) = llN. для всех і.

В том случае, когда начальное состояние системы извест­ но точно, то

/?<0 ) =0 для всех іф\ и р(°) = 1.

1.3. Уравнение Колмогорова—Чепмена. Классификация состояния и цепей

Матрица перехода дает исчерпывающее представле­ ние о вероятностях возможных переходов за о д и н шаг. Естественно возникает вопрос: как рассчитать вероятно­ сти того, что система, находящаяся в данный момент в состоянии Xï, перейдет в состояние х,- за 2, 3, ... , п ша­ гов. Иными словами, требуется найти матрицы перехода для заранее заданного числа шагов, если известна ма­ трица перехода за один шаг *).

*' Эта и все последующие зада™ и данной главе непосредствен­ но связаны с матричными операциями. Изложение теории матриц можно .найти в курсах высйей алгебры (см., например, [5, 6]).

12

Для однородной цепи Маркова вероятность перехода системы из г'-го состояния в j - e за два шага pij{2) опре­ деляется следующим очевидным соотношением, которое учитывает все возможные пути перехода

Р(2) является произведением двух одинаковых матриц

Это означает, что матрица перехода за три шага Р(3) равна 'произведению матриц перехода за один и два шага: Р(3) = Р(2) Р = Р • Р(2) = Р3 .

Ясно, что матрица перехода за п шагов Р(/г) вычи­ сляется как /г-я степень матрицы перехода за один шаг

гов производится путем суммирования произведений ве­ роятностей перехода, относящихся к начальному, про­ межуточному и конечному моментам времени. Если для определенности предположить, что процесс в системе

13