Файл: Казаков В.А. Введение в теорию марковских процессов и некоторые радиотехнические задачи.pdf

первого во второй. При расчете вероятностей перехода за три шага можно рассматривать уже два промежуточ­ ных момента: первый и второй, и вычисление вероятно­ стей pij(3) следует производить с учетом знания матриц перехода до и после промежуточного .момента [соотноше­ ние (1.8)].

Если рассматривать переход за п шагов, то в каче­

матрицы перехода за s шагов на матрицу перехода за (п—s) шагов. Поскольку мы рассматриваем однородные цепи Маркова, то выражение (1.11) будет справедливо для любого момента, выбранного за исходный.

Соотношение (1.11) в теории марковских цепей но­ сит фундаментальный характер и выражает связь меж­ ду вероятностями перехода для каких-либо т р е х по­ следовательных моментов времени. Это соотношение называют уравнением Колмогорова, уравнением Чепме-

ходимо использовать знание матрицы-строки вероятно­ стей начальных состояний Р0 :

;=і отражающим тот простой факт, что система в первый мо­

мент времени может оказаться в /-м состоянии после

14

перехода из любого /-го начального состояния. Совокуп­

Перейдем теперь к изложению вопроса о классифи­ кации состояний и цепей. Поскольку состояния и цепи Маркова классифицируются по весьма большому числу признаков І[1—4, 7] полное описание которых выходит за рамки книги, то мы коснемся здесь лишь основных опре­

с положительной вероятностью за какое-то число шагов перейти в некоторое другое состояние, в то же время вернуться из этого другого состояния в первоначаль-ное невозможно. Возвратные состояния предполагают воз-

15

множества) сообщающихся состояний. Состояния, при­ надлежащие к различным классам, не сообщаются между собой. Если множество возвратных состояний со­

то он никогда уже не может вернуться в это множество. В то же время, если процесс попадает в какой-либо класс сообщающихся состояний, то, опять-таки по опре­ делению, процесс никогда не покинет этого класса. Естественно, что множество сообщающихся состояний может включать в себя большее или меньшее число со­ стояний. В частном случае оно может состоять из одного

войти из невозвратного множества, но выйти из него не

кальным образом изменяет характер процесса по срав­

всех состояний имеется хотя бы одно поглощающее. По­ глощающая цепь непременно содержит в себе два мно­ жества: множество возвратных состояний, состоящее по крайней мере >из одного элемента — поглощающего со­ стояния, и невозвратное множество.

Марковская цепь может и не содержать невозврат­ ного множества. В этом случае она состоит из множе­ ства всех возвратных состояний, которое может вклю­ чать в себя несколько классов сообщающихся состояний. Но поскольку, классы сообщающихся состояний не со­ общаются между собой, то каждый класс можно рассма­ тривать в отдельности. По этой причине цепи Маркова,

16

В дальнейшем будем использовать только новую нуме­

Обратим внимание на то, что левая верхняя подматрица представляет собой единичную матрицу, порядок кото­ рой определяется числом поглощающих состояний в це­ пи. При этом правая верхняя подматрица обязательно состоит из одних нулей. ^

Левая нижняя подматрица включает в себя элемен­ ты, характеризующие /переход из невозвратных состоя­ ний в поглощающие. Наконец, правая нижняя подма­ трица описывает поведение процесса в множестве не­ возвратных состояний до перехода в поглощающие со­ стояния.

Введем для подматриц матрицы (1.18) специальные обозначения

(1.19)

и предположим, что в цепи имеется s невозвратных и г—s поглощающих состояний. Тогда подматрицы 'матри­

ятность попадания процесса в поглощающее состояние равна единице. Это означает, что с ростом п элементы

18