Файл: Казаков В.А. Введение в теорию марковских процессов и некоторые радиотехнические задачи.pdf

подматрицы Q стремятся к нулю, а элементы подматри­ цы R к единице. Доказательств этих интуитивно оправ­ данных положений мы не приводим.

Характер изменения элементов подматрицы Q с ро­ стом а непосредственно связан с определением важных количественных характеристик поглощающей цепи:

1)вероятности достижения поглощающего состояния из любого заданного;

2)среднего значения числа шагов, необходимых для достижения поглощающего состояния;

3)среднего значения времени, проводимого процес­ сом в каждом из невозвратных состояний до попадания процесса в поглощающее состояние.

ся из следующих рассуждений. Подсчитаем число щ по­

и, во-вторых, от начального состояния. Вычислим среднее значение которое обозначим <га3 ->і. Уголковые скоб­ ки означают операцию усреднения по множеству, а ин­ декс і указывает на то, что среднее значение вычисляет­ ся для і-го начального состояния.

Величина <tij>i должна включать в себя слагаемое, которое отражает факт пребывания процесса в началь­ ном состоянии. Аналитически это слагаемое учтем с по­ мощью символа Кронекера

которая с весом pik является слагаемым искомой вели­ чины <tij>i. Суммируя по всем k, получаем

Учитывая правила сложения и перемножения ма­ триц, на основе (1.22) получаем матричное соотноше­ ние

в данное невозвратное состояние в зависимости от на­ чального состояния. Из (1.22) следует, что в матрице N элементы главной диагонали (i = j) должны быть боль­ ше единицы.

Вычислим фундаментальную матрицу для поглощаю­ щей цепи Маркова, рассмотренной в примере 2 § 1.2. Из соотношений (1.18), (1.19) имеем:

тогда

Как известно {5, 6], любая невырожденная квадрат­ ная матрица А порядка k имеет единственную обратную матрицу, записываемую в виде

где \А\—определитель матрицы А; Ац — алгебраиче­

20

Используя определение (1.25), для матрицы (1.24) легко получаем обратную

(1.26)

где последнее равенство записано на основе (1.23) в со­ ответствии с новой нумерацией состояний.

Конкретизируем пример, задав р= 1/4- Тогда из (1.26) получим

(1.27)

Рассмотрим, например, вторую строку матрицы (1.27). Элементы этой строки показывают, что если про­ цесс начинается из состояния х ^ то с учетом единичного вклада начального состояния процесс проводит в этом

но выбрать любое состояние, в котором оказывается процесс в данный момент времени. Следовательно, фун­ даментальная матрица дает одинаковый прогноз на бу­ дущее независимо от абсолютного значения времени, прошедшего от начального момента. Это обстоятельство, в частности, иллюстрирует марковское свойство процес­ са, характеризуя его как процесс без последействия: при известном настоящем будущее не зависит от прошлого. При этом следует иметь в виду, что указанное свойство фундаментальной матрицы не противоречит характеру изменений безусловных вероятностей и вероятностей пе­ рехода с течением времени: у поглощающих цепей без­

21

Фундаментальная матрица позволяет вычислить еще целый ряд важных характеристик марковской цепи.

Тогда среднее время до поглощения при начальном со­ стоянии ХІ равно:

Соотношение (1.28) указывает путь для определения важнейшей характеристики цепи tiCp. Именно: сумми­ руя построчно элементы фундаментальной матрицы, по­ лучаем вектор-столбец величины ticp:

из состояния Хз. Естественно было бы ожидать, что ве­ личина ticp будет меньше rfscp, так как попасть в погло­ щающее состояние из среднего труднее, чем из близле-

^5ср>^4срРазберем теперь вопрос о том, в к а к о е из погло­

щающих состояний попадет блуждающая частица. Для этого необходимо вычислить все возможные вероятности bij того, что процесс, выходящий из невозвратного со­ стояния ХІ, попадает в поглощающее состояние Xj. При

22 •