Файл: Сирл, С. Матричная алгебра в экономике.pdf

1. ВВЕДЕНИЕ

Цепи Маркова — это частный класс вероятностных моделей, ко­ торые часто применимы к проблемам выбора решений в области эко­ номики. В марковской цепи рассматриваемая система переменных раз­ делена на отдельные, четко определенные, взаимоисключающие со­ стояния, ив каждый момент времени система находится водном и толь­ ко в одном из этих состояний. Для любого текущего состояния системы вероятность быть в каком-либо другом состоянии в следующий момент времени зависит только от состояния системы в настоящий момент, т. е. эта вероятность не зависит от того, как система достигла своего настоя­ щего состояния.

Пример. Рассмотрим ситуацию, при которой машина может на­ ходиться в одном из двух состояний: «работает хорошо» или «нуждает­ ся в регулировке»1. Если машина работает хорошо сегодня, вероятность того, что она будет работать хорошо завтра, равна 0,7, а вероятность того, что она завтра будет нуждаться в регулировке, равна 0,3. Пред­ положим, что машина имеет, механизм саморегулирования, который действует недостаточно эффективно, так что, если машина нуждается в регулировке сегодня, вероятность того, что она будет работать хо­ рошо завтра, равна 0,6, а вероятность того, что она будет нуждаться

врегулировке завтра, равна 0,4.

Втабл. 1 представлены вероятности изменений при состоянии 1 (ситуация, в которой машина «работает хорошо») и при состоянии 2 (ситуация, в которой машина «нуждается в регулировке»). Заметим, что сумма вероятностей по любой строке равна 1.

Матрица вероятностей перехода Р, полученная по табл. 1, имеет

вид:

204

Т а б л и ц а 1

Вероятности перехода

Предположим, что машина начинает работу в состоянии 1 («работает хорошо») в исходный момент времени, который мы будем считать ну­ левым периодом. Если элементы вектора вероятностей состояний х'о представляют собой вероятности пребывания машины в различных состояниях в период 0, тогда

х'о = [1 0].

Здесь индекс 0 при х' указывает на период времени, к которому отне­ сен х ', и не является индексом элемента какой-либо матрицы.

В этих обозначениях вектор-состояний1 машины в период 1 (х{) вычисляется умножением слева на матрицу вероятностей перехода Р:

Вектор состояний машины в период 2 может быть вычислен следующим образом:

Таким образом, вектор состояний машины в период я равен вектору состояний в период 0, умноженному на я-ю степень матрицы вероят­ ностей перехода Рп (см. раздел г параграфа 5 главы II). Так, напри­ мер, если машина начинает с состояния 1 в периоде 0, то вероятность того, что она будет в состоянии 1 в период 2, задается первым элемен­ том вектора %2, а именно 0,67.

Поведение машины с течением времени, описанное матрицей вероятностей переходов Р и бесконечной последовательностью векторов состоянийх ' о , х [ , ... , х ' п , ..., описывается цепью Маркова. Единственным свойством, характеризующим цепь Маркова, является тот факт, что вероятность перехода из любого состояния в любое другое не зависит от того, каким путем цепь достигла текущего состояния. Например, если машина находится в состоянии 2 в период 2, вероятность перехода в состояние 1 в следующем периоде равна р21=0,6 безотносительно

ктому, как машина попала в состояние 2. Это свойство часто называют

1Здесь и далее термин «вектор состояний» употребляется вместо термина «вектор вероятностей состояний».

2 0 5

марковским, или свойством отсутствия памяти. Нет необходимости помнить, как система достигла того или иного состояния в тот или иной период времени; состояние системы в некоторый период времени и мат­ рица вероятностей перехода содержат всю необходимую информацию о системе и вероятностях ее будущих изменений1. Марковское свойство может встречаться не только в случаях дискретных описаний состоя­ ний (в нашем примере было два дискретных состояния), но также и в случаях непрерывных описаний состояний системы. Если это свойство существует у системы с непрерывным множеством состояний, то такую систему называют марковским процессом,’ если же множество состояний дискретно, то ее называют марковской цепью. В этой главе рассматриваются только марковские цепи, хотя большинство резуль­ татов может быть перенесено (с соответствующими изменениями форму­ лировок) на случай марковских процессов.

2.СТАЦИОНАРНЫЕ ВЕРОЯТНОСТИ

Вприложениях марковских процессов к проблемам бизнеса и эко­ номики одним из важных аспектов является длительное поведение си­ стемы, т. е. ее поведение после окончания действия начальных условий. Предположим, что после очень большого числа периодов вектор со­ стояний х'п в период п совпадает с вектором состояний x„+i в период (п + 1) и независим от начального вектора состояний xq. Отбрасывая нижний индекс, мы назовем такой вектор х '■стационарным вектором марковской цепи, описанной матрицей Р\ элементы вектора х' назы­ ваются стационарными вероятностями. Такой стационарный вектор

(если он существует) есть вектор состояний, который определяется уравнением2

примере. Если система находится в состоянии 2 в нулевом периоде, то векторы состояний будут:

1Пример процесса, для которого не выполняется марковское свойство, дан в упражнении 16.

2Условия, при которых существуют стационарные вероятности марковских процессов, будут рассмотрены в параграфе 3 .

206

любом начальном состоянии. Для подтверждения этого результата мы определим вектор стационарных состояний х ', решая уравнение (1).

Для заданной матрицы Р уравнение (1) имеет вид:

Обозначив х = [я* я 2] и подставив эти обозначения в уравнение (2), получим

ях = 0,7% + 0,6я2;

Одно из двух уравнений в системе (3) лишнее1, так как они оба сво­ дятся к

Однако существует еще одна связь между стационарными вероятнос­ тями: их сумма должна равняться 1, так как система может находиться в одном из допускаемых состояний; следовательно,

эквивалентную матричному уравнению

Следовательно, долгосрочная вероятность того, что система будет на- 2

ходиться в первом состоянии («работает хорошо») равна - а долго-

срочная вероятность находиться в состоянии 2 («нуждается в регули­

ровке») равна - . Эти результаты не зависят от начального положения

системы, т. е. от того, начинает ли машина работать хорошо или сразу нуждается в регулировке.

1Система уравнений (3) избыточна и в общем случае.

207

3.НЕУСТАНОВИВШЕЕСЯ, ПЕРИОДИЧЕСКОЕ И ЭРГОДИЧЕСКОЕ ПОВЕДЕНИЕ СИСТЕМЫ

Впримере с машиной стационарные вероятности существовали, каждое из состояний имело ненулевую стационарную вероятность и эти вероятности полностью описывали поведение системы в течение дли­ тельного времени. Мы сейчас рассмотрим некоторые случаи, отличные от примера с машиной.

а) НЕУСТАНОВИВШИЕСЯ И ПОГЛОЩАЮЩИЕ СОСТОЯНИЯ

Неустановивишмся состоянием марковской цепи называется сос­ тояние с нулевой стационарной вероятностью. Поясним подобную си­ туацию.

Пример. Рассмотрим марковскую цепь, которая имеет следующую матрицу вероятностей перехода:

0,2 0,8

0 1

Однажды система достигает состояния 2 и остается в нем навсегда, так как

Р 22 = 1 (И Р 21 = 0).

Здесь состояние 1 есть неустойчивое состояние, и вектор стационар­ ных вероятностей равен х' = [0 1]. Состояние 2 часто называют по­ глощающим состоянием (ловушкой).

Пример. Предположим, машина может быть в трех состояниях: состояние 1 — машина сломана и требует ремонта, состояние 2 — нуждается в регулировке, 3 — работает хорошо, а матрица вероят­ ностей перехода такова:

При этих условиях можно спросить: с какой вероятностью машина будет находиться в состоянии i после п периодов времени? Мы можем также узнать вероятность пребывания в состоянии i, когда п бесконеч­ но увеличивается (т. е. стационарную вероятность). Если Хо есть век­ тор состояний в период 0, то вектор состояний в период п будет таким:

Х п ~ X q Рп.

Если машина в начальном состоянии нуждается в регулировке, тогда

*6 = [0 1 0];

208