Файл: Ганин, М. П. Прикладные методы теории марковских случайных процессов учебное пособие.pdf

ВУЗ: Не указан

Категория: Не указан

Дисциплина: Не указана

Добавлен: 17.10.2024

Просмотров: 167

Скачиваний: 0

ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.

Справедливо п обратное утверждение о том, что если вероятность Р (хj; t, т) можно представить в виде (3.16), то X(t) — марковский случайный процесс с дискретными ординатами и непрерывным вре­ менем.

Пример 3.1. Возможными значениями случайного процесса X (t),

представляющего собой телеграфный сигнал, являются

Ху — —а и

х2 — а.

Начальное значение

этого

процесса при

t =

0

равновоз­

можно

любое из указанных

двух.

Число перемен

знака

для X(t)

в любом временном интервале является случайной величиной, рас­ пределенной по закону Пуассона с плотностью X.

Определить вероятности Рщ (t, т), Ру (t), RKi (t, т) (k, j = 1, 2), математическое ожидание, дисперсию и корреляционную функцию случайного процесса X(t). Однородный или неоднородный данный процесс? Является ли этот процесс стационарным в широком смысле?

Р е ше ни е . По условию

число перемен знака

случайным про­

цессом X(t)

в интервале от

t до т равно

произведению X-(т — t).

Вероятность

a%(t,

т)

того, что на этом интервале

случайный про­

цесс сменит

знак

s

раз, определяется

формулой

(распределение

Пуассона)

 

 

 

 

 

 

 

as а , х) =

[х~(т~ —

 

(s = 0, 1, . . .) .

Для вероятности Р{хр, t,

х) ( / = 1,

2)

того,что в интервале от t

до х значение Ху

случайного процесса не изменится, получаем

Р(хц t, x) = a0[t, z) = e - ^ - V .

Случайное время Ту, в течение которого случайный процесс X (/) сохраняет возможное значение Х\ ( / = 1, 2), имеет показательное распределение с параметром X. Поэтому X(t) является однородным марковским процессом с дискретными ординатами и непрерывным временем.

Если при двух моментах времени t и т > t случайный процесс X(t) равен одному и тому же значению Х\ —а или х2 = а, то это означает, что в интервале от t до т произошло четное число пере­ мен знака. Так как это четное число может быть любым, то для условных вероятностей

Руу (t, X) = Р [ X (Т) =

XylX(t) = х{[

(/ = 1 , 2 )

совпадения значений х, или х2 в моменты t и т находим

Pyy{t, x)= P 22(t, Х ) - = 2

[Х(ч

х

= е~х<T_t) ch [X (т — ^)].

 

 

(2s)!

 

s-0

Вслучае, когда при указанных моментах времени значения слу­ чайного процесса различные, в интервале от t до т произошло нечет­ ное число перемен знака. Поэтому условные вероятности

(*> х) = Р [X (х) = xil X it) —хк] {k Ф j)

22


различных значений случайного процесса в моменты t и т будут

Р п v, * ) = л , а, т) = 2

* - х

=

s— О ( 2 S +

1 ) !

 

_ е-\(T-t) gfo [X (х ---

£)] .

 

Так как процесс однородный, то вероятности перехода можно запи­ сать в виде:

Р\\(t) = Р22 (t) = e~lt ch It;

Р 12 (t) = Р2Х(t) = е~и sh It.

Воспользовавшись формулой (3.3) при to= 0, находим

 

Pl ( t ) = 'k p * { 0 ) P u ( t ) (/ =

1,2).

 

 

 

k=l

 

 

 

 

 

 

По условию Р1(0) =

Рг(0) = 0 ,5, поэтому

 

 

 

Pj (0 =

0,5 [Р„ (*) +

/>«(*)] = 0 ,5

( / = 1 , 2 ) .

Согласно (3.4)

получаем

 

 

 

 

 

Pkj (t, *) = Рк (t) Pkj - t )

= 0,5 Pkj (т -

t)

(6, j = 1,2).

Используя формулы (2.15)

и (2.16), находим

 

 

 

 

 

_

2

 

 

 

 

 

 

 

 

x(t)

= 2

x-sPj (t) — 0,

 

 

 

 

 

 

j = l

 

 

 

 

 

 

 

 

 

 

О

 

 

 

 

 

 

D\X(t‘) } = % х ] Р ^ ) =

а\

 

В соответствии с (2.23) при

j=i

1

 

 

t

 

 

Kx(t, t) = 2

21 ХуХ-Дк,(*,

X) =

a2[Rn (t, * )-{-/?22 (*, x)] —

 

k=i

j=i

 

 

 

 

 

 

-

a2 [Rls (t,

x) + Я21 (A

x)] =

a2 [Pn (t,

x) -

Pi2(t, x)] =

=

a2e~xO-o {ch [X (x — t)\ — sh [X(x — £)]} =

a2e~2X(T_,).

1Математическое ожидание x(t) случайного процесса X{t) равно нулю, а корреляционная функция Кх (t, т) зависит от t и х как от разности. Следовательно, рассматриваемый однородный марковский процесс является стационарным в широком смысле.

§ 4. ДИФФЕРЕНЦИАЛЬНЫЕ УРАВНЕНИЯ КОЛМОГОРОВА

Определяемые

формулами (2.2) и (2.3) вероятности Як (О

(6 = 0, 1, .. ., N)

возможных значений марковского процесса X(t)

или состояний физической системы и вероятности перехода Pkx (t, т)

23


(k, / = О, 1, . . . , N) обычно находятся как решение систем обыкно­ венных дифференциальных уравнений, которые впервые были по­ лучены академиком А. Н. Колмогоровым и потому называются его именем. При выводе этих уравнений используются рассмотренные в § 2 свойства функций Pkj (t, т). Кроме того, будем считать, что

эти функции

имеют

частные производные первого порядка по t

и по т.

 

 

 

 

 

Применительно к физической системе с iV -(-l возможными со­

стояниями

Сj

(/ — 0,

1, . . . , N)

функция

Ркк (t, t A t ) означает

вероятность

того, что

за время

от t до t +

At система не изменит

состояния

Ск или вернется в это состояние. Будем рассматривать

только

такие

системы, в которых за малое время At 0

практи­

чески

не

может быть более одной смены состояний.

Тогда

Л<к ( t,

t A t )

является вероятностью того, что за время At система

не изменит состояния Ск, в котором она находилась в момент t. Разность 1 — Pkk (t, t -j- At) является вероятностью того, что за время от / до t -f- At произойдет изменение состояния Ск. Так как

Рш (t, t) = 1, то 1 — Ркк (t, t 4- At) = Ркк {t, t) Ркк (t,t + At). Из условия существования производной от Ркк (t, т) по второму аргу­ менту следует, что существует функция Тк(0> являющаяся времен­ ной плотностью вероятности того, что в момент t физическая си­

стема изменит состояние Ск.

Эта функция связана с Pkk (t, т) ра­

венством

 

 

 

 

 

 

 

Tk(^) = lim 1 — Pkk (t,

t +

ДИ

дркка,

т)

 

 

(4.1)

М-*0

 

 

 

 

T=t

 

(k — 0,

1, . . . ,

N).

 

 

 

 

При k =h j справедливо равенство

Pk\{t, t) — 0,

a

Рц (t,

t -f- At)

является вероятностью того,

что за время от t

до

t

At

система

перейдет из состояния Ск в Су Из условия существования произ­

водной

от

Pkj{t,

~) по

второму

аргументу следует существование

предела

 

 

 

 

 

 

 

 

 

 

 

 

 

Tkj (t) — lim — ki

- 7 +

Xt)- =

 

 

(4.2)

 

 

 

 

M-*0

 

A t

 

 

U'Z

X—t

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(k,

j — 0,

1, . . . ,

jV;

k-£j),

 

 

так что

 

(t)

является временной

плотностью вероятности

того,

что в момент /

система перейдет из состояния

Ск в С,-.

 

 

 

N

 

 

 

 

 

 

 

 

 

Так

как 2

Pki (^> ^ + ^0 = li

то

из

(4.1)

и (4.2) следует, что

функции

j - о

и

fk связаны равенствами

 

 

i kj(0

 

 

 

 

 

Tk(0 =

N

 

(* =

0,

1, . . . ,

 

(4.3)

 

 

 

2 h k j(* )

N).

 

 

 

 

 

j=0

 

 

 

 

 

 

24


Чтобы получить систему дифференциальных уравнений относи­

тельно функций Pki (t0, t)

(k, j =

0,

1,

N),

воспользуемся урав­

нением (2.13). Заменив в этом соотношении t

на ^о, t'

на t и т на

t + At, приходим к равенству

 

 

 

 

 

 

 

 

Лц (^,

t +

&t )= '2 Ли (t0, t) Ptj (*,

t + \t).

 

 

(4.4)

Тогда

 

 

i- о

 

 

 

 

 

 

 

 

Ли (tp,

 

 

Ли (tp,

 

 

 

 

 

 

t + Лt) -

t)

 

 

 

 

 

 

 

\t

 

 

 

 

 

 

 

 

ЛЛ^. t-\- M)

 

Ли'(Л- *)

l ~~ Л*

 

1 4~ it)

= У Л ц ( * 0. *)

 

\t

 

 

 

\t

 

 

Переходя в этом равенстве к пределу при At -> 0, с учетом

(4.1)

и (4.2) получаем

 

 

 

 

 

 

 

 

 

 

 

dPkj(tn, t)

= -

Т, V) Pki (to,

П +

У

T;j U) Pkl (to,

t)

(4.5)

dt

 

 

 

 

 

1=0

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

причем

 

(k, j — 0,

1,

...,

N),

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Tjj (0

- - 0

(j — O,

 

 

N).

 

 

(4.6)

При фиксированном значении первого индекса к

у

функции

Ли (to, t) (k = 0,

i, ..., N) равенства

(4.5)

образуют

систему из

N -f- 1 обыкновенных дифференциальных уравнений относительно

такого же числа искомых функций Рк\(to, t) (j = 0, 1, . . . ,

N). Так

как t

t0, то начальные значения искомых функций определяются

равенствами (2.4) при t = t 0, т. е.

 

 

 

 

 

 

 

Ли {to,

to

 

\ 1

при к — j ;

(4 . 7 )

 

 

 

 

\ 0

при

к ф /.

 

 

 

 

 

 

 

 

Полученная система называется первой системой дифферен­

циальных

уравнений

Колмогорова для

вероятностей

перехода

Лн(^о, t). Следует отметить,

что при N =

со

каждая система для

функций

Ркj (t0,

t)

( / = 0,

1,

...) состоит

из

бесконечного числа

уравнений. Уравнения

(4.5) в этом случае справедливы при неко­

торых дополнительных ограничениях.

 

 

 

 

Вероятности

Л (0

(/ — 0,

1, . .. , N)

различных состояний физи­

ческой

системы

в

момент

t

связаны

с

вероятностями

перехода

Рkj (^о,

t)

равенствамп

(2.14).

Умножив обе части (4.5) на PK(to)

25


и просуммировав результат умножения по k от 0 до ЛГ, с учетом (2.14) получаем, что вероятности Рj (t) являются решением сле­ дующей системы дифференциальных уравнений:

я; (t) = - Tj (t) Pt(t) + 2

(t) Pi it)

(4.8)

г=о

 

(/ = 0, 1, . .. .

N).

 

Данная система уравнений практически ничем не отличается от

(4.5) при фиксированном k.

Начальными условиями при этом

яв­

ляются значения искомых

функций P\{t) при t = t0. Если

из­

вестно, например, что при t — t0 физическая система находится в со­ стоянии С0, то Яо(А)) = 1, а о ) = 0 (/ = 1, 2, ... , N).

Системы дифференциальных уравнений (4.5) и (4.8) позволяют определить вероятности Ру (to, 0 и Pj (t), характеризующие разви­ тие случайного процесса, т. е. его поведение при увеличении вре­ мени. Поэтому данные системы называются также прямыми систе­ мами дифференциальных уравнений. В некоторых случаях пред­ ставляет интерес обратная задача по определенпю вероятности того, что в заданное состояние физическая система пришла из того или другого состояния. Эти вероятности определяются как решение об­ ратной системы дифференциальных уравнений Колмогорова, или уравнений, «обращенных в прошлое». Чтобы получить указанные

уравнения, снова

воспользуемся

соотношением

(2.13),

заменив

в нем t на t — At, где At > 0, a t' на t. Тогда

 

 

 

 

 

Pkj (t -

At, x) = 2

 

Ры (t -

At,

t) Pn (t,

x)

 

 

 

 

1=0

 

 

 

 

 

 

 

 

 

 

(k, / =

0 , 1

 

 

 

 

 

 

 

G помощью данного соотношения получаем

 

 

 

 

 

 

Руjit, x ) - P u ( t - A t , т)

 

 

 

 

 

 

 

At

 

 

 

 

 

 

 

 

Pki ( t - A t , t)

 

 

+

Pkj (t,

1 -

Pkk( t - A t , t)

i - о

At

Рц V, “0

x)

 

At

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Переходя к пределу при At -> 0,

с учетом (4.1)

и

(4.2)

прихо­

дим к следующим уравнениям:

 

 

 

 

 

 

 

 

 

 

дРы (^J0 = Tk {t) Ры {tf

х) _

у

Тк; {t) р и {t>

т)

(4.9)

 

dt

 

 

 

 

 

о

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

/ =

 

0, 1,

 

 

N).

 

 

 

26