Файл: Ганин, М. П. Прикладные методы теории марковских случайных процессов учебное пособие.pdf
ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 17.10.2024
Просмотров: 167
Скачиваний: 0
Справедливо п обратное утверждение о том, что если вероятность Р (хj; t, т) можно представить в виде (3.16), то X(t) — марковский случайный процесс с дискретными ординатами и непрерывным вре менем.
Пример 3.1. Возможными значениями случайного процесса X (t),
представляющего собой телеграфный сигнал, являются |
Ху — —а и |
|||||
х2 — а. |
Начальное значение |
этого |
процесса при |
t = |
0 |
равновоз |
можно |
любое из указанных |
двух. |
Число перемен |
знака |
для X(t) |
в любом временном интервале является случайной величиной, рас пределенной по закону Пуассона с плотностью X.
Определить вероятности Рщ (t, т), Ру (t), RKi (t, т) (k, j = 1, 2), математическое ожидание, дисперсию и корреляционную функцию случайного процесса X(t). Однородный или неоднородный данный процесс? Является ли этот процесс стационарным в широком смысле?
Р е ше ни е . По условию |
число перемен знака |
случайным про |
|||||
цессом X(t) |
в интервале от |
t до т равно |
произведению X-(т — t). |
||||
Вероятность |
a%(t, |
т) |
того, что на этом интервале |
случайный про |
|||
цесс сменит |
знак |
s |
раз, определяется |
формулой |
(распределение |
||
Пуассона) |
|
|
|
|
|
|
|
as а , х) = |
[х~(т~ — |
|
(s = 0, 1, . . .) . |
||||
Для вероятности Р{хр, t, |
х) ( / = 1, |
2) |
того,что в интервале от t |
||||
до х значение Ху |
случайного процесса не изменится, получаем |
Р(хц t, x) = a0[t, z) = e - ^ - V .
Случайное время Ту, в течение которого случайный процесс X (/) сохраняет возможное значение Х\ ( / = 1, 2), имеет показательное распределение с параметром X. Поэтому X(t) является однородным марковским процессом с дискретными ординатами и непрерывным временем.
Если при двух моментах времени t и т > t случайный процесс X(t) равен одному и тому же значению Х\ — —а или х2 = а, то это означает, что в интервале от t до т произошло четное число пере мен знака. Так как это четное число может быть любым, то для условных вероятностей
Руу (t, X) = Р [ X (Т) = |
XylX(t) = х{[ |
(/ = 1 , 2 ) |
|
совпадения значений х, или х2 в моменты t и т находим |
|||
Pyy{t, x)= P 22(t, Х ) - = 2 |
[Х(ч |
х |
= е~х<T_t) ch [X (т — ^)]. |
|
|||
|
(2s)! |
|
s-0
Вслучае, когда при указанных моментах времени значения слу чайного процесса различные, в интервале от t до т произошло нечет ное число перемен знака. Поэтому условные вероятности
(*> х) = Р [X (х) = xil X it) —хк] {k Ф j)
22
различных значений случайного процесса в моменты t и т будут
Р п v, * ) = л , а, т) = 2 |
* - х |
= |
s— О ( 2 S + |
1 ) ! |
|
_ е-\(T-t) gfo [X (х --- |
£)] . |
|
Так как процесс однородный, то вероятности перехода можно запи сать в виде:
Р\\(t) = Р22 (t) = e~lt ch It; |
Р 12 (t) = Р2Х(t) = е~и sh It. |
||||||||
Воспользовавшись формулой (3.3) при to= 0, находим |
|||||||||
|
Pl ( t ) = 'k p * { 0 ) P u ( t ) (/ = |
1,2). |
|||||||
|
|
|
k=l |
|
|
|
|
|
|
По условию Р1(0) = |
Рг(0) = 0 ,5, поэтому |
|
|
||||||
|
Pj (0 = |
0,5 [Р„ (*) + |
/>«(*)] = 0 ,5 |
( / = 1 , 2 ) . |
|||||
Согласно (3.4) |
получаем |
|
|
|
|
|
|||
Pkj (t, *) = Рк (t) Pkj (т - t ) |
= 0,5 Pkj (т - |
t) |
(6, j = 1,2). |
||||||
Используя формулы (2.15) |
и (2.16), находим |
|
|
||||||
|
|
|
_ |
2 |
|
|
|
|
|
|
|
|
x(t) |
= 2 |
x-sPj (t) — 0, |
|
|
||
|
|
|
|
j = l |
|
|
|
|
|
|
|
|
|
|
|
О |
|
|
|
|
|
|
D\X(t‘) } = % х ] Р ^ ) = |
а\ |
|
||||
В соответствии с (2.23) при |
j=i |
1 |
|
|
|||||
t |
|
|
|||||||
Kx(t, t) = 2 |
21 ХуХ-Дк,(*, |
X) = |
a2[Rn (t, * )-{-/?22 (*, x)] — |
||||||
|
k=i |
j=i |
|
|
|
|
|
|
|
- |
a2 [Rls (t, |
x) + Я21 (A |
x)] = |
a2 [Pn (t, |
x) - |
Pi2(t, x)] = |
|||
= |
a2e~xO-o {ch [X (x — t)\ — sh [X(x — £)]} = |
a2e~2X(T_,). |
1Математическое ожидание x(t) случайного процесса X{t) равно нулю, а корреляционная функция Кх (t, т) зависит от t и х как от разности. Следовательно, рассматриваемый однородный марковский процесс является стационарным в широком смысле.
§ 4. ДИФФЕРЕНЦИАЛЬНЫЕ УРАВНЕНИЯ КОЛМОГОРОВА
Определяемые |
формулами (2.2) и (2.3) вероятности Як (О |
(6 = 0, 1, .. ., N) |
возможных значений марковского процесса X(t) |
или состояний физической системы и вероятности перехода Pkx (t, т)
23
(k, / = О, 1, . . . , N) обычно находятся как решение систем обыкно венных дифференциальных уравнений, которые впервые были по лучены академиком А. Н. Колмогоровым и потому называются его именем. При выводе этих уравнений используются рассмотренные в § 2 свойства функций Pkj (t, т). Кроме того, будем считать, что
эти функции |
имеют |
частные производные первого порядка по t |
|||
и по т. |
|
|
|
|
|
Применительно к физической системе с iV -(-l возможными со |
|||||
стояниями |
Сj |
(/ — 0, |
1, . . . , N) |
функция |
Ркк (t, t A t ) означает |
вероятность |
того, что |
за время |
от t до t + |
At система не изменит |
состояния |
Ск или вернется в это состояние. Будем рассматривать |
|||
только |
такие |
системы, в которых за малое время At 0 |
практи |
|
чески |
не |
может быть более одной смены состояний. |
Тогда |
|
Л<к ( t, |
t A t ) |
является вероятностью того, что за время At система |
не изменит состояния Ск, в котором она находилась в момент t. Разность 1 — Pkk (t, t -j- At) является вероятностью того, что за время от / до t -f- At произойдет изменение состояния Ск. Так как
Рш (t, t) = 1, то 1 — Ркк (t, t 4- At) = Ркк {t, t) — Ркк (t,t + At). Из условия существования производной от Ркк (t, т) по второму аргу менту следует, что существует функция Тк(0> являющаяся времен ной плотностью вероятности того, что в момент t физическая си
стема изменит состояние Ск. |
Эта функция связана с Pkk (t, т) ра |
||||||
венством |
|
|
|
|
|
|
|
Tk(^) = lim 1 — Pkk (t, |
t + |
ДИ |
дркка, |
т) |
|
|
(4.1) |
М-*0 |
|
|
|
|
T=t |
|
|
(k — 0, |
1, . . . , |
N). |
|
|
|
|
|
При k =h j справедливо равенство |
Pk\{t, t) — 0, |
a |
Рц (t, |
t -f- At) |
|||
является вероятностью того, |
что за время от t |
до |
t |
At |
система |
перейдет из состояния Ск в Су Из условия существования произ
водной |
от |
Pkj{t, |
~) по |
второму |
аргументу следует существование |
||||||
предела |
|
|
|
|
|
|
|
|
|
|
|
|
|
Tkj (t) — lim — ki |
- 7 + |
Xt)- = |
|
|
(4.2) |
||||
|
|
|
|
M-*0 |
|
A t |
|
|
U'Z |
X—t |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
(k, |
j — 0, |
1, . . . , |
jV; |
k-£j), |
|
|
|
так что |
|
(t) |
является временной |
плотностью вероятности |
того, |
||||||
что в момент / |
система перейдет из состояния |
Ск в С,-. |
|
||||||||
|
|
N |
|
|
|
|
|
|
|
|
|
Так |
как 2 |
Pki (^> ^ + ^0 = li |
то |
из |
(4.1) |
и (4.2) следует, что |
|||||
функции |
j - о |
и |
fk (Ч связаны равенствами |
|
|
||||||
i kj(0 |
|
|
|||||||||
|
|
|
Tk(0 = |
N |
|
(* = |
0, |
1, . . . , |
|
(4.3) |
|
|
|
|
2 h k j(* ) |
N). |
|||||||
|
|
|
|
|
j=0 |
|
|
|
|
|
|
24
Чтобы получить систему дифференциальных уравнений относи
тельно функций Pki (t0, t) |
(k, j = |
0, |
1, |
N), |
воспользуемся урав |
|||||||
нением (2.13). Заменив в этом соотношении t |
на ^о, t' |
на t и т на |
||||||||||
t + At, приходим к равенству |
|
|
|
|
|
|
|
|
||||
Лц (^, |
t + |
&t )= '2 Ли (t0, t) Ptj (*, |
t + \t). |
|
|
(4.4) |
||||||
Тогда |
|
|
i- о |
|
|
|
|
|
|
|
|
|
Ли (tp, |
|
|
Ли (tp, |
|
|
|
|
|
||||
|
t + Лt) - |
t) |
|
|
|
|
||||||
|
|
|
\t |
|
|
|
|
|
|
|
|
|
ЛЛ^. t-\- M) |
|
Ли'(Л- *) |
l ~~ Л* |
|
1 4~ it) |
|||||||
= У Л ц ( * 0. *) |
|
\t |
|
|
|
\t |
|
|
||||
Переходя в этом равенстве к пределу при At -> 0, с учетом |
(4.1) |
|||||||||||
и (4.2) получаем |
|
|
|
|
|
|
|
|
|
|
|
|
dPkj(tn, t) |
= - |
Т, V) Pki (to, |
П + |
У |
T;j U) Pkl (to, |
t) |
(4.5) |
|||||
dt |
||||||||||||
|
|
|
|
|
1=0 |
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
||
причем |
|
(k, j — 0, |
1, |
..., |
N), |
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
||
|
Tjj (0 |
- - 0 |
(j — O, |
|
|
N). |
|
|
(4.6) |
|||
При фиксированном значении первого индекса к |
у |
функции |
||||||||||
Ли (to, t) (k = 0, |
i, ..., N) равенства |
(4.5) |
образуют |
систему из |
N -f- 1 обыкновенных дифференциальных уравнений относительно
такого же числа искомых функций Рк\(to, t) (j = 0, 1, . . . , |
N). Так |
||||||||||
как t |
t0, то начальные значения искомых функций определяются |
||||||||||
равенствами (2.4) при t = t 0, т. е. |
|
|
|
|
|||||||
|
|
|
Ли {to, |
to |
|
\ 1 |
при к — j ; |
(4 . 7 ) |
|||
|
|
|
|
\ 0 |
при |
к ф /. |
|||||
|
|
|
|
|
|
|
|
||||
Полученная система называется первой системой дифферен |
|||||||||||
циальных |
уравнений |
Колмогорова для |
вероятностей |
перехода |
|||||||
Лн(^о, t). Следует отметить, |
что при N = |
со |
каждая система для |
||||||||
функций |
Ркj (t0, |
t) |
( / = 0, |
1, |
...) состоит |
из |
бесконечного числа |
||||
уравнений. Уравнения |
(4.5) в этом случае справедливы при неко |
||||||||||
торых дополнительных ограничениях. |
|
|
|
|
|||||||
Вероятности |
Л (0 |
(/ — 0, |
1, . .. , N) |
различных состояний физи |
|||||||
ческой |
системы |
в |
момент |
t |
связаны |
с |
вероятностями |
перехода |
|||
Рkj (^о, |
t) |
равенствамп |
(2.14). |
Умножив обе части (4.5) на PK(to) |
25
и просуммировав результат умножения по k от 0 до ЛГ, с учетом (2.14) получаем, что вероятности Рj (t) являются решением сле дующей системы дифференциальных уравнений:
я; (t) = - Tj (t) Pt(t) + 2 |
(t) Pi it) |
(4.8) |
г=о |
|
|
(/ = 0, 1, . .. . |
N). |
|
Данная система уравнений практически ничем не отличается от
(4.5) при фиксированном k. |
Начальными условиями при этом |
яв |
ляются значения искомых |
функций P\{t) при t = t0. Если |
из |
вестно, например, что при t — t0 физическая система находится в со стоянии С0, то Яо(А)) = 1, а о ) = 0 (/ = 1, 2, ... , N).
Системы дифференциальных уравнений (4.5) и (4.8) позволяют определить вероятности Ру (to, 0 и Pj (t), характеризующие разви тие случайного процесса, т. е. его поведение при увеличении вре мени. Поэтому данные системы называются также прямыми систе мами дифференциальных уравнений. В некоторых случаях пред ставляет интерес обратная задача по определенпю вероятности того, что в заданное состояние физическая система пришла из того или другого состояния. Эти вероятности определяются как решение об ратной системы дифференциальных уравнений Колмогорова, или уравнений, «обращенных в прошлое». Чтобы получить указанные
уравнения, снова |
воспользуемся |
соотношением |
(2.13), |
заменив |
|||||||
в нем t на t — At, где At > 0, a t' на t. Тогда |
|
|
|
|
|||||||
|
Pkj (t - |
At, x) = 2 |
|
Ры (t - |
At, |
t) Pn (t, |
x) |
|
|
||
|
|
1=0 |
|
|
|
|
|
|
|
|
|
|
|
(k, / = |
0 , 1 |
|
|
|
|
|
|
|
|
G помощью данного соотношения получаем |
|
|
|
|
|||||||
|
|
Руjit, x ) - P u ( t - A t , т) |
|
|
|
|
|||||
|
|
|
At |
|
|
|
|
|
|
|
|
|
Pki ( t - A t , t) |
|
|
+ |
Pkj (t, |
1 - |
Pkk( t - A t , t) |
||||
i - о |
At |
Рц V, “0 |
x) |
|
At |
|
|||||
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
Переходя к пределу при At -> 0, |
с учетом (4.1) |
и |
(4.2) |
прихо |
|||||||
дим к следующим уравнениям: |
|
|
|
|
|
|
|
|
|
||
|
дРы (^J0 = Tk {t) Ры {tf |
х) _ |
у |
Тк; {t) р и {t> |
т) |
(4.9) |
|||||
|
dt |
|
|
|
|
|
о |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
(К / = |
|
0, 1, |
|
|
N). |
|
|
|
26