Файл: Казаков В.А. Введение в теорию марковских процессов и некоторые радиотехнические задачи.pdf

Скачать файл (7,40Мб)

Заказать решение

ВУЗ: Не указан

Категория: Не указан

Дисциплина: Не указана

Добавлен: 28.06.2024

Просмотров: 211

Скачиваний: 3

ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.

подсчете вероятностей Ьц придется оперировать		с эле
ментами подматрицы R .матрицы	перехода Р	(1.19),
так как именно вероятности, образующие подматрицу R,
характеризуют переходы процесса	из невозвратных со

стояний в поглощающие.

Если процесс выходит из невозвратного состояния хь то, во-первых, он может с вероятностью р ц оказаться в интересующем нас поглощающем состоянии Xj (веро ятности Pij образуют подматрицу R), во-вторых, процесс может попасть с вероятностью р ш в любое другое не возвратное состояние Xh (вероятности pik образуют под

матрицу Q) и уже оттуда		с	вероятностью Ьщ	перейти
в поглощающее	состояние	хг	Таким образом,
	btj = Pij-\r		^ Pikbkj,
или в матричной	форме
Отсюда	B = R+QB.
Отсюда	В = ( І — Q ) - i R = N R .			(1.30)
	В = ( І — Q ) - i R = N R .			(1.30)

Применение (1.30) к рассматриваемому числовому при меру приводит к следующему результату:

ІЧ	0\	Пи	0 \		/ » / „	V* Ѵю
R = о о 1 = 1 о о ; N =					ѵв		7s V.
Ѵо	pi	\ о	ѵ /		Ч . .	ju	"Л»
			/&зі	ь3л	89/40	'Ло
B =		N R = k ,		\ : \	/10	V.o
					27/	13/
					/40	/40
						/40
Из-за существенной разницы					между		вероятностями
р и q вероятность Ьц			попасть из		любого		невозвратного

состояния ХІ в поглощающее состояние Хі больше, чем вероятность попадания в состояние xz. Полная вероят ность поглощения процесса, выходящего из любого на чального состояния, равна единице. Этот факт легко подтверждается построчным суммированием элементов последней матрицы.

С помощью фундаментальной матрицы N можно вы числить и другие характеристики'поглощающих цепей Маркова. В частности, помимо средних значений вычи слены, например, дисперсии величин tij и ti [3].

1.5. Эргодические цепи Маркова

Напомним, что эргодическая марковская цепь не со держит поглощающих состояний и состоит из одного класса сообщающихся состояний. Если время существо вания процесса в поглощающей системе конечно, то при отсутствии 'поглощающих состояний процесс может раз виваться сколь угодно долго. В связи с этим основной интерес представляет вопрос о том, как изменяются с течением времени безусловные вероятности состояний эргодической цепи. Для эргодических цепей справедли

ва следующая		важная			т е о р е м а М а р к о в а о предель
ных	вероятностях.					шагов п вероятность
При увеличении числа						шагов п вероятность					перехода
pij(n)	из состояния			ХІ	в состояние			Xj	стремится		к опре
деленному пределу				pj,	называемому				ф и н а л ь н о й ве
роятностью, т. е.			fij	(п) =		pj				i, j
		Ііш	fij	(п) =		pj	для всех			i, j	(1.31)
		л-юо
или в матричной			форме
				Pu	(л)	Pu	(л)	• •	•	PIN (Л)
				А. (л)		А . СО		• • •		РмО)
			(Ал H			Рт (л)		• • •		% ( « )
	/	А			А	• • •		P N
	— [	А			А	• • •		PN			(1.32)
											(1.32)
	\	А		А		• • •		PN

Доказательство этой теоремы можно найти, например,

в[1].

Соотношения (1.31), (1.32) означают, что предел ве роятности перехода между любыми состояниями эрго дической цепи существует и не зависит от состояния х*. Иными словами, по истечении достаточно большого вре

мени вероятность	того, что		процесс		будет		находиться
в состоянии Xj не зависит от того, из					какого состояния
этот процесс начал	развиваться.			Поэтому		говорят, что
марковские цепи (равно, как и марковские							процессы,
рассматриваемые в дальнейшем)				«забывают» свое прош
лое.
Для эргодических		цепей	безусловные				вероятности
p(")j при увеличении		п также	стремятся			к	финальным

вероятностям		р,.	Действительно,			найдя предел	(1.16),
с учетом	(1.31),		получаем
lim	/ > ; л	, = 1 і т £ p[0)Pn('l)		=	l ,	p{t0)ïmPij(n)	=
			І=І	( = 1
			• = І 1 ^ 0 ) Л	=	Л .		(1.33)
			1=1
Соотношение			(1.33) указывает			на то, что при	доста

точно большом п безусловные вероятности состояний, составляющие в совокупности одномерное распределе ние, не зависят от времени. Поскольку у рассматривае мых однородных цепей Маркова вероятности перехода также не зависят от времени, то при достаточно боль шом п можно считать, что двумерное распределение безусловных состояний зависит лишь от разности мо ментов времени.

Из корреляционной теории случайных процессов из вестно, что если двумерная плотность вероятности зави сит от разности времени между сечениями процесса, то такой процесс является стационарным (в широком смысле). Это обстоятельство позволяет воспользоваться аналогией и назвать режим работы эргодической систе мы при достаточно большом п с т а ц и о н а р н ы м . Оче видно, стационарный режим возможен лишь у однород ных цепей. До наступления стационарного режима си

стема находится	в п е р е х о д н о м режиме, длительность
которого можно	определить,	выбрав некоторый крите
рий, зависящий	от разности	р^—pWj.

Вычисление финальных вероятностей при известном начальном распределении и заданной матрице перехода представляет собой наиболее важную задачу при изуче нии эргодических цепей. Первый путь определения веро ятностей pj дает теорема Маркова (1.32), согласно ко торой возведение матрицы перехода в достаточно боль шую степень п должно дать матрицу-строку искомых вероятностей. Ясно, однако, что определять финальные вероятности подобным. образом весьма трудоемко. Го раздо проще они находятся из решения системы алге браических уравнений, которая составляется исходя из следующих 'соображений. В соответствии с формулой полной вероятности запишем соотношение, которое опра-

ведл'иво при произвольном п

^ + , ) = 2 / > : e w

1=1

Но ів стационарном режиме (.при -большом п) 'безуслов ные вероятности равны финальным

поэтому

ft=S»	(1.34)
	І=І

Система (1.34) из N алгебраических уравнений является однородной и, следовательно, имеет лишь ну левое решение. Если же из (1.34) взять /V—I уравнение и дополнить их условием нормировки

	ІРІРЦ-РІ^О;					(1.35)
	І=І			i=i
то такая	система дает уже ненулевое					решение.
Рассмотрим на		числовом		примере, как изменяются
матрицы	перехода и безусловные				вероятности состояний
с ростом числа п. Пусть матрица					перехода имеет вид
	(Pu	Pu	Ргг\	/0,6	0,3	0,1\
	Р = І Л і	A i	Р23 H	0 - 4	0.2	0,4 I .
	Ѵ З І	Pit	Ргг '	0,2	0,5	0,3'

Возводя эту матрицу во вторую, третью и четвертую сте пени, получаем

			/0,5		0.29
Р(2) =		Р * = ( о , 4			0,36
			Ч),38		0,31
		/	0,4458	0,3145
Р(3) =	Р 5 =	І	0,4352	0,3200
		\	0,4318	0,3179
			/0,4391		0,3170	0,24394
Р(4) =	Р'1	=	І 0,4390	0,3171		0,2439 .
			Ч),4390		0,3171	0,2439'

Как видно, матрица перехода уже за четыре шага вырождается в матрицу, полностью определяемую ма-

трицей-строкой. Небольшие различия в четвертом знаке после запятой исчезают полностью в матрице

Согласно теореме Маркова финальные вероятности для этого примера равны

рі=0,4391, /72 =О,3170; р 3 =0,2439 . Вычислим теперь безусловные вероятности состояний

для нескольких			величин п		при различных начальных
распределениях:
1)	Р 0 =	(0,2	0,3	0,5),
2)	Ро =	(0,1	0,8	0,1),

3)	Р о = ( Ѵ 3	V3	V 3 ),
4)	Ро = (0	0	1),
5)	Р 0 = (0,4391		0,3170	0,2439).	Р(2), Р(3)
Используя рассчитанные				выше матрицы	Р(2), Р(3)
и Р(4), для пяти начальных				распределений	по формуле

(1.15) можно получить следующие результаты, для удоб ства сведенные в табл. 1—5.

Таблицы показывают изменение безусловных вероят ностей с ростом числа шагов. Хорошо заметен эффект «забывания» начального распределения. Как видно из табл. 1—4, независимо от вида начального распределе ния уже через четыре шага наступает стационарный режим. Табл. 5 указывает на то, что при начальном рас пределении, равном распределению финальных вероят ностей, во все моменты времени имеет место стационар ный режим.

Вычислим теперь финальные вероятности состояний путем решения системы уравнений. Согласно (1.35) имеем:

РіРн+р%р%\.+РзРзі—Рі=0 ;

Pipi2+Р2Р22+РзРзг—Рг=0 ;

Рі + Р2+Рз=Л,

или

—0,4р1 +0,4/?2 +0,2рз=0; 0,3/?!—0,8/72+0,5р3=0;

Р і + / ? 2 + Р з = 1 .