Документ: Панков Пособие по АСП, страницы 31-35

Следствие 1. Если d 1, то в введенных выше обозначениях получаем, что все достаточно большие числа n принадлежат множеству

Mi m :pii m 0 .

Следствие 2. Для неприводимой ациклической цепи Маркова существует n0 такое, что при любом натуральном числе n n0 все диагональные

элементы матрицы переходных вероятностей за n шагов n n

положительны.

Лемма 3. Для неприводимой ациклической конечной цепи Маркова существует n1 такое, что при любом натуральном числе n n1 все

элементы матрицы n положительны.

Доказательство. Из следствия 2 получаем, что достаточно проверить элементы, не стоящие на главной диагонали. Для всех Ei Ej из условий

леммы следует, что существует натуральное nij такое, что pij nij 0. Тогда для всех l верно неравенство

pij l nij n0 pii n0 l pij nij 0.

Выберем в качестве n1 n0 maxnij 1.

(i, j)

Лемма доказана.

Теперь с использованием этих лемм докажем следующий результат.

Теорема (эргодическая для неприводимых ациклических цепей Маркова). Пусть цепь Маркова конечна, неприводима и ациклична (т. е. d 1).

Тогда при всех i, j 1,N , где					N - мощность				фазового пространства E,
существует ненулевой предел lim p n , который не зависит от i.
			n		ij
Если обозначить lim p		n p		j	, то p	j	0.
n ij				j		j
Доказательство. Далее мы будем рассматривать такие n, что n											0 (т. е.
pij n 0 при всех i, j			).
pij n 0 при всех i, j	1,N		).
Сперва введем обозначения. Пусть Mj n max pij n ,										mj n min pij n -
									i	i
максимальный и минимальный					элементы			в	j-м	столбце	матрицы
переходных вероятностей n .
Теперь при фиксированном j выберем i								так,	чтобы выполнялось равенство
M j n 1 pij n 1 . Очевидно, что верна следующая цепочка неравенств
					N				N	M j n .
M j n 1 pij n 1 pik pkj n M j n pik										M j n .
					k 1				k 1	mj n 1 pij n 1 .
Теперь выберем i так,		чтобы выполнялось равенство								mj n 1 pij n 1 .
Очевидно, что					N				N
					N				N	mj n .
mj n 1 pij n 1 pik pkj n mj n pik										mj n .
					k 1				k 1

31

Следовательно, при любом		j		верны неравенства
0 M j n 1 Mj n и 1 mj n 1 mj n .
Последовательности	Mj	n			и mj n	монотонны	и ограничены.
Следовательно, существуют пределы
	limmj n A и limMj n B.
	n				n
Если мы докажем, что A B, то так как mj(n) pij Mj(n),							то мы получим,
что существует lim p	n p		j	и	этот предел	из-за конечности фазового
n ij			j

пространства цепи Маркова больше нуля.

Если фазовое пространство состоит из одного элемента, то все очевидно. Мы

будем рассматривать случай, когда				E	1.
Выбираем состояния Ei			Ei и Ej .
		1	2
Используя уравнения Колмогорова-Чепмена, получаем, что
				N
			pi1 j n pi1k s pkj n s
и				k 1
и				N
				N
			pi2 j n pi2k s pkj n s .
Тогда				k 1
Тогда				N
				N
		pi1 j n pi2 j n pkj n s pi1k s pi2k s
Введем два множества:				k 1
Введем два множества:
		E Ek E:pi1k s pi2k s 0 ,
		E Ek E:pi1k s pi2k s 0 .
		N
Так	как	pi1k s pi2k s 1 1 0,				то	верно	равенство
		k 1
pi1k s pi2k s			pi1k s pi2k s .			Обозначим левую часть этого
k:E E		k:E E
k			k
равенства как h(i1,i2). Тогда
		pi1 j n pi2 j n pi1k s pi2k s pkj n s
			k:E E
			k
		pi1k s pi2k s pkj n s M j n s h i1,i2
		k:Ek E
		mj n s h i1,i2 h i1,i2 M j n s mj n s .
Так как	E E , то h i1,i2 pi1k s 1. Обозначим h maxh i1,i2 1.
			k:Ek E				i1,i2
			k:Ek E

Тогда

32


	pi j n pi j n h M j n s mj n s .
	1	2
Выберем	числа i1 и i2	так, чтобы pi j n M j n и	pi j n mj n .
		1	2
Обозначим	n s n / s z, где z , 0 z s 1. Тогда

Mj n mj n h M j n s mj n s

h2 M j n 2s mj n 2s h n/s M j z mj z .

Очевидно, что

M j z mj z M j z 1,

следовательно,

M j n mj n h n/s .

Так как h 1, то верны неравенства
0 lim Mj n mj n limh n/s		0.
n	n

Следовательно, существуют и равны между собой пределы

limM	j	n limm	j	n lim p	n p	j	0.
n	j	n	j	n ij		j	Теорема доказана.
							Теорема доказана.

Вектор p p1, p2,..., pN назовем предельным распределением цепи Маркова

или эргодическим распределением. Легко видеть, что верно следующее равенство

	p1		p2	pN
	p		p	p		,
lim n		1	2		N	,
n
			p2
	p1		p2	pN

т.е. устремив степень матрицы переходных вероятностей неприводимой конечной ациклической цепи Маркова к бесконечности, мы получим матрицу, в которой все строки одинаковы, и которая не содержит нулевых элементов.

Теорема (без доказательства). Предельное распределение конечной неприводимой ациклической цепи Маркова с фазовым пространством мощности N удовлетворяет системе линейных уравнений:

	N
	xk 1
	k 1		N
			N
			xk pkj , j 1,N
	xj		xk pkj , j 1,N
			k 1

и является её единственным решением.

Если обозначить x x1,...,xn , то эту систему можно записать в виде

33

N				1
xk
k 1				.


x x

Определение.	Рассмотрим матрицу				AN,N с неотрицательными элементами.
					N
Если для всех	i	1,N	выполняется		равенство aij 1,	то эта матрица
					j 1
называется стохастической. Стохастическая матрица BN,N называется дважды
						N
стохастической, если для всех j					выполняется равенство	bij 1.
стохастической, если для всех j				1,N	выполняется равенство	bij 1.
						i 1

Следствие. Если конечная неприводимая ациклическая цепь Маркова имеет дважды стохастическую матрицу переходных вероятностей, то её предельное распределение имеет вид:

	1		,...,	1

p					.
		N
				N

Легко видеть, что такой вектор – решение системы уравнений

N	1
xk	1
k 1	.

x x

Стационарные распределения

Пусть дана цепь Маркова с матрицей переходных вероятностей и

начальным распределением p(0) P 0 j , j 1,N , где N – мощность

фазового пространства E. Через p(n) обозначим распределение цепи Маркова в момент времени n:

p(n)

P n

j , j

,

p(n)

p(0)

n .

1,N

Определение. Вектор

с

координатами

q1,...,qN

называется

q

стационарным распределением

цепи

Маркова, если

для всех

i

верно

1,N

N

неравенство qi 0 и выполняются равенства qi 1 и q q .

i 1

Заметим, что если в качестве p(0) взять q, то для всех n выполняется

p(n) q n q n 1 ... q.

Если цепь Маркова конечна, ациклична и неприводима, то по теореме об эргодичности существует единственное стационарное распределение, совпадающее с предельным:

qj lim pij (n) pj .

n

34

Тема № 3 Марковские процессы с непрерывным временем

Теперь рассмотрим процесс t;t T , где T 0; .

Определение. Случайный процесс t;t 0; называется цепью Маркова

с непрерывным временем, если для любой последовательности моментов
времени 0 t1 t2 ... tn ... последовательность	tn ,n является цепью
Маркова.

Обозначим, как и ранее, через E множество состояний цепи Маркова, или

фазовое пространство.	Обозначим p t,x,s,y P s y\| t	x - переходные
функции, где 0 t s,	x,y E.

Свойства переходных функций:

1.(Свойство неотрицательности) p t,x,s,y 0 для всех 0 t s, x,y E.

2.(Свойство стохастичности) p(t,x,s,y) 1 для всех 0 t s, x E.

y E

1, x y

3. p t,x,t,y .

0, x y

4. Имеет место уравнение Колмогорова-Чепмена:

p t,x,s,y p t,x,u,k p u,k,s,y

k E

для всех u таких, что t u s.

Определение. Цепь Маркова с непрерывным временем называется конечной, если множество E конечно.

Определение. Цепь Маркова с непрерывным временем называется

однородной во времени, если выполняется:

p t,x,s,y p t r,x,s r,y

для всех 0 t s и для любого r такого, что t r,s r 0, т. е. переходная функция зависит лишь от разности s t. В этом случае переходная функция может обозначаться так:

p t,x,s, y p s t,x,y p ,x,y pxy .

Как правило, в случае конечной цепи Маркова с непрерывным временем мы

будем считать, что E 1,N .

Для однородных цепей Маркова с непрерывным временем с переходной

функцией pij			мы будем формулировать свойства следующим образом:
1.	pij 0 для всех 0.
2.	pij 1		для всех 0	и любого i E.
	j
3.	1,	i j
3.	pij 0		.
	0,	i j

4. Уравнение Колмогорова-Чепмена

35

Материал: Панков Пособие по АСП

Смотрите также: