Материал: Панков Пособие по АСП

pij pik u pkj u k E

для любых u 0, .

Дополнительно мы будем предполагать, что выполняется следующее свойство:

5. (Непрерывность переходной функции в нуле)

Для цепей Маркова с непрерывным временем можно ввести матричную

Определение. Величину ij назовем интенсивностью перехода из i-ого

неравенство ij ii .

j i

Доказательство. Это неравенство имеет место не только в случае конечной цепи Маркова с непрерывным временем. Рассмотрим сумму

pij (t) 1,

j

pij(t) 1 pii (t).

j i

Для любого M такого, что M i, имеет место неравенство

M

pij (t) 1 pii (t)

36

Устремим t 0 , тогда

M

ij ii . j i

M

Это неравенство для ij верно при любом M , следовательно, верно и

j i

для ij .

j i

Утверждение доказано. Следствие. В условиях утверждения для любого i E выполняется

неравенство

ij 0. j E

Определение. Состояние i E из фазового пространства однородной цепи Маркова с непрерывным временем называется мгновенным, если ii .

Состояние i E называется задерживающим, если ii 0. Состояние i E называется поглощающим, если ii 0.

Состояние i E называется регулярным, если оно задерживающее и

ij ii . j i

Определение. Цепь Маркова, все состояния которой регулярны, называется

консервативной.

Теорема (прямая система уравнений Колмогорова). Переходные вероятности консервативной цепи Маркова с конечным множеством состояний E, | E | N , удовлетворяют системе дифференциальных уравнений

i, j E.

Вматричном виде эта система записывается как

' t t ,

где ' t || pij '(t)|| - матрица, состоящая из производных переходных функций с начальными условиями 0 EN N - единичная матрица порядка N .

При h 0 предел правой части существует, значит, существует и предел

N

pij '( ) t pij t jj pik t kj pik t kj . k j k 1

Мы доказали, что

Теорема доказана.

Теорема (обратная система уравнений Колмогорова). Переходные вероятности консервативной цепи Маркова с конечным множеством состояний E, | E | N , удовлетворяют системе дифференциальных уравнений

i, j E.

Вматричном виде эта система записывается как

' t t

сначальными условиями 0 EN N .

Докажите эту теорему самостоятельно. Пусть нам дана некоторая матрица

ij N,N

со свойствами:

38

1. ij 0 и ii 0 при всех i j из E.

N

2. ij 0.

j 1

Рассмотрим вопрос, существует ли цепь Маркова, для которой произвольная матрица , удовлетворяющая свойствам 1 и 2, является матрицей интенсивностей.

Теорема (без доказательства). Если дана ij N,N , удовлетворяющая

сформулированным выше свойствам 1 и 2, то прямая и обратная системы уравнений Колмогорова имеют единственное решение

t pij t N N

со свойствами:

1. 0 pij t .

N

2. pij t 1.

j1

3.s t s t .

Отметим, что в некоторых пособиях по теории случайных процессов под системами дифференциальных уравнений Колмогорова понимают уравнения связывающие вероятности pk t P t k того, что консервативная цепь

Маркова в момент времени t находится в состоянии k с их производными по t. В матричном виде такие системы имеют вид:

p' t p t ,

k 1

находить стационарные распределения для цепей Маркова с непрерывным временем.

Процессы размножения и гибели

Определение. Консервативная цепь Маркова t;t 0; называется

процессом размножения и гибели, если для ее переходных функций выполняются следующие условия:

1). pi,i 1 t i t o t , i . 2). pi,i 1 t i t o t , i .

3). pi,i t 1 i i t o t , i .

39

5). 0 0, 0 0; для всех i 1 величины i и i больше нуля. Это пример процесса с бесконечным множеством состояний. Легко видеть, что верно равенство

pi,i 1 t pi,i 1 t pi,i t 1 o t ,

а матрица интенсивностей (бесконечного размера) будет иметь вид

Покажем, как будут выглядеть прямые и обратные системы уравнений

всем n 0 даст начальное распределение процесса размножения и гибели. Очевидно равенство

pn t pi 0 pi,n(t).

стационарным распределением процесса размножения и гибели t;t 0; ,

40