Материал: Методические указания к выполнению курсовой работы по дисциплине «Теория информации» для студентов специальности «Компьютерная безопасность». Поздышева О.В., Остапенко А.Г

1. ОСНОВНЫЕ ПОНЯТИЯ МАРКОВСКИХ ПРОЦЕССОВ

Марковские случайные процессы названы по имени выдающегося русского математика А.А.Маркова (18561922), впервые начавшего изучение вероятностной связи случайных величин и создавшего теорию, которую можно назвать «динамикой вероятностей». В дальнейшем основы этой теории явились исходной базой общей теории случайных процессов, а также таких важных прикладных наук, как теория диффузионных процессов, теория надежности, теория массового обслуживания и т.д. В настоящее время теория Марковских процессов и ее приложения широко применяются в самых различных областях.

Благодаря сравнительной простоте и наглядности математического аппарата, высокой достоверности и точности получаемых решений, особое внимание Марковские процессы приобрели у специалистов, занимающихся исследованием операций и теорией принятия оптимальных решений [4, 9].

Марковские случайные процессы относятся к частным случаям случайных процессов (СП). При этом под случайным процессом понимают процесс случайного изменения состояний какой-либо физической или технической системы по времени или какому-либо другому аргументу.

Классификация Марковских случайных процессов производится в зависимости от непрерывности или дискретности множества значений функции X(t)и параметра t. Различают следующие основные виды Марковских случайных процессов:

•с дискретными состояниями и дискретным временем

(цепь Маркова);

1

•с непрерывными состояниями и дискретным временем

(Марковские последовательности);

•с дискретными состояниями и непрерывным временем

(непрерывная цепь Маркова);

•с непрерывным состоянием и непрерывным временем. Кроме указанных выше примеров классификации

случайных процессов существует еще одно важное свойство. Это свойство описывает вероятностную связь между состояниями случайных процессов. Так, например, если в случайном процессе вероятность перехода системы в каждое последующее состояние зависит только от предыдущего состояния, то такой процесс называется процессом без последействия.

Отметим, во-первых, что случайный процесс с дискретными состояниями и временем называется случайной последовательностью.

Если случайная последовательность обладает Марковским свойством, то она называется цепью Маркова.

Марковский случайный процесс называется одно-

родным, если переходные вероятности остаются постоянными в ходе процесса.

Цепь Маркова считается заданной, если заданы два условия [23].

1.Имеется совокупность переходных вероятностей

ввиде матрицы:

.

2

2. Имеется вектор начальных вероятностей

,

описывающий начальное состояние системы.

Кроме матричной формы модель Марковской цепи может быть представлена в виде ориентированного взвешенного графа, как показано на рис. 1.

Рис.1. Ориентированный взвешенный граф

Множество состояний системы Марковской цепи, определенным образом классифицируется с учетом дальнейшего поведения системы.

1. Невозвратное множество (рис. 2).

Рис.2. Невозвратное множество

3