Марковский процесс с непрерывным временем и дискретными состояниями ещё именуют постоянной цепью Маркова.
Пускай имеется последовательность дискретных состояний
. Обозначим через
возможность того, что в момент времени
совокупность
будет пребывать в состоянии
, где
.
Определим для любого момента времени
возможности состояний:
и разглядим элементарный временной отрезок
, примыкающий справа к моменту времени
.
Назовем плотностью возможности перехода
– предел отношения возможности
– перехода совокупности за время
из состояния
в состояние
к длине промежутка
В случае если все плотности возможностей перехода
не зависят от
, то постоянную цепь Маркова именуют однородной; в случае если эти плотности воображают функции времени, то процесс именуется неоднородным.
Пометим каждую стрелку графа состояний соответствующей плотностью возможностей перехода. Таковой граф именуют размеченным графом состояний.
Продемонстрируем, что, зная размеченный граф состояний, возможно выяснить возможность состояний
как ответ дифференциальных уравнений Колмогорова.
Пример:
Совокупность
имеет четыре вероятных состояния
.
Отыщем возможность
.
Это событие может случиться двумя методами:
- В момент времени
совокупность была в состоянии
, а за время
ничего не изменилось:
- В момент времени
совокупность была в состоянии
, а за время
перешла в состояние
:
Используя правило сложения возможностей, возьмём:
либо
Так, выведено дифференциальное уравнение, которому обязана удовлетворять функция
.
Рассуждая подобно, возьмём совокупность дифференциальных уравнений Колмогорова:
Увидим, что неизменно справедливо:
.
Так, при
в совокупности
устанавливается некий стационарный режим: он пребывает в том, что совокупность случайным образом меняет собственные состояния, но возможность каждого из них уже не зависит от времени: каждое из состояний осуществляется с некоей постоянной возможностью, которая является средним относительное время нахождения совокупности в данном состоянии. Для вычисления финальных возможностей достаточно в совокупности уравнений Колмогорова все левые части положить равными нулю.
Лекция 15: Марковские случайные процессы
