Марковский процесс с дискретными состояниями и дискретным временем.

Марковский процесс с непрерывным временем и дискретными состояниями ещё именуют постоянной цепью Маркова.

Пускай имеется последовательность дискретных состояний

Марковский процесс с дискретными состояниями и дискретным временем.

. Обозначим через

Марковский процесс с дискретными состояниями и дискретным временем.

возможность того, что в момент времени

Марковский процесс с дискретными состояниями и дискретным временем.

совокупность

Марковский процесс с дискретными состояниями и дискретным временем.

будет пребывать в состоянии

Марковский процесс с дискретными состояниями и дискретным временем.

, где

Марковский процесс с дискретными состояниями и дискретным временем.

.

Определим для любого момента времени

Марковский процесс с дискретными состояниями и дискретным временем.

возможности состояний:

Марковский процесс с дискретными состояниями и дискретным временем.

и разглядим элементарный временной отрезок

Марковский процесс с дискретными состояниями и дискретным временем.

, примыкающий справа к моменту времени

Марковский процесс с дискретными состояниями и дискретным временем.

.

Марковский процесс с дискретными состояниями и дискретным временем.

Назовем плотностью возможности перехода

Марковский процесс с дискретными состояниями и дискретным временем.

– предел отношения возможности

Марковский процесс с дискретными состояниями и дискретным временем.

– перехода совокупности за время

Марковский процесс с дискретными состояниями и дискретным временем.

из состояния

Марковский процесс с дискретными состояниями и дискретным временем.

в состояние

Марковский процесс с дискретными состояниями и дискретным временем.

к длине промежутка

Марковский процесс с дискретными состояниями и дискретным временем.

Марковский процесс с дискретными состояниями и дискретным временем.

В случае если все плотности возможностей перехода

Марковский процесс с дискретными состояниями и дискретным временем.

не зависят от

Марковский процесс с дискретными состояниями и дискретным временем.

, то постоянную цепь Маркова именуют однородной; в случае если эти плотности воображают функции времени, то процесс именуется неоднородным.

Пометим каждую стрелку графа состояний соответствующей плотностью возможностей перехода. Таковой граф именуют размеченным графом состояний.

Продемонстрируем, что, зная размеченный граф состояний, возможно выяснить возможность состояний

Марковский процесс с дискретными состояниями и дискретным временем.

как ответ дифференциальных уравнений Колмогорова.

Пример:

Совокупность

Марковский процесс с дискретными состояниями и дискретным временем.

имеет четыре вероятных состояния

Марковский процесс с дискретными состояниями и дискретным временем.

.

Марковский процесс с дискретными состояниями и дискретным временем.

Отыщем возможность

Марковский процесс с дискретными состояниями и дискретным временем.

.

Это событие может случиться двумя методами:

  1. В момент времени
    Марковский процесс с дискретными состояниями и дискретным временем.

    совокупность была в состоянии

    Марковский процесс с дискретными состояниями и дискретным временем.

    , а за время

    Марковский процесс с дискретными состояниями и дискретным временем.

    ничего не изменилось:

    Марковский процесс с дискретными состояниями и дискретным временем.
  2. В момент времени
    Марковский процесс с дискретными состояниями и дискретным временем.

    совокупность была в состоянии

    Марковский процесс с дискретными состояниями и дискретным временем.

    , а за время

    Марковский процесс с дискретными состояниями и дискретным временем.

    перешла в состояние

    Марковский процесс с дискретными состояниями и дискретным временем.

    :

    Марковский процесс с дискретными состояниями и дискретным временем.

Используя правило сложения возможностей, возьмём:

Марковский процесс с дискретными состояниями и дискретным временем.

либо

Марковский процесс с дискретными состояниями и дискретным временем.

Так, выведено дифференциальное уравнение, которому обязана удовлетворять функция

Марковский процесс с дискретными состояниями и дискретным временем.

.

Рассуждая подобно, возьмём совокупность дифференциальных уравнений Колмогорова:

Марковский процесс с дискретными состояниями и дискретным временем.

Увидим, что неизменно справедливо:

Марковский процесс с дискретными состояниями и дискретным временем.

.

Так, при

Марковский процесс с дискретными состояниями и дискретным временем.

в совокупности

Марковский процесс с дискретными состояниями и дискретным временем.

устанавливается некий стационарный режим: он пребывает в том, что совокупность случайным образом меняет собственные состояния, но возможность каждого из них уже не зависит от времени: каждое из состояний осуществляется с некоей постоянной возможностью, которая является средним относительное время нахождения совокупности в данном состоянии. Для вычисления финальных возможностей достаточно в совокупности уравнений Колмогорова все левые части положить равными нулю.

Лекция 15: Марковские случайные процессы


Похожие статьи:

Понравилась статья? Поделиться с друзьями: