Цепь Маркова с непрерывным временем

Цепь Маркова с непрерывным временем ( CTMC ) — это непрерывный стохастический процесс , в котором для каждого состояния процесс будет изменять состояние в соответствии с экспоненциальной случайной величиной , а затем переходить в другое состояние в соответствии с вероятностями стохастической матрицы . Эквивалентная формулировка описывает процесс как изменение состояния в соответствии с наименьшим значением набора экспоненциальных случайных величин, по одной для каждого возможного состояния, в которое он может перейти, с параметрами, определяемыми текущим состоянием.

Пример CTMC с тремя состояниями таков: процесс совершает переход через количество времени, определяемое временем выдержки — экспоненциальной случайной величиной , где i — его текущее состояние. Каждая случайная величина независима и такова, что , и . При переходе процесс движется по цепи скачков , цепи Маркова с дискретным временем и стохастической матрицей:${\ Displaystyle \ {0,1,2 \}}$${\ Displaystyle Е_ {я}}$${\ displaystyle E_ {0} \ sim {\ text {Exp}} (6)}$${\ displaystyle E_ {1} \ sim {\ text {Exp}} (12)}$${\ displaystyle E_ {2} \ sim {\ text {Exp}} (18)}$

Эквивалентно, согласно теории конкурирующих экспонент , этот CTMC изменяет состояние из состояния i в соответствии с минимумом двух случайных величин, которые являются независимыми и такими, что для где параметры задаются Q-матрицей${\ displaystyle E_ {i, j} \ sim {\ text {Exp}} (q_ {i, j})}$${\ Displaystyle я \ neq j}$ ${\ Displaystyle Q = (q_ {я, j})}$

Каждое недиагональное значение может быть вычислено как произведение времени удержания исходного состояния на вероятность перехода из цепочки переходов в заданное состояние. Диагональные значения выбираются таким образом, чтобы каждая строка в сумме равнялась 0.

CTMC удовлетворяет марковскому свойству , что его поведение зависит только от его текущего состояния, а не от его прошлого поведения из-за отсутствия памяти экспоненциального распределения и цепей Маркова с дискретным временем.

При i  ≠  j элементы q _ij неотрицательны и описывают скорость перехода процесса из состояния i в состояние j . Элементы q _ii могут быть выбраны равными нулю, но для математического удобства обычно принято выбирать их так, чтобы каждая строка суммы равнялась нулю, то есть:${\ Displaystyle Q}$

Цепь Маркова с непрерывным временем характеризуется скоростями переходов, производными по времени вероятностей переходов между состояниями i и j.

Представление направленного графа цепи Маркова с непрерывным временем, описывающей состояние финансовых рынков (примечание: числа выдуманы).

Граф переходов с вероятностями переходов, примерный для состояний 1, 5, 6 и 8. Между состояниями 2 и 8 имеется двунаправленный потайной проход.