Рассмотрим пространство состояний. Рассмотрим набор случайных величин , где - времена перехода, а - соответствующие состояния в цепи Маркова (см. Рисунок). Пусть время между прибытием, . Тогда последовательность называется процессом марковского восстановления, если
Связь с другими случайными процессами
Если мы определяем новый случайный процесс для , то этот процесс называется полумарковским процессом . Обратите внимание, что основное различие между MRP и полумарковским процессом заключается в том, что первый определяется как набор из двух состояний и времен, тогда как последний является фактическим случайным процессом, который развивается во времени, и любая реализация процесса имеет определенную состояние в любой момент времени. Весь процесс не является марковским, т. Е. Не имеет памяти, как это происходит в цепочке / процессе Маркова с непрерывным временем (CTMC) . Вместо этого процесс является марковским только в указанные моменты перехода. Этим и объясняется название « Семи- Марков». [1] [2] [3](См. Также: скрытая полумарковская модель .)
Полумарковский процесс (определенный в вышеприведенном пункте), в котором все времена удержания распределены экспоненциально, называется CTMC . Другими словами, если времена между поступлениями распределены экспоненциально и если время ожидания в состоянии и следующее достигнутое состояние независимы, у нас есть CTMC.
Последовательность в MRP представляет собой цепь Маркова с дискретным временем . Другими словами, если временные переменные игнорируются в уравнении MRP, мы получаем DTMC .
Если последовательность s независимы и одинаково распределены, и если их распределение не зависит от состояния , то процесс является процессом обновления . Итак, если состояния игнорируются и у нас есть цепочка времен iid, то у нас есть процесс обновления.
^ Росс, Шелдон М. (1999). Стохастические процессы (2-е изд.). Нью-Йорк [ua]: Рутледж. ISBN 978-0-471-12062-9.
^ Барбу, Влад Стефан; Лимниос, Николаос (2008). Полумарковские цепи и скрытые полумарковские модели к приложениям: их использование в надежности и анализе ДНК . Нью-Йорк: Спрингер. ISBN 978-0-387-73171-1.