В вероятности и статистике процесс марковского восстановления (MRP) - это случайный процесс, который обобщает понятие марковских скачкообразных процессов. Другие случайные процессы , такие как цепь Маркова , процессы Пуассона и процессы восстановления может быть получены как частные случаи MRP годов.
Определение
Рассмотрим пространство состояний Рассмотрим набор случайных величин , где время прыжка и являются ассоциированными состояниями в цепи Маркова (см. рисунок). Пусть время между приходами,. Тогда последовательность называется процессом марковского восстановления, если
Связь с другими случайными процессами
- Если мы определим новый случайный процесс для , то процесс называется полумарковским процессом . Обратите внимание, что основное различие между MRP и полумарковским процессом состоит в том, что первый определяется как набор из двух состояний и времен, тогда как последний является фактическим случайным процессом, который развивается во времени, и любая реализация процесса имеет определенную состояние в любой момент времени. Весь процесс не является марковским, т. Е. Не имеет памяти, как это происходит в непрерывной цепи / процессе Маркова (CTMC) . Вместо этого процесс является марковским только в указанные моменты перехода. Этим и объясняется название « Семи- Марков». [1] [2] [3] (См. Также: скрытая полумарковская модель .)
- Полумарковский процесс (определенный в вышеприведенном пункте), в котором все времена удержания распределены экспоненциально, называется CTMC . Другими словами, если времена между поступлениями распределены экспоненциально и если время ожидания в состоянии и следующее достигнутое состояние независимы, у нас есть CTMC.
- Последовательность в MRP - цепь Маркова с дискретным временем . Другими словами, если временные переменные игнорируются в уравнении MRP, мы получаем DTMC .
- Если последовательность s независимы и одинаково распределены, и если их распределение не зависит от состояния , то это процесс обновления . Итак, если состояния игнорируются и у нас есть цепочка времен iid, то у нас есть процесс обновления.
Смотрите также
- Марковский процесс
- Теория обновления
- Марковская модель переменного порядка
- Скрытая полумарковская модель
Рекомендации
- ^ Medhi, J. (1982). Случайные процессы . Нью-Йорк: Wiley & Sons. ISBN 978-0-470-27000-4.
- ^ Росс, Шелдон М. (1999). Стохастические процессы (2-е изд.). Нью-Йорк [ua]: Рутледж. ISBN 978-0-471-12062-9.
- ^ Барбу, Влад Стефан; Лимниос, Николаос (2008). Полумарковские цепи и скрытые полумарковские модели к приложениям: их использование в надежности и анализе ДНК . Нью-Йорк: Спрингер. ISBN 978-0-387-73171-1.