Марковский процесс обновления

В вероятности и статистике процесс марковского восстановления (MRP) - это случайный процесс, который обобщает понятие марковских скачкообразных процессов. Другие случайные процессы , такие как цепь Маркова , процессы Пуассона и процессы восстановления может быть получены как частные случаи MRP годов.

Определение [ править ]

Иллюстрация процесса марковского обновления

Рассмотрим пространство состояний. Рассмотрим набор случайных величин , где - времена перехода, а - соответствующие состояния в цепи Маркова (см. Рисунок). Пусть время между прибытием, . Тогда последовательность называется процессом марковского восстановления, если ${\ displaystyle \ mathrm {S}.}$ ${\ displaystyle (X_ {n}, T_ {n})}$ ${\ displaystyle T_ {n}}$ ${\ displaystyle X_ {n}}$ ${\ Displaystyle \ тау _ {п} = Т_ {п} -Т_ {п-1}}$ ${\ displaystyle (X_ {n}, T_ {n})}$

{\begin{aligned}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid (X_{0},T_{0}),(X_{1},T_{1}),\ldots ,(X_{n}=i,T_{n}))\\[5pt]={}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid X_{n}=i)\,\forall n\geq 1,t\geq 0,i,j\in \mathrm {S} \end{aligned}}

Связь с другими случайными процессами [ править ]

Если мы определяем новый случайный процесс для , то этот процесс называется полумарковским процессом . Обратите внимание, что основное различие между MRP и полумарковским процессом заключается в том, что первый определяется как набор из двух состояний и времен, тогда как последний является фактическим случайным процессом, который развивается во времени, и любая реализация процесса имеет определенную состояние в любой момент времени. Весь процесс не является марковским, т.е. не имеет памяти, как это происходит в непрерывной цепи / процессе Маркова (CTMC) . Вместо этого процесс является марковским только в указанные моменты перехода. Этим и объясняется название « Семи- Марков». ^[1]^[2]^[3] $Y_{t}:=X_{n}$ $t\in [T_{n},T_{n+1})$ $Y_{t}$ (См. Также: скрытая полумарковская модель .)
Полумарковский процесс (определенный в вышеприведенном пункте), в котором все времена удержания распределены экспоненциально, называется CTMC . Другими словами, если времена между поступлениями распределены экспоненциально и если время ожидания в состоянии и следующее достигнутое состояние независимы, у нас есть CTMC.
${\begin{aligned}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid (X_{0},T_{0}),(X_{1},T_{1}),\ldots ,(X_{n}=i,T_{n}))\\[3pt]={}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid X_{n}=i)\\[3pt]={}&\Pr(X_{n+1}=j\mid X_{n}=i)(1-e^{-\lambda _{i}t}),{\text{ for all }}n\geq 1,t\geq 0,i,j\in \mathrm {S} ,i\neq j\end{aligned}}$
Последовательность в MRP представляет собой цепь Маркова с дискретным временем . Другими словами, если временные переменные игнорируются в уравнении MRP, мы получаем DTMC . $X_{n}$
$\Pr(X_{n+1}=j\mid X_{0},X_{1},\ldots ,X_{n}=i)=\Pr(X_{n+1}=j\mid X_{n}=i)\,\forall n\geq 1,i,j\in \mathrm {S}$
Если последовательность s независимы и одинаково распределены, и если их распределение не зависит от состояния , то процесс является процессом обновления . Итак, если состояния игнорируются и у нас есть цепочка времен iid, то у нас есть процесс обновления. $\tau$ $X_{n}$
$\Pr(\tau _{n+1}\leq t\mid T_{0},T_{1},\ldots ,T_{n})=\Pr(\tau _{n+1}\leq t)\,\forall n\geq 1,\forall t\geq 0$

См. Также [ править ]

Эта статья включает в себя список общих ссылок , но он остается в значительной степени непроверенным, поскольку в нем отсутствует достаточное количество соответствующих встроенных ссылок . Пожалуйста, помогите улучшить эту статью, добавив более точные цитаты. ( Июль 2012 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Ссылки [ править ]

^ Medhi, J. (1982). Случайные процессы . Нью-Йорк: Wiley & Sons. ISBN 978-0-470-27000-4.
^ Росс, Шелдон М. (1999). Стохастические процессы (2-е изд.). Нью-Йорк [ua]: Рутледж. ISBN 978-0-471-12062-9.
^ Барбу, Влад Стефан; Лимниос, Николаос (2008). Полумарковские цепи и скрытые полумарковские модели к приложениям: их использование в надежности и анализе ДНК . Нью-Йорк: Спрингер. ISBN 978-0-387-73171-1.

[1] Medhi, J. (1982). Случайные процессы . Нью-Йорк: Wiley & Sons. ISBN 978-0-470-27000-4.

[2] Росс, Шелдон М. (1999). Стохастические процессы (2-е изд.). Нью-Йорк [ua]: Рутледж. ISBN 978-0-471-12062-9.

[3] Барбу, Влад Стефан; Лимниос, Николаос (2008). Полумарковские цепи и скрытые полумарковские модели к приложениям: их использование в надежности и анализе ДНК . Нью-Йорк: Спрингер. ISBN 978-0-387-73171-1.

[1]