Цепь Маркова

---

Це́пь Ма́ркова — последовательность случайных событий с конечным или счётным числом исходов, где вероятность наступления каждого события зависит только от состояния, достигнутого в предыдущем событии^[1]. Характеризуется тем свойством, что, говоря нестрого, при текущем настоящем состоянии системы, её будущее состояние не зависит от прошлого. Названа в честь А. А. Маркова (старшего), который впервые ввёл это понятие в работе 1906 года.^[2]

Последовательность дискретных случайных величин ${\displaystyle \{X_{n}\}_{n\geqslant 0}}$ называется простой цепью Маркова (с дискретным временем), если

Таким образом, в простейшем случае условное распределение последующего состояния цепи Маркова зависит только от текущего состояния и не зависит от всех предыдущих состояний (в отличие от цепей Маркова высших порядков).

Область значений случайных величин ${\displaystyle \{X_{n}\}}$ называется простра́нством состоя́ний цепи, а номер ${\displaystyle n}$ — номером шага.

Матрица ${\displaystyle P{(n)}}$, где

называется ма́трицей перехо́дных вероя́тностей на ${\displaystyle n}$-м шаге, а вектор ${\displaystyle \mathbf {p} =(p_{1},p_{2},\ldots )^{\top }}$, где

---