Цепь Маркова
Цепь Маркова или марковский процесс — это стохастическая модель, описывающая последовательность возможных событий, в которой вероятность каждого события зависит только от состояния, достигнутого в предыдущем событии. [1] [2] [3] Счетно бесконечная последовательность, в которой цепь перемещает состояние с дискретными временными шагами, дает цепь Маркова с дискретным временем (DTMC). Процесс с непрерывным временем называется цепью Маркова с непрерывным временем (CTMC). Он назван в честь русского математика Андрея Маркова .
Цепи Маркова имеют множество приложений в качестве статистических моделей реальных процессов, [1] [4] [5] [6] , таких как изучение систем круиз-контроля в автомобилях , очередей или очередей клиентов, прибывающих в аэропорт, обменных курсов валют и динамика численности животных. [7]
Марковские процессы являются основой для общих методов стохастического моделирования, известных как цепь Маркова Монте-Карло , которые используются для моделирования выборки из сложных вероятностных распределений и нашли применение в байесовской статистике , термодинамике , статистической механике , физике , химии , экономике , финансах , сигналах. обработка , теория информации и обработка речи . [7] [8] [9]
Прилагательные марковский и марковский используются для описания чего-то, что связано с марковским процессом. [1] [10] [11]
Марковский процесс — это случайный процесс , удовлетворяющий марковскому свойству [1] (иногда характеризуемому как « без памяти »). Проще говоря, это процесс, для которого можно делать прогнозы относительно будущих результатов, основываясь исключительно на его текущем состоянии, и, что наиболее важно, такие прогнозы так же хороши, как те, которые можно было бы сделать, зная всю историю процесса. [12] Другими словами, в зависимости от текущего состояния системы ее будущее и прошлое состояния независимы .
Цепь Маркова - это тип марковского процесса, который имеет либо дискретное пространство состояний , либо дискретный набор индексов (часто представляющий время), но точное определение цепи Маркова варьируется. [13] Например, цепь Маркова обычно определяют как марковский процесс в дискретном или непрерывном времени со счетным пространством состояний (таким образом, независимо от природы времени), [14] [15] [16] [17 ]. ] но также принято определять цепь Маркова как имеющую дискретное время либо в счетном, либо в непрерывном пространстве состояний (таким образом, независимо от пространства состояний). [13]
