Цепь Маркова является вероятностной моделью , описывающей последовательность возможных событий , в которых вероятность каждого события зависит только от состояния достигнутого в предыдущем случае. [1] [2] [3] счетное последовательность, в которой цепь движется состояние в дискретных временных шагов, дает дискретное времени цепь Маркова (DTMC). Непрерывное время процесс называется непрерывное время цепи Маркова (СТМС). Он назван в честь русского математика Андрея Маркова .
Цепи Маркова имеют множество применений в качестве статистических моделей реальных процессов [1] [4] [5] [6], таких как изучение систем круиз-контроля в транспортных средствах , очередях или очередях клиентов, прибывающих в аэропорт, курсах обмена валют и динамика поголовья животных. [7]
Марковские процессы являются основой общих методов стохастического моделирования, известных как цепь Маркова Монте-Карло , которые используются для моделирования выборки из сложных распределений вероятностей и нашли применение в байесовской статистике , термодинамике , статистической механике , физике , химии , экономике , финансах , сигнальной обработка , теория информации и обработка речи . [7] [8] [9]
Прилагательные марковский и марковский используются для описания чего-то, что связано с марковским процессом. [1] [10] [11]
Вступление
Определение
Марковский процесс - это случайный процесс, который удовлетворяет марковскому свойству [1] (иногда его называют « без памяти »). Проще говоря, это процесс, для которого можно делать прогнозы относительно будущих результатов, основываясь исключительно на его текущем состоянии, и, что наиболее важно, такие прогнозы так же хороши, как и те, которые можно было бы сделать, зная полную историю процесса. [12] Другими словами, в зависимости от текущего состояния системы ее будущее и прошлое состояния независимы .
Цепь Маркова - это тип марковского процесса, который имеет либо дискретное пространство состояний, либо дискретный набор индексов (часто представляющих время), но точное определение цепи Маркова меняется. [13] Например, цепь Маркова принято определять как марковский процесс в дискретном или непрерывном времени со счетным пространством состояний (таким образом, независимо от природы времени), [14] [15] [16] [17 ] ], но также принято определять цепь Маркова как имеющую дискретное время либо в счетном, либо в непрерывном пространстве состояний (таким образом, независимо от пространства состояний). [13]
Типы цепей Маркова
Необходимо указать пространство состояний системы и индекс параметра времени. В следующей таблице представлен обзор различных примеров марковских процессов для разных уровней общности пространства состояний и для дискретного времени и непрерывного времени:
Счетное пространство состояний | Непрерывное или общее пространство состояний | |
---|---|---|
Дискретное время | (дискретное время) цепь Маркова на счетном или конечном пространстве состояний | Цепь Маркова на измеримом пространстве состояний (например, цепь Харриса ) |
Непрерывное время | Марковский процесс с непрерывным временем или марковский скачкообразный процесс | Любой непрерывный случайный процесс с марковским свойством (например, винеровский процесс ) |
Обратите внимание, что в литературе нет окончательного согласия по использованию некоторых терминов, обозначающих частные случаи марковских процессов. Обычно термин «цепь Маркова» зарезервирован для процесса с дискретным набором моментов времени, то есть цепи Маркова с дискретным временем (DTMC) , [1] [18], но некоторые авторы используют термин «процесс Маркова» для обозначения относятся к цепи Маркова с непрерывным временем (CTMC) без явного упоминания. [19] [20] [21] Кроме того, существуют другие расширения марковских процессов, которые называются таковыми, но не обязательно подпадают ни под одну из этих четырех категорий (см. Модель Маркова ). Более того, временной индекс не обязательно должен быть действительным; как и в случае с пространством состояний, есть мыслимые процессы, которые перемещаются по индексным наборам с другими математическими конструкциями. Обратите внимание, что общая цепь Маркова с непрерывным временем в пространстве состояний является общей до такой степени, что в ней нет обозначенного члена.
Хотя параметр времени обычно дискретен, пространство состояний цепи Маркова не имеет каких-либо общепринятых ограничений: термин может относиться к процессу в произвольном пространстве состояний. [22] Однако во многих приложениях цепей Маркова используются конечные или счетно бесконечные пространства состояний, которые имеют более простой статистический анализ. Помимо параметров временного индекса и пространства состояний, существует множество других вариаций, расширений и обобщений (см. Варианты ). Для простоты большая часть этой статьи сосредоточена на дискретном времени и дискретном пространстве состояний, если не указано иное.
Переходы
Изменения состояния системы называются переходами. [1] Вероятности, связанные с различными изменениями состояния, называются вероятностями перехода. Процесс характеризуется пространством состояний, матрицей переходов, описывающей вероятности конкретных переходов, и начальным состоянием (или начальным распределением) в пространстве состояний. По соглашению мы предполагаем, что все возможные состояния и переходы были включены в определение процесса, поэтому всегда есть следующее состояние, и процесс не завершается.
Случайный процесс с дискретным временем включает систему, которая находится в определенном состоянии на каждом шаге, причем состояние изменяется случайным образом между шагами. [1] Шаги часто называют моментами времени, но они также могут относиться к физическому расстоянию или любому другому дискретному измерению. Формально шаги представляют собой целые или натуральные числа , а случайный процесс - это их отображение на состояния. [23] Марковское свойство утверждает, что условное распределение вероятностей для системы на следующем шаге (и фактически на всех будущих шагах) зависит только от текущего состояния системы, а не дополнительно от состояния системы на предыдущих шагах. .
Поскольку система изменяется случайным образом, обычно невозможно с уверенностью предсказать состояние цепи Маркова в данной точке в будущем. [23] Однако статистические свойства системы в будущем можно предсказать. [23] Во многих приложениях важны именно эти статистические свойства.
История
Марков изучал марковские процессы в начале 20 - го века, опубликовал свою первую статью на эту тему в 1906 году [24] [25] [26] [27] марковские процессы в непрерывное время были обнаружены задолго до того, Андрей Марков работы «s в начале 20 - го века [1] в виде пуассоновского процесса . [28] [29] [30] Марков интересовался расширением независимых случайных последовательностей, мотивированным разногласием с Павлом Некрасовым, который утверждал, что независимость необходима для выполнения слабого закона больших чисел . [1] [31] В своей первой статье о цепях Маркова, опубликованной в 1906 году, Марков показал, что при определенных условиях средние результаты цепи Маркова сходятся к фиксированному вектору значений, таким образом доказывая слабый закон больших чисел без предположение о независимости, [1] [25] [26] [27], которое обычно считалось требованием для выполнения таких математических законов. [27] Марков позже использовал цепи Маркова для изучения распределения гласных в « Евгении Онегине» , написанном Александром Пушкиным , и доказал центральную предельную теорему для таких цепей. [1] [25]
В 1912 году Анри Пуанкаре изучал цепи Маркова на конечных группах с целью изучения перетасовки карт. Другие ранние применения цепей Маркова включают модель диффузии, введенную Полом и Татьяной Эренфест в 1907 году, и процесс ветвления, введенный Фрэнсисом Гальтоном и Генри Уильямом Уотсоном в 1873 году, до работы Маркова. [25] [26] После работы Гальтона и Ватсона позже выяснилось, что их процесс ветвления был независимо открыт и изучен примерно тремя десятилетиями ранее Ирене-Жюль Биенайме . [32] Начиная с 1928 года, Морис Фреше заинтересовался цепями Маркова, в результате чего в 1938 году он опубликовал подробное исследование цепей Маркова. [25] [33]
Андрей Колмогоров разработал в статье 1931 года большую часть ранней теории марковских процессов с непрерывным временем. [34] [35] Колмогоров был частично вдохновлен работой Луи Башелье 1900 года о колебаниях фондового рынка, а также работой Норберта Винера над моделью броуновского движения Эйнштейна. [34] [36] Он представил и изучил конкретный набор марковских процессов, известных как процессы диффузии, где он вывел набор дифференциальных уравнений, описывающих процессы. [34] [37] Независимо от работ Колмогорова, Сидней Чепмен вывел в статье 1928 года уравнение, теперь называемое уравнением Чепмена – Колмогорова , менее математически строгим способом, чем Колмогоров, при изучении броуновского движения. [38] Дифференциальные уравнения теперь называются уравнениями Колмогорова [39] или уравнениями Колмогорова – Чепмена. [40] Среди других математиков, внесших значительный вклад в основы марковских процессов, - Уильям Феллер , начиная с 1930-х годов, а затем Юджин Дынкин , начиная с 1950-х годов. [35]
Примеры
Случайные блуждания на основе целых чисел и проблема разорения игрока являются примерами марковских процессов. [41] [42] Некоторые вариации этих процессов изучались сотни лет назад в контексте независимых переменных. [43] [44] [45] Два важных примера марковских процессов являются процесс Винера , также известный как броуновского движения процесса, и процесс Пуассона , [28] , которые считаются наиболее важными и центральные стохастические процессы в теории случайные процессы. [46] [47] [48] Эти два процесса являются марковскими процессами в непрерывном времени, в то время как случайные блуждания по целым числам и проблема разорения игрока являются примерами марковских процессов в дискретном времени. [41] [42]
Знаменитая цепь Маркова - это так называемая «прогулка пьяницы», случайное блуждание по числовой прямой, где на каждом шаге позиция может меняться на +1 или -1 с равной вероятностью. Из любой позиции возможны два перехода к следующему или предыдущему целому числу. Вероятности перехода зависят только от текущей позиции, а не от того, каким образом она была достигнута. Например, вероятности перехода от 5 к 4 и от 5 к 6 равны 0,5, а все другие вероятности перехода от 5 равны 0. Эти вероятности не зависят от того, была ли система ранее в 4 или 6.
Другой пример - пищевые привычки существа, которое ест только виноград, сыр или салат и чьи пищевые привычки соответствуют следующим правилам:
- Кушает ровно раз в сутки.
- Если сегодня он ел сыр, завтра он с равной вероятностью съест салат или виноград.
- Если он ел виноград сегодня, завтра он будет есть виноград с вероятностью 1/10, сыр с вероятностью 4/10 и салат с вероятностью 5/10.
- Если он ел салат сегодня, завтра он будет есть виноград с вероятностью 4/10 или сыр с вероятностью 6/10. Завтра он больше не будет есть салат.
Привычки этого существа в еде можно смоделировать с помощью цепи Маркова, поскольку его выбор завтра зависит исключительно от того, что он ел сегодня, а не от того, что он ел вчера или в какой-либо другой момент в прошлом. Одно статистическое свойство, которое можно вычислить, - это ожидаемый процент за долгий период дней, в которые существо будет есть виноград.
Серия независимых событий (например, серия подбрасываний монеты) удовлетворяет формальному определению цепи Маркова. Однако теория обычно применяется только тогда, когда распределение вероятностей следующего шага нетривиально зависит от текущего состояния.
Немарковский пример
Предположим, что есть кошелек для монет, содержащий пять четвертей (каждая по 25 центов), пять десятицентовиков (каждая по 10 центов) и пять пятак (каждая по 5 центов), и одна за другой монеты случайным образом извлекаются из кошелька и поставить на стол. Еслипредставляет собой общую стоимость монет, лежащих на столе после n розыгрышей, с, то последовательность это не марковский процесс.
Чтобы понять, почему это так, предположим, что в первых шести розыгрышах разыгрываются все пять пятак и четверть. Таким образом. Если мы знаем не только, но и более ранние значения, тогда мы можем определить, какие монеты были вытянуты, и мы знаем, что следующая монета не будет никелем; так что мы можем определить, что с вероятностью 1. Но если мы не знаем более ранние значения, то исходя только из значения мы могли бы предположить, что мы вытащили четыре цента и два цента, и в этом случае, безусловно, можно будет взять еще один цент. Таким образом, наши догадки о на нас влияет наше знание ценностей до .
Однако можно смоделировать этот сценарий как марковский процесс. Вместо определениячтобы представить общую стоимость монет на столе, мы могли бы определитьдля представления количества монет различных типов на столе. Например,может быть определен для представления состояния, в котором на столе остается одна четверть, ноль десятицентовиков и пять пятак после 6 розыгрышей по очереди. Эта новая модель будет представлена 216 возможными состояниями (то есть состояниями 6x6x6, поскольку каждый из трех типов монет может иметь от нуля до пяти монет на столе к концу 6 розыгрышей). Предположим, что первый розыгрыш приводит к состоянию. Вероятность достижения теперь зависит от ; например, государствоэто невозможно. После второго розыгрыша третий розыгрыш зависит от того, какие монеты были разыграны на данный момент, но уже не только от монет, которые были разыграны для первого состояния (поскольку с тех пор в сценарий была добавлена вероятностно важная информация). Таким образом, вероятность состояние зависит исключительно от исхода государственный.
Формальное определение
Цепь Маркова с дискретным временем
Марковская цепь с дискретным временем - это последовательность случайных величин X 1 , X 2 , X 3 , ... со свойством Маркова , а именно, что вероятность перехода к следующему состоянию зависит только от текущего состояния, а не от предыдущего. состояния:
- если обе условные вероятности хорошо определены, то есть если
Возможные значения X i образуют счетное множество S, называемое пространством состояний цепочки.
Вариации
- Однородные по времени цепи Маркова - это процессы, в которых
- для всех п . Вероятность перехода не зависит от n .
- Стационарные цепи Маркова - это процессы, в которых
- для всех n и k . Каждую стационарную цепь можно доказать однородностью по времени с помощью правила Байеса.
- Необходимым и достаточным условием стационарности однородной по времени цепи Маркова является то, что распределение - стационарное распределение цепи Маркова.
- Цепь Маркова с памятью (или цепь Маркова порядка m )
- где m конечно, - процесс, удовлетворяющий
- Другими словами, будущее состояние зависит от прошлых m состояний. Можно построить цепочку из который обладает «классическим» марковским свойством, взяв в качестве пространства состояний упорядоченные m -наборы значений X , т. е. .
Цепь Маркова с непрерывным временем
Марковская цепь с непрерывным временем ( X t ) t ≥ 0 определяется конечным или счетным пространством состояний S , матрицей скорости перехода Q с размерами, равными размерам пространства состояний, и начальным распределением вероятностей, определенным в пространстве состояний. Для i ≠ j элементы q ij неотрицательны и описывают скорость переходов процесса из состояния i в состояние j . Элементы q ii выбираются так, чтобы каждая строка матрицы скорости перехода равнялась нулю, в то время как суммы строк матрицы вероятности перехода в (дискретной) цепи Маркова были равны единице.
Есть три эквивалентных определения процесса. [49]
Бесконечно малое определение
Позволять - случайная величина, описывающая состояние процесса в момент времени t , и предположим, что процесс находится в состоянии i в момент времени t . Тогда, зная, не зависит от предыдущих значений , А также ч → 0 для всех J и для всех т ,
- ,
где - это дельта Кронекера в обозначении small-o . Вможно рассматривать как измерение того, насколько быстро происходит переход от i к j .
Прыжковая цепь / определение времени удержания
Задайте цепь Маркова Y n с дискретным временем для описания n- го скачка процесса и переменные S 1 , S 2 , S 3 , ... для описания времени удержания в каждом из состояний, где S i следует экспоненциальному распределению со скоростью параметр - q Y i Y i .
Определение вероятности перехода
Для любого значения n = 0, 1, 2, 3, ... и времен, проиндексированных до этого значения n : t 0 , t 1 , t 2 , ... и всех состояний, записанных в эти моменты времени i 0 , i 1 , i 2 , i 3 , ... выполняется
где p ij - решение прямого уравнения ( дифференциального уравнения первого порядка )
с начальным условием P (0) - единичная матрица .
Конечное пространство состояний
Если пространство состояний конечное распределение вероятностей перехода может быть представлена в виде матрицы , называется матрица перехода, с ( я , J ) -й элемент из Р , равных
Так как каждая строка P суммируется с одним и всеми элементами неотрицательна, P является правой стохастической матрицей .
Отношение стационарного распределения к собственным векторам и симплексам
Стационарное распределение π - это вектор (строка), элементы которого неотрицательны и в сумме равны 1, не изменяется при действии на него матрицы перехода P и, таким образом, определяется как
Сравнивая это определение с определением собственного вектора, мы видим, что эти два понятия связаны и что
является нормализованным () кратное левому собственному вектору e матрицы перехода P с собственным значением 1. Если имеется более одного единичного собственного вектора, то взвешенная сумма соответствующих стационарных состояний также является стационарным состоянием. Но для цепи Маркова обычно больше интересует стационарное состояние, которое является пределом последовательности распределений для некоторого начального распределения.
Значения стационарного распределения связаны с пространством состояний P, и его собственные векторы сохраняют свои относительные пропорции. Поскольку компоненты π положительны и ограничение, что их сумма равна единице, можно переписать какмы видим, что скалярное произведение π с вектором, все компоненты которого равны 1, равно единице и что π лежит на симплексе .
Однородная по времени цепь Маркова с конечным пространством состояний
Если цепь Маркова является однородной по времени, то матрица перехода P остается той же самой после каждого шага, поэтому вероятность перехода k- шага может быть вычислена как k-я степень матрицы перехода P k .
Если цепь Маркова неприводима и апериодична, то существует единственное стационарное распределение π . [50] Кроме того, в этом случае P k сходится к матрице первого ранга, в которой каждая строка является стационарным распределением π :
где 1 - вектор-столбец, все элементы которого равны 1. Это утверждается теоремой Перрона – Фробениуса . Если каким-либо образом найдено, то стационарное распределение рассматриваемой цепи Маркова может быть легко определено для любого начального распределения, как будет объяснено ниже.
Для некоторых стохастических матриц P предел не существует, пока существует стационарное распределение, как показано в этом примере:
(Этот пример иллюстрирует периодическую цепь Маркова.)
Поскольку существует ряд различных особых случаев, которые следует учитывать, процесс определения этого предела, если он существует, может оказаться длительной задачей. Однако есть много методов, которые могут помочь найти этот предел. Пусть P - матрица размера n × n , и определим
Это всегда правда, что
Вычитание Q с обеих сторон и факторинг затем дает
где I n - единичная матрица размера n , а 0 n , n - нулевая матрица размера n × n . Умножение стохастических матриц всегда дает другую стохастическую матрицу, поэтому Q должна быть стохастической матрицей (см. Определение выше). Иногда достаточно использовать матричное уравнение выше , и тот факт , что Q представляет собой стохастическая матрица решить для Q . Включая тот факт, что сумма каждой строки в P равна 1, существует n + 1 уравнений для определения n неизвестных, поэтому в вычислительном отношении проще, если, с одной стороны, выбрать одну строку в Q и заменить каждый из ее элементов на один , а также на других заместителей один соответствующий элемент (один в том же столбце) в векторе 0 , а рядом левые умножает этот последний вектор с помощью обратной матрицы преобразованной бывшей , чтобы найти Q .
Вот один из способов сделать это: сначала определите функцию f ( A ), чтобы вернуть матрицу A, в которой ее крайний правый столбец заменен всеми единицами. Если [ f ( P - I n )] −1 существует, то [51] [50]
- Объясните: исходное матричное уравнение эквивалентно системе линейных уравнений размера n × n от переменных n × n. И есть еще n линейных уравнений из-за того, что Q является правой стохастической матрицей , каждая строка которой в сумме равна 1. Таким образом, для решения n × n необходимы любые независимые линейные уравнения n × n из (n × n + n) уравнений n переменных. В этом примере n уравнений из «Q, умноженного на крайний правый столбец (P-In)» были заменены n стохастическими уравнениями.
Следует отметить, что если P имеет элемент P i , i на своей главной диагонали, который равен 1, а i- я строка или столбец в противном случае заполнены нулями, то эта строка или столбец останется неизменным во всех последующих мощности P k . Следовательно, я - й строки или столбца из Q будет иметь 1 и 0 в том же позиции , как и в P .
Скорость сходимости к стационарному распределению
Как указывалось ранее, из уравнения (если существует) стационарная (или стационарное состояние) распределение π является левым собственным вектором строки стохастической матрицы Р . Затем, предполагая, что P диагонализуем, или, что то же самое, что P имеет n линейно независимых собственных векторов, скорость сходимости определяется следующим образом. (Для недиагонализуемого, то есть дефектные матрицы , то можно начать с нормальной формой Жордана из P и приступить к немного более вовлеченному набору аргументов в аналогичном образе. [52]
Пусть U - матрица собственных векторов (каждый нормирован на норму L2, равную 1), где каждый столбец является левым собственным вектором P, и пусть Σ - диагональная матрица левых собственных значений P , то есть Σ = diag ( λ 1 , λ 2 , λ 3 , ..., λ n ). Тогда по собственному разложению
Пусть собственные значения пронумерованы так, что:
Поскольку P является стохастической матрицей-строкой, ее наибольшее левое собственное значение равно 1. Если существует уникальное стационарное распределение, то наибольшее собственное значение и соответствующий собственный вектор также уникальны (поскольку нет другого π, которое решает уравнение стационарного распределения, приведенное выше). Пусть u i будет i -м столбцом матрицы U , то есть u i будет левым собственным вектором P, соответствующим λ i . Также пусть x будет вектором-строкой длиной n, который представляет допустимое распределение вероятностей; так как собственные векторы u i охватывают мы можем написать
Если мы умножим x на P справа и продолжим эту операцию с результатами, в итоге мы получим стационарное распределение π . Другими словами, π = u i ← xPP ... P = xP k при k → ∞. Это означает
Поскольку π = u 1 , π ( k ) приближается к π при k → ∞ со скоростью порядка λ 2 / λ 1 экспоненциально. Это следует потому, чтоследовательно, λ 2 / λ 1 - доминирующий член. Чем меньше соотношение, тем быстрее сходимость. [53] Случайный шум в распределении состояний π также может ускорить сходимость к стационарному распределению. [54]
Общее пространство состояний
Цепи Харриса
Многие результаты для цепей Маркова с конечным пространством состояний могут быть обобщены на цепи с несчетным пространством состояний с помощью цепей Харриса .
Использование цепей Маркова в методах Монте-Карло цепей Маркова охватывает случаи, когда процесс следует непрерывному пространству состояний.
Локально взаимодействующие цепи Маркова
Рассмотрение набора цепей Маркова, эволюция которых учитывает состояние других цепей Маркова, связано с понятием локально взаимодействующих цепей Маркова . Это соответствует ситуации, когда пространство состояний имеет (декартову) форму произведения. См. Взаимодействующие системы частиц и стохастические клеточные автоматы (вероятностные клеточные автоматы). См., Например, « Взаимодействие марковских процессов» [55] или [56].
Характеристики
Два состояния взаимодействуют друг с другом, если оба достижимы друг из друга посредством последовательности переходов, имеющих положительную вероятность. Это отношение эквивалентности, которое дает набор взаимодействующих классов. Класс считается закрытым, если вероятность выхода из класса равна нулю. Цепь Маркова неприводима, если существует один взаимодействующий класс - пространство состояний.
Состояние у меня есть период если это наибольший общий делитель числа переходов с помощью которых я могу быть достигнут, начиная с I . Это:
Состояние i называется переходным, если, начиная с i , существует ненулевая вероятность того, что цепочка никогда не вернется в i . В противном случае он повторяется. Для повторяющегося состояния i среднее время достижения определяется как:
Состояние i положительно рекуррентно, есликонечно и нуль-рекуррентно в противном случае. Периодичность, быстротечность, повторение, а также положительное и нулевое повторение являются свойствами класса - то есть, если одно состояние имеет свойство, то все состояния в его взаимодействующем классе обладают этим свойством.
Состояние i называется поглощающим, если нет исходящих переходов из состояния.
Эргодичность
Состояние i называется эргодическим, если оно апериодическое и положительно рекуррентное. Другими словами, состояние i является эргодическим, если оно повторяется, имеет период 1 и имеет конечное среднее время повторения. Если все состояния в неприводимой цепи Маркова эргодичны, то цепь называется эргодической. [ сомнительно ]
Можно показать, что неприводимая цепь Маркова с конечным состоянием является эргодической, если она имеет апериодическое состояние. В более общем смысле , цепь Маркова является эргодической , если существует такое число N такое , что любое состояние может быть достигнуто из любого другого состояния в любом числе шагов , меньше или равно числу N . В случае полносвязной матрицы переходов, где все переходы имеют ненулевую вероятность, это условие выполняется при N = 1.
Цепь Маркова с более чем одним состоянием и только одним выходящим переходом для каждого состояния либо не является неприводимой, либо не апериодической, следовательно, не может быть эргодической.
Марковские представления
В некоторых случаях очевидно немарковские процессы могут все еще иметь марковские представления, построенные путем расширения концепции «текущего» и «будущего» состояний. Например, пусть X - немарковский процесс. Затем определить процесс Y , таким образом, что каждое состояние Y представляет собой интервал времени состояний X . Математически это принимает форму:
Если Y обладает свойством Маркова, то это марковским представление X .
Примером немарковского процесса с марковским представлением является авторегрессионный временной ряд порядка больше единицы. [57]
Время попадания
Время достижения - это время, начиная с заданного набора состояний до тех пор, пока цепочка не перейдет в заданное состояние или набор состояний. Распределение такого периода времени имеет распределение фазового типа. Простейшим из таких распределений является одиночный экспоненциально распределенный переход.
Ожидаемое время попадания
Для подмножества состояний A ⊆ S вектор k A моментов попадания (где элементпредставляет ожидаемое значение , начиная с состояния i , когда цепочка входит в одно из состояний множества A ) является минимальным неотрицательным решением [58]
Обратное время
Для CTMC X t обращенный во времени процесс определяется как. По лемме Келли этот процесс имеет такое же стационарное распределение, что и прямой процесс.
Цепочка называется обратимой, если обратный процесс совпадает с прямым. Критерий Колмогорова утверждает, что необходимое и достаточное условие для того, чтобы процесс был обратимым, состоит в том, что произведение скоростей перехода по замкнутому контуру должно быть одинаковым в обоих направлениях.
Встроенная цепь Маркова
Один из методов нахождения стационарного распределения вероятностей , л , с концентрацией эргодической непрерывного времени марковской цепи, Q , являются первым нахождением его вложенного марковской цепью (ЭМС) . Строго говоря, EMC - это обычная цепь Маркова с дискретным временем, которую иногда называют скачкообразным процессом . Каждый элемент матрицы вероятности одношагового перехода EMC, S , обозначается s ij и представляет условную вероятность перехода из состояния i в состояние j . Эти условные вероятности могут быть найдены
Отсюда S можно записать как
где I - единичная матрица, а diag ( Q ) - диагональная матрица, сформированная путем выбора главной диагонали из матрицы Q и установки всех остальных элементов в ноль.
Чтобы найти вектор стационарного распределения вероятностей, мы должны теперь найти такой, что
с участием вектор-строка, так что все элементы в больше 0 и ‖ φ ‖ 1 {\ Displaystyle \ | \ varphi \ | _ {1}} = 1. Отсюда π можно найти как
( S может быть периодическим, даже если Q - нет. Как только π найдено, его необходимо нормировать на единичный вектор .)
Другой процесс с дискретным временем, который может быть получен из цепи Маркова с непрерывным временем, - это δ-скелет - цепь Маркова (дискретного времени), образованная путем наблюдения X ( t ) с интервалами в δ единиц времени. Случайные величины X (0), X (δ), X (2δ), ... задают последовательность состояний, которые посещает δ-скелет.
Специальные типы цепей Маркова
Марковская модель
Марковские модели используются для моделирования изменяющихся систем. Существует 4 основных типа моделей, которые обобщают цепи Маркова в зависимости от того, является ли каждое последовательное состояние наблюдаемым или нет, и должна ли система корректироваться на основе сделанных наблюдений:
Состояние системы полностью наблюдаемо | Состояние системы частично наблюдаемо | |
---|---|---|
Система автономна | Цепь Маркова | Скрытая марковская модель |
Система контролируется | Марковский процесс принятия решений | Частично наблюдаемый марковский процесс принятия решений |
Схема Бернулли
Схема Бернулли является частным случаем марковской цепи , где матрица вероятности перехода имеет одинаковые строки, что означает , что следующее состояние даже независимо от текущего состояния (в дополнении к тому , не зависит от прошлых состояний). Схема Бернулли с двумя возможными состояниями известна как процесс Бернулли .
Заметим, однако, что по теореме об изоморфизме Орнштейна любая апериодическая неприводимая цепь Маркова изоморфна схеме Бернулли; [59] таким образом, можно также утверждать, что цепи Маркова являются «частным случаем» схем Бернулли. Изоморфизм обычно требует сложного перекодирования. Теорема об изоморфизме даже немного сильнее: она утверждает, что любой стационарный случайный процесс изоморфен схеме Бернулли; цепь Маркова - лишь один из таких примеров.
Подсдвиг конечного типа
Когда матрица Маркова заменяется матрицей смежности о наличии конечного графа , полученный сдвиг Термины топологической марковской цепи или subshift конечного типа . [59] Марковская матрица, совместимая с матрицей смежности, может затем предоставить меру субсдвига. Многие хаотические динамические системы изоморфны топологическим цепям Маркова; примеры включают диффеоморфизмы из замкнутых многообразий , в системе Пруэ-Туэ- Морзе , в системе Chacon , sofic систем , контекстно-свободные систем и блок кодирования систем . [59]
Приложения
Исследования показали применение и полезность цепей Маркова в широком спектре тем, таких как физика, химия, биология, медицина, музыка, теория игр и спорт.
Физика
Марковские системы широко используются в термодинамике и статистической механике , когда вероятности используются для представления неизвестных или немоделированных деталей системы, если можно предположить, что динамика инвариантна во времени и что нет необходимости рассматривать соответствующую историю, которая еще не включена в описании состояния. [60] [61] Например, термодинамическое состояние работает с распределением вероятностей, которое трудно или дорого получить. Следовательно, метод Монте-Карло с цепью Маркова может использоваться для случайного извлечения выборок из черного ящика для аппроксимации вероятностного распределения атрибутов по диапазону объектов. [61]
Пути в формулировке интегралов по путям квантовой механики являются цепями Маркова. [62]
Цепи Маркова используются при моделировании решеточной КХД . [63]
Химия
Сеть реакций - это химическая система, включающая множество реакций и химических соединений. В простейших стохастических моделях таких сетей система рассматривается как цепь Маркова с непрерывным временем, состояние которой является числом молекул каждого вида, а реакции моделируются как возможные переходы цепи. [64] Цепи Маркова и марковские процессы с непрерывным временем полезны в химии, когда физические системы близко аппроксимируют марковское свойство. Например, представьте себе большое количество n молекул в растворе в состоянии A, каждая из которых может подвергнуться химической реакции до состояния B с определенной средней скоростью. Возможно, молекула - это фермент, и состояния относятся к тому, как она складывается. Состояние любого отдельного фермента следует марковской цепи, и поскольку молекулы по существу независимы друг от друга, количество молекул в состоянии A или B за один раз в n раз больше вероятности того, что данная молекула находится в этом состоянии.
Классическую модель активности фермента, кинетику Михаэлиса – Ментен , можно рассматривать как цепь Маркова, где на каждом временном шаге реакция протекает в определенном направлении. Хотя Михаэлис-Ментен довольно прост, с помощью цепей Маркова можно смоделировать гораздо более сложные реакционные сети. [65]
Алгоритм, основанный на цепи Маркова, также использовался для фокусирования роста химических веществ in silico на основе фрагментов на желаемый класс соединений, таких как лекарства или натуральные продукты. [66] По мере роста молекулы из зарождающейся молекулы выбирается фрагмент в качестве «текущего» состояния. Он не осознает своего прошлого (то есть не осознает того, что уже связано с ним). Затем он переходит в следующее состояние, когда к нему прикрепляется фрагмент. Вероятности перехода обучаются по базам данных аутентичных классов соединений. [67]
Кроме того, рост (и состав) сополимеров можно моделировать с помощью цепей Маркова. На основе соотношений реакционной способности мономеров, которые составляют растущую полимерную цепь, можно рассчитать состав цепи (например, имеют ли мономеры тенденцию к добавлению попеременно или в длинных сериях одного и того же мономера). Из-за стерических эффектов марковские эффекты второго порядка также могут играть роль в росте некоторых полимерных цепей.
Точно так же было высказано предположение, что кристаллизация и рост некоторых материалов эпитаксиальных сверхрешеток оксидов могут быть точно описаны цепями Маркова. [68]
Биология
Цепи Маркова используются в различных областях биологии. Известные примеры включают:
- Филогенетика и биоинформатика , где большинство моделей эволюции ДНК используют цепи Маркова с непрерывным временем для описания нуклеотида, присутствующего в данном участке генома .
- Динамика населения , где цепи Маркова, в частности, являются центральным инструментом теоретического исследования матричных моделей населения .
- Нейробиология , где цепи Маркова использовались, например, для моделирования неокортекса млекопитающих. [69]
- Системная биология , например, с моделированием вирусной инфекции отдельных клеток. [70]
- Компартментные модели для моделирования вспышек болезней и эпидемий.
Тестирование
Несколько теоретиков предложили идею статистического теста цепей Маркова (MCST), метода соединения цепей Маркова для формирования « марковского одеяла », размещения этих цепей в нескольких рекурсивных слоях («вафли») и создания более эффективных наборов тестов - образцов. - как замена исчерпывающему тестированию. MCST также используются во временных сетях на основе состояний; В статье Чилукури и др., Озаглавленной «Сети аргументов в пользу временной неопределенности для объединения доказательств с приложениями для обнаружения и отслеживания объектов» (ScienceDirect), представлены предыстория и тематическое исследование для применения MCST в более широком диапазоне приложений.
Изменчивость солнечного излучения
Оценка изменчивости солнечной радиации полезна для применения в солнечной энергии . Изменчивость солнечного излучения в любом месте во времени в основном является следствием детерминированной изменчивости пути солнца по небесному куполу и изменчивости облачности. Изменчивость доступного солнечного излучения на поверхности Земли была смоделирована с использованием цепей Маркова [71] [72] [73] [74], также включая моделирование двух состояний ясности и облачности как двухуровневой цепи Маркова. [75] [76]
Распознавание речи
Скрытые марковские модели являются основой большинства современных систем автоматического распознавания речи .
Теория информации
Цепи Маркова используются при обработке информации. Знаменитая статья Клода Шеннона 1948 года «Математическая теория коммуникации» , которая в один шаг создала область теории информации , начинается с введения концепции энтропии через марковское моделирование английского языка. Такие идеализированные модели могут отражать многие статистические закономерности систем. Даже без точного описания полной структуры системы такие модели сигналов могут сделать возможным очень эффективное сжатие данных с помощью методов энтропийного кодирования , таких как арифметическое кодирование . Они также обеспечивают эффективную оценку состояния и распознавание образов . Цепи Маркова также играют важную роль в обучении с подкреплением .
Цепи Маркова также являются основой для скрытых марковских моделей, которые являются важным инструментом в таких разнообразных областях, как телефонные сети (которые используют алгоритм Витерби для исправления ошибок), распознавание речи и биоинформатика (например, при обнаружении перегруппировок [77] ).
В LZMA Lossless алгоритм сжатия данных объединяет цепь Маркова с компрессией Зив-Зив достичь очень высоких коэффициентов сжатия.
Теория массового обслуживания
Цепи Маркова являются основой аналитического анализа очередей ( теория массового обслуживания ). Агнер Краруп Эрланг инициировал эту тему в 1917 году. [78] Это делает их критически важными для оптимизации производительности телекоммуникационных сетей, где сообщения часто должны конкурировать за ограниченные ресурсы (такие как пропускная способность). [79]
Во многих моделях массового обслуживания используются цепи Маркова с непрерывным временем. Например, очередь M / M / 1 - это CTMC для неотрицательных целых чисел, где восходящие переходы от i к i + 1 происходят со скоростью λ в соответствии с процессом Пуассона и описывают поступление заданий, а переходы от i к i - 1 (для i > 1) происходят со скоростью μ (время обслуживания заданий распределяется экспоненциально) и описывают выполненные услуги (выбытия) из очереди.
Интернет-приложения
PageRank веб - страницы, которые используются в Google определяется цепью Маркова. [80] [81] [82] Вероятность оказаться на страницев стационарном распределении на следующей цепи Маркова на всех (известных) веб-страницах. Если это количество известных веб-страниц, а страница имеет ссылки на него, тогда у него есть вероятность перехода для всех страниц, на которые есть ссылки и для всех страниц, на которые нет ссылок. Параметрпринято около 0,15. [83]
Марковские модели также использовались для анализа поведения пользователей при навигации по сети. Переход пользователя по веб-ссылке на конкретный веб-сайт может быть смоделирован с использованием моделей Маркова первого или второго порядка и может использоваться для прогнозирования будущей навигации и персонализации веб-страницы для отдельного пользователя.
Статистика
Методы цепей Маркова также стали очень важными для генерации последовательностей случайных чисел для точного отражения очень сложных желаемых распределений вероятностей с помощью процесса, называемого Монте-Карло цепи Маркова (MCMC). В последние годы это произвело революцию в практичности методов байесовского вывода , позволяя моделировать широкий спектр апостериорных распределений и определять их параметры численно.
Экономика и финансы
Цепи Маркова используются в финансах и экономике для моделирования множества различных явлений, включая распределение доходов, распределение фирм по размерам, цены на активы и рыночные обвалы. Д. Г. Чамперноун построил модель марковской цепи распределения доходов в 1953 году. [84] Герберт А. Саймон и соавтор Чарльз Бонини использовали модель цепей Маркова для получения стационарного распределения Юла размеров фирм. [85] Луи Башелье был первым, кто заметил, что цены на акции следовали случайному блужданию. [86] Случайное блуждание позже рассматривалось как свидетельство в пользу гипотезы эффективного рынка, а модели случайного блуждания были популярны в литературе 1960-х годов. [87] Модели переключения режимов бизнес-циклов были популяризированы Джеймсом Д. Гамильтоном (1989), который использовал цепь Маркова для моделирования переключения между периодами высокого и низкого роста ВВП (или, альтернативно, экономического роста и спада). [88] Более свежим примером является мультифрактальная модель с марковским переключением Лорана Э. Кальве и Адлая Дж. Фишера, которая основана на удобстве более ранних моделей переключения режимов. [89] [90] Он использует произвольно большую цепь Маркова для управления уровнем волатильности доходности активов.
В динамической макроэкономике широко используются цепи Маркова. Примером может служить использование цепей Маркова для экзогенного моделирования цен на акции (акции) в условиях общего равновесия . [91]
Рейтинговые агентства ежегодно составляют таблицы вероятностей перехода для облигаций с разными кредитными рейтингами. [92]
Социальные науки
Цепи Маркова обычно используются при описании аргументов, зависящих от пути , где текущие структурные конфигурации обуславливают будущие результаты. Примером может служить переформулировка идеи, первоначально принадлежащая Карлу Марксу « Капитал» , которая связывает экономическое развитие с подъемом капитализма . В текущих исследованиях принято использовать цепь Маркова для моделирования того, как по достижении страной определенного уровня экономического развития конфигурация структурных факторов, таких как размер среднего класса , соотношение городского и сельского проживания, уровень от политической мобилизации, и т.д., будет генерировать более высокую вероятность перехода от авторитарного к демократическому режиму . [93]
Игры
Цепи Маркова можно использовать для моделирования многих азартных игр. [1] Детские игры « Змеи и лестницы» и « Привет-хо! Вишня-О », например, представлены именно цепями Маркова. На каждом ходу игрок начинает в заданном состоянии (на заданном квадрате) и оттуда имеет фиксированные шансы перейти в определенные другие состояния (квадраты).
Музыка
Цепи Маркова используются в алгоритмической музыкальной композиции , особенно в таких программах , как Csound , Max и SuperCollider . В цепочке первого порядка состояния системы становятся значениями ноты или высоты тона, и для каждой ноты строится вектор вероятности , завершая матрицу вероятности перехода (см. Ниже). Создан алгоритм для получения значений выходных нот на основе весов матрицы перехода, которые могут быть значениями нот MIDI , частотой ( Гц ) или любой другой желаемой метрикой. [94]
Примечание | А | C ♯ | E ♭ |
---|---|---|---|
А | 0,1 | 0,6 | 0,3 |
C ♯ | 0,25 | 0,05 | 0,7 |
E ♭ | 0,7 | 0,3 | 0 |
Заметки | А | D | грамм |
---|---|---|---|
AA | 0,18 | 0,6 | 0,22 |
ОБЪЯВЛЕНИЕ | 0,5 | 0,5 | 0 |
AG | 0,15 | 0,75 | 0,1 |
DD | 0 | 0 | 1 |
DA | 0,25 | 0 | 0,75 |
DG | 0,9 | 0,1 | 0 |
GG | 0,4 | 0,4 | 0,2 |
GA | 0,5 | 0,25 | 0,25 |
GD | 1 | 0 | 0 |
Цепь Маркова второго порядка может быть введена с учетом текущего состояния, а также предыдущего состояния, как указано во второй таблице. Цепочки более высокого , n- го порядка имеют тенденцию «группировать» отдельные ноты вместе, иногда «разрываясь» на другие паттерны и последовательности. Эти цепочки более высокого порядка имеют тенденцию генерировать результаты с чувством фразовой структуры, а не с «бесцельным блужданием», порождаемым системой первого порядка. [95]
Цепи Маркова могут использоваться структурно, как в «Аналогиках А и В» Ксенакиса [96]. Цепи Маркова также используются в системах, которые используют модель Маркова для интерактивной реакции на ввод музыки. [97]
Обычно музыкальные системы должны налагать определенные ограничения управления на последовательности конечной длины, которые они генерируют, но ограничения управления несовместимы с марковскими моделями, поскольку они вызывают дальнодействующие зависимости, которые нарушают марковскую гипотезу ограниченной памяти. Для преодоления этого ограничения был предложен новый подход. [98]
Бейсбол
Модели цепей Маркова использовались в расширенном анализе бейсбола с 1960 года, хотя их использование все еще редко. Каждый тайм-тайм бейсбольной игры соответствует состоянию цепи Маркова, если учитывать количество бегунов и аутов. Во время любой битвы существует 24 возможных комбинации количества аутов и положения бегунов. Марк Панкин показывает, что модели цепей Маркова можно использовать для оценки прогонов, созданных как для отдельных игроков, так и для команды. [99] Он также обсуждает различные виды стратегий и условий игры: как модели цепей Маркова использовались для анализа статистики игровых ситуаций, таких как овсянка и кража базы, а также различия между игрой на траве и AstroTurf . [100]
Генераторы марковского текста
Марковские процессы также можно использовать для генерации текста, внешне выглядящего реалистично, на основе образца документа. Марковские процессы используются во множестве развлекательных программ « генератора пародий » (см. Диссоциированную прессу , Джефф Харрисон, [101] Марк В. Шейни , [102] [103] и Academias Neutronium ). Существует несколько библиотек генерации текста с открытым исходным кодом с использованием цепей Маркова, в том числе The RiTa Toolkit .
Вероятностное прогнозирование
Цепи Маркова использовались для прогнозирования в нескольких областях: например, тенденции цен, [104] энергия ветра [105] и солнечное излучение. [106] В моделях прогнозирования цепей Маркова используются различные параметры, от дискретизации временных рядов [105] до скрытых моделей Маркова в сочетании с вейвлетами [104] и модели распределения смеси цепей Маркова (MCM). [106]
Смотрите также
- Динамика марковских частиц
- Процесс Гаусса – Маркова
- Метод приближения цепей Маркова
- Марковская цепь геостатистика
- Время перемешивания цепи Маркова
- Марковский процесс принятия решений
- Марковский информационный источник
- Марковский одометр
- Марковское случайное поле
- Квантовая цепь Маркова
- Полумарковский процесс
- Стохастический клеточный автомат
- Телескопическая цепь Маркова
- Марковская модель переменного порядка
Заметки
- ^ Б с д е е г ч я J K L Gagniuc, Пол А. (2017). Цепи Маркова: от теории к реализации и экспериментам . США, Нью-Джерси: John Wiley & Sons. С. 1–235. ISBN 978-1-119-38755-8.
- ^ «Цепь Маркова | Определение цепи Маркова в английском языке по Оксфордским словарям» . Оксфордские словари | Английский . Проверено 14 декабря 2017 .
- ^ Определение на Brilliant.org "Brilliant Math and Science Wiki" . Проверено 12 мая 2019 г.
- ^ Самуэль Карлин; Ховард Э. Тейлор (2 декабря 2012 г.). Первый курс случайных процессов . Академическая пресса. п. 47. ISBN 978-0-08-057041-9. Архивировано 23 марта 2017 года.
- ^ Брюс Хайек (12 марта 2015 г.). Случайные процессы для инженеров . Издательство Кембриджского университета. ISBN 978-1-316-24124-0. Архивировано 23 марта 2017 года.
- ^ Г. Латуш; В. Рамасвами (1 января 1999 г.). Введение в матричные аналитические методы стохастического моделирования . СИАМ. С. 4–. ISBN 978-0-89871-425-8. Архивировано 23 марта 2017 года.
- ^ а б Шон Мейн; Ричард Л. Твиди (2 апреля 2009 г.). Марковские цепи и стохастическая устойчивость . Издательство Кембриджского университета. п. 3. ISBN 978-0-521-73182-9. Архивировано 23 марта 2017 года.
- ^ Реувен Ю. Рубинштейн; Дирк П. Круз (20 сентября 2011 г.). Моделирование и метод Монте-Карло . Джон Вили и сыновья. п. 225. ISBN 978-1-118-21052-9. Архивировано 23 марта 2017 года.
- ^ Дэни Геймерман; Хедиберт Ф. Лопес (10 мая 2006 г.). Цепь Маркова Монте-Карло: стохастическое моделирование для байесовского вывода, второе издание . CRC Press. ISBN 978-1-58488-587-0. Архивировано 23 марта 2017 года.
- ^ «Марковский» . Оксфордский словарь английского языка (Интернет-изд.). Издательство Оксфордского университета. (Требуется подписка или членство в учреждении-участнике .)
- ^ https://www.google.com/books/edition/Model_Based_Signal_Processing/mNbw1a9WZYUC?hl=en&gbpv=1&dq=%22say+that+a+process+is+markov%22&pg=PA41&printsec=frontcover
- ^ Эксендал, Б.К. (Бернт Карстен) (2003). Стохастические дифференциальные уравнения: введение с приложениями (6-е изд.). Берлин: Springer. ISBN 3540047581. OCLC 52203046 .
- ^ а б Сорен Асмуссен (15 мая 2003 г.). Прикладная вероятность и очереди . Springer Science & Business Media. п. 7. ISBN 978-0-387-00211-8. Архивировано 23 марта 2017 года.
- ^ Эмануэль Парзен (17 июня 2015 г.). Случайные процессы . Courier Dover Publications. п. 188. ISBN 978-0-486-79688-8. Архивировано 20 ноября 2017 года.
- ^ Самуэль Карлин; Ховард Э. Тейлор (2 декабря 2012 г.). Первый курс случайных процессов . Академическая пресса. стр. 29 и 30. ISBN 978-0-08-057041-9. Архивировано 23 марта 2017 года.
- ^ Джон Ламперти (1977). Случайные процессы: обзор математической теории . Springer-Verlag. С. 106–121. ISBN 978-3-540-90275-1. Архивировано 23 марта 2017 года.
- ^ Шелдон М. Росс (1996). Случайные процессы . Вайли. стр. 174 и 231. ISBN 978-0-471-12062-9. Архивировано 23 марта 2017 года.
- ^ Everitt, BS (2002) Кембриджский статистический словарь . ЧАШКА. ISBN 0-521-81099-X
- ^ Парзен, Э. (1962) Случайные процессы , Холден-Дэй. ISBN 0-8162-6664-6 (Таблица 6.1)
- ^ Додж, Ю. (2003) Оксфордский словарь статистических терминов , OUP. ISBN 0-19-920613-9 (запись для «цепи Маркова»)
- ^ Додж, Ю. Оксфордский словарь статистических терминов , OUP. ISBN 0-19-920613-9
- ^ Мейн, С. Шон П. и Ричард Л. Твиди. (2009) Цепи Маркова и стохастическая устойчивость . Издательство Кембриджского университета. (Предисловие, стр. Iii)
- ^ а б в Гагнюк, Пол А. (2017). Цепи Маркова: от теории к реализации и экспериментам . США, Нью-Джерси: John Wiley & Sons. С. 159–163. ISBN 978-1-119-38755-8.
- ^ Гагнюк, Пол А. (2017). Цепи Маркова: от теории к реализации и экспериментам . США, Нью-Джерси: John Wiley & Sons. С. 2–8. ISBN 978-1-119-38755-8.
- ^ а б в г д Чарльз Миллер Гринстед; Джеймс Лори Снелл (1997). Введение в вероятность . American Mathematical Soc. стр. 464 -466. ISBN 978-0-8218-0749-1.
- ^ а б в Пьер Бремо (9 марта 2013 г.). Цепи Маркова: поля Гиббса, моделирование методом Монте-Карло и очереди . Springer Science & Business Media. п. ix. ISBN 978-1-4757-3124-8. Архивировано 23 марта 2017 года.
- ^ а б в Хейс, Брайан (2013). «Первые звенья цепи Маркова». Американский ученый . 101 (2): 92–96. DOI : 10.1511 / 2013.101.92 .
- ^ а б Шелдон М. Росс (1996). Случайные процессы . Вайли. стр. 235 и 358. ISBN 978-0-471-12062-9. Архивировано 23 марта 2017 года.
- ^ Джарроу, Роберт; Проттер, Филипп (2004). «Краткая история стохастической интеграции и математических финансов: первые годы, 1880–1970». Festschrift для Германа Рубина . Конспект лекций Института математической статистики - Серия монографий. С. 75–91. CiteSeerX 10.1.1.114.632 . DOI : 10.1214 / lnms / 1196285381 . ISBN 978-0-940600-61-4. ISSN 0749-2170 .
- ^ Гутторп, Питер; Тораринсдоттир, Тордис Л. (2012). «Что случилось с дискретным хаосом, процессом Кенуй и резким марковским свойством? Некоторая история случайных точечных процессов». Международное статистическое обозрение . 80 (2): 253–268. DOI : 10.1111 / j.1751-5823.2012.00181.x . ISSN 0306-7734 .
- ^ Сенета, Э. (1996). «Марков и рождение теории цепной зависимости». Международный статистический обзор / Revue Internationale de Statistique . 64 (3): 255–257. DOI : 10.2307 / 1403785 . ISSN 0306-7734 . JSTOR 1403785 .
- ^ Сенета, Э. (1998). «И. Дж. Биенайме [1796–1878]: критичность, неравенство и интернационализация». Международный статистический обзор / Revue Internationale de Statistique . 66 (3): 291–292. DOI : 10.2307 / 1403518 . ISSN 0306-7734 . JSTOR 1403518 .
- ^ Бру Б, Герц С (2001). «Морис Фреше». В Heyde CC, Seneta E, Crépel P, Fienberg SE, Gani J (ред.). Статистики веков . Нью-Йорк, штат Нью-Йорк: Спрингер. С. 331–334. DOI : 10.1007 / 978-1-4613-0179-0_71 . ISBN 978-0-387-95283-3.
- ^ а б в Kendall, DG; Бэтчелор, ГК; Bingham, NH; Hayman, WK; Хайленд, JME; Lorentz, GG; Моффатт, Гонконг; Parry, W .; Разборов А.А.; Робинсон, Калифорния; Уиттл, П. (1990). «Андрей Николаевич Колмогоров (1903–1987)». Бюллетень Лондонского математического общества . 22 (1): 33. DOI : 10,1112 / БЛМ / 22.1.31 . ISSN 0024-6093 .
- ^ а б Крамер, Харальд (1976). «Полвека теории вероятностей: некоторые личные воспоминания» . Летопись вероятности . 4 (4): 509–546. DOI : 10.1214 / AOP / 1176996025 . ISSN 0091-1798 .
- ^ Марк Барбут; Бернард Локер; Лоран Мазляк (23 августа 2016 г.). Поль Леви и Морис Фреше: 50 лет переписки в 107 письмах . Springer London. п. 5. ISBN 978-1-4471-7262-8. Архивировано 23 марта 2017 года.
- ^ Валерий Скороход (5 декабря 2005 г.). Основные принципы и приложения теории вероятностей . Springer Science & Business Media. п. 146. ISBN. 978-3-540-26312-8. Архивировано 23 марта 2017 года.
- ^ Бернштейн, Джереми (2005). «Башелье». Американский журнал физики . 73 (5): 395–398. Bibcode : 2005AmJPh..73..395B . DOI : 10.1119 / 1.1848117 . ISSN 0002-9505 .
- ^ Уильям Дж. Андерсон (6 декабря 2012 г.). Марковские цепи с непрерывным временем: подход, ориентированный на приложения . Springer Science & Business Media. п. vii. ISBN 978-1-4612-3038-0. Архивировано 23 марта 2017 года.
- ^ Kendall, DG; Бэтчелор, ГК; Bingham, NH; Hayman, WK; Хайленд, JME; Lorentz, GG; Моффатт, Гонконг; Parry, W .; Разборов А.А.; Робинсон, Калифорния; Уиттл, П. (1990). «Андрей Николаевич Колмогоров (1903–1987)». Бюллетень Лондонского математического общества . 22 (1): 57. DOI : 10,1112 / БЛМ / 22.1.31 . ISSN 0024-6093 .
- ^ а б Ионут Флореску (7 ноября 2014 г.). Вероятность и случайные процессы . Джон Вили и сыновья. стр. 373 и 374. ISBN 978-1-118-59320-2. Архивировано 23 марта 2017 года.
- ^ а б Самуэль Карлин; Ховард Э. Тейлор (2 декабря 2012 г.). Первый курс случайных процессов . Академическая пресса. п. 49. ISBN 978-0-08-057041-9. Архивировано 23 марта 2017 года.
- ^ Гагнюк, Пол А. (2017). Цепи Маркова: от теории к реализации и экспериментам . США, Нью-Джерси: John Wiley & Sons. С. 1–2. ISBN 978-1-119-38755-8.
- ^ Вайс, Джордж Х. (2006). «Случайные блуждания». Энциклопедия статистических наук . п. 1. дои : 10.1002 / 0471667196.ess2180.pub2 . ISBN 978-0471667193.
- ^ Майкл Ф. Шлезингер (1985). Чудесный мир стохастики: дань уважения Эллиотту В. Монтроллю . Северная Голландия. С. 8–10. ISBN 978-0-444-86937-1. Архивировано 23 марта 2017 года.
- ^ Эмануэль Парзен (17 июня 2015 г.). Случайные процессы . Courier Dover Publications. п. 7 и 8. ISBN 978-0-486-79688-8. Архивировано 20 ноября 2017 года.
- ^ Джозеф Л. Дуб (1990). Стохастипоические процессы . Вайли. п. 46 и 47. Архивировано 20 ноября 2017 года.
- ^ Дональд Л. Снайдер; Майкл И. Миллер (6 декабря 2012 г.). Случайные точечные процессы во времени и пространстве . Springer Science & Business Media. п. 32. ISBN 978-1-4612-3166-0. Архивировано 20 ноября 2017 года.
- ^ Норрис, младший (1997). «Цепи Маркова с непрерывным временем I». Цепи Маркова . С. 60–107. DOI : 10.1017 / CBO9780511810633.004 . ISBN 9780511810633.
- ^ а б Серфозо, Ричард (2009). «Основы прикладных случайных процессов» . Вероятность и ее приложения . DOI : 10.1007 / 978-3-540-89332-5 . ISBN 978-3-540-89331-8. ISSN 1431-7028 .
- ^ «Глава 11« Цепи Маркова » » (PDF) . Архивировано (PDF) из оригинала на 2017-02-15 . Проверено 2 июня 2017 .
- ^ Шмитт, Флориан; Ротлауф, Франц (2001). «О важности второго по величине собственного значения для скорости сходимости генетических алгоритмов». Материалы 14-го симпозиума по надежным распределенным системам . CiteSeerX 10.1.1.28.6191 .
- ^ Розенталь, Джеффри С. (1995). «Скорости сходимости для цепей Маркова» . SIAM Обзор . 37 (3): 387–405. ISSN 0036-1445 . JSTOR 2132659 . Проверено 31 мая 2021 .
- ^ Францке, Брэндон; Коско, Барт (1 октября 2011 г.). «Шум может ускорить сходимость в цепях Маркова». Physical Review E . 84 (4): 041112. Bibcode : 2011PhRvE..84d1112F . DOI : 10.1103 / PhysRevE.84.041112 . PMID 22181092 .
- ^ Спитцер, Франк (1970). «Взаимодействие марковских процессов» . Успехи в математике . 5 (2): 246–290. DOI : 10.1016 / 0001-8708 (70) 90034-4 .
- ^ Р.Л. Добрушин; В.И. Крилюков; А.Л. Тоом (1978). Стохастические клеточные системы: эргодичность, память, морфогенез . ISBN 9780719022067. Архивировано 05 февраля 2017 года . Проверено 4 марта 2016 .
- ^ Доблингер, Г. (сентябрь 1998 г.). «Сглаживание зашумленных сигналов AR с помощью адаптивного фильтра Калмана» (PDF) . 9-я Европейская конференция по обработке сигналов (EUSIPCO 1998) : 781–784.
- ^ Норрис, младший (1997). «Цепи Маркова с непрерывным временем II». Цепи Маркова . С. 108–127. DOI : 10.1017 / CBO9780511810633.005 . ISBN 9780511810633.
- ^ a b c Мэтью Никол и Карл Петерсен, (2009) « Эргодическая теория: основные примеры и конструкции », Энциклопедия сложности и системологии , Springer https://doi.org/10.1007/978-0-387-30440-3_177
- ^ Фитцпатрик, Ричард. «Термодинамика и статистическая механика» (PDF) . Архивировано (PDF) из оригинала 30.11.2016 . Проверено 2 июня 2017 .
- ^ а б ван Равенцваай, Дон; Кэсси, Пит; Браун, Скотт Д. (2016-03-11). «Простое введение в выборку методом Монте – Карло цепи Маркова» . Психономический бюллетень и обзор . 25 (1): 143–154. DOI : 10,3758 / s13423-016-1015-8 . ISSN 1069-9384 . PMC 5862921 . PMID 26968853 .
- ^ Райдер, Льюис Х. (1985). Квантовая теория поля . Кембридж [Кембриджшир]: Издательство Кембриджского университета. С. 160 . ISBN 978-0521338592. OCLC 10533049 .
- ^ Гаттрингер, Кристоф; Ланг, Кристиан Б. (2010). Квантовая хромодинамика на решетке . Конспект лекций по физике. 788 . Springer-Verlag Berlin Heidelberg. DOI : 10.1007 / 978-3-642-01850-3 . ISBN 978-3-642-01849-7. Архивировано 01 августа 2017 года.
- ^ Андерсон, Дэвид Ф .; Курц, Томас Г. (2011), «Модели цепей Маркова с непрерывным временем для сетей химических реакций», Дизайн и анализ биомолекулярных цепей , Springer, Нью-Йорк, стр. 3–42, DOI : 10.1007 / 978-1-4419-6766- 4_1 , ISBN 9781441967657
- ^ Ду, Чао; Коу, Южная Каролина (сентябрь 2012 г.). «Корреляционный анализ ферментативной реакции отдельной белковой молекулы» . Летопись прикладной статистики . 6 (3): 950–976. arXiv : 1209,6210 . Bibcode : 2012arXiv1209.6210D . DOI : 10.1214 / 12-aoas541 . ISSN 1932-6157 . PMC 3568780 . PMID 23408514 .
- ^ Кучукян, Петр; Лу, Дэвид; Шахнович, Евгений (2009). "FOG: Оптимизированный по фрагментам алгоритм роста для de Novo генерации молекул, содержащих лекарственные вещества". Журнал химической информации и моделирования . 49 (7): 1630–1642. DOI : 10.1021 / ci9000458 . PMID 19527020 .
- ^ Кучукян, Петр С .; Лу, Дэвид; Шахнович, Евгений Иванович (15.06.2009). "FOG: Оптимизированный по фрагментам алгоритм роста для de Novo генерации молекул, занимающих химическое пространство, подобное лекарству". Журнал химической информации и моделирования . 49 (7): 1630–1642. DOI : 10.1021 / ci9000458 . ISSN 1549-9596 . PMID 19527020 .
- ^ Копп, VS; Каганер, ВМ; Schwarzkopf, J .; Waidick, F .; Реммеле, Т .; Квасьневский, А .; Шмидбауэр, М. (2011). «Дифракция рентгеновских лучей от непериодических слоистых структур с корреляциями: Аналитический расчет и эксперимент на смешанных пленках Ауривиллиуса». Acta Crystallographica Раздел A . 68 (Pt 1): 148–155. Bibcode : 2012AcCrA..68..148K . DOI : 10.1107 / S0108767311044874 . PMID 22186291 .
- ^ Джордж, Дилип; Хокинс, Джефф (2009). Фристон, Карл Дж. (Ред.). «К математической теории корковых микросхем» . PLOS Comput Biol . 5 (10): e1000532. Bibcode : 2009PLSCB ... 5E0532G . DOI : 10.1371 / journal.pcbi.1000532 . PMC 2749218 . PMID 19816557 .
- ^ Гупта, Анкур; Роулингс, Джеймс Б. (апрель 2014 г.). «Сравнение методов оценки параметров в стохастических химических кинетических моделях: примеры в системной биологии» . Журнал Айше . 60 (4): 1253–1268. DOI : 10.1002 / aic.14409 . PMC 4946376 . PMID 27429455 .
- ^ Aguiar, RJ; Collares-Pereira, M .; Конде, JP (1988). «Простая процедура генерации последовательностей суточных значений радиации с использованием библиотеки матриц марковских переходов». Солнечная энергия . 40 (3): 269–279. Bibcode : 1988SoEn ... 40..269A . DOI : 10.1016 / 0038-092X (88) 90049-7 .
- ^ Ngoko, BO; Sugihara, H .; Фунаки, Т. (2014). «Синтетическая генерация данных солнечной радиации с высоким временным разрешением с использованием марковских моделей». Солнечная энергия . 103 : 160–170. Bibcode : 2014SoEn..103..160N . DOI : 10.1016 / j.solener.2014.02.026 .
- ^ Яркий, JM; Smith, CI; Тейлор, PG; Крук, Р. (2015). «Стохастическая генерация синтетических временных рядов минутной освещенности, полученных из среднечасовых данных наблюдений за погодой» . Солнечная энергия . 115 : 229–242. Bibcode : 2015SoEn..115..229B . DOI : 10.1016 / j.solener.2015.02.032 .
- ^ Munkhammar, J .; Виден, Дж. (2018). "Модель распределения N-состояний смеси марковских цепей индекса ясного неба". Солнечная энергия . 173 : 487–495. Bibcode : 2018SoEn..173..487M . DOI : 10.1016 / j.solener.2018.07.056 .
- ^ Морф, Х. (1998). «Стохастическая двухуровневая модель солнечного излучения (STSIM)». Солнечная энергия . 62 (2): 101–112. Bibcode : 1998SoEn ... 62..101M . DOI : 10.1016 / S0038-092X (98) 00004-8 .
- ^ Munkhammar, J .; Виден, Дж. (2018). "Подход смеси распределения вероятностей цепи Маркова к индексу ясного неба". Солнечная энергия . 170 : 174–183. Bibcode : 2018SoEn..170..174M . DOI : 10.1016 / j.solener.2018.05.055 .
- ^ Пратас, Д; Silva, R; Пинхо, А; Феррейра, П. (18 мая 2015 г.). «Метод без выравнивания для поиска и визуализации перестроек между парами последовательностей ДНК» . Научные отчеты . 5 (10203): 10203. Bibcode : 2015NatSR ... 510203P . DOI : 10.1038 / srep10203 . PMC 4434998 . PMID 25984837 .
- ^ О'Коннор, Джон Дж .; Робертсон, Эдмунд Ф. , "Марковская цепь" , архив истории математики MacTutor , Университет Сент-Эндрюс
- ^ SP Meyn, 2007. Методы управления для сложных сетей. Архивировано 13 мая 2015 г. в Wayback Machine , Cambridge University Press, 2007.
- ^ Патент США 6,285,999
- ^ Гупта, Бридж; Agrawal, Dharma P .; Ямагути, Синго (16 мая 2016 г.). Справочник по исследованиям современных криптографических решений для компьютерной и кибербезопасности . IGI Global. С. 448–. ISBN 978-1-5225-0106-0. Архивировано 23 марта 2017 года.
- ^ Langville, Amy N .; Мейер, Карл Д. (2006). «Переупорядочение проблемы PageRank» (PDF) . Журнал СИАМ по научным вычислениям . 27 (6): 2112–2113. CiteSeerX 10.1.1.58.8652 . DOI : 10.1137 / 040607551 . ISSN 1064-8275 . Архивировано (PDF) из оригинала 21 сентября 2017 года.
- ^ Пейдж, Лоуренс; Брин, Сергей; Мотвани, Раджив; Виноград, Терри (1999). Рейтинг цитирования PageRank: наведение порядка в сети (технический отчет). CiteSeerX 10.1.1.31.1768 .
- ^ Champernowne, D (1953). «Модель распределения доходов». Экономический журнал . 63 (250): 318–51. DOI : 10.2307 / 2227127 . JSTOR 2227127 .
- ^ Саймон, Герберт; Ч. Бонини (1958). «Распределение бизнес-фирм по размерам». Являюсь. Экон. Ред . 42 : 425–40.
- ^ Башелье, Луи (1900). "Теория де ла Спекуляция". Annales Scientifiques de l'École Normale Supérieure . 3 : 21–86. DOI : 10,24033 / asens.476 . hdl : 2027 / coo.31924001082803 .
- ^ например Фама, Э (1965). «Поведение цен на фондовом рынке». Журнал бизнеса . 38 .
- ^ Гамильтон, Джеймс (1989). «Новый подход к экономическому анализу нестационарных временных рядов и бизнес-цикла». Econometrica . 57 (2): 357–84. CiteSeerX 10.1.1.397.3582 . DOI : 10.2307 / 1912559 . JSTOR 1912559 .
- ^ Calvet, Laurent E .; Фишер, Адлай Дж. (2001). «Прогнозирование мультифрактальной волатильности». Журнал эконометрики . 105 (1): 27–58. DOI : 10.1016 / S0304-4076 (01) 00069-0 . S2CID 119394176 .
- ^ Кальве, Лоран; Адлай Фишер (2004). «Как прогнозировать долгосрочную волатильность: переключение режимов и оценка мультифрактальных процессов». Журнал финансовой эконометрики . 2 : 49–83. CiteSeerX 10.1.1.536.8334 . DOI : 10.1093 / jjfinec / nbh003 . S2CID 6020401 .
- ^ Бреннан, Майкл; Сяб, Ихун. «Волатильность цен на акции и премия по акциям» (PDF) . Департамент финансов, Школа менеджмента Андерсона, Калифорнийский университет в Лос-Анджелесе . Архивировано из оригинального (PDF) 28 декабря 2008 года.
- ^ «Пример цепи Маркова в моделировании кредитного риска, лекции Колумбийского университета» (PDF) . Архивировано из оригинального (PDF) 24 марта 2016 года.
- ^ Аджемоглу, Дарон; Георгий Егоров; Константин Сонин (2011). «Политическая модель социальной эволюции» . Труды Национальной академии наук . 108 : 21292–21296. Bibcode : 2011PNAS..10821292A . CiteSeerX 10.1.1.225.6090 . DOI : 10.1073 / pnas.1019454108 . PMC 3271566 . PMID 22198760 . Архивировано из оригинала на 2013-04-15.
- ^ К. Макальпайн; Э. Миранда; С. Хоггар (1999). «Создание музыки с помощью алгоритмов: система изучения конкретного случая». Компьютерный музыкальный журнал . 23 (2): 19–30. DOI : 10.1162 / 014892699559733 . S2CID 40057162 .
- ^ Кертис Роудс (редактор) (1996). Учебник компьютерной музыки . MIT Press. ISBN 978-0-262-18158-7.CS1 maint: дополнительный текст: список авторов ( ссылка )
- ^ Ксенакис, Яннис; Канач, Шарон (1992) Формализованная музыка: математика и мысль в композиции , Pendragon Press. ISBN 1576470792
- ^ «Продолжитель» . Архивировано из оригинального 13 июля 2012 года .
- ^ Pachet, F .; Рой, П .; Барбьери, Г. (2011) «Марковские процессы конечной длины с ограничениями» Архивировано 14 апреля 2012 г.в Wayback Machine , Труды 22-й Международной совместной конференции по искусственному интеллекту , IJCAI, страницы 635–642, Барселона, Испания, июль 2011 г.
- ^ Панкин, Марк Д. "МАРКОВСКИЕ ЦЕПНЫЕ МОДЕЛИ: ТЕОРЕТИЧЕСКИЕ ПРЕДПОСЫЛКИ" . Архивировано из оригинала на 2007-12-09 . Проверено 26 ноября 2007 .
- ^ Панкин Марк Д. "БЕЙСБОЛ КАК МАРКОВСКАЯ ЦЕПЬ" . Архивировано 13 мая 2009 года . Проверено 24 апреля 2009 .
- ^ «Уголок поэта - Фьералинг» . Архивировано из оригинала на 6 декабря 2010 года.
- ^ Кеннер, Хью; О'Рурк, Джозеф (ноябрь 1984 г.). "Генератор пародий на микросхемы". БАЙТ . 9 (12): 129–131, 449–469.
- ^ Хартман, Чарльз (1996). Виртуальная муза: эксперименты в компьютерной поэзии . Ганновер, Нью-Хэмпшир: издательство Уэслианского университета. ISBN 978-0-8195-2239-9.
- ^ а б de Souza e Silva, EG; Легей, LFL; де Соуза и Сильва, EA (2010). «Прогнозирование динамики цен на нефть с использованием вейвлетов и скрытых марковских моделей» . Экономика энергетики . 32 .
- ^ а б Карпинон, А; Джорджио, М; Langella, R .; Теста, А. (2015). «Моделирование цепей Маркова для краткосрочного прогнозирования ветроэнергетики» . Исследование электроэнергетических систем . 122 : 152–158. DOI : 10.1016 / j.epsr.2014.12.025 .
- ^ а б Munkhammar, J .; ван дер Меер, DW; Виден, Дж. (2019). «Вероятностное прогнозирование временных рядов индекса ясного неба с высоким разрешением с использованием модели распределения смеси цепей Маркова». Солнечная энергия . 184 : 688–695. Bibcode : 2019SoEn..184..688M . DOI : 10.1016 / j.solener.2019.04.014 .
Рекомендации
- Марков А.А. (1906) "Распространение закона больших зубил на величины, зависящие от друга". Известия Физико-математического общества при Казанском университете , 2-я серия, том 15, с. 135–156.
- Марков А.А. (1971). «Распространение предельных теорем теории вероятностей на сумму переменных, соединенных в цепочку». перепечатано в Приложении B: R. Howard. Динамические вероятностные системы, том 1: Марковские цепи . Джон Уайли и сыновья.
- Классический текст в переводе: Марков, А.А. (2006). Перевод Линка, Дэвид. «Пример статистического исследования текста Евгения Онегина о соединении выборок в цепочки» . Наука в контексте . 19 (4): 591–600. DOI : 10.1017 / s0269889706001074 . S2CID 144854176 .
- Лео Брейман (1992) [1968] Вероятность . Оригинальное издание, опубликованное Эддисон-Уэсли; перепечатано Обществом промышленной и прикладной математикиISBN 0-89871-296-3 . (См. Главу 7)
- JL Doob (1953) Случайные процессы . Нью-Йорк: Джон Уайли и сыновья ISBN 0-471-52369-0 .
- С.П. Мейн и Р.Л. Твиди (1993) Цепи Маркова и стохастическая устойчивость . Лондон: Springer-Verlag ISBN 0-387-19832-6 . онлайн: MCSS . Выйдет второе издание, Cambridge University Press, 2009.
- ИП Мейн. Методы управления сложными сетями . Издательство Кембриджского университета, 2007. ISBN 978-0-521-88441-9 . Приложение содержит сокращенную версию Meyn & Tweedie. онлайн: [1]
- Бут, Тейлор Л. (1967). Последовательные машины и теория автоматов (1-е изд.). Нью-Йорк, Нью-Йорк: John Wiley and Sons, Inc., Каталог карточек Библиотеки Конгресса, номер 67-25924.] Обширная, обширная книга, предназначенная для специалистов, написанная как для теоретиков информатики, так и для инженеров-электриков. С подробными объяснениями методов минимизации состояний, автоматов Тьюринга, марковских процессов и неразрешимости. Превосходная обработка марковских процессов с. 449ff. Обсуждает Z-преобразования, D-преобразования в их контексте.
- Кемени, Джон Дж .; Хэзлтон Миркил; Дж. Лори Снелл; Джеральд Л. Томпсон (1959). Конечные математические структуры (1-е изд.). Энглвуд Клиффс, Нью-Джерси: Прентис-Холл, Инк. Номер каталога карточек Библиотеки Конгресса 59-12841.Классический текст. cf Глава 6 Конечные цепи Маркова, стр. 384ff.
- Джон Г. Кемени и Дж. Лори Снелл (1960) Конечные цепи Маркова , D. van Nostrand Company ISBN 0-442-04328-7
- Э. Нуммелин. «Общие неприводимые цепи Маркова и неотрицательные операторы». Издательство Кембриджского университета, 1984, 2004. ISBN 0-521-60494-X
- Сенета, Э. Неотрицательные матрицы и цепи Маркова . 2-е изд. изд., 1981, XVI, 288 стр., Серия Springer в мягкой обложке по статистике. (Первоначально опубликовано Allen & Unwin Ltd., Лондон, 1973 г.) ISBN 978-0-387-29765-1
- Кишор С. Триведи, Вероятность и статистика с надежностью, очередями и приложениями компьютерных наук , John Wiley & Sons, Inc., Нью-Йорк, 2002. ISBN 0-471-33341-7 .
- К.С. Триведи и РАСанер, SHARPE в возрасте двадцати двух лет , т. 36, нет. 4, стр. 52–57, ACM SIGMETRICS Performance Evaluation Review, 2009.
- Р.А. Сахнер, К.С. Триведи и А. Пулиафито, Анализ производительности и надежности компьютерных систем: подход на основе примеров с использованием программного пакета SHARPE , Kluwer Academic Publishers, 1996. ISBN 0-7923-9650-2 .
- Г. Болч, С. Грейнер, Х. де Меер и К.С. Триведи, Сети массового обслуживания и цепи Маркова , Джон Вили, 2-е издание, 2006 г. ISBN 978-0-7923-9650-5 .
Внешние ссылки
- Введение в цепи Маркова на YouTube
- «Цепь Маркова» , Математическая энциклопедия , EMS Press , 2001 [1994]
- Методы понимания компьютерного моделирования: анализ цепей Маркова
- Глава о цепях Маркова во вводной книге по теории вероятностей Американского математического общества (pdf)
- Красивое визуальное объяснение цепей Маркова
- Осмысление и бессмыслица цепей Маркова
- Оригинальная статья А. А. Маркова (1913 г.): Пример статистического исследования текста «Евгений Онегин» о соединении выборок в цепочки (пер. С русского)