В вычислительной статистики , то псевдо-маргинальной Метрополиса-Гастингс алгоритм [1] является методом Монте - Карло с образцом из распределения вероятностей. Это пример популярного алгоритма Метрополиса – Гастингса, который распространяется на случаи, когда целевая плотность недоступна аналитически. Он основан на том факте, что алгоритм Метрополиса – Гастингса все еще может производить выборку из правильного целевого распределения, если целевая плотность в приемочном отношении заменяется оценкой. Он особенно популярен в байесовской статистике , где он применяется, если функция правдоподобия не поддается обработке (см. Пример ниже).
Цель состоит в том, чтобы смоделировать из некоторой функции плотности вероятности . Алгоритм следует тем же шагам, что и стандартный алгоритм Метрополиса – Гастингса, за исключением того, что оценка целевой плотности заменяется неотрицательной и несмещенной оценкой. Для сравнения ниже приведены основные этапы алгоритма Метрополиса – Гастингса.
Алгоритм Метрополиса – Гастингса
Учитывая текущее состояние алгоритм Метрополиса – Гастингса предлагает новое состояние в соответствии с некоторой плотностью . Затем алгоритм устанавливает с вероятностью
в противном случае сохраняется старое состояние, то есть .
Псевдо-маргинальный алгоритм Метрополиса – Гастингса
Если плотность не доступен аналитически, вышеупомянутый алгоритм не может быть использован. Псевдо-маргинальный алгоритм Метрополиса – Гастингса, напротив, предполагает только наличие оценки. с участием Теперь, учитывая и соответствующая оценка алгоритм предлагает новое состояние в соответствии с некоторой плотностью . Затем вычислите оценку и установить с вероятностью
в противном случае сохраняется старое состояние, то есть .
В байесовской статистике целью вывода является апостериорное распределение
где обозначает функцию правдоподобия, это приор и- предварительное прогнозируемое распределение . Поскольку часто нет аналитического выражения этой величины, вместо этого часто полагаются на методы Монте-Карло для выборки из распределения. Методы Монте-Карло часто нуждаются в вероятности быть доступным для каждого значения параметра . Однако в некоторых случаях вероятность не имеет аналитического выражения. Пример такого случая приведен ниже.
Пример: модель со скрытыми переменными [1]
Рассмотрим модель , состоящую из н.о.р. латентных вещественных случайных величин с участием и предположим, что эти переменные можно наблюдать только через некоторый дополнительный шум для некоторой условной плотности . (Это может быть, например, из-за ошибки измерения .) Нас интересует байесовский анализ этой модели, основанный на некоторых наблюдаемых данных.. Поэтому мы вводим некоторое априорное распределениепо параметру. Чтобы вычислить апостериорное распределение
нам нужно найти функцию правдоподобия. Вероятностный вклад любой наблюдаемой точки данных затем
и совместная вероятность наблюдаемых данных является
Если интеграл в правой части недоступен аналитически, для оценки правдоподобия можно использовать выборку по важности. Ввести вспомогательный дистрибутив такой, что для всех тогда
объективная оценка и совместное правдоподобие можно беспристрастно оценить с помощью