Предельная вероятность

В статистике , предельная функция правдоподобия , или интегрированная вероятность , является функцией правдоподобия , в котором были некоторые переменные параметры маргинальная . В контексте байесовской статистики это также может называться свидетельством или модельным свидетельством .

Концепция [ править ]

Учитывая набор независимых одинаково распределенных точек данных, где в соответствии с некоторым распределением вероятностей, параметризованным , где само является случайной величиной, описываемой распределением, то есть маргинальное правдоподобие в целом спрашивает, какова вероятность , где было исключено (интегрировано) :${\ Displaystyle \ mathbf {X} = (x_ {1}, \ ldots, x_ {n}),}$${\ displaystyle x_ {i} \ sim p (x_ {i} | \ theta)}$${\ displaystyle \ theta}$${\ displaystyle \ theta}$${\ Displaystyle \ тета \ сим р (\ тета \ середина \ альфа),}$${\ Displaystyle р (\ mathbf {X} \ середина \ альфа)}$${\ displaystyle \ theta}$

${\ Displaystyle п (\ mathbf {X} \ mid \ alpha) = \ int _ {\ theta} p (\ mathbf {X} \ mid \ theta) \, p (\ theta \ mid \ alpha) \ \ operatorname { d} \! \ theta}$

Приведенное выше определение сформулировано в контексте байесовской статистики . В классической ( частотной ) статистике понятие предельного правдоподобия возникает вместо этого в контексте совместного параметра , где - фактический интересующий параметр, а не представляющий интерес параметр неприятности . Если существует распределение вероятностей для , часто желательно рассматривать функцию правдоподобия только в терминах , исключая :${\displaystyle \theta =(\psi ,\lambda )}$${\displaystyle \psi }$${\displaystyle \lambda }$${\displaystyle \lambda }$${\displaystyle \psi }$${\displaystyle \lambda }$

${\displaystyle {\mathcal {L}}(\psi ;\mathbf {X} )=p(\mathbf {X} \mid \psi )=\int _{\lambda }p(\mathbf {X} \mid \lambda ,\psi )\,p(\lambda \mid \psi )\ \operatorname {d} \!\lambda }$

К сожалению, предельное правдоподобие, как правило, трудно вычислить. Точные решения известны для небольшого класса распределений, особенно когда маргинальный параметр является сопряженным предшествующим распределением данных. В других случаях требуется какой-то метод численного интегрирования , либо общий метод, такой как гауссовское интегрирование или метод Монте-Карло , либо метод, специализированный для статистических задач, таких как приближение Лапласа , выборка Гиббса / Метрополиса или алгоритм EM .

Также возможно применить вышеуказанные соображения к одной случайной величине (точке данных) , а не к набору наблюдений. В байесовском контексте это эквивалентно предыдущему прогнозному распределению точки данных.${\displaystyle x}$

Приложения [ править ]

Сравнение байесовских моделей [ править ]

При сравнении байесовских моделей маргинальные переменные являются параметрами для определенного типа модели, а оставшаяся переменная - это идентичность самой модели. В этом случае маргинальная вероятность - это вероятность данных с учетом типа модели, без каких-либо конкретных параметров модели. При записи параметров модели предельное правдоподобие для модели M равно${\displaystyle \theta }$

${\displaystyle p(\mathbf {X} \mid M)=\int p(\mathbf {X} \mid \theta ,M)\,p(\theta \mid M)\,\operatorname {d} \!\theta }$

Именно в этом контексте обычно используется термин « модельное свидетельство» . Эта величина важна, потому что апостериорное отношение шансов для модели M _{1 по} сравнению с другой моделью M ₂ включает отношение предельных правдоподобий, так называемый байесовский фактор :

${\displaystyle {\frac {p(M_{1}\mid \mathbf {X} )}{p(M_{2}\mid \mathbf {X} )}}={\frac {p(M_{1})}{p(M_{2})}}\,{\frac {p(\mathbf {X} \mid M_{1})}{p(\mathbf {X} \mid M_{2})}}}$

что схематично можно представить как

апостериорные шансы = априорные шансы × байесовский фактор

См. Также [ править ]

• Эмпирические байесовские методы
• Парадокс Линдли
• Предельная вероятность
• Байесовский информационный критерий

Эта статья включает в себя список литературы , связанной литературы или внешних ссылок , но ее источники остаются неясными, поскольку в ней отсутствуют встроенные цитаты . Пожалуйста, помогите улучшить эту статью, добавив более точные цитаты. ( Июль 2010 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Ссылки [ править ]

• Чарльз С. Бос. «Сравнение методов расчета предельного правдоподобия». В В. Хердле и Б. Ронце, редакторах, COMPSTAT 2002: Proceedings in Computational Statistics , pp. 111–117. 2002. (Доступен в виде препринта в Интернете: [1] )
• Он-лайн учебник: Теория информации, выводы и алгоритмы обучения , Дэвид Дж . К. Маккей .