Информационный критерий отклонения

Информационный критерий девиации ( ДВС - синдром ) представляет собой иерархическое моделирование обобщение информационного критерия Акаика (АИК). Это особенно полезно в байесовской выбора модели задач , где задние распределения этих моделей были получены с помощью цепи Маркова Монте - Карло моделирования (MCMC). DIC - это асимптотическое приближение по мере увеличения размера выборки, как и AIC. Это справедливо только тогда, когда апостериорное распределение является приблизительно многомерным нормальным .

Определение [ править ]

Определение девиантности как , где находятся данные, неизвестные параметры модели и является функцией правдоподобия . - это константа, которая сокращается во всех вычислениях, сравнивающих разные модели, и поэтому ее не нужно знать.${\ Displaystyle D (\ theta) = - 2 \ журнал (p (y | \ theta)) + C \,}$${\ displaystyle y}$${\ displaystyle \ theta}$${\ Displaystyle р (у | \ тета)}$${\ displaystyle C}$

Обычно используются два расчета эффективного числа параметров модели. Первый, как описано в Spiegelhalter et al. (2002 , с. 587) , где находится ожидание . Второй, как описано у Gelman et al. (2004 , с. 182), есть . Чем больше эффективное количество параметров, тем легче модели подобрать данные, и поэтому отклонение необходимо штрафовать. ${\ displaystyle p_ {D} = {\ overline {D (\ theta)}} - D ({\ bar {\ theta}})}$${\ displaystyle {\ bar {\ theta}}}$${\ displaystyle \ theta}$${\ displaystyle p_ {D} = p_ {V} = {\ frac {1} {2}} {\ overline {\ operatorname {var} \ left (D (\ theta) \ right)}}}$

Информационный критерий отклонения рассчитывается как

${\displaystyle \mathrm {DIC} =p_{D}+{\overline {D(\theta )}},}$

или эквивалентно как

${\displaystyle \mathrm {DIC} =D({\bar {\theta }})+2p_{D}.}$

Из этой последней формы более очевидна связь с AIC.

Мотивация [ править ]

Идея состоит в том, что модели с меньшим DIC следует предпочесть моделям с большим DIC. Модели наказываются как значением , которое способствует хорошей подгонке, так и (аналогично AIC) эффективным количеством параметров . Поскольку будет уменьшаться по мере увеличения количества параметров в модели, этот член компенсирует этот эффект, отдавая предпочтение моделям с меньшим количеством параметров.${\displaystyle {\bar {D}}}$${\displaystyle p_{D}}$${\displaystyle {\bar {D}}}$${\displaystyle p_{D}}$

Преимущество DIC по сравнению с другими критериями в случае выбора байесовской модели состоит в том, что DIC легко вычисляется из выборок, сгенерированных симуляцией цепи Маркова методом Монте-Карло. AIC требует вычисления максимального правдоподобия , которое не всегда доступно при моделировании MCMC. Но чтобы вычислить DIC, просто вычислите как среднее значение по выборкам , и как значение, оцененное как среднее значение выборок . Тогда ДИК следует непосредственно из этих приближений. Клаескенс и Хьорт (2008, гл. 3.5) показывают, что DIC эквивалентен для большой выборки естественной модельно-устойчивой версии AIC.${\displaystyle \theta }$${\displaystyle {\bar {D}}}$${\displaystyle D(\theta )}$${\displaystyle \theta }$${\displaystyle D({\bar {\theta }})}$${\displaystyle D}$${\displaystyle \theta }$

Предположения [ править ]

При выводе DIC предполагается, что указанное параметрическое семейство вероятностных распределений, которые генерируют будущие наблюдения, включает истинную модель. Это предположение не всегда выполняется, и в этом сценарии желательно рассмотреть процедуры оценки модели.

Кроме того, наблюдаемые данные используются как для построения апостериорного распределения, так и для оценки оцененных моделей. Поэтому DIC склонен выбирать модели с избыточным подогревом .

Расширения [ править ]

Решение вышеуказанных проблем было предложено Ando (2007) с предложением байесовского критерия прогнозирующей информации (BPIC). Андо (2010, гл. 8) представил обсуждение различных критериев выбора байесовской модели. Чтобы избежать чрезмерных проблем DIC, Андо (2011) разработал критерии выбора байесовской модели с точки зрения прогнозирования. Критерий рассчитывается как

${\displaystyle {\mathit {IC}}={\bar {D}}+2p_{D}=-2\mathbf {E} ^{\theta }[\log(p(y|\theta ))]+2p_{D}.}$

Первый член - это мера того, насколько хорошо модель соответствует данным, а второй член - это штраф за сложность модели. Обратите внимание, что p в этом выражении - это прогнозируемое распределение, а не вероятность, указанная выше.

См. Также [ править ]

• Информационный критерий Акаике (AIC)
• Байесовский информационный критерий (BIC)
• Критерий сфокусированной информации (FIC)
• Информационный критерий Ханнана-Куинна
• Дивергенция Кульбака – Лейблера.
• Расхождение Дженсена – Шеннона
• Информационный критерий Ватанабэ – Акаике (WAIC)

Ссылки [ править ]

Внешние ссылки [ править ]

• Макэлрит, Ричард (29 января 2015 г.). «Статистическое переосмысление, лекция 8 (по DIC и другим информационным критериям)» - через YouTube .