Прогнозируемое заднее распределение

Эта статья поднимает множество проблем. Пожалуйста, помогите улучшить его или обсудите эти проблемы на странице обсуждения . ( Узнайте, как и когда удалить эти сообщения-шаблоны ) Эта статья может быть слишком технической, чтобы ее могло понять большинство читателей . Пожалуйста, помогите улучшить его, чтобы он был понятен неспециалистам , не удаляя технических деталей. ( Март 2016 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения ) Эта статья требует дополнительных ссылок для проверки . Пожалуйста, помогите улучшить эту статью , добавив цитаты из надежных источников . Материал, не полученный от источника, может быть оспорен и удален. Найти источники:  «Апостериорное прогнозирующее распространение»  -  новости  · газеты  · книги  · научный сотрудник  · JSTOR ( август 2014 г. ) ( Узнайте, как и когда удалить это сообщение-шаблон ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Часть серии по
Байесовская статистика
Теория
Допустимое правило принятия решения Байесовская эффективность Байесовская эпистемология Байесовская вероятность Вероятностные интерпретации Теорема Байеса Байесовский фактор Байесовский вывод Байесовская сеть Прежний Задний Вероятность Конъюгировать приор Задний прогностический Гиперпараметр Hyperprior Принцип безразличия Принцип максимальной энтропии Эмпирический метод Байеса Правило Кромвеля Теорема Бернштейна – фон Мизеса Критерий Шварца Достоверный интервал Максимальная апостериорная оценка Радикальный вероятности
Методы
Байесовская линейная регрессия Байесовская оценка Приближенное байесовское вычисление Цепь Маркова Монте-Карло
Математический портал
v т е

В статистике Байесовской , то заднее предсказание распределение есть распределение возможных значений ненаблюдаемых условных на наблюдаемых значениях. ^{[1] [2]}

Учитывая набор наблюдений N i.id , новое значение будет извлечено из распределения, которое зависит от параметра :${\ Displaystyle \ mathbf {X} = \ {x_ {1}, \ точки, x_ {N} \}}$${\ displaystyle {\ tilde {x}}}$${\ displaystyle \ theta \ in \ Theta}$

${\ Displaystyle р ({\ тильда {х}} | \ тета)}$

Может показаться заманчивым включить одну лучшую оценку для , но при этом игнорируется неопределенность , а поскольку источник неопределенности игнорируется, прогнозируемое распределение будет слишком узким. Другими словами, предсказания экстремальных значений будут иметь меньшую вероятность, чем если бы учитывалась неопределенность параметров, заданная их апостериорным распределением.${\ displaystyle {\ hat {\ theta}}}$${\ displaystyle \ theta}$${\ displaystyle \ theta}$${\ displaystyle {\ tilde {x}}}$

Апостериорное прогнозирующее распределение учитывает неопределенность в отношении . Апостериорное распределение возможных значений зависит от :${\ displaystyle \ theta}$${\ displaystyle \ theta}$${\ displaystyle \ mathbf {X}}$

${\displaystyle p(\theta |\mathbf {X} )}$

И апостериорное прогнозирующее распределение заданных вычисляется путем маргинализации распределения заданных по апостериорному распределению заданных :${\displaystyle {\tilde {x}}}$${\displaystyle \mathbf {X} }$${\displaystyle {\tilde {x}}}$${\displaystyle \theta }$${\displaystyle \theta }$${\displaystyle \mathbf {X} }$

${\displaystyle p({\tilde {x}}|\mathbf {X} )=\int _{\Theta }p({\tilde {x}}|\theta ,\mathbf {X} )\,p(\theta |\mathbf {X} )\operatorname {d} \!\theta }$

Поскольку оно учитывает неопределенность относительно , апостериорное прогнозное распределение в целом будет шире, чем прогнозное распределение, которое включает единственную наилучшую оценку для . ${\displaystyle \theta }$${\displaystyle \theta }$

Предыдущее и апостериорное прогнозирующее распределение [ править ]

До интеллектуального распределение , в байесовской контексте, является распределением точки данных маргинальной над его предварительным распределением. То есть, если и , то предварительное прогнозируемое распределение является соответствующим распределением , где${\displaystyle {\tilde {x}}\sim F({\tilde {x}}|\theta )}$${\displaystyle \theta \sim G(\theta |\alpha )}$${\displaystyle H({\tilde {x}}|\alpha )}$

${\displaystyle p_{H}({\tilde {x}}|\alpha )=\int _{\theta }p_{F}({\tilde {x}}|\theta )\,p_{G}(\theta |\alpha )\operatorname {d} \!\theta }$

Это похоже на апостериорное прогнозирующее распределение, за исключением того, что маргинализация (или, что эквивалентно, ожидание) берется по отношению к апостериорному распределению, а не к апостериорному распределению.

Кроме того, если априорное распределение является сопряженным априорным , тогда апостериорное предсказывающее распределение будет принадлежать к тому же семейству распределений, что и априорное предсказывающее распределение. Это легко увидеть. Если априорное распределение сопряжено, то${\displaystyle G(\theta |\alpha )}$${\displaystyle G(\theta |\alpha )}$

${\displaystyle p(\theta |\mathbf {X} ,\alpha )=p_{G}(\theta |\alpha '),}$

то есть апостериорное распределение также принадлежит, но просто с другим параметром вместо исходного параметра Затем,${\displaystyle G(\theta |\alpha ),}$${\displaystyle \alpha '}$${\displaystyle \alpha .}$

${\displaystyle {\begin{aligned}p({\tilde {x}}|\mathbf {X} ,\alpha )&=\int _{\theta }p_{F}({\tilde {x}}|\theta )\,p(\theta |\mathbf {X} ,\alpha )\operatorname {d} \!\theta \\&=\int _{\theta }p_{F}({\tilde {x}}|\theta )\,p_{G}(\theta |\alpha ')\operatorname {d} \!\theta \\&=p_{H}({\tilde {x}}|\alpha ')\end{aligned}}}$

Следовательно, апостериорное предсказывающее распределение следует тому же распределению H , что и апостериорное предсказывающее распределение , но с апостериорными значениями гиперпараметров, замененными предыдущими.

До интеллектуального распределения в виде распределения соединения , и на самом деле часто используется для определить на распределение соединения , из-за отсутствия каких - либо усложняющих факторов , таких как зависимость от данных и вопрос о сопряженности. Например, t-распределение Стьюдента может быть определено как предварительное прогнозирующее распределение нормального распределения с известным средним μ, но неизвестной дисперсией σ _x ² , с сопряженным предварительным распределением масштабированного обратного хи-квадрат, помещенным на σ _x ^2.${\displaystyle \mathbf {X} }$ , с гиперпараметрами ν и σ ² . Результирующее составное распределение действительно является нестандартизированным t-распределением Стьюдента и следует одной из двух наиболее распространенных параметризаций этого распределения. Тогда соответствующее апостериорное прогнозирующее распределение снова будет t Стьюдента, а обновленные гиперпараметры, которые появляются в апостериорном распределении, также напрямую появляются в апостериорном прогнозирующем распределении.${\displaystyle t(x|\mu ,\nu ,\sigma ^{2})}$${\displaystyle \nu ',{\sigma ^{2}}'}$

В некоторых случаях соответствующее составное распределение определяется с использованием другой параметризации, чем та, которая была бы наиболее естественной для прогнозных распределений в текущей рассматриваемой проблеме. Часто это происходит из-за того, что предыдущее распределение, используемое для определения составного распределения, отличается от того, которое используется в текущей задаче. Например, как указано выше, t-распределение Стьюдента было определено в терминах масштабированного обратного распределения хи-квадрат, помещенного на дисперсию. Однако чаще используется обратное гамма-распределение.как сопряженный приор в этой ситуации. На самом деле они эквивалентны, за исключением параметризации; следовательно, t-распределение Стьюдента все еще можно использовать для любого прогнозирующего распределения, но гиперпараметры должны быть повторно параметризованы перед подключением.

В экспоненциальных семьях [ править ]

Большинство, но не все, общие семейства распределений принадлежат к экспоненциальному семейству распределений. Экспоненциальные семейства обладают большим количеством полезных свойств. Один из них заключается в том, что все члены имеют сопряженные априорные распределения - тогда как очень немногие другие распределения имеют конъюгированные априорные распределения.

Предыдущее прогнозное распределение в экспоненциальных семьях [ править ]

Еще одно полезного свойства , что функция плотности вероятности в распределении соединения , соответствующем уровню предсказательного распределения с экспоненциальной семьей распределения маргинального над его сопряженным предварительным распределением может быть определена аналитический. Предположим, что это член экспоненциального семейства с параметром , параметризованным в соответствии с естественным параметром и распределенным как${\displaystyle F(x|{\boldsymbol {\theta }})}$${\displaystyle {\boldsymbol {\theta }}}$ ${\displaystyle {\boldsymbol {\eta }}={\boldsymbol {\eta }}({\boldsymbol {\theta }})}$

${\displaystyle p_{F}(x|{\boldsymbol {\eta }})=h(x)g({\boldsymbol {\eta }})e^{{\boldsymbol {\eta }}^{\rm {T}}\mathbf {T} (x)}}$

в то время как соответствующий конъюгат Prior, распределенный как${\displaystyle G({\boldsymbol {\eta }}|{\boldsymbol {\chi }},\nu )}$

${\displaystyle p_{G}({\boldsymbol {\eta }}|{\boldsymbol {\chi }},\nu )=f({\boldsymbol {\chi }},\nu )g({\boldsymbol {\eta }})^{\nu }e^{{\boldsymbol {\eta }}^{\rm {T}}{\boldsymbol {\chi }}}}$

Тогда предварительное прогнозируемое распределение (результат сложения с ) равно${\displaystyle H}$${\displaystyle F}$${\displaystyle G}$

${\displaystyle {\begin{aligned}p_{H}(x|{\boldsymbol {\chi }},\nu )&={\displaystyle \int \limits _{\boldsymbol {\eta }}p_{F}(x|{\boldsymbol {\eta }})p_{G}({\boldsymbol {\eta }}|{\boldsymbol {\chi }},\nu )\,\operatorname {d} {\boldsymbol {\eta }}}\\&={\displaystyle \int \limits _{\boldsymbol {\eta }}h(x)g({\boldsymbol {\eta }})e^{{\boldsymbol {\eta }}^{\rm {T}}\mathbf {T} (x)}f({\boldsymbol {\chi }},\nu )g({\boldsymbol {\eta }})^{\nu }e^{{\boldsymbol {\eta }}^{\rm {T}}{\boldsymbol {\chi }}}\,\operatorname {d} {\boldsymbol {\eta }}}\\&={\displaystyle h(x)f({\boldsymbol {\chi }},\nu )\int \limits _{\boldsymbol {\eta }}g({\boldsymbol {\eta }})^{\nu +1}e^{{\boldsymbol {\eta }}^{\rm {T}}({\boldsymbol {\chi }}+\mathbf {T} (x))}\,\operatorname {d} {\boldsymbol {\eta }}}\\&=h(x){\dfrac {f({\boldsymbol {\chi }},\nu )}{f({\boldsymbol {\chi }}+\mathbf {T} (x),\nu +1)}}\end{aligned}}}$

Последняя строка следует из предыдущей, признавая, что функция внутри интеграла является функцией плотности случайной величины, распределенной как , за исключением нормализующей функции . Следовательно, результат интегрирования будет обратным нормирующей функции.${\displaystyle G({\boldsymbol {\eta }}|{\boldsymbol {\chi }}+\mathbf {T} (x),\nu +1)}$${\displaystyle f(\dots )\,}$

Полученный результат не зависит от выбора параметризации , как ни один из , и появляется. ( является функцией параметра и, следовательно, будет принимать разные формы в зависимости от выбора параметризации.) Для стандартных вариантов выбора и часто проще работать напрямую с обычными параметрами, чем переписывать в терминах естественных параметров .${\displaystyle {\boldsymbol {\theta }}}$${\displaystyle {\boldsymbol {\theta }}}$${\displaystyle {\boldsymbol {\eta }}}$${\displaystyle g(\dots )\,}$${\displaystyle g(\dots )\,}$${\displaystyle F}$${\displaystyle G}$

Причина, по которой интеграл поддается обработке, заключается в том, что он включает в себя вычисление нормировочной константы плотности, определенной произведением априорного распределения и вероятности . Когда они сопряжены , произведение является апостериорным распределением , и, по предположению, нормировочная константа этого распределения известна. Как показано выше, функция плотности составного распределения следует определенной форме, состоящей из произведения функции, которая составляет часть функции плотности для , с частным двух форм нормировочной «константы» для${\displaystyle h(x)}$${\displaystyle F}$${\displaystyle G}$, один получен из априорного распределения, а другой - из апостериорного распределения. Бета-биномиальное распределение является хорошим примером того , как работает этот процесс.

Несмотря на аналитическую податливость таких распределений, они сами по себе обычно не являются членами экспоненциального семейства . Например, трехпараметрическое t-распределение Стьюдента , бета-биномиальное распределение и полиномиальное распределение Дирихле - все это предсказательные распределения распределений экспоненциального семейства ( нормальное распределение , биномиальное распределение и полиномиальное распределение соответственно), но ни одно из них не является членами экспоненциального семья. Это видно выше из-за наличия функциональной зависимости от${\displaystyle {\boldsymbol {\chi }}+\mathbf {T} (x)}$. В экспоненциальном семейном распределении должна быть возможность разделить всю функцию плотности на мультипликативные множители трех типов: (1) факторы, содержащие только переменные, (2) факторы, содержащие только параметры, и (3) факторы, логарифм которых разлагается между переменными. и параметры. Наличие делает это невозможным, если только «нормализующая» функция либо полностью игнорирует соответствующий аргумент, либо не использует его только в показателе степени выражения.${\displaystyle {\boldsymbol {\chi }}+\mathbf {T} (x){\chi }}$${\displaystyle f(\dots )\,}$

Апостериорное прогнозирующее распределение в экспоненциальных семьях [ править ]

Когда используется сопряженное предварительное распределение, апостериорное прогнозирующее распределение принадлежит к тому же семейству, что и предыдущее прогнозирующее распределение, и определяется просто путем включения обновленных гиперпараметров для апостериорного распределения параметра (ов) в формулу для предварительного прогнозного распределения. . Используя общую форму уравнений апостериорного обновления для распределений экспоненциального семейства (см. Соответствующий раздел в статье об экспоненциальном семействе ), мы можем выписать явную формулу для апостериорного прогнозного распределения:

${\displaystyle {\begin{array}{lcl}p({\tilde {x}}|\mathbf {X} ,{\boldsymbol {\chi }},\nu )&=&p_{H}\left({\tilde {x}}|{\boldsymbol {\chi }}+\mathbf {T} (\mathbf {X} ),\nu +N\right)\end{array}}}$

куда

${\displaystyle \mathbf {T} (\mathbf {X} )=\sum _{i=1}^{N}\mathbf {T} (x_{i})}$

Это показывает, что апостериорное прогнозирующее распределение серии наблюдений в случае, когда наблюдения следуют экспоненциальному семейству с соответствующим сопряженным предшествующим , имеет ту же плотность вероятности, что и составное распределение, с параметрами, указанными выше. Сами наблюдения вводятся только в форме ${\displaystyle \mathbf {T} (\mathbf {X} )=\sum _{i=1}^{N}\mathbf {T} (x_{i}).}$

Это называется достаточной статистикой наблюдений, потому что он говорит нам все , что нужно знать о наблюдениях, чтобы вычислить заднюю или задние на их основе (или интеллектуальное распределение, по этому вопросу, все остальное основано на вероятность из наблюдения, такие как предельное правдоподобие ).

Совместное прогнозирующее распределение, предельное правдоподобие [ править ]

Также можно рассмотреть результат сложения совместного распределения по фиксированному числу независимых одинаково распределенных выборок с предварительным распределением по общему параметру. В байесовской среде это возникает в различных контекстах: вычисление априорного или апостериорного прогнозирующего распределения множества новых наблюдений и вычисление предельной вероятности наблюдаемых данных (знаменатель в законе Байеса ). Когда распределение образцов происходит из экспоненциального семейства, а предварительное распределение является конъюгированным, полученное распределение соединений будет управляемым и будет следовать форме, аналогичной приведенному выше выражению. На самом деле легко показать, что совместное составное распределение набора для наблюдений имеет вид${\displaystyle \mathbf {X} =\{x_{1},\dots ,x_{N}\}}$${\displaystyle N}$

${\displaystyle p_{H}(\mathbf {X} |{\boldsymbol {\chi }},\nu )=\left(\prod _{i=1}^{N}h(x_{i})\right){\dfrac {f({\boldsymbol {\chi }},\nu )}{f\left({\boldsymbol {\chi }}+\mathbf {T} (\mathbf {X} ),\nu +N\right)}}}$

Этот результат и приведенный выше результат для одного составного распределения тривиально распространяются на случай распределения по векторному наблюдению, например многомерное гауссовское распределение .

Отношение к семплированию Гиббса [ править ]

Сворачивание узла в свернутом семплере Гиббса эквивалентно сложению . В результате, когда набор независимых одинаково распределенных (iid) узлов зависит от одного и того же предыдущего узла, и этот узел свернут, результирующая условная вероятностьодного узла с учетом других, а также родителей свернутого узла (но не обусловливающего какие-либо другие узлы, например, любые дочерние узлы) такое же, как апостериорное прогнозирующее распределение всех оставшихся узлов iid (или, точнее, ранее использовались узлы iid, так как сворачивание приводит к зависимостям между узлами). То есть, как правило, можно реализовать свертывание узла, просто прикрепив всех родителей узла непосредственно ко всем дочерним элементам и заменив прежнее условное распределение вероятностей, связанное с каждым дочерним элементом, соответствующим апостериорным прогнозирующим распределением для дочернего элемента, обусловленным его родители и другие узлы, ранее использовавшиеся iid, которые также были дочерними элементами удаленного узла. Например, для более подробного обсуждения и некоторых предостережений по определенным сложным вопросам см.Статья о полиномиальном распределении Дирихле .

См. Также [ править ]

• Составное распределение вероятностей
• Предельная вероятность
• Интервал прогноза # Байесовская статистика

Ссылки [ править ]