Эмпирический метод Байеса

Часть серии по
Байесовская статистика
Теория
Допустимое правило принятия решения Байесовская эффективность Байесовская эпистемология Байесовская вероятность Вероятностные интерпретации Теорема Байеса Байесовский фактор Байесовский вывод Байесовская сеть Прежний Задний Вероятность Конъюгировать приор Задний прогностический Гиперпараметр Hyperprior Принцип безразличия Принцип максимальной энтропии Эмпирический метод Байеса Правило Кромвеля Теорема Бернштейна – фон Мизеса Критерий Шварца Достоверный интервал Максимальная апостериорная оценка Радикальный вероятности
Методы
Байесовская линейная регрессия Байесовская оценка Приближенное байесовское вычисление Цепь Маркова Монте-Карло
Математический портал
v т е

Эмпирические байесовские методы - это процедуры статистического вывода, в которых априорное распределение оценивается на основе данных. Этот подход отличается от стандартных байесовских методов , для которых априорное распределение фиксируется до того, как будут обнаружены какие-либо данные. Несмотря на это различие в перспективе, эмпирический байесовский метод можно рассматривать как приближение к полностью байесовской трактовке иерархической модели, в которой параметры на самом высоком уровне иерархии устанавливаются на их наиболее вероятные значения, а не интегрируются. Эмпирический байесовский метод, также известный как максимальное предельное правдоподобие , ^[1] представляет собой один из подходов к установке гиперпараметров .

Введение [ править ]

Эмпирические байесовские методы можно рассматривать как приближение к полностью байесовской трактовке иерархической байесовской модели .

В, например, двухступенчатой ​​иерархической байесовской модели предполагается , что наблюдаемые данные генерируются из ненаблюдаемого набора параметров в соответствии с распределением вероятностей . В свою очередь, параметры можно рассматривать как выборки, взятые из совокупности, характеризуемой гиперпараметрами в соответствии с распределением вероятностей . В иерархической байесовской модели, хотя и не в эмпирическом байесовском приближении, считается , что гиперпараметры взяты из непараметризованного распределения .${\ displaystyle y = \ {y_ {1}, y_ {2}, \ dots, y_ {n} \}}$${\displaystyle \theta =\{\theta _{1},\theta _{2},\dots ,\theta _{n}\}}$${\displaystyle p(y\mid \theta )\,}$${\displaystyle \theta }$ ${\displaystyle \eta \,}$${\displaystyle p(\theta \mid \eta )\,}$${\displaystyle \eta \,}$${\displaystyle p(\eta )\,}$

Таким образом, информация о конкретном количестве, представляющем интерес, исходит не только из свойств тех данных, которые напрямую от него зависят, но также из свойств совокупности параметров в целом, выведенных из данных в целом, суммированных гиперпараметрами .${\displaystyle \theta _{i}\;}$${\displaystyle \theta \;}$${\displaystyle \eta \;}$

Используя теорему Байеса ,

${\displaystyle p(\theta \mid y)={\frac {p(y\mid \theta )p(\theta )}{p(y)}}={\frac {p(y\mid \theta )}{p(y)}}\int p(\theta \mid \eta )p(\eta )\,d\eta \,.}$

В общем, этот интеграл не поддается аналитическому или символическому анализу и должен оцениваться численными методами. Могут использоваться стохастические (случайные) или детерминированные приближения. Примеры стохастических методов - это выборка цепей Маркова Монте-Карло и Монте-Карло . Детерминированные приближения обсуждаются в квадратурах .

В качестве альтернативы выражение можно записать как

${\displaystyle p(\theta \mid y)=\int p(\theta \mid \eta ,y)p(\eta \mid y)\;d\eta =\int {\frac {p(y\mid \theta )p(\theta \mid \eta )}{p(y\mid \eta )}}p(\eta \mid y)\;d\eta \,,}$

а член в интеграле, в свою очередь, может быть выражен как

${\displaystyle p(\eta \mid y)=\int p(\eta \mid \theta )p(\theta \mid y)\;d\theta .}$

Они предлагают итерационную схему, качественно аналогичную по структуре сэмплеру Гиббса , для развития последовательно улучшенных приближений к и . Во-первых, рассчитайте начальное приближение для полного игнорирования зависимости; затем вычислить приближение на основе начального приблизительного распределения ; затем используйте это, чтобы обновить приближение для ; затем обновите ; и так далее.${\displaystyle p(\theta \mid y)\;}$${\displaystyle p(\eta \mid y)\;}$${\displaystyle p(\theta \mid y)\;}$${\displaystyle \eta }$${\displaystyle p(\eta \mid y)\;}$${\displaystyle p(\theta \mid y)\;}$${\displaystyle p(\eta \mid y)\;}$${\displaystyle p(\theta \mid y)\;}$${\displaystyle p(\eta \mid y)\;}$

Когда истинное распределение имеет резкий пик, интегральное определение можно не сильно изменить, заменив распределение вероятностей на точечную оценку, представляющую пик распределения (или, альтернативно, его среднее значение),${\displaystyle p(\eta \mid y)\;}$${\displaystyle p(\theta \mid y)\;}$${\displaystyle \eta \;}$${\displaystyle \eta ^{*}\;}$

${\displaystyle p(\theta \mid y)\simeq {\frac {p(y\mid \theta )\;p(\theta \mid \eta ^{*})}{p(y\mid \eta ^{*})}}\,.}$

При таком приближении описанная выше итерационная схема становится алгоритмом EM .

Термин «эмпирический байесовский» может охватывать широкий спектр методов, но большинство из них можно рассматривать как раннее усечение вышеупомянутой схемы или чего-то подобного. Для параметра (ов) обычно используются точечные оценки, а не все распределение . Оценки для обычно производятся от первого приближения до без последующего уточнения. Эти оценки обычно делаются без учета соответствующего априорного распределения для .${\displaystyle \eta \;}$${\displaystyle \eta ^{*}\;}$${\displaystyle p(\theta \mid y)\;}$${\displaystyle \eta ^{*}\;}$${\displaystyle \eta }$

Оценка баллов [ править ]

Метод Роббинса: непараметрический эмпирический байесовский метод (NPEB) [ править ]

Роббинс ^[2] рассмотрел случай выборки из смешанного распределения , где вероятность для каждого (при условии ) задается распределением Пуассона ,${\displaystyle y_{i}}$${\displaystyle \theta _{i}}$

${\displaystyle p(y_{i}\mid \theta _{i})={{\theta _{i}}^{y_{i}}e^{-\theta _{i}} \over {y_{i}}!}}$

в то время как априор на θ не указан, за исключением того, что это также iid из неизвестного распределения с кумулятивной функцией распределения . Отбор проб соединений возникает при решении множества задач статистической оценки, таких как количество несчастных случаев и клинические испытания. ^{[ необходима цитата ]} Мы просто ищем точечный прогноз на основе всех наблюдаемых данных. Поскольку до неопределенно, мы стремимся сделать это без знания G . ^[3]${\displaystyle G(\theta )}$${\displaystyle \theta _{i}}$

При квадрате потерь ошибок (SEL) условное ожидание E ( θ _i  |  Y _i  =  y _i ) является разумной величиной для использования для прогнозирования. Для модели составной выборки Пуассона эта величина равна

${\displaystyle \operatorname {E} (\theta _{i}\mid y_{i})={\int (\theta ^{y_{i}+1}e^{-\theta }/{y_{i}}!)\,dG(\theta ) \over {\int (\theta ^{y_{i}}e^{-\theta }/{y_{i}}!)\,dG(\theta })}.}$

Это можно упростить, умножив выражение на , получив${\displaystyle ({y_{i}}+1)/({y_{i}}+1)}$

${\displaystyle \operatorname {E} (\theta _{i}\mid y_{i})={{(y_{i}+1)p_{G}(y_{i}+1)} \over {p_{G}(y_{i})}},}$

где р _G представляет собой маргинальное распределение получается путем интегрирования из & thetas над G .

Чтобы воспользоваться этим, Роббинс ^[2] предложил оценивать маргиналы с их эмпирическими частотами, давая полностью непараметрическую оценку как:

${\displaystyle \operatorname {E} (\theta _{i}\mid y_{i})\approx (y_{i}+1){{\#\{Y_{j}=y_{i}+1\}} \over {\#\{Y_{j}=y_{i}\}}},}$

где обозначает «количество». (См. Также оценку частоты Гуда – Тьюринга .)${\displaystyle \#}$

Пример - частота несчастных случаев

Предположим, что каждый клиент страховой компании имеет «аварийность» Θ и застрахован от несчастных случаев; распределение вероятностей является основным распределением и неизвестно. Количество аварий, понесенных каждым клиентом за указанный период времени, имеет распределение Пуассона.с ожидаемым значением, равным частоте несчастных случаев конкретного клиента. Фактическое количество несчастных случаев, пережитых клиентом, - это наблюдаемое количество. Грубый способ оценить основное распределение вероятности частоты несчастных случаев Θ состоит в том, чтобы оценить долю членов всего населения, пострадавших от 0, 1, 2, 3, ... несчастных случаев в течение указанного периода времени, как соответствующую долю в наблюдаемом случайный пример. После этого желательно спрогнозировать уровень аварийности каждого покупателя в выборке. Как и выше, можно использовать условное ожидаемое значениеаварийности Θ с учетом наблюдаемого количества аварий за базовый период. Таким образом, если клиент терпит шесть несчастных случаев в течение базового периода, оценочная частота несчастных случаев этого клиента составляет 7 × [доля выборки, пострадавшая от 7 несчастных случаев] / [доля выборки, пострадавшая от 6 несчастных случаев]. Обратите внимание, что если доля людей, пострадавших от k несчастных случаев, является убывающей функцией от k , прогнозируемая частота несчастных случаев заказчиком часто будет ниже, чем наблюдаемое количество несчастных случаев.

Этот эффект усадки типичен для эмпирического байесовского анализа.

Параметрический эмпирический Байес [ править ]

Если вероятность и ее априор принимают простые параметрические формы (такие как 1- или 2-мерные функции правдоподобия с простыми сопряженными априорными значениями ), то эмпирическая проблема Байеса состоит только в оценке маргинальных и гиперпараметров с использованием полного набора эмпирических измерений. Например, один из распространенных подходов, называемый параметрической эмпирической оценкой байесовской точки, заключается в приближении предельного значения с использованием оценки максимального правдоподобия (MLE) или расширения моментов , которое позволяет выразить гиперпараметры в терминах эмпирического среднего и дисперсии. Этот упрощенный маржинальный показатель позволяет включить эмпирические средние значения в точечную оценку для априорной . Полученное уравнение для априорной${\displaystyle m(y\mid \eta )}$${\displaystyle \eta }$${\displaystyle \eta }$${\displaystyle \theta }$${\displaystyle \theta }$ значительно упрощено, как показано ниже.

Существует несколько общих параметрических эмпирических байесовских моделей, в том числе модель Пуассона – гамма (ниже), бета-биномиальная модель , модель Гаусса – Гаусса , полиномиальная модель Дирихле , а также специальные модели для байесовской линейной регрессии (см. Ниже) и Байесовская многомерная линейная регрессия . Более продвинутые подходы включают иерархические байесовские модели и байесовские модели смеси .

Модель Пуассона – гамма [ править ]

Например, в приведенном выше примере пусть вероятность будет распределением Пуассона , и пусть априор теперь определяется сопряженным априорным , то есть гамма-распределением ( ) (где ):${\displaystyle G(\alpha ,\beta )}$${\displaystyle \eta =(\alpha ,\beta )}$

${\displaystyle \rho (\theta \mid \alpha ,\beta )={\frac {\theta ^{\alpha -1}\,e^{-\theta /\beta }}{\beta ^{\alpha }\Gamma (\alpha )}}\ \mathrm {for} \ \theta >0,\alpha >0,\beta >0\,\!.}$

Несложно показать, что апостериорное распределение также является гамма-распределением. Писать

${\displaystyle \rho (\theta \mid y)\propto \rho (y\mid \theta )\rho (\theta \mid \alpha ,\beta ),}$

где маржинальное распределение было опущено, поскольку оно не зависит явно от . Расширение терминов, которые действительно зависят от, дает апостериорное значение как:${\displaystyle \theta }$${\displaystyle \theta }$

${\displaystyle \rho (\theta \mid y)\propto (\theta ^{y}\,e^{-\theta })(\theta ^{\alpha -1}\,e^{-\theta /\beta })=\theta ^{y+\alpha -1}\,e^{-\theta (1+1/\beta )}.}$

Таким образом, апостериорная плотность также является гамма-распределением , где , и . Также обратите внимание, что маргинальное значение - это просто интеграл апостериорного распределения по всем , что оказывается отрицательным биномиальным распределением .${\displaystyle G(\alpha ',\beta ')}$${\displaystyle \alpha '=y+\alpha }$${\displaystyle \beta '=(1+1/\beta )^{-1}}$${\displaystyle \Theta }$

Чтобы применить эмпирический байесовский метод, мы аппроксимируем маргинальное значение, используя оценку максимального правдоподобия (MLE). Но поскольку апостериорное распределение является гамма-распределением, MLE маргинального значения оказывается просто средним апостериорным, что является точечной оценкой, которая нам нужна. Вспоминая, что среднее значение гамма-распределения просто , мы имеем${\displaystyle \operatorname {E} (\theta \mid y)}$${\displaystyle \mu }$${\displaystyle G(\alpha ',\beta ')}$${\displaystyle \alpha '\beta '}$

${\displaystyle \operatorname {E} (\theta \mid y)=\alpha '\beta '={\frac {{\bar {y}}+\alpha }{1+1/\beta }}={\frac {\beta }{1+\beta }}{\bar {y}}+{\frac {1}{1+\beta }}(\alpha \beta ).}$

Для получения значений и эмпирический Байес предписывает вычислять среднее значение и дисперсию с использованием полного набора эмпирических данных.${\displaystyle \alpha }$${\displaystyle \beta }$${\displaystyle \alpha \beta }$${\displaystyle \alpha \beta ^{2}}$

Таким образом, итоговая точечная оценка похожа на средневзвешенное значение выборочного среднего и априорного среднего . Оказывается, это общая черта эмпирического Байеса; точечные оценки для априорной (т.е. среднего) будут выглядеть как средневзвешенные значения выборочной оценки и априорной оценки (аналогично для оценок дисперсии).${\displaystyle \operatorname {E} (\theta \mid y)}$${\displaystyle {\bar {y}}}$${\displaystyle \mu =\alpha \beta }$

См. Также [ править ]

• Байесовская оценка
• Лучший линейный объективный прогноз
• Проблема Монти Холла
• Лемма Роббинса
• Выбор переменных шипов-плит

Ссылки [ править ]

Эта статья включает в себя список общих ссылок , но он остается в значительной степени непроверенным, поскольку в нем отсутствует достаточное количество соответствующих встроенных ссылок . Пожалуйста, помогите улучшить эту статью, добавив более точные цитаты. ( Февраль 2012 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Дальнейшее чтение [ править ]

• Питер Э. Росси; Грег М. Алленби; Роб Маккалок (14 мая 2012 г.). Байесовская статистика и маркетинг . Джон Вили и сыновья. ISBN 978-0-470-86368-8.
• Казелла, Джордж (май 1985). «Введение в эмпирический байесовский анализ данных» (PDF) . Американский статистик . 39 (2): 83–87. DOI : 10.2307 / 2682801 . hdl : 1813/32886 . JSTOR  2682801 . Руководство по ремонту  0789118 .
• Никулин, Михаил (1987). «Условия регулярности Бернштейна в проблеме эмпирического байесовского подхода». Журнал советской математики . 36 (5): 596–600. DOI : 10.1007 / BF01093293 . S2CID  122405908 .

Внешние ссылки [ править ]

• Использование эмпирического метода Байеса для оценки безопасности дорожного движения (Северная Америка)
• Эмпирические байесовские методы анализа недостающих данных
• Использование бета-биномиального распределения для оценки производительности устройства биометрической идентификации
• Иерархические наивные байесовские классификаторы (для непрерывных и дискретных переменных).