Байесовская оценка

Эта статья включает в себя список общих ссылок , но он остается в основном непроверенным, поскольку в нем отсутствуют соответствующие встроенные ссылки . Пожалуйста, помогите улучшить эту статью, добавив более точные цитаты. ( Ноябрь 2009 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Часть серии по
Байесовская статистика
Теория
Допустимое правило принятия решения Байесовская эффективность Байесовская вероятность Вероятностные интерпретации Теорема Байеса Фактор Байеса Байесовский вывод Байесовская сеть Прежний Задний Вероятность Конъюгировать приор Задний прогностический Гиперпараметр Hyperprior Принцип безразличия Принцип максимальной энтропии Эмпирический метод Байеса Правило Кромвеля Теорема Бернштейна – фон Мизеса Критерий Шварца Достоверный интервал Максимальная апостериорная оценка Радикальный вероятности
Методы
Байесовская линейная регрессия Байесовская оценка Приближенное байесовское вычисление Цепь Маркова Монте-Карло
Математический портал
v т е

В теории оценивания и теории принятия решений , в Байесе оценивани или действие Байеса является оценщиком или решающее правило , которое минимизирует задний ожидаемая величину в виде функции потерь (то есть, задний ожидаемый убыток ). Точно так же он максимизирует апостериорное ожидание функции полезности . Альтернативный способ формулирования оценки в рамках байесовской статистики - это максимальная апостериорная оценка .

Определение [ править ]

Предположим, известно, что неизвестный параметр имеет предварительное распределение . Позвольте быть оценкой (на основе некоторых измерений x ), и пусть будет функцией потерь , такой как квадрат ошибки. Байесовский риск из определяются как , где математическое ожидание берется по распределению вероятностей : это определяет функцию риски в зависимости . Оценщик называется байесовским оценщиком, если он минимизирует байесовский риск среди всех оценщиков. Эквивалентно, оценка, которая минимизирует апостериорные ожидаемые потери для каждого${\ displaystyle \ theta}$ ${\ displaystyle \ pi}$${\displaystyle {\widehat {\theta }}={\widehat {\theta }}(x)}$${\displaystyle \theta }$${\displaystyle L(\theta ,{\widehat {\theta }})}$${\displaystyle {\widehat {\theta }}}$${\displaystyle E_{\pi }(L(\theta ,{\widehat {\theta }}))}$${\displaystyle \theta }$${\displaystyle {\widehat {\theta }}}$${\displaystyle {\widehat {\theta }}}$${\displaystyle E(L(\theta ,{\widehat {\theta }})|x)}$ ${\displaystyle x}$ также минимизирует байесовский риск и, следовательно, является байесовским оценщиком. ^[1]

Если априорная оценка является неправильной, то оценка, которая минимизирует апостериорные ожидаемые потери для каждого${\displaystyle x}$ , называется обобщенной байесовской оценкой . ^[2]

Примеры [ править ]

Оценка минимальной среднеквадратичной ошибки [ править ]

Наиболее распространенной функцией риска, используемой для байесовской оценки, является среднеквадратическая ошибка (MSE), также называемая квадратом риска ошибки . MSE определяется

${\displaystyle \mathrm {MSE} =E\left[({\widehat {\theta }}(x)-\theta )^{2}\right],}$

где математическое ожидание берется за совместное распределение и .${\displaystyle \theta }$${\displaystyle x}$

Заднее среднее [ править ]

Использование MSE в качестве риска байесовской оценки неизвестного параметра просто среднее значение заднего распределения , ^[3]

${\displaystyle {\widehat {\theta }}(x)=E[\theta |x]=\int \theta \,p(\theta |x)\,d\theta .}$

Это известно как средство оценки минимальной среднеквадратичной ошибки (MMSE).

Байесовские оценки для сопряженных априорных вероятностей [ править ]

Если нет внутренней причины предпочитать одно априорное распределение вероятностей другому, для простоты иногда выбирается сопряженное априорное распределение . Сопряженное апостериорное распределение определяется как априорное распределение, принадлежащее некоторому параметрическому семейству , для которого результирующее апостериорное распределение также принадлежит к тому же семейству. Это важное свойство, поскольку байесовская оценка, а также ее статистические свойства (дисперсия, доверительный интервал и т. Д.) Могут быть получены из апостериорного распределения.

Сопряженные априорные значения особенно полезны для последовательной оценки, когда апостериорная величина текущего измерения используется в качестве апостериорной в следующем измерении. При последовательной оценке, если не используется сопряженное априорное распределение, апостериорное распределение обычно становится более сложным с каждым добавленным измерением, и байесовский оценщик обычно не может быть рассчитан без использования численных методов.

Ниже приведены некоторые примеры сопряженных априорных чисел.

• Если это Нормально , и априорное значение является нормальным, то апостериорное значение также является Нормальным, и байесовская оценка при MSE определяется как${\displaystyle x|\theta }$${\displaystyle x|\theta \sim N(\theta ,\sigma ^{2})}$${\displaystyle \theta \sim N(\mu ,\tau ^{2})}$

${\displaystyle {\widehat {\theta }}(x)={\frac {\sigma ^{2}}{\sigma ^{2}+\tau ^{2}}}\mu +{\frac {\tau ^{2}}{\sigma ^{2}+\tau ^{2}}}x.}$

• Если это iid пуассоновские случайные величины , и если априорное значение имеет гамма-распределение , то апостериорное также является гамма-распределенным, и байесовская оценка при MSE определяется выражением${\displaystyle x_{1},...,x_{n}}$ ${\displaystyle x_{i}|\theta \sim P(\theta )}$ ${\displaystyle \theta \sim G(a,b)}$

${\displaystyle {\widehat {\theta }}(X)={\frac {n{\overline {X}}+a}{n+b}}.}$

• Если они распределены равномерно , и если априорное распределение распределено по Парето , то апостериорные также распределены по Парето, и байесовская оценка при MSE определяется выражением${\displaystyle x_{1},...,x_{n}}$ ${\displaystyle x_{i}|\theta \sim U(0,\theta )}$ ${\displaystyle \theta \sim Pa(\theta _{0},a)}$

${\displaystyle {\widehat {\theta }}(X)={\frac {(a+n)\max {(\theta _{0},x_{1},...,x_{n})}}{a+n-1}}.}$

Функции альтернативного риска [ править ]

Функции риска выбираются в зависимости от того, как измеряется расстояние между оценкой и неизвестным параметром. MSE - наиболее часто используемая функция риска, в первую очередь из-за ее простоты. Однако иногда используются альтернативные функции риска. Ниже приводится несколько примеров таких альтернатив. Обозначим апостериорную обобщенную функцию распределения через .${\displaystyle F}$

Апостериорная медиана и другие квантили [ править ]

• «Линейная» функция потерь с , которая дает апостериорную медиану в качестве оценки Байеса:${\displaystyle a>0}$

${\displaystyle L(\theta ,{\widehat {\theta }})=a|\theta -{\widehat {\theta }}|}$

${\displaystyle F({\widehat {\theta }}(x)|X)={\tfrac {1}{2}}.}$

• Еще одна «линейная» функция потерь, которая присваивает разные «веса» дополнительной или дополнительной оценке. Он дает квантиль из апостериорного распределения и является обобщением предыдущей функции потерь:${\displaystyle a,b>0}$

${\displaystyle L(\theta ,{\widehat {\theta }})={\begin{cases}a|\theta -{\widehat {\theta }}|,&{\mbox{for }}\theta -{\widehat {\theta }}\geq 0\\b|\theta -{\widehat {\theta }}|,&{\mbox{for }}\theta -{\widehat {\theta }}<0\end{cases}}}$

${\displaystyle F({\widehat {\theta }}(x)|X)={\frac {a}{a+b}}.}$

Задний режим [ править ]

• Следующая функция потерь более сложна: она дает либо апостериорную моду , либо точку, близкую к ней, в зависимости от кривизны и свойств апостериорного распределения. Рекомендуются небольшие значения параметра , чтобы использовать режим как приближение ( ):${\displaystyle K>0}$${\displaystyle L>0}$

${\displaystyle L(\theta ,{\widehat {\theta }})={\begin{cases}0,&{\mbox{for }}|\theta -{\widehat {\theta }}|<K\\L,&{\mbox{for }}|\theta -{\widehat {\theta }}|\geq K.\end{cases}}}$

Можно придумать и другие функции потерь, хотя среднеквадратичная ошибка является наиболее широко используемой и проверенной. Другие функции потерь используются в статистике, особенно в надежной статистике .

Обобщенные байесовские оценки [ править ]

До сих пор предполагалось, что априорное распределение является истинным распределением вероятностей в том смысле, что${\displaystyle p}$

${\displaystyle \int p(\theta )d\theta =1.}$

Однако иногда это может быть ограничительным требованием. Например, не существует распределения (охватывающего множество R всех действительных чисел), для которого каждое действительное число одинаково вероятно. Тем не менее, в некотором смысле такое «распределение» кажется естественным выбором для неинформативного априорного распределения, т. Е. Априорного распределения, которое не подразумевает предпочтения какого-либо конкретного значения неизвестного параметра. Можно еще определить функцию , но это не будет правильным распределением вероятностей, поскольку оно имеет бесконечную массу,${\displaystyle p(\theta )=1}$

${\displaystyle \int {p(\theta )d\theta }=\infty .}$

Такие меры , которые не являются распределениями вероятностей, называются неправильными априорными значениями .${\displaystyle p(\theta )}$

Использование неправильного априорного значения означает, что байесовский риск не определен (поскольку априорный результат не является вероятностным распределением, и мы не можем принять за него математическое ожидание). Как следствие, бессмысленно говорить о байесовской оценке, которая минимизирует байесовский риск. Тем не менее во многих случаях можно определить апостериорное распределение

${\displaystyle p(\theta |x)={\frac {p(x|\theta )p(\theta )}{\int p(x|\theta )p(\theta )d\theta }}.}$

Это определение, а не приложение теоремы Байеса , поскольку теорема Байеса может применяться только тогда, когда все распределения являются правильными. Однако нередко полученное «апостериорное» распределение является допустимым распределением вероятностей. В этом случае апостериорный ожидаемый убыток

${\displaystyle \int {L(\theta ,a)p(\theta |x)d\theta }}$

обычно четко определен и конечен. Напомним, что для надлежащего априорного значения байесовская оценка минимизирует апостериорные ожидаемые потери. Когда априорная оценка является неправильной, оценщик, который минимизирует апостериорные ожидаемые потери, называется обобщенной байесовской оценкой . ^[2]

Пример [ править ]

Типичный пример - оценка параметра местоположения с функцией потерь типа . Вот это параметр местоположения, то есть .${\displaystyle L(a-\theta )}$${\displaystyle \theta }$${\displaystyle p(x|\theta )=f(x-\theta )}$

В этом случае обычно используется неправильный априор , особенно когда нет другой более субъективной информации. Это дает${\displaystyle p(\theta )=1}$

${\displaystyle p(\theta |x)={\frac {p(x|\theta )p(\theta )}{p(x)}}={\frac {f(x-\theta )}{p(x)}}}$

так что апостериорная ожидаемая потеря

${\displaystyle E[L(a-\theta )|x]=\int {L(a-\theta )p(\theta |x)d\theta }={\frac {1}{p(x)}}\int L(a-\theta )f(x-\theta )d\theta .}$

Обобщенная байесовская оценка - это значение, которое минимизирует это выражение для данного . Это эквивалентно минимизации${\displaystyle a(x)}$${\displaystyle x}$

${\displaystyle \int L(a-\theta )f(x-\theta )d\theta }$для данного         (1)${\displaystyle x.}$

В этом случае можно показать, что обобщенная байесовская оценка имеет вид для некоторой константы . Чтобы увидеть это, позвольте быть минимальным значением (1), когда . Затем, учитывая другое значение , мы должны минимизировать${\displaystyle x+a_{0}}$${\displaystyle a_{0}}$${\displaystyle a_{0}}$${\displaystyle x=0}$${\displaystyle x_{1}}$

${\displaystyle \int L(a-\theta )f(x_{1}-\theta )d\theta =\int L(a-x_{1}-\theta ')f(-\theta ')d\theta '.}$        (2)

Это идентично (1), за исключением того, что было заменено на . Таким образом, минимизирующее выражение имеет вид , так что оптимальная оценка имеет вид${\displaystyle a}$${\displaystyle a-x_{1}}$${\displaystyle a-x_{1}=a_{0}}$

${\displaystyle a(x)=a_{0}+x.\,\!}$

Эмпирические байесовские оценки [ править ]

Байесовская оценка, полученная с помощью эмпирического байесовского метода , называется эмпирической байесовской оценкой . Эмпирические байесовские методы позволяют использовать вспомогательные эмпирические данные из наблюдений за соответствующими параметрами при разработке байесовской оценки. Это делается в предположении, что предполагаемые параметры получены из общей априорной точки. Например, если выполняются независимые наблюдения различных параметров, то эффективность оценки конкретного параметра иногда может быть улучшена за счет использования данных из других наблюдений.

Существуют параметрические и непараметрические подходы к эмпирической байесовской оценке. Параметрический эмпирический байесовский метод обычно предпочтительнее, поскольку он более применим и более точен для небольших объемов данных. ^[4]

Пример [ править ]

Ниже приводится простой пример параметрического эмпирического байесовского оценивания. Учитывая прошлые наблюдения, имеющие условное распределение , каждый заинтересован в оценке на основе . Предположим, что у них есть общий априор, который зависит от неизвестных параметров. Например, предположим, что это нормально с неизвестным средним значением и дисперсией. Затем мы можем использовать прошлые наблюдения для определения среднего и дисперсии следующим образом.${\displaystyle x_{1},\ldots ,x_{n}}$${\displaystyle f(x_{i}|\theta _{i})}$${\displaystyle \theta _{n+1}}$${\displaystyle x_{n+1}}$${\displaystyle \theta _{i}}$${\displaystyle \pi }$${\displaystyle \pi }$${\displaystyle \mu _{\pi }\,\!}$${\displaystyle \sigma _{\pi }\,\!.}$${\displaystyle \pi }$

Сначала мы оцениваем среднее значение и дисперсию маржинального распределения при использовании подхода максимального правдоподобия :${\displaystyle \mu _{m}\,\!}$${\displaystyle \sigma _{m}\,\!}$${\displaystyle x_{1},\ldots ,x_{n}}$

${\displaystyle {\widehat {\mu }}_{m}={\frac {1}{n}}\sum {x_{i}},}$

${\displaystyle {\widehat {\sigma }}_{m}^{2}={\frac {1}{n}}\sum {(x_{i}-{\widehat {\mu }}_{m})^{2}}.}$

Далее воспользуемся соотношением

${\displaystyle \mu _{m}=E_{\pi }[\mu _{f}(\theta )]\,\!,}$

${\displaystyle \sigma _{m}^{2}=E_{\pi }[\sigma _{f}^{2}(\theta )]+E_{\pi }[(\mu _{f}(\theta )-\mu _{m})^{2}],}$

где и - моменты условного распределения , которые считаются известными. В частности, предположим, что и то ; тогда у нас есть${\displaystyle \mu _{f}(\theta )}$${\displaystyle \sigma _{f}(\theta )}$${\displaystyle f(x_{i}|\theta _{i})}$${\displaystyle \mu _{f}(\theta )=\theta }$${\displaystyle \sigma _{f}^{2}(\theta )=K}$

${\displaystyle \mu _{\pi }=\mu _{m}\,\!,}$

${\displaystyle \sigma _{\pi }^{2}=\sigma _{m}^{2}-\sigma _{f}^{2}=\sigma _{m}^{2}-K.}$

Наконец, мы получаем оценочные моменты априорной,

${\displaystyle {\widehat {\mu }}_{\pi }={\widehat {\mu }}_{m},}$

${\displaystyle {\widehat {\sigma }}_{\pi }^{2}={\widehat {\sigma }}_{m}^{2}-K.}$

Например, если и если мы принимаем нормальное априорное значение (которое в данном случае является сопряженным априорным), мы заключаем, что , исходя из которого может быть вычислена байесовская оценка на основе .${\displaystyle x_{i}|\theta _{i}\sim N(\theta _{i},1)}$${\displaystyle \theta _{n+1}\sim N({\widehat {\mu }}_{\pi },{\widehat {\sigma }}_{\pi }^{2})}$${\displaystyle \theta _{n+1}}$${\displaystyle x_{n+1}}$

Свойства [ править ]

Допустимость [ править ]

Обычно допустимы правила Байеса, имеющие конечный риск Байеса . Ниже приведены некоторые конкретные примеры теорем о допустимости.

• Если правило Байеса уникально, оно допустимо. ^[5] Например, как указано выше, при среднеквадратической ошибке (MSE) правило Байеса является уникальным и, следовательно, допустимым.
• Если θ принадлежит дискретному множеству , то допустимы все правила Байеса.
• Если θ принадлежит непрерывному (недискретному) множеству и если функция риска R (θ, δ) непрерывна по θ для любого δ, то все правила Байеса допустимы.

Напротив, обобщенные правила Байеса часто имеют неопределенный риск Байеса в случае неправильных априорных значений. Эти правила часто недопустимы, и проверка их приемлемости может быть затруднена. Например, обобщенная байесовская оценка параметра местоположения θ на основе гауссовых выборок (описанная выше в разделе «Обобщенная байесовская оценка») недопустима для ; это известно как феномен Штейна .${\displaystyle p>2}$

Асимптотическая эффективность [ править ]

Пусть θ - неизвестная случайная величина, и предположим, что это iid выборки с плотностью . Позвольте быть последовательность байесовских оценок θ на основе увеличивающегося числа измерений. Нас интересует анализ асимптотической производительности этой последовательности оценок, т. Е. Производительности при больших n .${\displaystyle x_{1},x_{2},\ldots }$${\displaystyle f(x_{i}|\theta )}$${\displaystyle \delta _{n}=\delta _{n}(x_{1},\ldots ,x_{n})}$${\displaystyle \delta _{n}}$

С этой целью принято рассматривать θ как детерминированный параметр, истинное значение которого равно . В определенных условиях ^[6] для больших выборок (большие значения n ) апостериорная плотность θ приблизительно нормальна. Другими словами, при больших n влияние априорной вероятности на апостериорную вероятность незначительно. Более того, если δ представляет собой оценку Байеса при риске MSE, то она асимптотически несмещена и сходится по распределению к нормальному распределению :${\displaystyle \theta _{0}}$

${\displaystyle {\sqrt {n}}(\delta _{n}-\theta _{0})\to N\left(0,{\frac {1}{I(\theta _{0})}}\right),}$

где I (θ ₀ ) - информация рыбака для θ ₀ . Отсюда следует, что байесовская оценка δ _n при MSE асимптотически эффективна .

Еще одна асимптотически нормальная и эффективная оценка - это оценка максимального правдоподобия (MLE). Связь между оценками максимального правдоподобия и байесовскими оценками можно показать на следующем простом примере.

Пример: оценка p в биномиальном распределении [ править ]

Рассмотрим оценку θ на основе биномиальной выборки x ~ b (θ, n ), где θ обозначает вероятность успеха. Предполагая, что θ распределен согласно сопряженному априорному распределению, которое в данном случае является бета-распределением B ( a , b ), апостериорное распределение известно как B (a + x, b + nx). Таким образом, байесовская оценка при MSE равна

${\displaystyle \delta _{n}(x)=E[\theta |x]={\frac {a+x}{a+b+n}}.}$

MLE в этом случае - x / n, поэтому мы получаем

${\displaystyle \delta _{n}(x)={\frac {a+b}{a+b+n}}E[\theta ]+{\frac {n}{a+b+n}}\delta _{MLE}.}$

Последнее уравнение означает, что при n → ∞ байесовская оценка (в описанной задаче) близка к MLE.

С другой стороны, когда n мало, априорная информация все еще актуальна для проблемы решения и влияет на оценку. Чтобы увидеть относительный вес априорной информации, предположим, что a = b ; в этом случае каждое измерение приносит 1 новый бит информации; приведенная выше формула показывает, что предыдущая информация имеет тот же вес, что и биты a + b новой информации. В приложениях часто очень мало известно о мелких деталях предшествующего распределения; в частности, нет оснований предполагать, что он совпадает с B ( a , b) точно. В таком случае одна из возможных интерпретаций этого расчета: «существует априорное непатологическое распределение со средним значением 0,5 и стандартным отклонением d, которое дает вес априорной информации, равный 1 / (4 d ² ) -1. кусочки новой информации ".

Другой пример того же явления - случай, когда априорная оценка и измерение имеют нормальное распределение. Если априорное значение центрируется в точке B с отклонением Σ, а измерение сосредоточено в точке b с отклонением σ, то апостериорная оценка центрируется в точке , причем веса в этом средневзвешенном значении равны α = σ², β = Σ². Кроме того, квадрат апостериорного отклонения равен Σ² + σ². Другими словами, предварительное измерение сочетается с измерением точно так же, как если бы это было дополнительное измерение, которое необходимо учитывать.${\displaystyle {\frac {\alpha }{\alpha +\beta }}B+{\frac {\beta }{\alpha +\beta }}b}$

Например, если Σ = σ / 2, то отклонение четырех измерений, объединенных вместе, соответствует отклонению предыдущего (при условии, что ошибки измерений независимы). И веса α, β в формуле для апостериорной оценки соответствуют этому: вес априорной оценки в 4 раза больше веса измерения. Комбинируя это предварительное с n измерениями со средним значением v, вы получите задний центр с центром в точке ; в частности, предварительная проверка играет ту же роль, что и 4 заранее выполненных измерения. Как правило, приор имеет вес (σ / Σ) ² измерений.${\displaystyle {\frac {4}{4+n}}V+{\frac {n}{4+n}}v}$

Сравните с примером биномиального распределения: там априор имеет вес (σ / Σ) ² − 1 измерений. Видно, что точный вес действительно зависит от деталей распределения, но когда σ≫Σ, разница становится небольшой.

Практический пример байесовских оценок [ править ]

База данных Internet Movie использует формулу для вычисления и сравнения рейтинги фильмов его пользователями, в том числе их Лучшие 250 заглавий , которые испрашивается дать «истинную байесовской оценки». ^[7] Следующая байесовская формула изначально использовалась для расчета средневзвешенного балла для 250 лучших, хотя с тех пор формула была изменена:

${\displaystyle W={Rv+Cm \over v+m}\ }$

куда:

${\displaystyle W\ }$ = взвешенный рейтинг

${\displaystyle R\ }$ = средний рейтинг фильма в виде числа от 1 до 10 (средний) = (Рейтинг)

${\displaystyle v\ }$ = количество голосов / оценок за фильм = (голосов)

${\displaystyle m\ }$ = вес, присвоенный предыдущей оценке (в данном случае количество голосов, которое IMDB считает необходимым для приближения средней оценки к статистической достоверности)

${\displaystyle C\ }$ = средний голос по всему пулу (в настоящее время 7.0)

Обратите внимание , что W представляет только взвешенное среднее арифметическое из R и C с весом вектора (V, м) . Поскольку количество оценок превышает m , доверие к средней оценке превосходит доверие к средней оценке для всех фильмов (C), а взвешенный байесовский рейтинг (W) приближается к прямому среднему (R). Чем ближе v (количество оценок фильма) к нулю, тем ближе W к C, где W - взвешенный рейтинг, а C - средний рейтинг всех фильмов. Таким образом, проще говоря, чем меньше оценок / голосов отдано фильму, тем больше взвешенный рейтинг этого фильма будет отклоняться от среднего по всем фильмам, в то время как фильмы с большим количеством оценок / голосов будут иметь рейтинг, приближающийся к его чистому среднему арифметическому рейтингу.

Подход IMDb гарантирует, что фильм с несколькими рейтингами, все из которых составляет 10, не окажется выше «Крестного отца», например, со средним значением 9,2 из более чем 500 000 оценок.

См. Также [ править ]

• Рекурсивная байесовская оценка
• Обобщенная ожидаемая полезность

Примечания [ править ]

Ссылки [ править ]

• Lehmann, EL; Казелла, Г. (1998). Теория точечного оценивания (2-е изд.). Springer. ISBN 0-387-98502-6.
• Бергер, Джеймс О. (1985). Статистическая теория принятия решений и байесовский анализ (2-е изд.). Нью-Йорк: Springer-Verlag. ISBN 0-387-96098-8. Руководство по ремонту  0804611 .

Внешние ссылки [ править ]

• Байесовская оценка на cnx.org
• "Байесовская оценка" , Энциклопедия математики , EMS Press , 2001 [1994]