В теории оценивания и теории принятия решений , в Байесе оценивани или действие Байеса является оценщиком или решающее правило , которое минимизирует задний ожидаемая величину в виде функции потерь (то есть, задний ожидаемый убыток ). Точно так же он максимизирует апостериорное ожидание функции полезности . Альтернативный способ формулирования оценки в рамках байесовской статистики - это максимальная апостериорная оценка .
Определение
Предположим неизвестный параметр известно, что имеет предварительное распространение . Позволять быть оценщиком (на основе некоторых измерений x ), и пустьбыть функцией потерь , например квадратичной ошибкой. Байесовский риск из определяется как , где математическое ожидание берется по распределению вероятностей: определяет функцию риска как функцию . Оценщиксчитается байесовским оценщиком, если он минимизирует байесовский риск среди всех оценщиков. Эквивалентно, оценка, которая минимизирует апостериорные ожидаемые потери для каждого также минимизирует байесовский риск и, следовательно, является байесовским оценщиком. [1]
Если априорное значение неверно, то оценка, которая минимизирует апостериорные ожидаемые потери для каждогоназывается обобщенной байесовской оценкой . [2]
Примеры
Оценка минимальной среднеквадратичной ошибки
Наиболее распространенной функцией риска, используемой для байесовской оценки, является среднеквадратическая ошибка (MSE), также называемая квадратом риска ошибки . MSE определяется
где математическое ожидание берется за совместное распределение а также .
Заднее среднее
Использование MSE в качестве риска байесовской оценки неизвестного параметра просто среднее значение заднего распределения , [3]
Это известно как средство оценки минимальной среднеквадратичной ошибки (MMSE).
Байесовские оценки для сопряженных априорных вероятностей
Если нет причин предпочитать одно априорное распределение вероятностей другому, для простоты иногда выбирают сопряженное априорное распределение . Сопряженное априорное распределение определяется как априорное распределение, принадлежащее некоторому параметрическому семейству , для которого результирующее апостериорное распределение также принадлежит к тому же семейству. Это важное свойство, поскольку байесовская оценка, а также ее статистические свойства (дисперсия, доверительный интервал и т. Д.) Могут быть получены из апостериорного распределения.
Сопряженные априорные значения особенно полезны для последовательной оценки, когда апостериор текущего измерения используется как апостериор в следующем измерении. При последовательной оценке, если не используется сопряженное априорное распределение, апостериорное распределение обычно становится более сложным с каждым добавленным измерением, и байесовская оценка обычно не может быть вычислена без использования численных методов.
Ниже приведены некоторые примеры сопряженных априорных чисел.
- Если это нормальный ,, а приора нормально, , то апостериорная оценка также является нормальной, а байесовская оценка при MSE определяется выражением
- Если являются IID Пуассона случайных величин, и если априор является гамма-распределенным , то апостериорная функция также имеет гамма-распределение, а байесовская оценка при MSE определяется выражением
- Если которые н.о.р. равномерно распределены , и если априор распределен по Парето , то апостериорная функция также распределена по Парето, а байесовская оценка при MSE определяется выражением
Альтернативные функции риска
Функции риска выбираются в зависимости от того, как измеряется расстояние между оценкой и неизвестным параметром. MSE - наиболее часто используемая функция управления рисками, в первую очередь из-за ее простоты. Однако иногда используются альтернативные функции риска. Ниже приводится несколько примеров таких альтернатив. Обозначим апостериорную обобщенную функцию распределения через.
Задняя медиана и другие квантили
- «Линейная» функция потерь с , что дает апостериорную медиану как оценку Байеса:
- Еще одна «линейная» функция потерь, которая присваивает разные «веса» к переоценке или переоценке. Он дает квантиль из апостериорного распределения и является обобщением предыдущей функции потерь:
Задний режим
- Следующая функция потерь более сложна: она дает либо апостериорную моду , либо точку, близкую к ней, в зависимости от кривизны и свойств апостериорного распределения. Малые значения параметра рекомендуются, чтобы использовать режим в качестве приближения ():
Можно придумать и другие функции потерь, хотя среднеквадратичная ошибка является наиболее широко используемой и проверенной. Другие функции потерь используются в статистике, особенно в надежной статистике .
Обобщенные байесовские оценки
Предыдущее распространение до сих пор считалось истинным распределением вероятностей в том смысле, что
Однако иногда это может быть ограничительным требованием. Например, не существует распределения (охватывающего множество R всех действительных чисел), для которого каждое действительное число равновероятно. Тем не менее, в некотором смысле такое «распределение» кажется естественным выбором для неинформативного априорного распределения, то есть априорного распределения, которое не подразумевает предпочтения какого-либо конкретного значения неизвестного параметра. Еще можно определить функцию, но это не было бы правильным распределением вероятностей, поскольку оно имеет бесконечную массу,
Такие меры , которые не являются распределениями вероятностей, называются неправильными априорными числами .
Использование неправильного априорного значения означает, что байесовский риск не определен (поскольку априорный результат не является вероятностным распределением, и мы не можем принять за него математическое ожидание). Как следствие, бессмысленно говорить о байесовской оценке, которая минимизирует байесовский риск. Тем не менее во многих случаях можно определить апостериорное распределение
Это определение, а не приложение теоремы Байеса , поскольку теорема Байеса может применяться только тогда, когда все распределения являются правильными. Однако нередко полученное «апостериорное» распределение является допустимым распределением вероятностей. В этом случае апостериорный ожидаемый убыток
обычно четко определен и конечен. Напомним, что для правильного априорного значения байесовская оценка минимизирует апостериорные ожидаемые потери. Когда априорная оценка является неправильной, оценщик, который минимизирует апостериорные ожидаемые потери, называется обобщенной байесовской оценкой . [2]
Пример
Типичный пример - оценка параметра местоположения с помощью функции потерь типа. Здесь - параметр местоположения, т. е. .
Обычно используется неправильный предварительный в этом случае, особенно когда нет другой более субъективной информации. Это дает
так что апостериорная ожидаемая потеря
Обобщенная байесовская оценка - это величина который минимизирует это выражение для данного . Это эквивалентно минимизации
- для данного (1)
В этом случае можно показать, что обобщенная байесовская оценка имеет вид , для некоторой постоянной . Чтобы увидеть это, позвольте - значение, минимизирующее (1), когда . Тогда, учитывая другое значение, мы должны минимизировать
- (2)
Это идентично (1), за исключением того, что был заменен на . Таким образом, выражение, минимизирующее, дается выражением, так что оптимальная оценка имеет вид
Эмпирические байесовские оценки
Байесовская оценка, полученная с помощью эмпирического байесовского метода , называется эмпирической байесовской оценкой . Эмпирические байесовские методы позволяют использовать вспомогательные эмпирические данные из наблюдений за соответствующими параметрами при разработке байесовской оценки. Это делается в предположении, что оценочные параметры получены из общей априорной точки. Например, если выполняются независимые наблюдения различных параметров, то эффективность оценки конкретного параметра иногда может быть улучшена за счет использования данных из других наблюдений.
Существуют параметрические и непараметрические подходы к эмпирическому байесовскому оцениванию. Параметрический эмпирический байесовский метод обычно предпочтительнее, поскольку он более применим и более точен на небольших объемах данных. [4]
Пример
Ниже приводится простой пример параметрического эмпирического байесовского оценивания. Учитывая прошлые наблюдения имеющий условное распределение , интересно оценить на основе . Предположим, чтоесть общий приор зависящее от неизвестных параметров. Например, предположим, что нормально с неизвестным средним и дисперсия Затем мы можем использовать прошлые наблюдения для определения среднего и дисперсии следующим образом.
Сначала оценим среднее и дисперсия предельного распределения с использованием подхода максимального правдоподобия :
Далее воспользуемся соотношением
где а также моменты условного распределения , которые считаются известными. В частности, предположим, что и это ; тогда у нас есть
Наконец, мы получаем оценочные моменты априорной,
Например, если , и если мы предполагаем нормальный априор (который в данном случае является сопряженным априором), мы заключаем, что , из которого байесовская оценка на основе можно рассчитать.
Характеристики
Допустимость
Обычно допустимы правила Байеса с конечным байесовским риском . Ниже приведены некоторые конкретные примеры теорем о допустимости.
- Если правило Байеса уникально, оно допустимо. [5] Например, как указано выше, при среднеквадратичной ошибке (MSE) правило Байеса является уникальным и, следовательно, допустимым.
- Если θ принадлежит дискретному множеству , то допустимы все правила Байеса.
- Если θ принадлежит непрерывному (недискретному) множеству и если функция риска R (θ, δ) непрерывна по θ для любого δ, то все правила Байеса допустимы.
Напротив, обобщенные правила Байеса часто имеют неопределенный риск Байеса в случае неправильных априорных значений. Эти правила часто недопустимы, и проверка их допустимости может быть затруднена. Например, обобщенная байесовская оценка параметра местоположения θ на основе гауссовых выборок (описанная в разделе «Обобщенная байесовская оценка» выше) недопустима для; это известно как феномен Штейна .
Асимптотическая эффективность
Пусть θ - неизвестная случайная величина, и предположим, что являются IID образцы с плотностью. Позволять- последовательность байесовских оценок θ, основанная на увеличивающемся количестве измерений. Нас интересует анализ асимптотической производительности этой последовательности оценок, т. Е. Производительностидля больших n .
С этой целью принято рассматривать θ как детерминированный параметр, истинное значение которого . При определенных условиях [6] для больших выборок (большие значения n ) апостериорная плотность θ приблизительно нормальна. Другими словами, для больших n влияние априорной вероятности на апостериорную вероятность незначительно. Более того, если δ - оценка Байеса при риске MSE, то она асимптотически несмещена и сходится по распределению к нормальному распределению :
где I (θ 0 ) - информация рыбака для θ 0 . Отсюда следует, что байесовская оценка δ n при MSE асимптотически эффективна .
Другой оценщик, который является асимптотически нормальным и эффективным, - это оценщик максимального правдоподобия (MLE). Связь между оценками максимального правдоподобия и байесовскими оценками можно показать на следующем простом примере.
Пример: оценка p в биномиальном распределении
Рассмотрим оценку θ на основе биномиальной выборки x ~ b (θ, n ), где θ обозначает вероятность успеха. Предполагая, что θ распределен согласно сопряженному априорному распределению, которое в данном случае является бета-распределением B ( a , b ), апостериорное распределение известно как B (a + x, b + nx). Таким образом, байесовская оценка при MSE равна
MLE в этом случае - x / n, и поэтому мы получаем,
Последнее уравнение означает, что при n → ∞ байесовская оценка (в описанной задаче) близка к MLE.
С другой стороны, когда n мало, априорная информация все еще актуальна для проблемы решения и влияет на оценку. Чтобы увидеть относительный вес априорной информации, предположим, что a = b ; в этом случае каждое измерение приносит 1 новый бит информации; приведенная выше формула показывает, что предыдущая информация имеет тот же вес, что и биты a + b новой информации. В приложениях часто очень мало известно о мелких деталях предшествующего распределения; в частности, нет оснований предполагать, что он в точности совпадает с B ( a , b ). В таком случае одна из возможных интерпретаций этого расчета: «существует априорное непатологическое распределение со средним значением 0,5 и стандартным отклонением d, которое дает вес априорной информации, равный 1 / (4 d 2 ) -1. кусочки новой информации ".
Другой пример того же явления - случай, когда априорная оценка и измерение имеют нормальное распределение. Если предыдущий центр центрирован в точке B с отклонением Σ, а измерение сосредоточено в точке b с отклонением σ, то апостериор центрируется в, где веса в этом средневзвешенном значении равны α = σ², β = Σ². Кроме того, квадрат апостериорного отклонения равен Σ² + σ². Другими словами, предварительное измерение сочетается с измерением точно так же, как если бы оно было дополнительным измерением, которое необходимо принять во внимание.
Например, если Σ = σ / 2, то отклонение 4 измерений, объединенных вместе, совпадает с отклонением предыдущего (при условии, что ошибки измерений независимы). И веса α, β в формуле для апостериорной оценки соответствуют этому: вес априорной оценки в 4 раза превышает вес измерения. Комбинируя это предварительное с n измерениями со средним v, получаем задний центр с центром в; в частности, предварительное измерение играет ту же роль, что и 4 измерения, сделанные заранее. Как правило, приор имеет вес (σ / Σ) ² измерений.
Сравните с примером биномиального распределения: там априор имеет вес (σ / Σ) ² − 1 измерений. Можно видеть, что точный вес действительно зависит от деталей распределения, но когда σ≫Σ, разница становится небольшой.
Практический пример байесовских оценок
База данных Internet Movie использует формулу для вычисления и сравнения рейтинги фильмов его пользователями, в том числе их Лучшие 250 заглавий , которые испрашивается дать «истинную байесовской оценки». [7] Следующая байесовская формула изначально использовалась для расчета средневзвешенного балла для 250 лучших, хотя с тех пор формула была изменена:
где:
- = взвешенный рейтинг
- = средний рейтинг фильма в виде числа от 1 до 10 (средний) = (Рейтинг)
- = количество голосов / оценок за фильм = (голосов)
- = вес, присвоенный предыдущей оценке (в данном случае количество голосов, которое IMDB считает необходимым для приближения средней оценки к статистической достоверности)
- = средний голос по всему пулу (в настоящее время 7.0)
Обратите внимание , что W представляет только взвешенное среднее арифметическое из R и C с весом вектора (V, м) . Поскольку количество оценок превышает m , достоверность среднего рейтинга превосходит доверие среднего голоса для всех фильмов (C), а взвешенный байесовский рейтинг (W) приближается к прямому среднему (R). Чем ближе v (количество оценок фильма) к нулю, тем ближе W к C , где W - взвешенный рейтинг, а C - средний рейтинг всех фильмов. Таким образом, проще говоря, чем меньше оценок / голосов отдано фильму, тем больше взвешенный рейтинг этого фильма будет отклоняться от среднего по всем фильмам, в то время как фильмы с большим количеством оценок / голосов будут иметь рейтинг, приближающийся к его чисто арифметическому среднему рейтингу.
Подход IMDb гарантирует, что фильм с несколькими рейтингами, все из которых составляет 10, не окажется выше «Крестного отца», например, со средним значением 9,2 из более чем 500 000 оценок.
Смотрите также
- Рекурсивная байесовская оценка
- Обобщенная ожидаемая полезность
Заметки
- ^ Леманн и Казелла, теорема 4.1.1
- ^ a b Леманн и Каселла, определение 4.2.9.
- Перейти ↑ Jaynes, ET (2007). Теория вероятностей: логика науки (5. печат. Изд.). Кембридж [ua]: Cambridge Univ. Нажмите. п. 172. ISBN. 978-0-521-59271-0.
- ^ Бергер (1980), раздел 4.5.
- ^ Леманн и Казелла (1998), теорема 5.2.4.
- ^ Леманн и Казелла (1998), раздел 6.8
- ^ IMDb Top 250
Рекомендации
- Lehmann, EL; Казелла, Г. (1998). Теория точечного оценивания (2-е изд.). Springer. ISBN 0-387-98502-6.
- Бергер, Джеймс О. (1985). Статистическая теория принятия решений и байесовский анализ (2-е изд.). Нью-Йорк: Springer-Verlag. ISBN 0-387-96098-8. Руководство по ремонту 0804611 .
Внешние ссылки
- Байесовское оценивание на cnx.org
- «Байесовская оценка» , Энциклопедия математики , EMS Press , 2001 [1994]