В умозаключениях байесовских , тот Бернштейн-Мизес теорема дает основу для использования Байеса надежных наборов для уверенности операторов в параметрических моделях . В нем говорится, что при некоторых условиях апостериорное распределение сходится в пределе бесконечных данных к многомерному нормальному распределению с центром в оценке максимального правдоподобия с ковариационной матрицей, заданной формулой, где является истинным параметром популяции и - информационная матрица Фишера при истинном значении параметра популяции. [1]
Вступление
Теорема Бернштейна-фон Мизеса - это результат, который связывает байесовский вывод с частотным выводом . Он предполагает, что существует некий истинный вероятностный процесс, который генерирует наблюдения, как в частотном подходе, а затем изучает качество байесовских методов восстановления этого процесса и делает заявления о неопределенности в отношении этого процесса. В частности, в нем говорится, что байесовские достоверные наборы определенного уровня достоверности будет асимптотически быть доверительными наборами доверительного уровня , что позволяет интерпретировать байесовские достоверные множества.
Эвристическое заявление
В модели , при определенных условиях регулярности (конечномерность, корректность, гладкость, наличие тестов), если априорное распределение на имеет плотность относительно меры Лебега, которая является достаточно гладкой (около ограниченный от нуля), полное расстояние вариации между масштабированным апостериорным распределением (путем центрирования и масштабирования до ) и гауссовское распределение с центром на любом эффективном оценщике и с обратной информацией Фишера в качестве дисперсии будет сходиться по вероятности к нулю.
Бернштейн-фон Мизес и оценка максимального правдоподобия
Если оценщик максимального правдоподобия является эффективным оценщиком, мы можем подключить его и восстановить общую, более конкретную версию теоремы Бернштейна-фон Мизеса .
Подразумеваемое
Наиболее важным следствием теоремы Бернштейна-фон Мизеса является то, что байесовский вывод является асимптотически правильным с частотной точки зрения. Это означает, что для больших объемов данных можно использовать апостериорное распределение, чтобы с частотной точки зрения сделать достоверные утверждения об оценке и неопределенности.
История
Теорема названа в честь Ричарда фон Мизеса и С. Н. Бернштейна, хотя первое надлежащее доказательство было дано Джозефом Л. Дубом в 1949 году для случайных величин с конечным вероятностным пространством . [2] Позже Люсьен Ле Кам , его аспирант Лоррейн Шварц , Дэвид А. Фридман и Перси Диаконис расширили доказательство при более общих предположениях.
Ограничения
В случае неверно заданной модели апостериорное распределение также станет асимптотически гауссовым с правильным средним значением, но не обязательно с информацией Фишера в качестве дисперсии. Это означает, что байесовские надежные наборы уровней не могут быть интерпретированы как наборы достоверности уровня . [3]
В случае непараметрической статистики теорема Бернштейна-фон Мизеса обычно не выполняется, за заметным исключением процесса Дирихле .
Замечательный результат был получен Фридманом в 1965 году: теорема Бернштейна – фон Мизеса почти наверняка не выполняется, если случайная величина имеет бесконечное счетное вероятностное пространство ; однако это зависит от наличия очень широкого диапазона возможных априорных значений. На практике априорные значения, обычно используемые в исследованиях, действительно обладают желаемым свойством даже с бесконечным счетным вероятностным пространством .
Различные сводные статистические данные, такие как мода и среднее значение, могут вести себя по-разному в апостериорном распределении. В примерах Фридмана апостериорная плотность и ее среднее значение могут сходиться к неверному результату, но апостериорная мода согласована и будет сходиться к правильному результату.
Котировки
Статистик AWF Эдвардс заметил: «Иногда в защиту байесовской концепции говорят, что выбор априорного распределения не важен на практике, потому что он почти не влияет на апостериорное распределение при наличии умеренных объемов данных. об этой «защите» тем лучше ». [4]
Заметки
- ↑ van der Vaart, AW (1998). «10.2 Теорема Бернштейна – фон Мизеса». Асимптотическая статистика . Издательство Кембриджского университета. ISBN 0-521-78450-6.
- ^ Дуб, Джозеф Л. (1949). «Применение теории мартингалов». Коллок. Междунар. du CNRS (Париж) . 13 : 23–27.
- ^ Kleijn, BJK; ван дер Ваарт, AW (2012). «Теорема Бернштейна-фон-Мизеса при неправильной спецификации» . Электронный статистический журнал . 6 (0): 354–381. DOI : 10.1214 / 12-EJS675 .
- ^ Эдвардс, AWF (1992). Вероятность . Балтимор: Издательство Университета Джона Хопкинса. ISBN 0-8018-4443-6.
Рекомендации
- Ваарт, А. В. ван дер (1998). «10.2 Теорема Бернштейна – фон Мизеса». Асимптотическая статистика . Издательство Кембриджского университета. ISBN 0-521-49603-9.
- Дуб, Джозеф Л. (1949), Применение теории мартингалов . Коллок. Междунар. du CNRS (Париж), № 13, стр. 23–27.
- Фридман, Дэвид А. (1963). Об асимптотическом поведении байесовских оценок в дискретном случае I . Анналы математической статистики, т. 34. С. 1386–1403.
- Фридман, Дэвид А. (1965). Об асимптотике байесовских оценок в дискретном случае. II . Анналы математической статистики, т. 36. С. 454–456.
- Ле Кам, Люсьен (1986). Асимптотические методы в статистической теории принятия решений , Springer. ISBN 0-387-96307-3 (страницы 336 и 618–621).
- Лоррейн Шварц (1965). О байесовских процедурах . Z. Wahrscheinlichkeitstheorie, № 4, стр. 10–26.