Фактор Байеса

Эта статья должна быть резюмирована в Байесовском выводе # Выбор модели и предоставленной оттуда ссылке с использованием шаблона. См. Руководство в Википедии: Стиль резюме . ( Сентябрь 2018 г. ){{Main}}

Байесовская статистика
Часть серии по

Теория
Допустимое правило принятия решения Байесовская эффективность Байесовская вероятность Вероятностные интерпретации Теорема Байеса Фактор Байеса Байесовский вывод Байесовская сеть Прежний Задний Вероятность Конъюгировать приор Задний прогностический Гиперпараметр Hyperprior Принцип безразличия Принцип максимальной энтропии Эмпирический метод Байеса Правило Кромвеля Теорема Бернштейна – фон Мизеса Критерий Шварца Достоверный интервал Максимальная апостериорная оценка Радикальный вероятности
Методы
Байесовская линейная регрессия Байесовская оценка Приближенное байесовское вычисление Цепь Маркова Монте-Карло
Математический портал
v т е

В статистике использование байесовских факторов является байесовской альтернативой классической проверке гипотез . ^[1]^[2] Сравнение байесовских моделей - это метод выбора моделей на основе байесовских факторов. Рассматриваемые модели являются статистическими . ^[3] Целью байесовского фактора является количественная оценка поддержки одной модели над другой, независимо от того, верны ли эти модели. ^[4] Техническое определение «поддержки» в контексте байесовского вывода приводится ниже.

Определение [ править ]

Байесовский фактор представляет собой отношение правдоподобия из предельной вероятности двух конкурирующих гипотез, как правило, нулевых и альтернативы. ^[5]

Апостериорная вероятность модель- М данных данных D дается теоремой Байеса : ${\ Displaystyle \ Pr (M | D)}$

{\ Displaystyle \ Pr (M | D) = {\ frac {\ Pr (D | M) \ Pr (M)} {\ Pr (D)}}.}

Ключевой термин, зависящий от данных, представляет собой вероятность того, что некоторые данные получены в предположении модели M ; его правильная оценка - ключ к сравнению байесовских моделей. ${\ Displaystyle \ Pr (D | M)}$

Учитывая проблему выбора модели, в которой мы должны выбирать между двумя моделями на основе наблюдаемых данных D , правдоподобность двух разных моделей M ₁ и M ₂ , параметризованных векторами параметров модели и , оценивается с помощью байесовского фактора K, заданного к ${\ displaystyle \ theta _ {1}}$ ${\ displaystyle \ theta _ {2}}$

K={\frac {\Pr(D|M_{1})}{\Pr(D|M_{2})}}={\frac {\int \Pr(\theta _{1}|M_{1})\Pr(D|\theta _{1},M_{1})\,d\theta _{1}}{\int \Pr(\theta _{2}|M_{2})\Pr(D|\theta _{2},M_{2})\,d\theta _{2}}}={\frac {\frac {\Pr(M_{1}|D)\Pr(D)}{\Pr(M_{1})}}{\frac {\Pr(M_{2}|D)\Pr(D)}{\Pr(M_{2})}}}={\frac {\Pr(M_{1}|D)}{\Pr(M_{2}|D)}}{\frac {\Pr(M_{2})}{\Pr(M_{1})}}.

Когда две модели равновероятны априори , так что байесовский фактор равен отношению апостериорных вероятностей M ₁ и M ₂ . Если вместо интеграла байесовского фактора используется вероятность, соответствующая оценке максимального правдоподобия параметра для каждой статистической модели, тогда тест становится классическим тестом отношения правдоподобия. $\Pr(M_{1})=\Pr(M_{2})$ . В отличие от теста отношения правдоподобия, это сравнение байесовской модели не зависит от какого-либо единственного набора параметров, поскольку оно интегрируется по всем параметрам в каждой модели (относительно соответствующих априорных значений). Однако преимущество использования байесовских факторов заключается в том, что оно автоматически и вполне естественно включает штраф за включение слишком большого количества структуры модели. ^[6] Таким образом, он защищает от переобучения . Для моделей, в которых явная версия вероятности недоступна или слишком дорогостоящая для численной оценки, приближенные байесовские вычисления могут использоваться для выбора модели в байесовской структуре ^[7] с оговоркой, что приближенные байесовские оценки байесовских факторов часто смещены. . ^[8]

Другие подходы:

рассматривать сравнение моделей как проблему принятия решения , вычисляя ожидаемое значение или стоимость каждого выбора модели;
использовать минимальную длину сообщения (MML).

Интерпретация [ править ]

Значение K > 1 означает, что M ₁ более сильно поддерживается рассматриваемыми данными, чем M ₂ . Обратите внимание, что классическая проверка гипотез дает предпочтительный статус одной гипотезы (или модели) («нулевая гипотеза») и рассматривает только доказательства против нее. Гарольд Джеффрис дал шкалу для интерпретации K : ^[9]

K	dHart	биты	Сила доказательств
<10 ⁰	<0	<0	Отрицательный (поддерживает M ₂ )
10 ⁰ до 10 ^1/2	От 0 до 5	От 0 до 1,6	Вряд ли стоит упоминать
^От 10 ^1/2 до 10 ¹	От 5 до 10	1,6 - 3,3	Существенный
10 ¹ до 10 ^3/2	С 10 до 15	От 3,3 до 5,0	Сильный
^От 10 ^3/2 до 10 ²	15-20	От 5,0 до 6,6	Очень сильный
> 10 ²	> 20	> 6,6	Решительный

Во втором столбце приведены соответствующие веса свидетельств в децихартли (также известные как децибаны ); биты добавлены в третий столбец для ясности. Согласно IJ Good, изменение веса свидетельства на 1 децибан или 1/3 бита (т. Е. Изменение отношения шансов с эвенов до примерно 5: 4) примерно настолько тонко, насколько люди могут разумно воспринимать степень своей веры. в гипотезе повседневного использования. ^[10]

Альтернативная таблица, которую часто цитируют, предоставлена Kass and Raftery (1995): ^[6]

log ₁₀ K	K	Сила доказательств
От 0 до 1/2	От 1 до 3,2	Не стоит больше упоминания
1/2 к 1	3,2 к 10	Существенный
1 к 2	От 10 до 100	Сильный
> 2	> 100	Решительный

Пример [ править ]

Предположим, у нас есть случайная переменная, которая приводит к успеху или неудаче. Мы хотим сравнить модель M _1, где вероятность успеха q = ½, и другую модель M _2, где q неизвестно, и мы берем априорное распределение для q , равномерное на [0,1]. Мы берем выборку из 200 и находим 115 успехов и 85 неудач. Вероятность рассчитывается по биномиальному распределению :

{{200 \choose 115}q^{115}(1-q)^{85}}.

Таким образом, для M ₁

P(X=115\mid M_{1})={200 \choose 115}\left({1 \over 2}\right)^{200}\approx 0.006

тогда как для M ₂ мы имеем

P(X=115\mid M_{2})=\int _{0}^{1}{200 \choose 115}q^{115}(1-q)^{85}dq={1 \over 201}\approx 0.005

Соотношение тогда составляет 1,2, что «едва ли стоит упоминать», даже если оно очень незначительно указывает на M ₁ .

Частотный критерий проверки гипотезы о М ₁ (здесь рассматривается в качестве нулевой гипотезы ) произвел бы совершенно иной результат. Такой тест говорит, что M ₁ следует отклонить на уровне значимости 5%, поскольку вероятность получения 115 или более успехов из выборки из 200, если q = ½, составляет 0,02, и как двусторонний тест получения цифры как крайнее значение, равное 115 или более высокое, составляет 0,04. Следует отметить , что 115 более чем на два стандартных отклонения от 100. Таким образом, в то время как частотный критерий проверки гипотезы даст значительные результатыпри уровне значимости 5% фактор Байеса вряд ли считает это крайним результатом. Обратите внимание, однако, что неоднородный априор (например, тот, который отражает тот факт, что вы ожидаете, что количество успехов и неудач будет одного порядка величины) может привести к байесовскому фактору, который больше согласуется с частотным. проверка гипотез.

Классический тест отношения правдоподобия позволил бы найти оценку максимального правдоподобия для q , а именно ¹¹⁵ ⁄ ₂₀₀ = 0,575, откуда

\textstyle P(X=115\mid M_{2})={{200 \choose 115}q^{115}(1-q)^{85}}\approx 0.06

(а не усреднение по всем возможным q ). Это дает отношение правдоподобия 0,1 и указывает на M ₂ .

M ₂ является более сложной моделью, чем M _1, потому что у нее есть свободный параметр, который позволяет моделировать данные более точно. Способность Байес факторов принимать это во внимание , является причиной , почему вывод байесовского был выдвинут в качестве теоретического обоснования для и обобщений Оккама , уменьшая ошибку типа I . ^[11]

С другой стороны, современный метод относительного правдоподобия учитывает количество свободных параметров в моделях, в отличие от классического отношения правдоподобия. Метод относительного правдоподобия можно применить следующим образом. Модель M ₁ имеет 0 параметров, поэтому ее значение AIC составляет 2 · 0 - 2 · ln (0,005956) = 10,2467. Модель M ₂ имеет 1 параметр, поэтому ее значение AIC составляет 2 · 1 - 2 · ln (0,056991) = 7,7297. Следовательно, M ₁ примерно exp ((7,7297 - 10,2467) / 2) = 0,284 раза вероятнее, чем M _2, чтобы минимизировать потерю информации. Таким образом, M ₂ является немного предпочтительным, но M ₁ нельзя исключать.

См. Также [ править ]

Информационный критерий Акаике
Приближенное байесовское вычисление
Байесовский информационный критерий
Информационный критерий отклонения
Парадокс Линдли
Минимальная длина сообщения
Выбор модели

Статистические соотношения

Соотношение шансов
Относительный риск

Ссылки [ править ]

Перейти ↑ Goodman, S. (1999). «К научно обоснованной медицинской статистике. 1: Ошибка значения P». Ann Intern Med . 130 (12): 995–1004. DOI : 10.7326 / 0003-4819-130-12-199906150-00008 . PMID 10383371 . S2CID 7534212 .
Перейти ↑ Goodman, S. (1999). «К доказательной медицинской статистике. 2: Байесовский фактор». Ann Intern Med . 130 (12): 1005–13. DOI : 10.7326 / 0003-4819-130-12-199906150-00019 . PMID 10383350 .
^ Мори, Ричард Д .; Ромейн, Ян-Виллем; Рудер, Джеффри Н. (2016). «Философия байесовских факторов и количественная оценка статистических данных» . Журнал математической психологии . 72 : 6–18. DOI : 10.1016 / j.jmp.2015.11.001 .
^ Ly, Александр; Верхаген, Жозин; Вагенмейкерс, Эрик-Ян (2016). «Стандартные тесты гипотезы Байесовского фактора Гарольда Джеффриса: объяснение, расширение и применение в психологии». Журнал математической психологии . 72 : 19–32. DOI : 10.1016 / j.jmp.2015.06.004 .
^ Хорошо, Филипп; Хардин, Джеймс (23 июля 2012 г.). Распространенные ошибки в статистике (и как их избежать) (4-е изд.). Хобокен, Нью-Джерси: John Wiley & Sons, Inc., стр. 129–131. ISBN 978-1118294390.
^ a b Роберт Э. Касс и Адриан Э. Рэфтери (1995). «Байесовские факторы» (PDF) . Журнал Американской статистической ассоциации . 90 (430): 791. DOI : 10,2307 / 2291091 . JSTOR 2291091 .
^ Тони, Т .; Штумпф, магистр здравоохранения (2009). «Выбор модели на основе моделирования для динамических систем в системах и популяционной биологии» (PDF) . Биоинформатика . 26 (1): 104–10. arXiv : 0911.1705 . DOI : 10.1093 / биоинформатики / btp619 . PMC 2796821 . PMID 19880371 .
^ Роберт, CP; Ж. Корню; Дж. Марин и Н.С. Пиллаи (2011). «Отсутствие уверенности в выборе приближенной байесовской модели вычислений» . Труды Национальной академии наук . 108 (37): 15112–15117. Bibcode : 2011PNAS..10815112R . DOI : 10.1073 / pnas.1102900108 . PMC 3174657 . PMID 21876135 .
^ Джеффрис, Гарольд (1998) [1961]. Теория вероятностей (3-е изд.). Оксфорд, Англия. п. 432. ISBN. 9780191589676.
^ Хорошо, Эй Джей (1979). «Исследования по истории вероятности и статистики. XXXVII Статистическая работа AM Тьюринга во Второй мировой войне». Биометрика . 66 (2): 393–396. DOI : 10.1093 / Biomet / 66.2.393 . Руководство по ремонту 0548210 .
^ Заточка бритвы Оккама на байесовском ремне

Дальнейшее чтение [ править ]

Бернардо, Дж .; Смит, AFM (1994). Байесовская теория . Джон Вили. ISBN 0-471-92416-4.
Денисон, DGT; Холмс, CC; Маллик, Б.К .; Смит, AFM (2002). Байесовские методы нелинейной классификации и регрессии . Джон Вили. ISBN 0-471-49036-9.
Диенес, З. (2019). Как мне узнать, что предсказывает моя теория? Достижения в методах и практиках психологической науки https://doi.org/10.1177/2515245919876960
Дуда, Ричард О .; Харт, Питер Э .; Аист, Дэвид Г. (2000). «Раздел 9.6.5». Классификация паттернов (2-е изд.). Вайли. С. 487–489. ISBN 0-471-05669-3.
Гельман, А .; Carlin, J .; Stern, H .; Рубин, Д. (1995). Байесовский анализ данных . Лондон: Чепмен и Холл . ISBN 0-412-03991-5.
Джейнс, ET (1994), Теория вероятностей: логика науки , глава 24.
Ли, ПМ (2012). Байесовская статистика: введение . Вайли. ISBN 9781118332573.
Винклер, Роберт (2003). Введение в байесовский вывод и решение (2-е изд.). Вероятностный. ISBN 0-9647938-4-9.

Внешние ссылки [ править ]

BayesFactor - пакет R для вычисления байесовских факторов в общих исследовательских проектах.
Калькулятор байесовского фактора - онлайн-калькулятор информированных байесовских факторов
Калькуляторы байесовского фактора - веб-версия большей части пакета BayesFactor

[Goodman1999a-1] Перейти ↑ Goodman, S. (1999). «К научно обоснованной медицинской статистике. 1: Ошибка значения P». Ann Intern Med . 130 (12): 995–1004. DOI : 10.7326 / 0003-4819-130-12-199906150-00008 . PMID 10383371 . S2CID 7534212 .

[Goodman1999b-2] Перейти ↑ Goodman, S. (1999). «К доказательной медицинской статистике. 2: Байесовский фактор». Ann Intern Med . 130 (12): 1005–13. DOI : 10.7326 / 0003-4819-130-12-199906150-00019 . PMID 10383350 .

[3] Мори, Ричард Д .; Ромейн, Ян-Виллем; Рудер, Джеффри Н. (2016). «Философия байесовских факторов и количественная оценка статистических данных» . Журнал математической психологии . 72 : 6–18. DOI : 10.1016 / j.jmp.2015.11.001 .

[4] Ly, Александр; Верхаген, Жозин; Вагенмейкерс, Эрик-Ян (2016). «Стандартные тесты гипотезы Байесовского фактора Гарольда Джеффриса: объяснение, расширение и применение в психологии». Журнал математической психологии . 72 : 19–32. DOI : 10.1016 / j.jmp.2015.06.004 .

[5] Хорошо, Филипп; Хардин, Джеймс (23 июля 2012 г.). Распространенные ошибки в статистике (и как их избежать) (4-е изд.). Хобокен, Нью-Джерси: John Wiley & Sons, Inc., стр. 129–131. ISBN 978-1118294390.

[kassraftery1995-6] Роберт Э. Касс и Адриан Э. Рэфтери (1995). «Байесовские факторы» (PDF) . Журнал Американской статистической ассоциации . 90 (430): 791. DOI : 10,2307 / 2291091 . JSTOR 2291091 .

[Toni2009b-7] Тони, Т .; Штумпф, магистр здравоохранения (2009). «Выбор модели на основе моделирования для динамических систем в системах и популяционной биологии» (PDF) . Биоинформатика . 26 (1): 104–10. arXiv : 0911.1705 . DOI : 10.1093 / биоинформатики / btp619 . PMC 2796821 . PMID 19880371 .

[Robert2011-8] Роберт, CP; Ж. Корню; Дж. Марин и Н.С. Пиллаи (2011). «Отсутствие уверенности в выборе приближенной байесовской модели вычислений» . Труды Национальной академии наук . 108 (37): 15112–15117. Bibcode : 2011PNAS..10815112R . DOI : 10.1073 / pnas.1102900108 . PMC 3174657 . PMID 21876135 .

[9] Джеффрис, Гарольд (1998) [1961]. Теория вероятностей (3-е изд.). Оксфорд, Англия. п. 432. ISBN. 9780191589676.

[10] Хорошо, Эй Джей (1979). «Исследования по истории вероятности и статистики. XXXVII Статистическая работа AM Тьюринга во Второй мировой войне». Биометрика . 66 (2): 393–396. DOI : 10.1093 / Biomet / 66.2.393 . Руководство по ремонту 0548210 .

[11] Заточка бритвы Оккама на байесовском ремне

[1]