Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
Часть серии по
Байесовская статистика
Байесовский значок.svg
Теория
Методы

Байесовская статистика - это теория в области статистики, основанная на байесовской интерпретации вероятности, где вероятность выражает степень уверенности в событии . Степень уверенности может основываться на предварительных знаниях о событии, таких как результаты предыдущих экспериментов, или на личных убеждениях о событии. Это отличается от ряда других интерпретаций вероятности , таких как частотная интерпретации , которая рассматривает вероятность как предел относительной частоты события после многих испытаний. [1]

Байесовские статистические методы используют теорему Байеса для вычисления и обновления вероятностей после получения новых данных. Теорема Байеса описывает условную вероятность события на основе данных, а также предшествующей информации или убеждений о событии или условиях, связанных с событием [2] [3] Например, в байесовском выводе теорема Байеса может использоваться для оценки параметры вероятностного распределения или статистической модели . Поскольку байесовская статистика рассматривает вероятность как степень уверенности, теорема Байеса может напрямую назначить распределение вероятностей, которое количественно определяет веру параметру или набору параметров. [1] [2]

Байесовская статистика названа в честь Томаса Байеса , который сформулировал конкретный случай теоремы Байеса в статье, опубликованной в 1763 году. В нескольких статьях, охватывающих период с конца 18 до начала 19 веков, Пьер-Симон Лаплас разработал байесовскую интерпретацию вероятности. [4]Лаплас использовал методы, которые теперь считались бы байесовскими, для решения ряда статистических задач. Многие байесовские методы были разработаны более поздними авторами, но этот термин обычно не использовался для описания таких методов до 1950-х годов. На протяжении большей части 20-го века многие статистики отрицательно относились к байесовским методам из-за философских и практических соображений. Многие байесовские методы требовали большого количества вычислений для завершения, и большинство методов, которые широко использовались в течение столетия, основывались на частотной интерпретации. Однако с появлением мощных компьютеров и новых алгоритмов, таких как цепь Маркова Монте-Карло , байесовские методы стали широко использоваться в статистике в 21 веке. [1] [5]

Теорема Байеса [ править ]

Основная статья: теорема Байеса

Теорема Байеса используется в байесовских методах для обновления вероятностей, которые являются степенями уверенности, после получения новых данных. Учитывая два события и , условная вероятность того, что данное истинное, выражается следующим образом: [6]

где . Хотя теорема Байеса является фундаментальным результатом теории вероятностей , она имеет особую интерпретацию в байесовской статистике. В приведенном выше уравнении обычно представляет предложение (например, утверждение о том, что монета падает орлом в пятидесяти процентах случаев) и представляет собой свидетельство или новые данные, которые необходимо принять во внимание (например, результат ряда монета подбрасывает). это априорная вероятность, о которой выражается убеждение до того, как доказательства будут приняты во внимание. Априорная вероятность также может количественно определять предшествующие знания или информацию о . является функция правдоподобия, что можно интерпретировать как вероятность того, что предоставленные доказательства являются правдой. Вероятность количественно определяет степень, в которой доказательства подтверждают предположение . - апостериорная вероятность , вероятность утверждения после принятия во внимание свидетельств . По сути, теорема Байеса обновляет предыдущие убеждения после рассмотрения новых доказательств . [1]

Вероятность доказательства можно рассчитать по закону полной вероятности . Если это разбиение из выборочного пространства , которое является совокупностью всех результатов эксперимента, а затем, [1] [6]

Когда существует бесконечное количество исходов, необходимо интегрировать по всем исходам для вычисления с использованием закона полной вероятности. Часто это трудно вычислить, поскольку расчет будет включать в себя суммы или интегралы, оценка которых потребует много времени, поэтому часто учитывается только произведение априорного значения и вероятности, поскольку свидетельства не меняются в одном и том же анализе. Апостериорная пропорциональна этому произведению: [1]

Максимальное апостериорный , который является режимом заднего и часто вычисляется в байесовской статистике с помощью математических оптимизации методов, остается тем же самым . Апостериорную оценку можно аппроксимировать даже без вычисления точного значения с помощью таких методов, как цепь Маркова Монте-Карло или вариационные байесовские методы . [1]

Краткое описание байесовских методов [ править ]

Общий набор статистических методов можно разделить на ряд действий, многие из которых имеют специальные байесовские версии.

Байесовский вывод [ править ]

Основная статья: байесовский вывод

Байесовский вывод относится к статистическому выводу, при котором неопределенность выводов количественно оценивается с использованием вероятности. В классическом частотном выводе параметры модели и гипотезы считаются фиксированными. Вероятности не присваиваются параметрам или гипотезам в частотном выводе. Например, при частотном выводе было бы нецелесообразно напрямую приписывать вероятность событию, которое может произойти только один раз, например результату следующего подбрасывания справедливой монеты. Однако имеет смысл констатировать, что доля орлов приближается к половине по мере увеличения числа подбрасываний монеты. [7]

Статистические модели определяют набор статистических допущений и процессов, которые представляют, как генерируются данные выборки. Статистические модели имеют ряд параметров, которые можно изменять. Например, монета может быть представлена ​​в виде выборки из распределения Бернулли , которое моделирует два возможных результата. Распределение Бернулли имеет единственный параметр, равный вероятности одного исхода, который в большинстве случаев является вероятностью выпадения орла. Разработка хорошей модели для данных является центральным элементом байесовского вывода. В большинстве случаев модели только приближают истинный процесс и могут не учитывать определенные факторы, влияющие на данные. [1] В байесовском выводе вероятности могут быть присвоены параметрам модели. Параметры можно представить какслучайные величины . Байесовский вывод использует теорему Байеса для обновления вероятностей после того, как будет получено или известно больше доказательств. [1] [8]

Статистическое моделирование [ править ]

Формулировка статистических моделей с использованием байесовской статистики имеет отличительную особенность, заключающуюся в необходимости спецификации априорных распределений для любых неизвестных параметров. Действительно, параметры предыдущих распределений могут сами по себе иметь предварительное распределение, что приводит к байесовскому иерархическому моделированию , [9] или может быть связаны между собой , что приводит к сетям байесовских .

Дизайн экспериментов [ править ]

Байесовский дизайн экспериментов включает в себя концепцию под названием «Влияние предшествующих верований. Этот подход использует методы последовательного анализа , чтобы включить результаты предыдущих экспериментов в план следующего эксперимента. Это достигается обновлением «убеждений» за счет использования априорного и апостериорного распределения . Это позволяет при разработке экспериментов эффективно использовать ресурсы всех типов. Примером этого является проблема многорукого бандита .

Исследовательский анализ байесовских моделей [ править ]

Исследовательский анализ байесовских моделей - это адаптация или расширение подхода исследовательского анализа данных к потребностям и особенностям байесовского моделирования. По словам Перси Диакониса: [10]

Исследовательский анализ данных стремится выявить структуру или простые описания данных. Мы смотрим на числа или графики и пытаемся найти закономерности. Мы ищем варианты, подсказанные исходной информацией, воображением, воспринимаемыми закономерностями и опытом анализа других данных.

Процесс вывода генерирует апостериорное распределение, которое играет центральную роль в байесовской статистике, вместе с другими распределениями, такими как апостериорное предсказывающее распределение и априорное предсказывающее распределение. Правильная визуализация, анализ и интерпретация этих распределений являются ключом к правильному ответу на вопросы, которые мотивируют процесс вывода. [11]

При работе с байесовскими моделями, помимо самого вывода, необходимо решить ряд связанных задач:

  • Диагнозы качества умозаключений, это необходимо при использовании численных методов , таких как Монте - Карло марковской цепи методов
  • Критика модели, включая оценку как допущений модели, так и предсказаний модели
  • Сравнение моделей, включая выбор модели или усреднение модели
  • Подготовка результатов для конкретной аудитории

Все эти задачи являются частью подхода исследовательского анализа байесовских моделей, и их успешное выполнение является центральным элементом итеративного и интерактивного процесса моделирования. Эти задачи требуют как числовых, так и визуальных сводок. [12] [13] [14]

См. Также [ править ]

  • Байесовская эпистемология

Ссылки [ править ]

  1. ^ a b c d e f g h я Гельман, Эндрю ; Карлин, Джон Б .; Стерн, Хэл С .; Дансон, Дэвид Б .; Вехтари, Аки; Рубин, Дональд Б. (2013). Байесовский анализ данных, третье издание . Чепмен и Холл / CRC. ISBN 978-1-4398-4095-5.
  2. ^ a b Макэлрит, Ричард (2015). Статистическое переосмысление, первое издание . Чепмен и Холл / CRC. ISBN 978-1-4822-5344-3.
  3. ^ Kruschke, Джон (2014). Байесовский анализ данных, второе издание . Академическая пресса. ISBN 978-0-1240-5888-0.
  4. ^ McGrayne, Шарон (2012). Теория, которая не умрет: как правило Байеса раскрыло код загадки, выследило российские подводные лодки и вышло победителем из двух веков споров, первое издание . Чепмен и Холл / CRC. ISBN 978-0-3001-8822-6.
  5. ^ Финберг, Стивен Е. (2006). «Когда байесовский вывод стал« байесовским »?» . Байесовский анализ . 1 (1): 1–40. DOI : 10.1214 / 06-BA101 .
  6. ^ a b Гринстед, Чарльз М .; Снелл, Дж. Лори (2006). Введение в вероятность (2-е изд.). Провиденс, Род-Айленд: Американское математическое общество. ISBN 978-0-8218-9414-9.
  7. ^ Уэйкфилд, Джон (2013). Байесовские и частотные методы регрессии . Нью-Йорк, штат Нью-Йорк: Спрингер. ISBN 978-1-4419-0924-4.
  8. ^ Конгдон, Питер (2014). Прикладное байесовское моделирование (2-е изд.). Вайли. ISBN 978-1119951513.
  9. ^ Hajiramezanali, E. & Dadaneh, SZ & Karbalayghareh, A. & Zhou, Z. & Qian, X. Байесовское многодоменное обучение для обнаружения подтипов рака на основе данных подсчета секвенирования следующего поколения. 32-я конференция по системам обработки нейронной информации (NIPS 2018), Монреаль, Канада. arXiv : 1810.09433
  10. ^ Диаконис, Перси (2011) Теории анализа данных: от магического мышления до классической статистики. John Wiley & Sons, Ltd 2: e55 10.1002 / 9781118150702.ch1
  11. ^ Кумар, Рэвин; Кэрролл, Колин; Хартикайнен, Ари; Мартин, Освальдо (2019). «ArviZ - унифицированная библиотека для исследовательского анализа байесовских моделей на Python» . Журнал открытого программного обеспечения . 4 (33): 1143. Bibcode : 2019JOSS .... 4.1143K . DOI : 10,21105 / joss.01143 .
  12. ^ Габри, Иона; Симпсон, Дэниел; Вехтари, Аки; Бетанкур, Майкл; Гельман, Андрей (2019). «Визуализация в байесовском рабочем процессе». Журнал Королевского статистического общества, серия A (Статистика в обществе) . 182 (2): 389–402. arXiv : 1709.01449 . DOI : 10.1111 / rssa.12378 . S2CID 26590874 . 
  13. ^ Вехтари, Аки; Гельман, Андрей; Симпсон, Дэниел; Карпентер, Боб; Бюркнер, Пауль-Кристиан (2019). "Ранговая нормализация, сворачивание и локализация: улучшенный $ \ widehat {R} $ для оценки сходимости MCMC". arXiv : 1903.08008 . Цитировать журнал требует |journal=( помощь )
  14. ^ Мартин, Освальдо (2018). Байесовский анализ с помощью Python: Введение в статистическое моделирование и вероятностное программирование с использованием PyMC3 и ArviZ . Packt Publishing Ltd. ISBN 9781789341652.

Дальнейшее чтение [ править ]

  • Думайте, Байес, Аллен Б. Дауни
  • Байесовская статистика: почему и как
  • Пуга Дж. Л., Кшивинский М., Альтман Н. (май 2015 г.). «Байесовская статистика». Важные моменты. Природные методы . 12 (5): 377–8. DOI : 10.1038 / nmeth.3368 . PMID  26120626 . S2CID  30636134 .

Внешние ссылки [ править ]

  • Элиэзер С. Юдковский. «Интуитивное объяснение теоремы Байеса» (веб-страница) . Проверено 15 июня 2015 .
  • Тео Кипрайос. «Мягкое руководство по байесовской статистике» (PDF) . Проверено 3 ноября 2013 .
  • Хорди Валлверду. «Байесовцы против частотников. Философские дебаты о статистических рассуждениях» .
  • Байесовская статистика Дэвид Шпигельхальтер , Scholarpedia Кеннета Райса 4 (8): 5230. DOI: 10.4249 / scholarpedia.5230
  • Книга по байесовскому моделированию и примеры доступны для скачивания.
  • Ренс Ван Де Шут. «Нежное введение в байесовский анализ» (PDF) .
  • Калькулятор байесовского A / B-тестирования Dynamic Yield