Байесовский вывод

Часть серии по
Байесовская статистика
Теория
Допустимое правило принятия решения Байесовская эффективность Байесовская вероятность Вероятностные интерпретации Теорема Байеса Фактор Байеса Байесовский вывод Байесовская сеть Прежний Задний Вероятность Конъюгировать приор Задний прогностический Гиперпараметр Hyperprior Принцип безразличия Принцип максимальной энтропии Эмпирический метод Байеса Правило Кромвеля Теорема Бернштейна – фон Мизеса Критерий Шварца Достоверный интервал Максимальная апостериорная оценка Радикальный вероятности
Методы
Байесовская линейная регрессия Байесовская оценка Приближенное байесовское вычисление Цепь Маркова Монте-Карло
Математический портал
v т е

Байесовский вывод - это метод статистического вывода, в котором теорема Байеса используется для обновления вероятности гипотезы по мере появления новых свидетельств или информации . Байесовский вывод - важный метод в статистике , особенно в математической статистике . Байесовское обновление особенно важно при динамическом анализе последовательности данных . Байесовский вывод нашел применение в широком спектре деятельности, включая науку , инженерию , философию , медицину , спорт изакон . В философии теории принятия решений байесовский вывод тесно связан с субъективной вероятностью, часто называемой « байесовской вероятностью ».

Введение в правило Байеса [ править ]

Формальное объяснение [ править ]

Байесовский вывод выводит апостериорную вероятность как следствие двух антецедентов : априорной вероятности и « функции правдоподобия », полученной из статистической модели для наблюдаемых данных. Байесовский вывод вычисляет апостериорную вероятность в соответствии с теоремой Байеса :

${\ Displaystyle P (H \ mid E) = {\ frac {P (E \ mid H) \ cdot P (H)} {P (E)}}}$

куда

• ${\ displaystyle \ textstyle H}$обозначает любую гипотезу , вероятность которой может зависеть от данных (называемых ниже доказательствами ). Часто существуют конкурирующие гипотезы, и задача состоит в том, чтобы определить, какая из них наиболее вероятна.
• ${\ displaystyle \ textstyle P (H)}$, априорная вероятность , является оценкой вероятности гипотезы до того, как будут обнаружены данные , текущее свидетельство.${\ displaystyle \ textstyle H}$ ${\displaystyle \textstyle E}$
• ${\displaystyle \textstyle E}$, свидетельство , соответствует новым данным, которые не использовались при вычислении априорной вероятности.
• ${\displaystyle \textstyle P(H\mid E)}$, апостериорная вероятность - это вероятность данного , то есть после того, как наблюдается. Это то, что мы хотим знать: вероятность гипотезы с учетом наблюдаемых свидетельств.${\displaystyle \textstyle H}$ ${\displaystyle \textstyle E}$ ${\displaystyle \textstyle E}$
• ${\displaystyle \textstyle P(E\mid H)}$это вероятность наблюдения заданная , и называется правдоподобием . В зависимости от с фиксированной, это указывает на совместимость данных с данной гипотезой. Функция правдоподобия является функцией свидетельства, а апостериорная вероятность - функцией гипотезы .${\displaystyle \textstyle E}$ ${\displaystyle \textstyle H}$${\displaystyle \textstyle E}$${\displaystyle \textstyle H}$${\displaystyle \textstyle E}$${\displaystyle \textstyle H}$
• ${\displaystyle \textstyle P(E)}$иногда называют предельным правдоподобием или «модельным свидетельством». Этот фактор является одним и тем же для всех возможных рассматриваемых гипотез (это видно из того факта, что гипотеза нигде в символе не встречается, в отличие от всех других факторов), поэтому этот фактор не входит в определение относительных вероятностей различных гипотезы.${\displaystyle \textstyle H}$

Для разных значений только факторы и , оба в числителе, влияют на значение - апостериорная вероятность гипотезы пропорциональна ее априорной вероятности (присущей ей вероятности) и вновь полученной вероятности (ее совместимости с новыми наблюдаемыми свидетельствами). ).${\displaystyle \textstyle H}$${\displaystyle \textstyle P(H)}$${\displaystyle \textstyle P(E\mid H)}$${\displaystyle \textstyle P(H\mid E)}$

Правило Байеса также можно записать так:

${\displaystyle {\begin{aligned}P(H\mid E)&={\frac {P(E\mid H)P(H)}{P(E)}}\\\\&={\frac {P(E\mid H)P(H)}{P(E\mid H)P(H)+P(E\mid \neg H)P(\neg H)}}\\\\&={\frac {1}{1+\left({\frac {1}{P(H)}}-1\right){\frac {P(E\mid \neg H)}{P(E\mid H)}}}}\\\end{aligned}}}$

потому что

${\displaystyle P(E)=P(E\mid H)P(H)+P(E\mid \neg H)P(\neg H)}$

и

${\displaystyle P(H)+P(\neg H)=1}$

где «не », то логическое отрицание из .${\displaystyle \neg H}$${\displaystyle \textstyle H}$${\displaystyle \textstyle H}$

Один из быстрых и простых способов запомнить уравнение - использовать правило умножения:

${\displaystyle P(E\cap H)=P(E\mid H)P(H)=P(H\mid E)P(E)}$

Альтернативы байесовскому обновлению [ править ]

Байесовское обновление широко используется и удобно в вычислительном отношении. Однако это не единственное правило обновления, которое можно считать рациональным.

Ян Хакинг отметил, что традиционные аргументы « голландской книги » не определяют байесовское обновление: они оставляют открытой возможность того, что небайесовские правила обновления могут избежать голландских книг. Хакинг писал ^{[1] [2]:} «И ни аргумент в голландской книге, ни какой-либо другой аргумент в персоналистском арсенале доказательств аксиом вероятности не влечет за собой динамическое допущение. Ни одно из них не влечет за собой байесианство. Поэтому персоналист требует, чтобы динамическое допущение было байесовским. верно, что в случае последовательности персоналист может отказаться от байесовской модели обучения на собственном опыте. Соль может потерять свой вкус ».

Действительно, существуют небайесовские правила обновления, которые также избегают голландских книг (как обсуждается в литературе по « вероятностной кинематике ») после публикации правила Ричарда Джеффри , которое применяет правило Байеса к случаю, когда само свидетельство присваивается вероятность. ^[3] Дополнительные гипотезы, необходимые для однозначного требования байесовского обновления, были сочтены существенными, сложными и неудовлетворительными. ^[4]

Формальное описание байесовского вывода [ править ]

Определения [ править ]

• ${\displaystyle x}$, точка данных в целом. Фактически это может быть вектор значений.
• ${\displaystyle \theta }$, параметр распределения точки данных, т . е .. Фактически это может быть вектор параметров.${\displaystyle x\sim p(x\mid \theta )}$
• ${\displaystyle \alpha }$, То гиперпараметр распределения параметра, то есть . Фактически это может быть вектор гиперпараметров.${\displaystyle \theta \sim p(\theta \mid \alpha )}$
• ${\displaystyle \mathbf {X} }$является образцом, набор наблюдаемых точек данных, то есть .${\displaystyle n}$${\displaystyle x_{1},\ldots ,x_{n}}$
• ${\displaystyle {\tilde {x}}}$, новая точка данных, распределение которой необходимо спрогнозировать.

Байесовский вывод [ править ]

• Априорное распределение является распределением параметра (ов) , прежде чем наблюдаются какие - либо данные, то есть . Предыдущее распределение может быть нелегко определить; в таком случае одна из возможностей может заключаться в использовании Джеффри до получения предыдущего распределения перед обновлением его новыми наблюдениями.${\displaystyle p(\theta \mid \alpha )}$
• Распределение выборки является распределение наблюдаемой Conditional данных по своим параметрам, то есть . Это также называется вероятностью , особенно если рассматривать как функцию параметра (ов), иногда записываемого .${\displaystyle p(\mathbf {X} \mid \theta )}$${\displaystyle \operatorname {L} (\theta \mid \mathbf {X} )=p(\mathbf {X} \mid \theta )}$
• Предельная вероятность (иногда также называют доказательства ) является распределение наблюдаемых данных маргинальным по параметру (с), то есть .${\displaystyle p(\mathbf {X} \mid \alpha )=\int p(\mathbf {X} \mid \theta )p(\theta \mid \alpha )\operatorname {d} \!\theta }$
• Заднее распределением является распределением параметра (ов) после того, принимая во внимание наблюдаемые данные. Это определяется правилом Байеса , которое составляет основу байесовского вывода:

${\displaystyle p(\theta \mid \mathbf {X} ,\alpha )={\frac {p(\theta ,\mathbf {X} ,\alpha )}{p(\mathbf {X} ,\alpha )}}={\frac {p(\mathbf {X} \mid \theta ,\alpha )p(\theta ,\alpha )}{p(\mathbf {X} \mid \alpha )p(\alpha )}}={\frac {p(\mathbf {X} \mid \theta ,\alpha )p(\theta \mid \alpha )}{p(\mathbf {X} \mid \alpha )}}\propto p(\mathbf {X} \mid \theta ,\alpha )p(\theta \mid \alpha )}$

Это выражается словами: «апостериорная пропорциональна времени предшествующей вероятности» или иногда как «апостериорная величина = время предшествующей вероятности по сравнению с доказательством».

Байесовское предсказание [ править ]

• Заднее предсказание распределения является распределением новой точки данных, маргинальной над задним:

${\displaystyle p({\tilde {x}}\mid \mathbf {X} ,\alpha )=\int p({\tilde {x}}\mid \theta )p(\theta \mid \mathbf {X} ,\alpha )\operatorname {d} \!\theta }$

• До интеллектуального распределения является распределение новой точки данных, маргинальным по сравнению с предыдущим:

${\displaystyle p({\tilde {x}}\mid \alpha )=\int p({\tilde {x}}\mid \theta )p(\theta \mid \alpha )\operatorname {d} \!\theta }$

Байесовская теория призывает использовать апостериорное прогнозирующее распределение для выполнения прогнозных выводов , т. Е. Для прогнозирования распределения новой, ненаблюдаемой точки данных. То есть вместо фиксированной точки в качестве прогноза возвращается распределение по возможным точкам. Только так используется все апостериорное распределение параметра (ов). Для сравнения, прогнозирование в частотной статистике часто включает в себя поиск оптимальной точечной оценки параметра (ов), например, путем максимального правдоподобия или максимальной апостериорной оценки.(MAP) - а затем вставка этой оценки в формулу распределения точки данных. Недостатком этого метода является то, что он не учитывает неопределенность в значении параметра и, следовательно, недооценивает дисперсию прогнозируемого распределения.

(В некоторых случаях частотная статистика может обойти эту проблему. Например, доверительные интервалы и интервалы прогноза в частотной статистике, построенные на основе нормального распределения с неизвестным средним значением и дисперсией , строятся с использованием t-распределения Стьюдента.. Это правильно оценивает дисперсию благодаря тому факту, что (1) среднее значение нормально распределенных случайных величин также нормально распределено; (2) прогнозируемое распределение нормально распределенной точки данных с неизвестным средним значением и дисперсией, с использованием сопряженных или неинформативных априорных значений, имеет t-распределение Стьюдента. Однако в байесовской статистике апостериорное прогнозирующее распределение всегда можно определить точно - или, по крайней мере, с произвольным уровнем точности, когда используются численные методы.)

Оба типа прогнозных распределений имеют форму сложного распределения вероятностей (как и предельное правдоподобие ). Фактически, если априорное распределение является сопряженным априорным и, следовательно, априорное и апостериорное распределения происходят из одного семейства, легко заметить, что как априорные, так и апостериорные предсказательные распределения также происходят из одного и того же семейства составных распределений. Единственное отличие состоит в том, что апостериорное прогнозирующее распределение использует обновленные значения гиперпараметров (применяя правила байесовского обновления, приведенные в сопряженной предыдущей статье), тогда как предыдущее прогнозирующее распределение использует значения гиперпараметров, которые появляются в предыдущем распределении.

Заключение об исключительных и исчерпывающих возможностях [ править ]

Если свидетельства одновременно используются для обновления веры по набору исключительных и исчерпывающих утверждений, байесовский вывод можно рассматривать как действующий на это распределение убеждений в целом.

Общая формулировка [ править ]

Диаграмма, иллюстрирующая пространство событий в общей формулировке байесовского вывода. Хотя на этой диаграмме показаны дискретные модели и события, непрерывный случай можно визуализировать аналогичным образом, используя плотности вероятности.${\displaystyle \Omega }$

Предположим, что процесс генерирует независимые и одинаково распределенные события , но распределение вероятностей неизвестно. Пусть пространство событий представляет текущее состояние веры в этот процесс. Каждая модель представлена ​​событием . Условные вероятности указаны для определения моделей. степень веры в . Перед первым шагом вывода находится набор начальных априорных вероятностей . Сумма должна быть равна 1, но в остальном они произвольны.${\displaystyle E_{n},\,\,n=1,2,3,\ldots }$${\displaystyle \Omega }$${\displaystyle M_{m}}$${\displaystyle P(E_{n}\mid M_{m})}$${\displaystyle P(M_{m})}$${\displaystyle M_{m}}$${\displaystyle \{P(M_{m})\}}$

Предположим, что наблюдается процесс генерации . Для каждого предшествующее обновляется до апостериорного . Из теоремы Байеса : ^[5]${\displaystyle \textstyle E\in \{E_{n}\}}$${\displaystyle M\in \{M_{m}\}}$${\displaystyle P(M)}$${\displaystyle P(M\mid E)}$

${\displaystyle P(M\mid E)={\frac {P(E\mid M)}{\sum _{m}{P(E\mid M_{m})P(M_{m})}}}\cdot P(M)}$

После получения дополнительных доказательств эту процедуру можно повторить.

Множественные наблюдения [ править ]

Для последовательности независимых и одинаково распределенных наблюдений с помощью индукции можно показать, что повторное применение вышеизложенного эквивалентно${\displaystyle \mathbf {E} =(e_{1},\dots ,e_{n})}$

${\displaystyle P(M\mid \mathbf {E} )={\frac {P(\mathbf {E} \mid M)}{\sum _{m}{P(\mathbf {E} \mid M_{m})P(M_{m})}}}\cdot P(M)}$

Где

${\displaystyle P(\mathbf {E} \mid M)=\prod _{k}{P(e_{k}\mid M)}.}$

Параметрическая формулировка [ править ]

Параметризуя пространство моделей, можно обновить веру во все модели за один шаг. Распределение убеждений по пространству модели затем можно рассматривать как распределение убеждений по пространству параметров. Распределения в этом разделе выражены как непрерывные, представленные плотностями вероятностей, поскольку это обычная ситуация. Однако этот метод в равной степени применим к дискретным распределениям.

Пусть вектор охватывает пространство параметров. Пусть начальное априорное распределение будет , где - набор параметров самого априорного распределения , или гиперпараметры . Пусть будет последовательность независимых и одинаково распределенных наблюдений за событиями, где все распределены как некоторые . Теорема Байеса применяется для нахождения апостериорного распределения по :${\displaystyle \mathbf {\theta } }$${\displaystyle \mathbf {\theta } }$${\displaystyle p(\mathbf {\theta } \mid \mathbf {\alpha } )}$${\displaystyle \mathbf {\alpha } }$${\displaystyle \mathbf {E} =(e_{1},\dots ,e_{n})}$${\displaystyle e_{i}}$${\displaystyle p(e\mid \mathbf {\theta } )}$${\displaystyle \mathbf {\theta } }$${\displaystyle \mathbf {\theta } }$

${\displaystyle {\begin{aligned}p(\mathbf {\theta } \mid \mathbf {E} ,\mathbf {\alpha } )&={\frac {p(\mathbf {E} \mid \mathbf {\theta } ,\mathbf {\alpha } )}{p(\mathbf {E} \mid \mathbf {\alpha } )}}\cdot p(\mathbf {\theta } \mid \mathbf {\alpha } )\\&={\frac {p(\mathbf {E} \mid \mathbf {\theta } ,\mathbf {\alpha } )}{\int p(\mathbf {E} |\mathbf {\theta } ,\mathbf {\alpha } )p(\mathbf {\theta } \mid \mathbf {\alpha } )\,d\mathbf {\theta } }}\cdot p(\mathbf {\theta } \mid \mathbf {\alpha } )\end{aligned}}}$

Где

${\displaystyle p(\mathbf {E} \mid \mathbf {\theta } ,\mathbf {\alpha } )=\prod _{k}p(e_{k}\mid \mathbf {\theta } )}$

Математические свойства [ править ]

Этот раздел включает в себя список общих ссылок , но он остается в значительной степени непроверенным, поскольку в нем отсутствует достаточное количество соответствующих встроенных ссылок . Пожалуйста, помогите улучшить этот раздел, добавив более точные цитаты. ( Февраль 2012 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Интерпретация фактора [ править ]

${\displaystyle \textstyle {\frac {P(E\mid M)}{P(E)}}>1\Rightarrow \textstyle P(E\mid M)>P(E)}$. То есть, если бы модель была верной, свидетельства были бы более вероятными, чем предсказывается текущим состоянием убеждений. Обратное верно для уменьшения веры. Если вера не меняется, . То есть доказательства не зависят от модели. Если бы модель была верной, доказательства были бы столь же вероятными, как и предсказывается текущим состоянием убеждений.${\displaystyle \textstyle {\frac {P(E\mid M)}{P(E)}}=1\Rightarrow \textstyle P(E\mid M)=P(E)}$

Правило Кромвеля [ править ]

Если тогда . Если , то . Это можно истолковать как то, что суровые приговоры нечувствительны к контрдоказательствам.${\displaystyle P(M)=0}$${\displaystyle P(M\mid E)=0}$${\displaystyle P(M)=1}$${\displaystyle P(M|E)=1}$

Первое следует непосредственно из теоремы Байеса. Последнее можно вывести, применив первое правило к событию «не » вместо « », получив «если , то », из которого немедленно следует результат.${\displaystyle M}$${\displaystyle M}$${\displaystyle 1-P(M)=0}$${\displaystyle 1-P(M\mid E)=0}$

Асимптотическое поведение апостериорного [ править ]

Рассмотрим поведение распределения убеждений, поскольку оно обновляется большое количество раз независимыми и одинаково распределенными испытаниями. Для достаточно хороших априорных вероятностей теорема Бернштейна-фон Мизеса дает, что в пределе бесконечных испытаний апостериорная сходится к гауссовскому распределению, не зависящему от первоначальной априорной вероятности при некоторых условиях, впервые изложенных и строго доказанных Джозефом Л. Дубом в 1948 году, а именно: если рассматриваемая случайная величина имеет конечное вероятностное пространство . Более общие результаты были получены позже статистиком Дэвидом А. Фридманом , опубликовавшим две основополагающие исследовательские работы в 1963 г. ^[6] и 1965 г.^[7], когда и при каких обстоятельствах асимптотика апостериорного поведения гарантируется. Его статья 1963 года, как и Дуб (1949), рассматривает конечный случай и приходит к удовлетворительному заключению. Однако, если случайная величина имеет бесконечное, но счетное вероятностное пространство (т.е. соответствует игральной кости с бесконечным множеством граней), статья 1965 года демонстрирует, что для плотного подмножества априорных значений теорема Бернштейна-фон Мизеса неприменима. В этом случае почти наверняка нет асимптотической сходимости. Позднее, в 1980-х и 1990-х годах, Фридман и Перси Диаконис продолжили работу над случаем бесконечных счетных вероятностных пространств. ^[8] Подводя итог, может быть недостаточно испытаний, чтобы подавить эффекты первоначального выбора, и особенно для больших (но конечных) систем сходимость может быть очень медленной.

Сопряженные априорные числа [ править ]

В параметризованной форме априорное распределение часто считается происходящим из семейства распределений, называемых сопряженными априорными . Полезность сопряженного априорного распределения состоит в том, что соответствующее апостериорное распределение будет в том же семействе, и вычисление может быть выражено в закрытой форме .

Оценки параметров и прогнозы [ править ]

Часто желательно использовать апостериорное распределение для оценки параметра или переменной. Некоторые методы байесовской оценки выбирают измерения центральной тенденции из апостериорного распределения.

Для одномерных задач существует единственная медиана для практических непрерывных задач. Апостериорная медиана привлекательна как надежная оценка . ^[9]

Если существует конечное среднее для апостериорного распределения, то апостериорное среднее является методом оценки. ^[10]

${\displaystyle {\tilde {\theta }}=\operatorname {E} [\theta ]=\int \theta \,p(\theta \mid \mathbf {X} ,\alpha )\,d\theta }$

Выбор значения с наибольшей вероятностью определяет максимальные апостериорные оценки (MAP) : ^[11]

${\displaystyle \{\theta _{\text{MAP}}\}\subset \arg \max _{\theta }p(\theta \mid \mathbf {X} ,\alpha ).}$

Есть примеры, когда максимум не достигается, и в этом случае набор оценок MAP пуст .

Существуют и другие методы оценки, которые минимизируют апостериорный риск (ожидаемые-апостериорные потери) по отношению к функции потерь , и они представляют интерес для теории статистических решений с использованием выборочного распределения («частотная статистика»). ^[12]

Заднее предсказание распределения нового наблюдения (т.е. не зависит от предыдущих наблюдений) определяются ^[13]${\displaystyle {\tilde {x}}}$

${\displaystyle p({\tilde {x}}|\mathbf {X} ,\alpha )=\int p({\tilde {x}},\theta \mid \mathbf {X} ,\alpha )\,d\theta =\int p({\tilde {x}}\mid \theta )p(\theta \mid \mathbf {X} ,\alpha )\,d\theta .}$

Примеры [ править ]

Вероятность гипотезы [ править ]

Предположим, есть две полные тарелки печенья. В чаше № 1 есть 10 шоколадных крошек и 30 простых печений, а в чаше № 2 - по 20 штук каждого вида. Наш друг Фред выбирает наугад миску, а затем наугад выбирает печенье. Мы можем предположить, что нет никаких оснований полагать, что Фред относится к одной миске иначе, чем к другой, как и к печеньям. Печенье оказывается обычным. Насколько вероятно, что Фред взял его из чаши №1?

Интуитивно кажется очевидным, что ответ должен быть больше половины, поскольку в миске №1 больше простого печенья. Точный ответ дает теорема Байеса. Пусть соответствует чаше №1 и чаше №2. Предполагается, что чаши идентичны с точки зрения Фреда, таким образом , их сумма должна составлять 1, так что обе равны 0,5. Событие - это наблюдение за обычным файлом cookie. Из содержимого чаш мы знаем это, и тогда формула Байеса дает${\displaystyle H_{1}}$${\displaystyle H_{2}}$${\displaystyle P(H_{1})=P(H_{2})}$${\displaystyle E}$${\displaystyle P(E\mid H_{1})=30/40=0.75}$${\displaystyle P(E\mid H_{2})=20/40=0.5.}$

${\displaystyle {\begin{aligned}P(H_{1}\mid E)&={\frac {P(E\mid H_{1})\,P(H_{1})}{P(E\mid H_{1})\,P(H_{1})\;+\;P(E\mid H_{2})\,P(H_{2})}}\\\\\ &={\frac {0.75\times 0.5}{0.75\times 0.5+0.5\times 0.5}}\\\\\ &=0.6\end{aligned}}}$

До того, как мы наблюдали за печеньем, вероятность, которую мы присвоили Фреду, выбравшему чашу № 1, была априорной вероятностью , которая составляла 0,5. После наблюдения за файлом cookie мы должны пересмотреть вероятность до 0,6.${\displaystyle P(H_{1})}$${\displaystyle P(H_{1}\mid E)}$

Делаем прогноз [ править ]

Археолог работает на месте, которое, как считается, относится к периоду средневековья, с 11 по 16 век. Однако точно неизвестно, когда именно в этот период это место было заселено. Найдены фрагменты глиняной посуды, некоторые из них глазированные, а некоторые украшенные. Ожидается, что если бы этот участок был заселен в период раннего средневековья, то 1% керамики был бы покрыт глазурью и 50% его площади украшали бы, тогда как если бы он был заселен в период позднего средневековья, то 81% был бы застеклен и 5% его площади оформлено. Насколько точно археолог может быть уверен в дате заселения при обнаружении фрагментов?

Степень веры в непрерывную переменную (век) должна быть рассчитана с использованием дискретного набора событий в качестве свидетельства. Предполагая линейное изменение глазури и декора во времени и что эти переменные независимы,${\displaystyle C}$${\displaystyle \{GD,G{\bar {D}},{\bar {G}}D,{\bar {G}}{\bar {D}}\}}$

${\displaystyle P(E=GD\mid C=c)=(0.01+{\frac {0.81-0.01}{16-11}}(c-11))(0.5-{\frac {0.5-0.05}{16-11}}(c-11))}$

${\displaystyle P(E=G{\bar {D}}\mid C=c)=(0.01+{\frac {0.81-0.01}{16-11}}(c-11))(0.5+{\frac {0.5-0.05}{16-11}}(c-11))}$

${\displaystyle P(E={\bar {G}}D\mid C=c)=((1-0.01)-{\frac {0.81-0.01}{16-11}}(c-11))(0.5-{\frac {0.5-0.05}{16-11}}(c-11))}$

${\displaystyle P(E={\bar {G}}{\bar {D}}\mid C=c)=((1-0.01)-{\frac {0.81-0.01}{16-11}}(c-11))(0.5+{\frac {0.5-0.05}{16-11}}(c-11))}$

Предположим, что предварительная оценка одинакова , испытания независимы и распределены одинаково . Когда обнаруживается новый фрагмент типа , применяется теорема Байеса, чтобы обновить степень уверенности для каждого :${\displaystyle \textstyle f_{C}(c)=0.2}$${\displaystyle e}$${\displaystyle c}$

${\displaystyle f_{C}(c\mid E=e)={\frac {P(E=e\mid C=c)}{P(E=e)}}f_{C}(c)={\frac {P(E=e\mid C=c)}{\int _{11}^{16}{P(E=e\mid C=c)f_{C}(c)dc}}}f_{C}(c)}$

На графике показано компьютерное моделирование изменяющейся веры при обнаружении 50 фрагментов. При моделировании, сайт был заселен около 1420, или . Подсчитав площадь под соответствующей частью графика для 50 испытаний, археолог может сказать, что практически нет шансов, что это место было заселено в XI и XII веках, примерно 1% вероятности, что оно было заселено в XIII веке 63. % шанс в 14 веке и 36% в 15 веке. Теорема Бернштейна-фон Мизеса утверждает здесь асимптотическую сходимость к «истинному» распределению, поскольку вероятностное пространство, соответствующее дискретному набору событий , конечно (см. Выше раздел об асимптотическом поведении апостериорного распределения).${\displaystyle c=15.2}$${\displaystyle \{GD,G{\bar {D}},{\bar {G}}D,{\bar {G}}{\bar {D}}\}}$

В частотной статистике и теории принятия решений [ править ]

Решение теоретико- обоснование использования умозаключений байесовских было дано Авраам Wald , который доказал , что каждая уникальная байесовская процедура допустима . И наоборот, каждая допустимая статистическая процедура является либо байесовской процедурой, либо пределом байесовских процедур. ^[14]

Вальд охарактеризовал допустимые процедуры как байесовские процедуры (и пределы байесовских процедур), сделав байесовский формализм центральным методом в таких областях частотного вывода, как оценка параметров , проверка гипотез и вычисление доверительных интервалов . ^{[15] [16] [17]} Например:

• «При некоторых условиях все допустимые процедуры являются либо байесовскими процедурами, либо ограничениями байесовских процедур (в различных смыслах). Эти замечательные результаты, по крайней мере в их первоначальной форме, в основном принадлежат Уолду. Они полезны, потому что свойство быть байесовским легче анализировать, чем допустимость ». ^[14]
• «В теории принятия решений довольно общий метод доказательства допустимости состоит в демонстрации процедуры как уникального байесовского решения». ^[18]
• «В первых главах этой работы априорные распределения с конечным носителем и соответствующие байесовские процедуры использовались для установления некоторых основных теорем, относящихся к сравнению экспериментов. Байесовские процедуры в отношении более общих априорных распределений сыграли очень важную роль в развитии статистики, в том числе ее асимптотической теории ». «Есть много проблем, когда взгляд на апостериорные распределения для подходящих априорных значений сразу дает интересную информацию. Кроме того, вряд ли можно избежать этого метода в последовательном анализе». ^[19]

• «Полезным фактом является то, что любое решающее правило Байеса, полученное путем принятия надлежащего априорного значения по всему пространству параметров, должно быть допустимым» ^[20]
• «Важной областью исследования в развитии идей допустимости было исследование традиционных процедур теории выборки, и было получено много интересных результатов». ^[21]

Выбор модели [ править ]

Байесовская методология также играет роль в выборе модели, где цель состоит в том, чтобы выбрать одну модель из набора конкурирующих моделей, которая наиболее точно представляет основной процесс, который генерировал наблюдаемые данные. При сравнении байесовских моделей выбирается модель с наивысшей апостериорной вероятностью для данных. Апостериорная вероятность модели зависит от свидетельства или предельного правдоподобия , которое отражает вероятность того, что данные генерируются моделью, и от априорной веры модели. Когда две конкурирующие модели априори считаются равновероятными, отношение их апостериорных вероятностей соответствует байесовскому фактору. Поскольку сравнение байесовских моделей направлено на выбор модели с наивысшей апостериорной вероятностью, эту методологию также называют правилом максимального апостериорного выбора (MAP) ^[22] или правилом вероятности MAP. ^[23]

Вероятностное программирование [ править ]

Хотя байесовские методы концептуально просты, они могут быть сложными математически и численно. Вероятностные языки программирования (PPL) реализуют функции для простого построения байесовских моделей вместе с эффективными методами автоматического вывода. Это помогает отделить построение модели от логических выводов, позволяя практикам сосредоточиться на своих конкретных проблемах и оставляя PPL выполнять вычислительные детали за них. ^{[24] [25] [26]}

Приложения [ править ]

Компьютерные приложения [ править ]

Байесовский вывод находит применение в искусственном интеллекте и экспертных системах . Байесовские методы вывода были фундаментальной частью компьютерных методов распознавания образов с конца 1950-х годов. Существует также постоянно растущая связь между байесовскими методами и методами Монте-Карло, основанными на моделировании, поскольку сложные модели не могут быть обработаны в закрытой форме с помощью байесовского анализа, в то время как структура графической модели может обеспечивать эффективные алгоритмы моделирования, такие как выборка Гиббса и другие метрополии. –Схемы алгоритмов Гастингса . ^[27] Недавно ^{[ когда? ]}По этим причинам байесовский вывод приобрел популярность среди филогенетического сообщества; ряд приложений позволяет одновременно оценивать многие демографические и эволюционные параметры.

Применительно к статистической классификации байесовский вывод был использован для разработки алгоритмов идентификации спама в электронной почте . Приложения, которые используют байесовский вывод для фильтрации спама, включают CRM114 , DSPAM , Bogofilter , SpamAssassin , SpamBayes , Mozilla , XEAMS и другие. Более подробно классификация спама рассматривается в статье о наивном байесовском классификаторе .

Индуктивный вывод Соломонова - это теория предсказания, основанная на наблюдениях; например, предсказание следующего символа на основе заданной серии символов. Единственное предположение состоит в том, что окружающая среда следует некоторому неизвестному, но вычислимому распределению вероятностей. Это формальная индуктивная структура, которая объединяет два хорошо изученных принципа индуктивного вывода: байесовскую статистику и бритву Оккама . ^{[28] [ ненадежный источник? ]} Универсальная априорная вероятность Соломонова любого префикса p вычислимой последовательности x - это сумма вероятностей всех программ (для универсального компьютера), которые вычисляют что-то, начинающееся с p . Учитывая некоторые pи для любого вычислимого, но неизвестного распределения вероятностей, из которого выбирается x , можно использовать универсальную априорную теорему и теорему Байеса для прогнозирования еще невидимых частей x оптимальным образом. ^{[29] [30]}

Приложения для биоинформатики и здравоохранения [ править ]

Байесовский вывод применялся в различных приложениях биоинформатики, включая анализ дифференциальной экспрессии генов. ^[31] Байесовский вывод также используется в общей модели риска рака, называемой CIRI (Continuous Individualized Risk Index), где серийные измерения включены для обновления байесовской модели, которая в основном построена на основе предшествующих знаний. ^{[32] [33]}

В зале суда [ править ]

Байесовский вывод может использоваться присяжными для последовательного накопления доказательств за и против обвиняемого, а также для проверки того, соответствует ли оно в целом их личному порогу « вне разумного сомнения ». ^{[34] [35] [36]} Теорема Байеса последовательно применяется ко всем представленным свидетельствам, причем апостериорное от одного этапа становится предшествующим для следующего. Преимущество байесовского подхода в том, что он дает присяжным беспристрастный и рациональный механизм для объединения доказательств. Возможно, будет уместно объяснить присяжным теорему Байеса в форме шансов , поскольку шансы ставок более понятны, чем вероятности. В качестве альтернативы логарифмический подход, замена умножения сложением может быть проще для жюри.

Если существование преступления не вызывает сомнений, а только личность виновного, было предложено, чтобы предшествующее лицо было одинаковым для квалифицированного населения. ^[37] Например, если бы преступление могло совершить 1000 человек, априорная вероятность вины была бы 1/1000.

Использование присяжными заседателей теоремы Байеса вызывает споры. В Соединенном Королевстве свидетель-эксперт защиты объяснил теорему Байеса присяжным по делу R v Adams . Присяжные признали виновным, но дело было обжаловано на том основании, что для присяжных, которые не желали использовать теорему Байеса, не было предоставлено никаких средств для сбора доказательств. Апелляционный суд оставил приговор в силе, но также высказал мнение, что «введение теоремы Байеса или любого подобного метода в уголовный процесс погружает присяжных в неуместные и ненужные области теории и сложности, отвлекая их от их надлежащей задачи. . "

Гарднер-Медвин ^[38] утверждает, что критерием, на котором должен быть основан приговор в уголовном суде, является не вероятность виновности, а скорее вероятность доказательства, учитывая, что обвиняемый невиновен (сродни частотному p-значению ). Он утверждает, что если апостериорная вероятность вины должна быть вычислена по теореме Байеса, должна быть известна априорная вероятность вины. Это будет зависеть от частоты совершения преступления, что является необычным доказательством для рассмотрения в уголовном суде. Рассмотрим следующие три предложения:

A Известные факты и свидетельские показания могли возникнуть, если подсудимый виновен.

B Известные факты и свидетельские показания могли возникнуть, если подсудимый невиновен

C Подсудимый виновен.

Гарднер-Медвин утверждает, что присяжные должны верить как А, так и не В, чтобы признать виновным. A и не-B подразумевают истинность C, но обратное неверно. Возможно, что B и C верны, но в этом случае он утверждает, что присяжные должны оправдать, даже если они знают, что они отпустят некоторых виновных людей. См. Также парадокс Линдли .

Байесовская эпистемология [ править ]

Байесовская эпистемология - это движение, которое защищает байесовский вывод как средство оправдания правил индуктивной логики.

Карл Поппер и Дэвид Миллер отвергли идею байесовского рационализма, т. Е. Использования правила Байеса для эпистемологических выводов: ^[39] Он подвержен тому же порочному кругу, что и любая другая эпистемология оправдания , поскольку предполагает то, что пытается оправдать. Согласно этой точке зрения, рациональная интерпретация байесовского вывода будет рассматривать его просто как вероятностную версию фальсификации , отвергая широко распространенное среди байесовцев убеждение, что высокая вероятность, достигнутая серией байесовских обновлений, доказала бы эту гипотезу вне всяких разумных сомнений. или даже с вероятностью больше 0.

Другое [ править ]

• Научный метод иногда трактуются как применение логического вывода байесовского. С этой точки зрения правило Байеса направляет (или должно направлять) обновление вероятностей гипотез, обусловленных новыми наблюдениями или экспериментами . ^[40] Байесовский вывод также применялся для решения задач стохастического планирования с неполной информацией Cai et al. (2009). ^[41]
• Байесовская теория поиска используется для поиска потерянных объектов.
• Байесовский вывод в филогении
• Байесовский инструмент для анализа метилирования
• Байесовские подходы к функции мозга исследуют мозг как байесовский механизм.
• Байесовский вывод в экологических исследованиях ^{[42] [43]}
• Байесовский вывод используется для оценки параметров в стохастических химико-кинетических моделях ^[44]
• Байесовский вывод в эконофизике для прогнозирования валютного или фондового рынка ^{[45] [46]}

Байесовский и байесовский вывод [ править ]

Проблема, рассмотренная Байесом в предложении 9 его эссе « Очерк решения проблемы в доктрине вероятностей », представляет собой апостериорное распределение для параметра a (процент успешных попыток) биномиального распределения . ^{[ необходима цитата ]}

История [ править ]

Термин байесовский относится к Томасу Байесу (1702–1761), который доказал, что вероятностные пределы могут быть наложены на неизвестное событие. Однако именно Пьер-Симон Лаплас (1749–1827) представил (как Принцип VI) то, что сейчас называется теоремой Байеса, и использовал ее для решения проблем небесной механики , медицинской статистики, надежности и юриспруденции . ^[47] Ранний байесовский вывод, в котором использовались единообразные априорные значения в соответствии с принципом недостаточной причины Лапласа , был назван « обратной вероятностью » (поскольку он предполагаетназад от наблюдений к параметрам или от следствий к причинам ^[48] ). После 1920-х годов «обратная вероятность» была в значительной степени вытеснена набором методов, которые стали называть частотной статистикой . ^[48]

В 20-м веке идеи Лапласа получили дальнейшее развитие в двух разных направлениях, что породило объективные и субъективные течения в байесовской практике. В объективном или «неинформативном» потоке статистический анализ зависит только от предполагаемой модели, проанализированных данных ^[49] и метода, присваивающего априорное значение, которое отличается от одного объективного практикующего байесовского метода к другому. В субъективном или «информативном» потоке спецификация априорного зависит от убеждения (то есть предположений, на основании которых готов действовать анализ), которое может обобщать информацию, полученную от экспертов, предыдущих исследований и т. Д.

В 1980-х годах наблюдался резкий рост исследований и приложений байесовских методов, в основном связанный с открытием методов Монте-Карло с цепями Маркова , которые устранили многие вычислительные проблемы и растущий интерес к нестандартным, сложным приложениям. ^[50] Несмотря на рост байесовских исследований, обучение в большинстве программ бакалавриата по-прежнему основывается на частотной статистике. ^[51] Тем не менее, байесовские методы широко приняты и используются, например, в области машинного обучения . ^[52]

См. Также [ править ]

• Теорема Байеса
• Байесовский анализ , журнал ISBA
• Байесовское иерархическое моделирование
• Байесовская вероятность
• Байесовская регрессия
• Байесовский структурный временной ряд (BSTS)
• Индуктивная вероятность
• Международное общество байесовского анализа (ISBA)
• Джеффрис приор
• Проблема Монти Холла
• Теория информационного поля

Ссылки [ править ]

Цитаты [ править ]

Источники [ править ]

Дальнейшее чтение [ править ]

• Полный отчет об истории байесовской статистики и дебатах с частотными подходами см. В Vallverdu, Jordi (2016). Байесовцы и частотники. Философские дебаты о статистических рассуждениях . Нью-Йорк: Спрингер. ISBN 978-3-662-48638-2.

Элементарный [ править ]

Следующие книги перечислены в порядке возрастания вероятностной сложности:

• Stone, JV (2013), «Правило Байеса: Учебное введение в байесовский анализ», загрузите первую главу здесь , Sebtel Press, Англия.
• Деннис В. Линдли (2013). Понимание неопределенности, переработанное издание (2-е изд.). Джон Вили. ISBN 978-1-118-65012-7.
• Колин Хоусон и Питер Урбах (2005). Научное обоснование: байесовский подход (3-е изд.). Издательская компания «Открытый суд» . ISBN 978-0-8126-9578-6.
• Берри, Дональд А. (1996). Статистика: байесовская перспектива . Даксбери. ISBN 978-0-534-23476-8.
• Моррис Х. ДеГрут и Марк Дж. Шервиш (2002). Вероятность и статистика (третье изд.). Эддисон-Уэсли. ISBN 978-0-201-52488-8.
• Болстад, Уильям М. (2007) Введение в байесовскую статистику : второе издание, John Wiley ISBN 0-471-27020-2 
• Винклер, Роберт L (2003). Введение в байесовский вывод и решение (2-е изд.). Вероятностный. ISBN 978-0-9647938-4-2.Обновленный классический учебник. Ясно изложена байесовская теория.
• Ли, Питер М. Байесовская статистика: Введение . Четвертое издание (2012 г.), ISBN Джона Вили 978-1-1183-3257-3 
• Карлин, Брэдли П. и Луи, Томас А. (2008). Байесовские методы анализа данных, третье издание . Бока-Ратон, Флорида: Чепмен и Холл / CRC. ISBN 978-1-58488-697-6.
• Гельман, Андрей ; Карлин, Джон Б .; Стерн, Хэл С .; Дансон, Дэвид Б .; Вехтари, Аки; Рубин, Дональд Б. (2013). Байесовский анализ данных, третье издание . Чепмен и Холл / CRC. ISBN 978-1-4398-4095-5.

Средний или продвинутый [ править ]

• Бергер, Джеймс О (1985). Статистическая теория принятия решений и байесовский анализ . Серия Спрингера в статистике (второе изд.). Springer-Verlag. Bibcode : 1985sdtb.book ..... B . ISBN 978-0-387-96098-2.
• Бернардо, Хосе М .; Смит, Адриан Ф. М. (1994). Байесовская теория . Вайли.
• ДеГрут, Моррис Х. , Оптимальные статистические решения . Библиотека Wiley Classics. 2004. (Первоначально опубликовано (1970) McGraw-Hill.) ISBN 0-471-68029-X . 
• Шервиш, Марк Дж. (1995). Теория статистики . Springer-Verlag. ISBN 978-0-387-94546-0.
• Джейнс, ET (1998) Теория вероятностей: логика науки .
• О'Хаган, А. и Форстер, Дж. (2003) Расширенная теория статистики Кендалла , том 2B: байесовский вывод . Арнольд, Нью-Йорк. ISBN 0-340-52922-9 . 
• Роберт, Кристиан П. (2001). Байесовский выбор - мотивация теории принятия решений (второе изд.). Springer. ISBN 978-0-387-94296-4.
• Гленн Шафер и Перл, Иудея , ред. (1988) Вероятностное мышление в интеллектуальных системах , Сан-Матео, Калифорния: Морган Кауфманн.
• Пьер Бессьер и др. (2013), « Байесовское программирование », CRC Press. ISBN 9781439880326 
• Франсиско Дж. Саманьего (2010), «Сравнение байесовского и частотного подходов к оценке», Спрингер, Нью-Йорк, ISBN 978-1-4419-5940-9 

Внешние ссылки [ править ]

• "Байесовский подход к статистическим задачам" , Энциклопедия математики , EMS Press , 2001 [1994]
• Байесовская статистика из Scholarpedia.
• Введение в байесовскую вероятность от Лондонского университета королевы Марии
• Математические заметки по байесовской статистике и цепи Маркова Монте-Карло
• Байесовский список чтения , классифицированный и аннотированный Томом Гриффитсом
• А. Хайек и С. Хартманн: байесовская эпистемология , в: J. Dancy et al. (ред.), компаньон по эпистемологии. Оксфорд: Блэквелл 2010, 93-106.
• С. Хартманн и Дж. Шпренгер: байесовская эпистемология , в: С. Бернекер и Д. Притчард (ред.), Routledge Companion to Epistemology. Лондон: Рутледж 2010, 609–620.
• Стэнфордская энциклопедия философии : "Индуктивная логика"
• Теория байесовского подтверждения
• Что такое байесовское обучение?