Апостериорная вероятность

Эта статья включает в себя список общих ссылок , но он остается в значительной степени непроверенным, поскольку в нем отсутствует достаточное количество соответствующих встроенных ссылок . Пожалуйста, помогите улучшить эту статью, добавив более точные цитаты. ( Ноябрь 2009 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Байесовская статистика
Часть серии по

Теория
Допустимое правило принятия решения Байесовская эффективность Байесовская эпистемология Байесовская вероятность Вероятностные интерпретации Теорема Байеса Байесовский фактор Байесовский вывод Байесовская сеть Прежний Задний Вероятность Конъюгировать приор Задний прогностический Гиперпараметр Hyperprior Принцип безразличия Принцип максимальной энтропии Эмпирический метод Байеса Правило Кромвеля Теорема Бернштейна – фон Мизеса Критерий Шварца Достоверный интервал Максимальная апостериорная оценка Радикальный вероятности
Методы
Байесовская линейная регрессия Байесовская оценка Приближенное байесовское вычисление Цепь Маркова Монте-Карло
Математический портал
v т е

В статистике Байесовской , то апостериорная вероятность из случайного события или неопределенного предложения является условной вероятностью того, что назначается ^{[ требуется уточнение ]} после соответствующего доказательства или фон принимается во внимание. «Посторонний» в данном контексте означает принятие во внимание соответствующих доказательств, относящихся к конкретному рассматриваемому делу.

Заднее распределение вероятностей является распределение вероятности неизвестного количества, рассматривается как случайная величина , обусловливающее доказательств , полученных из эксперимента или обследования.

Определение [ править ]

Апостериорная вероятность есть вероятность параметров , приведенных доказательств : . ${\ displaystyle \ theta}$ ${\ displaystyle X}$ ${\ Displaystyle р (\ тета | X)}$

Это контрастирует с функцией правдоподобия , что вероятность показаний параметров: . ${\ Displaystyle р (Х | \ тета)}$

Эти два отношения связаны следующим образом:

Учитывая априорное убеждение, что функция распределения вероятностей есть и что наблюдения имеют правдоподобие , тогда апостериорная вероятность определяется как ${\ Displaystyle р (\ тета)}$ ${\ displaystyle x}$ ${\ Displaystyle р (х | \ тета)}$

{\ Displaystyle p (\ theta | x) = {\ frac {p (x | \ theta)} {p (x)}} p (\ theta)}

^[1]

где - нормирующая постоянная, вычисляемая как ${\ displaystyle p (x)}$

p(x)=\int p(x|\theta )p(\theta )d\theta

для непрерывных или суммированием по всем возможным значениям для дискретных . ^[2] $\theta$ $p(x|\theta )p(\theta )$ $\theta$ $\theta$

Апостериорную вероятность можно записать как

{\text{Posterior probability}}\propto {\text{Likelihood}}\times {\text{Prior probability}}

,

где означает пропорционально. $\propto$

Пример [ править ]

Предположим, что в школе 60% мальчиков и 40% девочек. Девушки носят брюки или юбки в равном количестве; все мальчики носят брюки. Наблюдатель видит (случайного) ученика на расстоянии; все, что может видеть наблюдатель, - это то, что на этом ученице брюки. Какова вероятность того, что этот студент - девушка? Правильный ответ можно вычислить с помощью теоремы Байеса.

Событие состоит в том, что наблюдаемый студент - это девушка, а событие состоит в том, что наблюдаемый студент носит брюки. Чтобы вычислить апостериорную вероятность , нам сначала нужно знать: $G$ $T$ $P(G|T)$

$P(G)$ , или вероятность того, что студент - девушка, независимо от любой другой информации. Поскольку наблюдатель видит случайного ученика, а это означает, что все ученики имеют одинаковую вероятность быть наблюдаемым, а процент девочек среди учеников составляет 40%, эта вероятность равна 0,4.
$P(B)$ , или вероятность того, что ученик не девочка (т. е. мальчик), независимо от любой другой информации ( является дополнительным событием ). Это 60% или 0,6. $B$ $G$
$P(T|G)$ , или вероятность того, что студент будет в брюках, учитывая, что студент - девушка. Поскольку они с такой же вероятностью будут носить юбки, как и брюки, это 0,5.
$P(T|B)$ , или вероятность того, что студент будет в брюках, учитывая, что студент мальчик. Это дается как 1.
$P(T)$ или вероятность того, что (случайно выбранный) студент будет в брюках, независимо от любой другой информации. Поскольку (по закону полной вероятности ) это . $P(T)=P(T|G)P(G)+P(T|B)P(B)$ $P(T)=0.5\times 0.4+1\times 0.6=0.8$

Учитывая всю эту информацию, апостериорная вероятность того, что наблюдатель заметил девушку, учитывая, что наблюдаемый студент носит брюки, может быть вычислена путем замены этих значений в формулу:

P(G|T)={\frac {P(T|G)P(G)}{P(T)}}={\frac {0.5\times 0.4}{0.8}}=0.25.

Интуитивно понятный способ решить эту проблему - предположить, что в школе N учеников. Количество мальчиков = 0,6N и количество девочек = 0,4N. Если N достаточно велико, общее количество пользователей брюк = 0,6N + 50% от 0,4N. А количество девушек, носящих брюки, = 50% от 0,4N. Следовательно, в популяции брюк девушки составляют (50% от 0,4N) / (0,6N + 50% от 0,4N) = 25%. Другими словами, если вы выделили группу носящих брюки, четверть этой группы составят девушки. Таким образом, если вы видите брюки, самое большее, что вы можете сделать, это то, что вы смотрите на единственную выборку из подгруппы студентов, из которых 25% - девушки. И по определению вероятность того, что эта случайная ученица окажется девушкой, составляет 25%. Таким образом можно решить любую проблему теоремы Байеса.

Расчет [ править ]

Заднее распределение вероятностей одного случайных переменный присваиваются значением другого может быть вычислено с теоремой Байеса путем умножения предварительного распределения вероятностей по функции правдоподобия , а затем деления на константе нормализующей , следующим образом :

f_{X\mid Y=y}(x)={f_{X}(x){\mathcal {L}}_{X\mid Y=y}(x) \over {\int _{-\infty }^{\infty }f_{X}(u){\mathcal {L}}_{X\mid Y=y}(u)\,du}}

дает апостериорную функцию плотности вероятности для случайной величины с учетом данных , где $X$ $Y=y$

$f_{X}(x)$ это априорная плотность , $X$
${\mathcal {L}}_{X\mid Y=y}(x)=f_{Y\mid X=x}(y)$ - функция правдоподобия как функция , $x$
$\int _{-\infty }^{\infty }f_{X}(u){\mathcal {L}}_{X\mid Y=y}(u)\,du$ - нормирующая постоянная, а
$f_{X\mid Y=y}(x)$ - апостериорная плотность данных . $X$ $Y=y$

Достоверный интервал [ править ]

Апостериорная вероятность - это условная вероятность, обусловленная случайно наблюдаемыми данными. Следовательно, это случайная величина. Для случайной величины важно суммировать ее неопределенность. Один из способов достижения этой цели - обеспечить достоверный интервал апостериорной вероятности.

Классификация [ править ]

В классификации апостериорные вероятности отражают неопределенность оценки наблюдения для определенного класса, см. Также Вероятности членства в классах . В то время как методы статистической классификации по определению генерируют апостериорные вероятности, машинное обучение обычно предоставляет значения принадлежности, которые не вызывают какой-либо вероятностной уверенности. Желательно преобразовать или повторно масштабировать значения членства в вероятности членства в классе, поскольку они сопоставимы и, кроме того, более легко применимы для последующей обработки.

См. Также [ править ]

Интервал прогноза
Теорема Бернштейна – фон Мизеса
Проблема Монти Холла
Проблема трех заключенных
Парадокс коробки Бертрана
Выбор переменных шипа и плиты
Байесовский структурный временной ряд
Вероятность успеха
Байесовская эпистемология

Ссылки [ править ]

^ Кристофер М. Бишоп (2006). Распознавание образов и машинное обучение . Springer. С. 21–24. ISBN 978-0-387-31073-2.
↑ Эндрю Гельман, Джон Б. Карлин, Хэл С. Стерн, Дэвид Б. Дансон, Аки Вехтари и Дональд Б. Рубин (2014). Байесовский анализ данных . CRC Press. п. 7. ISBN 978-1-4398-4095-5.CS1 maint: multiple names: authors list (link)

Дальнейшее чтение [ править ]

Ланкастер, Тони (2004). Введение в современную байесовскую эконометрику . Оксфорд: Блэквелл. ISBN 1-4051-1720-6.
Ли, Питер М. (2004). Байесовская статистика: введение (3-е изд.). Вайли . ISBN 0-340-81405-5.

[1] Кристофер М. Бишоп (2006). Распознавание образов и машинное обучение . Springer. С. 21–24. ISBN 978-0-387-31073-2.

[BDA-2] Эндрю Гельман, Джон Б. Карлин, Хэл С. Стерн, Дэвид Б. Дансон, Аки Вехтари и Дональд Б. Рубин (2014). Байесовский анализ данных . CRC Press. п. 7. ISBN 978-1-4398-4095-5.CS1 maint: multiple names: authors list (link)