Конъюгировать приор

Часть серии по
Байесовская статистика
Теория
Допустимое правило принятия решения Байесовская эффективность Байесовская вероятность Вероятностные интерпретации Теорема Байеса Фактор Байеса Байесовский вывод Байесовская сеть Прежний Задний Вероятность Конъюгировать приор Задний прогностический Гиперпараметр Hyperprior Принцип безразличия Принцип максимальной энтропии Эмпирический метод Байеса Правило Кромвеля Теорема Бернштейна – фон Мизеса Критерий Шварца Достоверный интервал Максимальная апостериорная оценка Радикальный вероятности
Методы
Байесовская линейная регрессия Байесовская оценка Приближенное байесовское вычисление Цепь Маркова Монте-Карло
Математический портал
v т е

В вероятностной байесовской теории, если задние распределения р ( & thetas ;  |  х ) находятся в одной и ту же семье распределения вероятностей как до распределения вероятности р (q), предшествующий и задние затем называют сопряженные распределения, и до называются конъюгат до для функции правдоподобия p (x | θ ). Например, гауссовское семейство сопряжено самому себе (или самосопряжено) относительно гауссовой функции правдоподобия: если функция правдоподобия является гауссовой, выбор гауссовского априорного значения по сравнению со средним будет гарантировать, что апостериорное распределение также будет гауссовым. Это означает, что гауссово распределение является сопряженным априорным значением вероятности, которое также является гауссовым. Это понятие, а также термин «сопряженный априор » были введены Говардом Райффой и Робертом Шлайфером в их работе по теории байесовских решений . ^[1] Подобная концепция была независимо открыта Джорджем Альфредом Барнардом . ^[2]

Рассмотрим общую проблему вывода (непрерывного) распределения для параметра θ с учетом некоторой базы данных или данных x . Из теоремы Байеса , задние распределения равно произведению функции правдоподобия и до , нормализовано (разделить) на вероятности данных :${\ Displaystyle \ тета \ mapsto п (х \ середина \ тета) \!}$${\ Displaystyle р (\ тета) \!}$${\ Displaystyle р (х) \!}$

${\ Displaystyle {\ begin {выровнен} п (\ тета \ середина х) & = {\ гидроразрыва {р (х \ середина \ тета) \, р (\ тета)} {р (х)}} \\ & = {\ frac {p (x \ mid \ theta) \, p (\ theta)} {\ int _ {\ theta '} p (x, \ theta') \, d \ theta '}} \\ & = { \ гидроразрыва {p (x \ mid \ theta) \, p (\ theta)} {\ int _ {\ theta '} p (x \ mid \ theta') \, p (\ theta ') \, d \ theta '}} \ конец {выровнено}}}$

Пусть функция правдоподобия считается фиксированной; функция правдоподобия обычно хорошо определяется из описания процесса генерации данных ^{[ необходим пример ]} . Ясно, что различные варианты априорного распределения p ( θ ) могут сделать интеграл более или менее трудным для вычисления, и произведение p ( x | θ ) ×  p ( θ ) может принимать ту или иную алгебраическую форму. Для некоторых вариантов априорного выбора апостериорная имеет ту же алгебраическую форму, что и апостериорная (обычно с разными значениями параметров). Такой выбор - сопряженный апор .

Сопряженное предшествующее - это алгебраическое удобство, дающее закрытое выражение для апостериорного; в противном случае может потребоваться численное интегрирование . Кроме того, сопряженные априорные значения могут дать интуицию, более прозрачно показывая, как функция правдоподобия обновляет предыдущее распределение.

Все члены экспоненциального семейства имеют сопряженные априорные числа. ^[3]

Пример [ править ]

Форма сопряженной априорной вероятности обычно может быть определена путем проверки плотности вероятности или функции массы вероятности распределения. Например, рассмотрим случайную величину, которая состоит из количества успехов в испытаниях Бернулли с неизвестной вероятностью успеха в [0,1]. Эта случайная величина будет следовать биномиальному распределению с функцией массы вероятности вида${\ displaystyle s}$${\ displaystyle n}$ ${\ displaystyle q}$

${\ displaystyle p (s) = {n \ choose s} q ^ {s} (1-q) ^ {ns}}$

Обычное сопряженное априорное распределение - это бета-распределение с параметрами ( , ):${\ displaystyle \ alpha}$${\ displaystyle \ beta}$

${\displaystyle p(q)={q^{\alpha -1}(1-q)^{\beta -1} \over \mathrm {B} (\alpha ,\beta )}}$

где и выбраны, чтобы отразить любое существующее мнение или информацию ( = 1 и = 1 дадут равномерное распределение ), а Β ( ,  ) - бета-функция, действующая как нормализующая константа .${\displaystyle \alpha }$${\displaystyle \beta }$${\displaystyle \alpha }$${\displaystyle \beta }$${\displaystyle \alpha }$${\displaystyle \beta }$

В этом контексте и называются гиперпараметрами (параметры предшествующей модели), чтобы отличать их от параметров базовой модели (здесь q ). Типичной характеристикой сопряженных априорных значений является то, что размерность гиперпараметров на единицу больше, чем размерность параметров исходного распределения. Если все параметры являются скалярными значениями, это означает, что гиперпараметров будет на один больше, чем параметра; но это также относится к параметрам с векторными и матричными значениями. (См общей статьи о показательной семье , и рассмотрит также распределение Уишарта , сопряженная приор ковариационной матрицы из более многомерного нормального распределения${\displaystyle \alpha }$${\displaystyle \beta }$, например, когда речь идет о большой размерности.)

Если мы затем выберем эту случайную величину и получим s успехов и f неудач, мы получим

${\displaystyle {\begin{aligned}P(s,f\mid q=x)&={s+f \choose s}x^{s}(1-x)^{f},\\P(q=x)&={x^{\alpha -1}(1-x)^{\beta -1} \over \mathrm {B} (\alpha ,\beta )},\\P(q=x\mid s,f)&={\frac {P(s,f\mid x)P(x)}{\int P(s,f\mid y)P(y)dy}}\\&={{{s+f \choose s}x^{s+\alpha -1}(1-x)^{f+\beta -1}/\mathrm {B} (\alpha ,\beta )} \over \int _{y=0}^{1}\left({s+f \choose s}y^{s+\alpha -1}(1-y)^{f+\beta -1}/\mathrm {B} (\alpha ,\beta )\right)dy}\\&={x^{s+\alpha -1}(1-x)^{f+\beta -1} \over \mathrm {B} (s+\alpha ,f+\beta )},\end{aligned}}}$

что является еще одним бета-распределением с параметрами ( + s , + f ). Затем это апостериорное распределение можно было бы использовать в качестве априорного для большего количества выборок, при этом гиперпараметры просто добавляли каждую дополнительную информацию по мере ее поступления.${\displaystyle \alpha }$${\displaystyle \beta }$

Псевдо-наблюдения [ править ]

Часто бывает полезно думать о гиперпараметрах сопряженного априорного распределения как соответствующих наблюдению определенного количества псевдонаблюдений со свойствами, заданными параметрами. Например, значение и из беты - распределений можно рассматривать как соответствующие успехи и неудачи , если задний режим используется , чтобы выбрать оптимальное значение параметра, или успехи и${\displaystyle \alpha }$${\displaystyle \beta }$${\displaystyle \alpha -1}$${\displaystyle \beta -1}$${\displaystyle \alpha }$${\displaystyle \beta }$отказы, если для выбора оптимальной настройки параметра используется апостериорное среднее. В общем, почти для всех сопряженных априорных распределений гиперпараметры можно интерпретировать в терминах псевдонаблюдений. Это может помочь как в обеспечении интуиции за часто запутанными уравнениями обновления, так и в выборе разумных гиперпараметров для априорных.

Интерпретации [ править ]

Аналогия с собственными функциями ^{[ необходима ссылка ]} [ редактировать ]

Сопряженные априорные функции аналогичны собственным функциям в теории операторов в том смысле, что они представляют собой распределения, на которых "обусловливающий оператор" действует хорошо понятным образом, рассматривая процесс перехода от предшествующего к апостериорному как оператор.

И в собственных функциях, и в сопряженных априорных функциях существует конечномерное пространство, которое сохраняется оператором: выход имеет ту же форму (в том же пространстве), что и вход. Это значительно упрощает анализ, поскольку в противном случае рассматривается бесконечномерное пространство (пространство всех функций, пространство всех распределений).

Однако процессы только аналогичны, а не идентичны: обусловливание не является линейным, поскольку пространство распределений не замыкается линейной комбинацией , только выпуклой комбинацией , а апостериор имеет только ту же форму, что и предыдущий, а не скалярное кратное.

Подобно тому, как можно легко проанализировать, как линейная комбинация собственных функций эволюционирует под действием оператора (поскольку по отношению к этим функциям оператор диагонализуется ), можно легко проанализировать, как выпуклая комбинация сопряженных априорных функций эволюционирует при условии; это называется использованием hyperprior , и соответствует , используя плотность смеси сопряженных априорий, а не одного конъюгата до.

Динамическая система [ править ]

Можно думать об обусловливании сопряженных априорных значений как об определении разновидности (дискретного времени) динамической системы : из заданного набора гиперпараметров входящие данные обновляют эти гиперпараметры, поэтому можно рассматривать изменение гиперпараметров как своего рода "временную эволюцию" система, соответствующая «обучению». Начало в разных точках дает разные потоки с течением времени. Это снова аналогично динамической системе, определяемой линейным оператором, но обратите внимание, что, поскольку разные выборки приводят к разным выводам, это зависит не просто от времени, а скорее от данных с течением времени. Для связанных подходов см. Рекурсивные байесовские оценки и Ассимиляция данных .

Практический пример [ править ]

Допустим, в вашем городе работает прокат автомобилей. Водители могут выгружать и забирать автомобили в любой точке города. Найти и арендовать автомобили можно с помощью приложения.

Предположим, вы хотите найти вероятность того, что вы сможете найти арендованный автомобиль на небольшом расстоянии от вашего домашнего адреса в любое время суток.

В течение трех дней вы просматриваете приложение в случайное время дня и обнаруживаете следующее количество автомобилей недалеко от вашего домашнего адреса: ${\displaystyle \mathbf {x} =[3,4,1]}$

Если мы предположим, что данные поступают из распределения Пуассона , мы можем вычислить оценку максимального правдоподобия параметров модели, которая: Используя эту оценку максимального правдоподобия, мы можем вычислить вероятность того, что будет доступен хотя бы один автомобиль:${\textstyle \lambda ={\frac {3+4+1}{3}}\approx 2.67.}$${\textstyle p(x>0)=1-p(x=0)=1-{\frac {2.67^{0}e^{-2.67}}{0!}}\approx 0.93}$

Это распределение Пуассона, которое с наибольшей вероятностью привело к наблюдаемым данным . Но данные также могли быть получены из другого распределения Пуассона, например, с , или и т. Д. На самом деле существует бесконечное количество распределений Пуассона, которые могли бы сгенерировать наблюдаемые данные, и с относительно небольшим количеством точек данных мы должны быть совершенно не уверены в том, какие Эти данные были получены с помощью точного распределения Пуассона. Интуитивно мы должны вместо этого взять средневзвешенное значение вероятности для каждого из этих распределений Пуассона, взвешенное по тому, насколько они вероятны, учитывая данные, которые мы наблюдали .${\displaystyle \mathbf {x} }$${\displaystyle \lambda =3}$${\displaystyle \lambda =2}$${\displaystyle p(x>0)}$${\displaystyle \mathbf {x} }$

Как правило, эта величина известна как апостериорное прогнозное распределение, где - новая точка данных, это наблюдаемые данные и параметры модели. Используя теорему Байеса, мы можем расширить так , что, как правило, этот интеграл трудно вычислить. Однако, если вы выберете сопряженное предварительное распределение , можно получить выражение в закрытой форме. Это столбец апостериорного прогноза в таблицах ниже.${\displaystyle p(x|\mathbf {x} )=\int _{\theta }p(x|\theta )p(\theta |\mathbf {x} )d\theta \,,}$${\displaystyle x}$${\displaystyle \mathbf {x} }$${\displaystyle \theta }$${\displaystyle p(\theta |\mathbf {x} )={\frac {p(\mathbf {x} |\theta )p(\theta )}{p(\mathbf {x} )}}\,,}$${\displaystyle p(x|\mathbf {x} )=\int _{\theta }p(x|\theta ){\frac {p(\mathbf {x} |\theta )p(\theta )}{p(\mathbf {x} )}}d\theta \,.}$${\displaystyle p(\theta )}$

Возвращаясь к нашему примеру, если мы выберем гамма-распределение в качестве нашего априорного распределения по скорости распределений Пуассона, то апостериорным прогнозом будет отрицательное биномиальное распределение, как это видно из последнего столбца в таблице ниже. Гамма-распределение параметризуется двумя гиперпараметрами, которые мы должны выбрать. Глядя на графики гамма-распределения, мы выбираем , что кажется разумным априором для среднего количества автомобилей. Выбор предварительных гиперпараметров по своей сути субъективен и основан на предварительных знаниях.${\displaystyle \alpha ,\beta }$${\displaystyle \alpha =\beta =2}$

Учитывая априорные гиперпараметры и мы можем вычислить апостериорные гиперпараметры и${\displaystyle \alpha }$${\displaystyle \beta }$${\textstyle \alpha '=\alpha +\sum _{i}x_{i}=2+3+4+1=10}$${\textstyle \beta '=\beta +n=2+3=5}$

Учитывая апостериорные гиперпараметры, мы можем, наконец, вычислить апостериорное предсказание ${\textstyle p(x>0|\mathbf {x} )=1-p(x=0|\mathbf {x} )=1-NB\left(0\,|\,10,{\frac {1}{1+5}}\right)\approx 0.84}$

Эта гораздо более консервативная оценка отражает неопределенность параметров модели, которую принимает во внимание апостериорный прогноз.

Таблица сопряженных распределений [ править ]

Пусть n обозначает количество наблюдений. Во всех приведенных ниже случаях предполагается, что данные состоят из n точек (которые будут случайными векторами в многомерных случаях).${\displaystyle x_{1},\ldots ,x_{n}}$

Если функция правдоподобия принадлежит экспоненциальному семейству , то существует сопряженная априорная функция , часто также в экспоненциальном семействе; см. Экспоненциальное семейство: сопряженные распределения .

Когда функция правдоподобия представляет собой дискретное распределение [ править ]

Вероятность	Параметры модели	Сопряженное предварительное распределение	Априорные гиперпараметры	Задние гиперпараметры [примечание 1]	Интерпретация гиперпараметров	Апостериорный прогноз [примечание 2]
Бернулли	p (вероятность)	Бета	${\displaystyle \alpha ,\,\beta \in \mathbb {R} \!}$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\,\beta +n-\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha }$успехи, неудачи [примечание 3]${\displaystyle \beta }$	${\displaystyle p({\tilde {x}}=1)={\frac {\alpha '}{\alpha '+\beta '}}}$
Биномиальный	p (вероятность)	Бета	${\displaystyle \alpha ,\,\beta \in \mathbb {R} \!}$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\,\beta +\sum _{i=1}^{n}N_{i}-\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha }$успехи, неудачи [примечание 3]${\displaystyle \beta }$	${\displaystyle \operatorname {BetaBin} ({\tilde {x}}|\alpha ',\beta ')}$ ( бета-бином )
Отрицательный бином с известным числом отказов, r	p (вероятность)	Бета	${\displaystyle \alpha ,\,\beta \in \mathbb {R} \!}$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\,\beta +rn\!}$	${\displaystyle \alpha }$общие успехи, неудачи [примечание 3] (т. е. эксперименты, предполагающие, что остаются фиксированными)${\displaystyle \beta }$${\displaystyle {\frac {\beta }{r}}}$${\displaystyle r}$	${\displaystyle \operatorname {BetaNegBin} ({\tilde {x}}|\alpha ',\beta ')}$ (бета-отрицательный бином)
Пуассон	λ (ставка)	Гамма	${\displaystyle k,\,\theta \in \mathbb {R} \!}$	${\displaystyle k+\sum _{i=1}^{n}x_{i},\ {\frac {\theta }{n\theta +1}}\!}$	${\displaystyle k}$всего повторов в интервалах${\displaystyle {\frac {1}{\theta }}}$	${\displaystyle \operatorname {NB} \left({\tilde {x}}\mid k',{\frac {\theta '}{\theta '+1}}\right)}$ ( отрицательный бином )
			${\displaystyle \alpha ,\,\beta \!}$ [примечание 4]	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\ \beta +n\!}$	${\displaystyle \alpha }$всего повторов в интервалах${\displaystyle \beta }$	${\displaystyle \operatorname {NB} \left({\tilde {x}}\mid \alpha ',{\frac {1}{1+\beta '}}\right)}$ ( отрицательный бином )
Категоричный	p (вектор вероятности), k (количество категорий; т. е. размер p )	Дирихле	${\displaystyle {\boldsymbol {\alpha }}\in \mathbb {R} ^{k}\!}$	${\displaystyle {\boldsymbol {\alpha }}+(c_{1},\ldots ,c_{k}),}$где - количество наблюдений в категории i${\displaystyle c_{i}}$	${\displaystyle \alpha _{i}}$вхождения категории [примечание 3]${\displaystyle i}$	${\displaystyle {\begin{aligned}p({\tilde {x}}=i)&={\frac {{\alpha _{i}}'}{\sum _{i}{\alpha _{i}}'}}\\&={\frac {\alpha _{i}+c_{i}}{\sum _{i}\alpha _{i}+n}}\end{aligned}}}$
Полиномиальный	p (вектор вероятности), k (количество категорий; т. е. размер p )	Дирихле	${\displaystyle {\boldsymbol {\alpha }}\in \mathbb {R} ^{k}\!}$	${\displaystyle {\boldsymbol {\alpha }}+\sum _{i=1}^{n}\mathbf {x} _{i}\!}$	${\displaystyle \alpha _{i}}$вхождения категории [примечание 3]${\displaystyle i}$	${\displaystyle \operatorname {DirMult} ({\tilde {\mathbf {x} }}\mid {\boldsymbol {\alpha }}')}$ ( Дирихле-полиномиальный )
Гипергеометрический при известной общей численности населения, N	M (количество целевых членов)	Бета-биномиальный [4]	${\displaystyle n=N,\alpha ,\,\beta \!}$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\,\beta +\sum _{i=1}^{n}N_{i}-\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha }$успехи, неудачи [примечание 3]${\displaystyle \beta }$
Геометрический	p 0 (вероятность)	Бета	${\displaystyle \alpha ,\,\beta \in \mathbb {R} \!}$	${\displaystyle \alpha +n,\,\beta +\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha }$эксперименты, всего неудач [примечание 3]${\displaystyle \beta }$

Когда функция правдоподобия является непрерывным распределением [ править ]

Вероятность	Параметры модели	Сопряженное предварительное распределение	Априорные гиперпараметры	Задние гиперпараметры [примечание 1]	Интерпретация гиперпараметров	Апостериорный прогноз [примечание 5]
Нормальный с известной дисперсией σ 2	μ (среднее)	Нормальный	${\displaystyle \mu _{0},\,\sigma _{0}^{2}\!}$	${\displaystyle {\frac {1}{{\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^{2}}}}}\left({\frac {\mu _{0}}{\sigma _{0}^{2}}}+{\frac {\sum _{i=1}^{n}x_{i}}{\sigma ^{2}}}\right),\left({\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^{2}}}\right)^{-1}}$	среднее значение было оценено на основе наблюдений с полной точностью (сумма всех индивидуальных точности) и с выборочным средним${\displaystyle 1/\sigma _{0}^{2}}$${\displaystyle \mu _{0}}$	${\displaystyle {\mathcal {N}}({\tilde {x}}|\mu _{0}',{\sigma _{0}^{2}}'+\sigma ^{2})}$[5]
Нормальный с известной точностью τ	μ (среднее)	Нормальный	${\displaystyle \mu _{0},\,\tau _{0}\!}$	${\displaystyle {\frac {\tau _{0}\mu _{0}+\tau \sum _{i=1}^{n}x_{i}}{\tau _{0}+n\tau }},\,\tau _{0}+n\tau }$	среднее значение было оценено на основе наблюдений с полной точностью (сумма всех индивидуальных точности) и с выборочным средним${\displaystyle \tau _{0}}$${\displaystyle \mu _{0}}$	${\displaystyle {\mathcal {N}}\left({\tilde {x}}\mid \mu _{0}',{\frac {1}{\tau _{0}'}}+{\frac {1}{\tau }}\right)}$[5]
Нормальный с известным средним μ	σ 2 (дисперсия)	Обратная гамма	${\displaystyle \mathbf {\alpha ,\,\beta } }$ [примечание 6]	${\displaystyle \mathbf {\alpha } +{\frac {n}{2}},\,\mathbf {\beta } +{\frac {\sum _{i=1}^{n}{(x_{i}-\mu )^{2}}}{2}}}$	дисперсия была оценена на основе наблюдений с выборочной дисперсией (т.е. суммой квадратов отклонений , где отклонения от известного среднего )${\displaystyle 2\alpha }$${\displaystyle \beta /\alpha }$ ${\displaystyle 2\beta }$${\displaystyle \mu }$	${\displaystyle t_{2\alpha '}({\tilde {x}}|\mu ,\sigma ^{2}=\beta '/\alpha ')}$[5]
Нормальный с известным средним μ	σ 2 (дисперсия)	Масштабированный обратный хи-квадрат	${\displaystyle \nu ,\,\sigma _{0}^{2}\!}$	${\displaystyle \nu +n,\,{\frac {\nu \sigma _{0}^{2}+\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{\nu +n}}\!}$	дисперсия была оценена на основе наблюдений с выборочной дисперсией${\displaystyle \nu }$${\displaystyle \sigma _{0}^{2}}$	${\displaystyle t_{\nu '}({\tilde {x}}|\mu ,{\sigma _{0}^{2}}')}$[5]
Нормальный с известным средним μ	τ (точность)	Гамма	${\displaystyle \alpha ,\,\beta \!}$[примечание 4]	${\displaystyle \alpha +{\frac {n}{2}},\,\beta +{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2}}\!}$	точность оценивалась на основе наблюдений с дисперсией выборки (т.е. суммой квадратов отклонений , где отклонения от известного среднего )${\displaystyle 2\alpha }$${\displaystyle \beta /\alpha }$ ${\displaystyle 2\beta }$${\displaystyle \mu }$	${\displaystyle t_{2\alpha '}({\tilde {x}}\mid \mu ,\sigma ^{2}=\beta '/\alpha ')}$[5]
Нормальный [примечание 7]	μ и σ 2 Предполагая заменяемость	Нормально-обратная гамма	${\displaystyle \mu _{0},\,\nu ,\,\alpha ,\,\beta }$	${\displaystyle {\frac {\nu \mu _{0}+n{\bar {x}}}{\nu +n}},\,\nu +n,\,\alpha +{\frac {n}{2}},\,}$ ${\displaystyle \beta +{\tfrac {1}{2}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+{\frac {n\nu }{\nu +n}}{\frac {({\bar {x}}-\mu _{0})^{2}}{2}}}$ ${\displaystyle {\bar {x}}}$ выборочное среднее	среднее значение оценивалось по наблюдениям с помощью выборочного среднего ; дисперсия оценивалась по наблюдениям с использованием выборочного среднего и суммы квадратов отклонений${\displaystyle \nu }$${\displaystyle \mu _{0}}$${\displaystyle 2\alpha }$${\displaystyle \mu _{0}}$ ${\displaystyle 2\beta }$	${\displaystyle t_{2\alpha '}\left({\tilde {x}}\mid \mu ',{\frac {\beta '(\nu '+1)}{\nu '\alpha '}}\right)}$[5]
Нормальный	μ и τ Предполагая заменяемость	Нормальная гамма	${\displaystyle \mu _{0},\,\nu ,\,\alpha ,\,\beta }$	${\displaystyle {\frac {\nu \mu _{0}+n{\bar {x}}}{\nu +n}},\,\nu +n,\,\alpha +{\frac {n}{2}},\,}$ ${\displaystyle \beta +{\tfrac {1}{2}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+{\frac {n\nu }{\nu +n}}{\frac {({\bar {x}}-\mu _{0})^{2}}{2}}}$ ${\displaystyle {\bar {x}}}$ выборочное среднее	среднее значение оценивалось по наблюдениям с использованием выборочного среднего , а точность оценивалась по наблюдениям с помощью выборочного среднего и суммы квадратов отклонений.${\displaystyle \nu }$${\displaystyle \mu _{0}}$${\displaystyle 2\alpha }$${\displaystyle \mu _{0}}$ ${\displaystyle 2\beta }$	${\displaystyle t_{2\alpha '}\left({\tilde {x}}\mid \mu ',{\frac {\beta '(\nu '+1)}{\alpha '\nu '}}\right)}$[5]
Многомерная нормаль с известной ковариационной матрицей Σ	μ (средний вектор)	Многомерный нормальный	${\displaystyle {\boldsymbol {\boldsymbol {\mu }}}_{0},\,{\boldsymbol {\Sigma }}_{0}}$	${\displaystyle \left({\boldsymbol {\Sigma }}_{0}^{-1}+n{\boldsymbol {\Sigma }}^{-1}\right)^{-1}\left({\boldsymbol {\Sigma }}_{0}^{-1}{\boldsymbol {\mu }}_{0}+n{\boldsymbol {\Sigma }}^{-1}\mathbf {\bar {x}} \right),}$ ${\displaystyle \left({\boldsymbol {\Sigma }}_{0}^{-1}+n{\boldsymbol {\Sigma }}^{-1}\right)^{-1}}$ ${\displaystyle \mathbf {\bar {x}} }$ выборочное среднее	среднее значение было оценено на основе наблюдений с полной точностью (сумма всех индивидуальных точности) и с выборочным средним${\displaystyle {\boldsymbol {\Sigma }}_{0}^{-1}}$${\displaystyle {\boldsymbol {\mu }}_{0}}$	${\displaystyle {\mathcal {N}}({\tilde {\mathbf {x} }}\mid {{\boldsymbol {\mu }}_{0}}',{{\boldsymbol {\Sigma }}_{0}}'+{\boldsymbol {\Sigma }})}$[5]
Многомерная нормаль с известной матрицей точности Λ	μ (средний вектор)	Многомерный нормальный	${\displaystyle \mathbf {\boldsymbol {\mu }} _{0},\,{\boldsymbol {\Lambda }}_{0}}$	${\displaystyle \left({\boldsymbol {\Lambda }}_{0}+n{\boldsymbol {\Lambda }}\right)^{-1}\left({\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}+n{\boldsymbol {\Lambda }}\mathbf {\bar {x}} \right),\,\left({\boldsymbol {\Lambda }}_{0}+n{\boldsymbol {\Lambda }}\right)}$ ${\displaystyle \mathbf {\bar {x}} }$ выборочное среднее	среднее значение было оценено на основе наблюдений с полной точностью (сумма всех индивидуальных точности) и с выборочным средним${\displaystyle {\boldsymbol {\Lambda }}_{0}}$${\displaystyle {\boldsymbol {\mu }}_{0}}$	${\displaystyle {\mathcal {N}}\left({\tilde {\mathbf {x} }}\mid {{\boldsymbol {\mu }}_{0}}',({{{\boldsymbol {\Lambda }}_{0}}'}^{-1}+{\boldsymbol {\Lambda }}^{-1})^{-1}\right)}$[5]
Многомерный нормальный с известным средним μ	Σ (ковариационная матрица)	Инверс-Уишарт	${\displaystyle \nu ,\,{\boldsymbol {\Psi }}}$	${\displaystyle n+\nu ,\,{\boldsymbol {\Psi }}+\sum _{i=1}^{n}(\mathbf {x_{i}} -{\boldsymbol {\mu }})(\mathbf {x_{i}} -{\boldsymbol {\mu }})^{T}}$	ковариационная матрица оценивалась по наблюдениям суммой произведений парных отклонений${\displaystyle \nu }$${\displaystyle {\boldsymbol {\Psi }}}$	${\displaystyle t_{\nu '-p+1}\left({\tilde {\mathbf {x} }}|{\boldsymbol {\mu }},{\frac {1}{\nu '-p+1}}{\boldsymbol {\Psi }}'\right)}$[5]
Многомерный нормальный с известным средним μ	Λ (матрица точности)	Wishart	${\displaystyle \nu ,\,\mathbf {V} }$	${\displaystyle n+\nu ,\,\left(\mathbf {V} ^{-1}+\sum _{i=1}^{n}(\mathbf {x_{i}} -{\boldsymbol {\mu }})(\mathbf {x_{i}} -{\boldsymbol {\mu }})^{T}\right)^{-1}}$	ковариационная матрица оценивалась по наблюдениям суммой произведений парных отклонений${\displaystyle \nu }$${\displaystyle \mathbf {V} ^{-1}}$	${\displaystyle t_{\nu '-p+1}\left({\tilde {\mathbf {x} }}\mid {\boldsymbol {\mu }},{\frac {1}{\nu '-p+1}}{\mathbf {V} '}^{-1}\right)}$[5]
Многомерный нормальный	μ (средний вектор) и Σ (ковариационная матрица)	нормальный-обратный-Уишарт	${\displaystyle {\boldsymbol {\mu }}_{0},\,\kappa _{0},\,\nu _{0},\,{\boldsymbol {\Psi }}}$	${\displaystyle {\frac {\kappa _{0}{\boldsymbol {\mu }}_{0}+n\mathbf {\bar {x}} }{\kappa _{0}+n}},\,\kappa _{0}+n,\,\nu _{0}+n,\,}$ ${\displaystyle {\boldsymbol {\Psi }}+\mathbf {C} +{\frac {\kappa _{0}n}{\kappa _{0}+n}}(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})^{T}}$ ${\displaystyle \mathbf {\bar {x}} }$ выборочное среднее ${\displaystyle \mathbf {C} =\sum _{i=1}^{n}(\mathbf {x_{i}} -\mathbf {\bar {x}} )(\mathbf {x_{i}} -\mathbf {\bar {x}} )^{T}}$	среднее значение оценивалось по наблюдениям с помощью выборочного среднего ; ковариационная матрица оценивалась по наблюдениям с выборочным средним и суммой произведений парных отклонений.${\displaystyle \kappa _{0}}$${\displaystyle {\boldsymbol {\mu }}_{0}}$${\displaystyle \nu _{0}}$${\displaystyle {\boldsymbol {\mu }}_{0}}$${\displaystyle {\boldsymbol {\Psi }}=\nu _{0}{\boldsymbol {\Sigma }}_{0}}$	${\displaystyle t_{{\nu _{0}}'-p+1}\left({\tilde {\mathbf {x} }}|{{\boldsymbol {\mu }}_{0}}',{\frac {{\kappa _{0}}'+1}{{\kappa _{0}}'({\nu _{0}}'-p+1)}}{\boldsymbol {\Psi }}'\right)}$[5]
Многомерный нормальный	μ (средний вектор) и Λ (матрица точности)	нормальный-Wishart	${\displaystyle {\boldsymbol {\mu }}_{0},\,\kappa _{0},\,\nu _{0},\,\mathbf {V} }$	${\displaystyle {\frac {\kappa _{0}{\boldsymbol {\mu }}_{0}+n\mathbf {\bar {x}} }{\kappa _{0}+n}},\,\kappa _{0}+n,\,\nu _{0}+n,\,}$ ${\displaystyle \left(\mathbf {V} ^{-1}+\mathbf {C} +{\frac {\kappa _{0}n}{\kappa _{0}+n}}(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})^{T}\right)^{-1}}$ ${\displaystyle \mathbf {\bar {x}} }$ выборочное среднее ${\displaystyle \mathbf {C} =\sum _{i=1}^{n}(\mathbf {x_{i}} -\mathbf {\bar {x}} )(\mathbf {x_{i}} -\mathbf {\bar {x}} )^{T}}$	среднее значение оценивалось по наблюдениям с помощью выборочного среднего ; ковариационная матрица оценивалась по наблюдениям с выборочным средним и суммой произведений парных отклонений.${\displaystyle \kappa _{0}}$${\displaystyle {\boldsymbol {\mu }}_{0}}$${\displaystyle \nu _{0}}$${\displaystyle {\boldsymbol {\mu }}_{0}}$${\displaystyle \mathbf {V} ^{-1}}$	${\displaystyle t_{{\nu _{0}}'-p+1}\left({\tilde {\mathbf {x} }}\mid {{\boldsymbol {\mu }}_{0}}',{\frac {{\kappa _{0}}'+1}{{\kappa _{0}}'({\nu _{0}}'-p+1)}}{\mathbf {V} '}^{-1}\right)}$[5]
Униформа	${\displaystyle U(0,\theta )\!}$	Парето	${\displaystyle x_{m},\,k\!}$	${\displaystyle \max\{\,x_{1},\ldots ,x_{n},x_{\mathrm {m} }\},\,k+n\!}$	${\displaystyle k}$ наблюдения с максимальным значением ${\displaystyle x_{m}}$
Парето с известным минимумом x m	k (форма)	Гамма	${\displaystyle \alpha ,\,\beta \!}$	${\displaystyle \alpha +n,\,\beta +\sum _{i=1}^{n}\ln {\frac {x_{i}}{x_{\mathrm {m} }}}\!}$	${\displaystyle \alpha }$наблюдения с суммой по порядку величины каждого наблюдения (т.е. логарифм отношения каждого наблюдения к минимуму )${\displaystyle \beta }$${\displaystyle x_{m}}$
Вейбулла с известной формой β	θ (масштаб)	Обратная гамма [4]	${\displaystyle a,b\!}$	${\displaystyle a+n,\,b+\sum _{i=1}^{n}x_{i}^{\beta }\!}$	${\displaystyle a}$Наблюдения с суммой в Р» й степени каждого наблюдения${\displaystyle b}$
Лог-нормальный	То же, что и для нормального распределения после возведения данных в степень.
Экспоненциальный	λ (ставка)	Гамма	${\displaystyle \alpha ,\,\beta \!}$ [примечание 4]	${\displaystyle \alpha +n,\,\beta +\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha -1}$наблюдения, которые в сумме составляют [6]${\displaystyle \beta }$	${\displaystyle \operatorname {Lomax} ({\tilde {x}}\mid \beta ',\alpha ')}$ ( Распределение Lomax )
Гамма с известной формой α	β (скорость)	Гамма	${\displaystyle \alpha _{0},\,\beta _{0}\!}$	${\displaystyle \alpha _{0}+n\alpha ,\,\beta _{0}+\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha _{0}/\alpha }$ наблюдения с суммой ${\displaystyle \beta _{0}}$	${\displaystyle \operatorname {CG} ({\tilde {\mathbf {x} }}\mid \alpha ,{\alpha _{0}}',{\beta _{0}}')=\operatorname {\beta '} ({\tilde {\mathbf {x} }}|\alpha ,{\alpha _{0}}',1,{\beta _{0}}')}$ [примечание 8]
Обратная гамма с известной формой α	β (обратная шкала)	Гамма	${\displaystyle \alpha _{0},\,\beta _{0}\!}$	${\displaystyle \alpha _{0}+n\alpha ,\,\beta _{0}+\sum _{i=1}^{n}{\frac {1}{x_{i}}}\!}$	${\displaystyle \alpha _{0}/\alpha }$ наблюдения с суммой ${\displaystyle \beta _{0}}$
Гамма с известной скоростью β	α (форма)	${\displaystyle \propto {\frac {a^{\alpha -1}\beta ^{\alpha c}}{\Gamma (\alpha )^{b}}}}$	${\displaystyle a,\,b,\,c\!}$	${\displaystyle a\prod _{i=1}^{n}x_{i},\,b+n,\,c+n\!}$	${\displaystyle b}$или наблюдения ( для оценки , для оценки ) с продуктом${\displaystyle c}$${\displaystyle b}$${\displaystyle \alpha }$${\displaystyle c}$${\displaystyle \beta }$${\displaystyle a}$
Гамма [4]	α (форма), β (обратный масштаб)	${\displaystyle \propto {\frac {p^{\alpha -1}e^{-\beta q}}{\Gamma (\alpha )^{r}\beta ^{-\alpha s}}}}$	${\displaystyle p,\,q,\,r,\,s\!}$	${\displaystyle p\prod _{i=1}^{n}x_{i},\,q+\sum _{i=1}^{n}x_{i},\,r+n,\,s+n\!}$	${\displaystyle \alpha }$оценивается на основании наблюдений с продуктом ; оценивается по наблюдениям суммой${\displaystyle r}$${\displaystyle p}$${\displaystyle \beta }$${\displaystyle s}$${\displaystyle q}$

См. Также [ править ]

• Бета-биномиальное распределение

Примечания [ править ]

Ссылки [ править ]