Экспоненциальная семья

В вероятности и статистике , экспоненциальное семейство представляет собой параметрическое множество вероятностных распределений определенной формы, указанное ниже. Эта специальная форма выбрана для математического удобства, основанной на некоторых полезных алгебраических свойствах, а также для общности, поскольку экспоненциальные семейства в некотором смысле являются очень естественными наборами распределений для рассмотрения. Термин « экспоненциальный класс» иногда используется вместо «экспоненциального семейства» ^[1] или более старого термина « семейство Купмана – Дармуа» . Термины «распределение» и «семья» часто используются в широком смысле: правильно, экспоненциальное семейство представляет собой наборраспределений, где конкретное распределение зависит от параметра; ^[а] однако, параметрическое семейство распределений часто называют как « в распределение» (например , «нормальное распределение», что означает «семейство нормальных распределений»), а также множество всех экспоненциальных семейств иногда слабо называют "экспоненциальная" семья.

Понятие экспоненциальных семейств приписывают к ^[2] EJG Pitman , ^[3] Г. Дармуа , ^[4] и BO Купман ^[5] в 1935-1936 гг. Экспоненциальные семейства распределений обеспечивают общую основу для выбора возможной альтернативной параметризации параметрического семейства распределений в терминах естественных параметров и для определения полезной выборочной статистики , называемой естественной достаточной статистикой семейства.

Определение [ править ]

Большинство часто используемых распределений образуют экспоненциальное семейство или подмножество экспоненциального семейства, перечисленное в подразделе ниже. Следующие за ним подразделы представляют собой последовательность все более общих математических определений экспоненциального семейства. Случайный читатель может пожелать ограничить внимание первым и самым простым определением, которое соответствует однопараметрическому семейству дискретных или непрерывных распределений вероятностей.

Примеры экспоненциального распределения семейств [ править ]

Экспоненциальные семейства включают в себя многие из наиболее распространенных распределений. Среди многих других экспоненциальные семейства включают в себя следующие:

Ряд общих распределений представляют собой экспоненциальные семейства, но только тогда, когда определенные параметры фиксированы и известны. Например:

• биномиальный (с фиксированным количеством испытаний)
• полиномиальный (с фиксированным количеством испытаний)
• отрицательный бином (с фиксированным количеством отказов)

Обратите внимание, что в каждом случае параметры, которые необходимо зафиксировать, определяют предел размера значений наблюдения.

Примерами общих распределений, которые не являются экспоненциальными семействами, являются t Стьюдента , большинство смешанных распределений и даже семейство равномерных распределений, когда границы не фиксированы. См. Раздел ниже с примерами для более подробного обсуждения.

Скалярный параметр [ править ]

Однопараметрическое экспоненциальное семейство - это набор распределений вероятностей, функция плотности вероятности (или функция массы вероятности в случае дискретного распределения ) может быть выражена в виде

${\displaystyle f_{X}(x\mid \theta )=h(x)\,\exp \!{\bigl [}\,\eta (\theta )\cdot T(x)+A(\theta )\,{\bigr ]}}$

где T ( x ), h ( x ), η ( θ ) и A ( θ ) - известные функции. Конечно, функция h ( x ) должна быть неотрицательной.

Часто приводится альтернативная эквивалентная форма:

${\displaystyle f_{X}(x\mid \theta )=h(x)\,g(\theta )\,\exp \!{\bigl [}\,\eta (\theta )\cdot T(x)\,{\bigr ]}}$

или эквивалентно

${\displaystyle f_{X}(x\mid \theta )=\exp \!{\bigl [}\,\eta (\theta )\cdot T(x)+A(\theta )+B(x)\,{\bigr ]}}$

Величина θ называется параметром семейства.

Кроме того, поддержка из (т.е. множество всех , для которых больше 0) не зависит от . ^[6] Это можно использовать, чтобы исключить параметрическое семейное распределение из экспоненциального семейства. Например, в распределении Парето есть PDF-файл, который определен для ( являющегося параметром масштаба), и поэтому его поддержка имеет нижний предел . Поскольку поддержка зависит от значения параметра, семейство распределений Парето не образует экспоненциальное семейство распределений.${\displaystyle f_{X}\!\left(x\mid \theta \right)}$${\displaystyle x}$${\displaystyle f_{X}\!\left(x\mid \theta \right)}$${\displaystyle \theta }$${\displaystyle x\geq x_{m}}$${\displaystyle x_{m}}$${\displaystyle x_{m}}$${\displaystyle f_{\alpha ,x_{m}}\!(x)}$

Часто x является вектором измерений, и в этом случае T ( x ) может быть функцией от пространства возможных значений x до действительных чисел. В более общем смысле, η ( θ ) и T ( x ) могут быть векторнозначными, так что каждая из них является действительной. Тем не менее, см. Ниже обсуждение векторных параметров относительно изогнутого экспоненциального семейства.${\displaystyle \eta '(\theta )\cdot T(x)}$

Если η ( θ ) =  θ , то говорят, что экспоненциальное семейство имеет каноническую форму . Определив преобразованный параметр η  =  η ( θ ), всегда можно преобразовать экспоненциальное семейство в каноническую форму. Каноническая форма не уникальна, поскольку η ( θ ) может быть умножено на любую ненулевую константу, при условии, что T ( x ) умножается на обратную величину этой константы, или константа c может быть добавлена ​​к η ( θ ) и h ( x ) умножается на${\displaystyle \exp \!{\bigl [}-c\cdot T(x)\,{\bigr ]}}$чтобы компенсировать это. В частном случае, когда η ( θ ) =  θ и T ( x ) =  x, семейство называется естественным экспоненциальным семейством .

Даже когда x является скаляром и имеется только один параметр, функции η ( θ ) и T ( x ) все еще могут быть векторами, как описано ниже.

Функция A ( θ ), или, что эквивалентно, g ( θ ), определяется автоматически после выбора других функций, поскольку она должна принимать форму, которая приводит к нормализации распределения (суммировать или интегрировать в единицу по всей области). Кроме того, обе эти функции всегда можно записать как функции от η , даже если η ( θ ) не является взаимно однозначной функцией, т.е. два или более разных значения θ отображаются в одно и то же значение η ( θ ), а значит, η ( θ) не может быть инвертирован. В таком случае все значения θ, отображающие одно и то же η ( θ ), также будут иметь одинаковое значение для A ( θ ) и g ( θ ).

Факторизация задействованных переменных [ править ]

Что важно отметить, и что характеризует все варианты экспоненциального семейства, так это то, что параметр (ы) и переменная (ы) наблюдения должны факторизоваться (могут быть разделены на продукты, каждый из которых включает только один тип переменной) либо напрямую, либо в любой части (основание или показатель степени) операции возведения в степень . Как правило, это означает, что все факторы, составляющие функцию плотности или массы, должны иметь одну из следующих форм:

${\displaystyle f(x),g(\theta ),c^{f(x)},c^{g(\theta )},{[f(x)]}^{c},{[g(\theta )]}^{c},{[f(x)]}^{g(\theta )},{[g(\theta )]}^{f(x)},{[f(x)]}^{h(x)g(\theta )},{\text{ or }}{[g(\theta )]}^{h(x)j(\theta )},}$

где f и h - произвольные функции от x ; g и j - произвольные функции от θ ; и c - произвольное «постоянное» выражение (то есть выражение, не содержащее x или θ ).

Существуют дополнительные ограничения на количество таких факторов. Например, два выражения:

${\displaystyle {[f(x)g(\theta )]}^{h(x)j(\theta )},\qquad {[f(x)]}^{h(x)j(\theta )}[g(\theta )]^{h(x)j(\theta )},}$

одинаковы, т.е. являются продуктом двух «разрешенных» факторов. Однако при переписывании в факторизованную форму

${\displaystyle {[f(x)g(\theta )]}^{h(x)j(\theta )}={[f(x)]}^{h(x)j(\theta )}[g(\theta )]^{h(x)j(\theta )}=e^{[h(x)\log f(x)]j(\theta )+h(x)[j(\theta )\log g(\theta )]},}$

видно, что это не может быть выражено в требуемой форме. (Однако такая форма является членом изогнутого экспоненциального семейства , которое допускает множественные факторизованные члены в показателе степени. ^{[ Необходима цитата ]} )

Чтобы понять, почему выражение формы

${\displaystyle {[f(x)]}^{g(\theta )}}$

квалифицируется,

${\displaystyle {[f(x)]}^{g(\theta )}=e^{g(\theta )\log f(x)}}$

и, следовательно, факторизуется внутри экспоненты. По аналогии,

${\displaystyle {[f(x)]}^{h(x)g(\theta )}=e^{h(x)g(\theta )\log f(x)}=e^{[h(x)\log f(x)]g(\theta )}}$

и снова факторизуется внутри экспоненты.

Фактор, состоящий из суммы, в которой задействованы оба типа переменных (например, фактор формы ), не может быть факторизован таким образом (за исключением некоторых случаев, когда он встречается непосредственно в показателе степени); Вот почему, например, распределение Коши и Стьюдента т распределение не являются экспоненциальные семьи.${\displaystyle 1+f(x)g(\theta )}$

Векторный параметр [ править ]

Определение в терминах одного параметра действительного числа может быть расширено до одного параметра действительного вектора.

${\displaystyle {\boldsymbol {\theta }}\equiv \left[\,\theta _{1},\,\theta _{2},\,\ldots ,\,\theta _{s}\,\right]^{\mathsf {T}}~.}$

Говорят, что семейство распределений принадлежит семейству векторных экспонент, если функция плотности вероятности (или функция массы вероятности для дискретных распределений) может быть записана как

${\displaystyle f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\,\exp \left(\sum _{i=1}^{s}\eta _{i}({\boldsymbol {\theta }})T_{i}(x)-A({\boldsymbol {\theta }})\right)~,}$

или в более компактном виде,

${\displaystyle f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\,\exp {\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})\cdot \mathbf {T} (x)-A({\boldsymbol {\theta }}){\Big )}}$

Эта форма записывает сумму как скалярное произведение векторных функций и .${\displaystyle {\boldsymbol {\eta }}({\boldsymbol {\theta }})}$${\displaystyle \mathbf {T} (x)\,}$

Часто встречается альтернативная эквивалентная форма:

${\displaystyle f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\,g({\boldsymbol {\theta }})\,\exp {\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})\cdot \mathbf {T} (x){\Big )}}$

Как и в скалярнозначном случае, экспоненциальное семейство называется каноническим, если

${\displaystyle \quad \eta _{i}({\boldsymbol {\theta }})=\theta _{i}\quad \forall i\,.}$

Векторное экспоненциальное семейство называется искривленным, если размерность

${\displaystyle {\boldsymbol {\theta }}\equiv \left[\,\theta _{1},\,\theta _{2},\,\ldots ,\,\theta _{d}\,\,\right]^{\mathsf {T}}}$

меньше размерности вектора

${\displaystyle {\boldsymbol {\eta }}({\boldsymbol {\theta }})\equiv \left[\,\eta _{1}({\boldsymbol {\theta }}),\,\eta _{2}({\boldsymbol {\theta }}),\,\ldots ,\,\eta _{s}({\boldsymbol {\theta }})\,\right]^{\mathsf {T}}~.}$

То есть, если измерение , д , вектор параметра меньше числа функций , с , вектор параметров в приведенном выше представлении функции плотности вероятности. Наиболее распространенные распределения в экспоненциальном семействе не являются криволинейными, и многие алгоритмы, разработанные для работы с любым экспоненциальным семейством, неявно или явно предполагают, что распределение не искривлено.

Как и в вышеупомянутом случае скалярного параметра, функция или что- то подобное автоматически определяется после выбора других функций, так что все распределение нормализуется. Кроме того, как указано выше, обе эти функции всегда можно записать как функции от , независимо от формы преобразования, которое генерируется из . Следовательно, экспоненциальное семейство в его «естественной форме» (параметризованное его естественным параметром) выглядит как${\displaystyle A({\boldsymbol {\theta }})}$${\displaystyle g({\boldsymbol {\theta }})}$${\displaystyle {\boldsymbol {\eta }}}$${\displaystyle {\boldsymbol {\eta }}}$${\displaystyle {\boldsymbol {\theta }}\,}$

${\displaystyle f_{X}(x\mid {\boldsymbol {\eta }})=h(x)\,\exp {\Big (}{\boldsymbol {\eta }}\cdot \mathbf {T} (x)-A({\boldsymbol {\eta }}){\Big )}}$

или эквивалентно

${\displaystyle f_{X}(x\mid {\boldsymbol {\eta }})=h(x)\,g({\boldsymbol {\eta }})\,\exp {\Big (}{\boldsymbol {\eta }}\cdot \mathbf {T} (x){\Big )}}$

Вышеупомянутые формы иногда можно увидеть с заменой . Это в точности эквивалентные формулировки, только с использованием других обозначений для скалярного произведения .${\displaystyle {\boldsymbol {\eta }}^{\mathsf {T}}\mathbf {T} (x)}$${\displaystyle {\boldsymbol {\eta }}\cdot \mathbf {T} (x)\,}$

Векторный параметр, векторная переменная [ править ]

Форма векторных параметров для одной случайной величины со скалярными значениями может быть тривиально расширена, чтобы охватить совместное распределение по вектору случайных величин. Результирующее распределение просто такое же, как и вышеупомянутое распределение для случайной величины со скалярными значениями, где каждое вхождение скаляра x заменяется вектором

${\displaystyle \mathbf {x} =\left(x_{1},x_{2},\cdots ,x_{k}\right)^{\mathsf {T}}~.}$

Размерность k случайной величины не обязательно должна соответствовать размерности d вектора параметров или (в случае изогнутой экспоненциальной функции) размерности s естественного параметра и достаточной статистики T ( x )  .${\displaystyle {\boldsymbol {\eta }}}$

Распределение в этом случае записывается как

${\displaystyle f_{X}\!\left(\mathbf {x} \mid {\boldsymbol {\theta }}\right)=h(\mathbf {x} )\,\exp \!\left(\,\sum _{i=1}^{s}\eta _{i}({\boldsymbol {\theta }})T_{i}(\mathbf {x} )-A({\boldsymbol {\theta }})\,\right)}$

Или более компактно, как

${\displaystyle f_{X}\!\left(\,\mathbf {x} \mid {\boldsymbol {\theta }}\,\right)=h(\mathbf {x} )\,\exp \!{\Big (}\,{\boldsymbol {\eta }}({\boldsymbol {\theta }})\cdot \mathbf {T} (\mathbf {x} )-A({\boldsymbol {\theta }})\,{\Big )}}$

Или, альтернативно, как

${\displaystyle f_{X}\!\left(\,\mathbf {x} \mid {\boldsymbol {\theta }}\,\right)=g({\boldsymbol {\theta }})\;h(\mathbf {x} )\,\exp \!{\Big (}\,{\boldsymbol {\eta }}({\boldsymbol {\theta }})\cdot \mathbf {T} (\mathbf {x} )\,{\Big )}}$

Теоретико-мерная формулировка [ править ]

Мы используем кумулятивные функции распределения (CDF), чтобы охватить как дискретные, так и непрерывные распределения.

Предположим, H - неубывающая функция действительной переменной. Тогда лебегово-Стилтьеса интегралы по отношению к интегралы по отношению к эталонной мере экспоненциального семейства , порожденной H  .${\displaystyle {\rm {d\,}}H(\mathbf {x} )}$

Любой член этого экспоненциального семейства имеет кумулятивную функцию распределения.

${\displaystyle {\rm {d\,}}F\left(\,\mathbf {x} \mid {\boldsymbol {\theta }}\,\right)=\exp {\bigl (}\,{\boldsymbol {\eta }}(\theta )\cdot \mathbf {T} (\mathbf {x} )\,-\,A({\boldsymbol {\theta }})\,{\bigr )}~{\rm {d\,}}H(\mathbf {x} )~.}$

H ( x ) - интегратор Лебега – Стилтьеса для эталонной меры. Когда эталонная мера конечна, ее можно нормализовать, и H фактически является кумулятивной функцией распределения вероятностного распределения. Если F абсолютно непрерывен с плотностьюотносительно эталонной меры(обычно меры Лебега ), можно писать. В этом случае H также является абсолютно непрерывным и может быть записанотаким образом, чтобы формулы сводились к формулам из предыдущих абзацев. Если F дискретна, то H - ступенчатая функция${\displaystyle f(x)}$${\displaystyle \,{\rm {d\,}}x\,}$${\displaystyle \,{\rm {d\,}}F(x)=f(x)~{\rm {d\,}}x\,}$${\displaystyle \,{\rm {d\,}}H(x)=h(x)\,{\rm {d\,}}x\,}$(с шагом по поддержке из F ).

В качестве альтернативы мы можем записать вероятностную меру непосредственно как

${\displaystyle P\left(\,{\rm {d\,}}\mathbf {x} \mid {\boldsymbol {\theta }}\,\right)=\exp {\bigl (}\,{\boldsymbol {\eta }}(\theta )\cdot \mathbf {T} (\mathbf {x} )-A({\boldsymbol {\theta }})\,{\bigr )}~\mu ({\rm {d\,}}\mathbf {x} )~.}$

для некоторой справочной меры .${\displaystyle \mu \,}$

Интерпретация [ править ]

В приведенных выше определениях функции T ( x ) , η ( θ ) и A ( η ), по- видимому, были определены произвольно. Однако эти функции играют важную роль в результирующем распределении вероятностей.

• T ( x ) - достаточная статистика распределения. Для экспоненциальных семейств достаточная статистика является функцией данных, которые содержат всю информацию, предоставляемую данными x относительно неизвестных значений параметров. Это означает, что для любых наборов данныхиотношение правдоподобия будет таким же,если T ( x ) = T ( y )  . Это верно, даже если x и y совершенно различны, то есть даже если. Размерность T ( x ) равна количеству параметров θ${\displaystyle x}$${\displaystyle y}$${\displaystyle \left({\mathsf {\text{that is, }}}{\frac {f(x;\theta _{1})}{f(x;\theta _{2})}}={\frac {f(y;\theta _{1})}{f(y;\theta _{2})}}\,\right)}$ ${\displaystyle d(x,y)>0\,}$и включает в себя всю информацию, касающуюся данных, относящихся к параметру θ . Достаточная статистика набора независимых одинаково распределенных наблюдений данных представляет собой просто сумму отдельных достаточных статистических данных и инкапсулирует всю информацию, необходимую для описания апостериорного распределения параметров с учетом данных (и, следовательно, для получения любой желаемой оценки параметров. ). (Это важное свойство обсуждается ниже .)
• η называется естественным параметром . Множество значений η, для которых функция конечна, называется естественным пространством параметров . Можно показать, что естественное пространство параметров всегда выпукло .${\displaystyle f_{X}(x;\theta )}$
• A ( η ) называетсялог- функция распределения ^[Ь] , потому что это логарифм из коэффициента нормализации , без которого не было бы распределение вероятностей:${\displaystyle f_{X}(x;\theta )}$

${\displaystyle A(\eta )=\log \left(\int _{X}h(x)\,\exp(\eta (\theta )\cdot T(x))\,\mathrm {d\,} x\right)}$

Функция A важна сама по себе, потому что среднее значение , дисперсия и другие моменты достаточной статистики T ( x ) могут быть получены простым дифференцированием A ( η ) . Например, поскольку log ( x ) является одним из компонентов достаточной статистики гамма-распределения , его можно легко определить с помощью A ( η ) . Технически это правда, потому что ${\displaystyle \operatorname {\mathcal {E}} [\log x]}$

${\displaystyle K\left(u\mid \eta \right)=A(\eta +u)-A(\eta )\,,}$

- кумулянтная производящая функция достаточной статистики.

Свойства [ править ]

Экспоненциальные семейства обладают большим количеством свойств, которые делают их чрезвычайно полезными для статистического анализа. Во многих случаях можно показать, что этими свойствами обладают только экспоненциальные семейства. Примеры:

• Экспоненциальные семейства имеют достаточную статистику, которая может суммировать произвольные объемы независимых одинаково распределенных данных с использованием фиксированного числа значений.
• У экспоненциальных семейств есть сопряженные априорные значения , что является важным свойством в байесовской статистике .
• Заднее предсказание распределения из случайной величины экспоненциального семейства с конъюгированным предварительными всегда может быть записаны в замкнутой форме ( при условии , что нормирующий множитель распределения экспоненциальной семьи сам по себе может быть записан в замкнутой форме). ^[c]
• В приближении среднего поля в вариационном Байесе (используемом для аппроксимации апостериорного распределения в больших байесовских сетях ) наилучшее аппроксимирующее апостериорное распределение узла экспоненциального семейства (узел является случайной величиной в контексте байесовских сетей) с сопряженным Prior находится в том же семействе, что и узел. ^[7]

Примеры [ править ]

При рассмотрении примеров в этом разделе очень важно помнить приведенное выше обсуждение того, что значит сказать, что «распределение» является экспоненциальным семейством, и, в частности, иметь в виду, что набор параметров, которым разрешено изменять имеет решающее значение для определения того, является ли «распределение» экспоненциальным семейством.

Нормальные , экспоненциальные , Логнормальные , гамма , х-квадрат , бета , Дирихль , Бернулли , категорично , Пуассон , геометрический , обратный гауссовой , фон Мизеса и фон Мизес-Фишер распределения все экспоненциальные семьи.

Некоторые распределения являются экспоненциальными семействами только в том случае, если некоторые из их параметров остаются фиксированными. Семейство распределений Парето с фиксированной минимальной границей x _m образует экспоненциальное семейство. Семейства биномиальных и полиномиальных распределений с фиксированным числом испытаний n, но неизвестным параметром (ами) вероятности являются экспоненциальными семействами. Семейство отрицательных биномиальных распределений с фиксированным числом отказов (также известным как параметр времени остановки) r является экспоненциальным семейством. Однако, когда разрешено изменять любой из вышеупомянутых фиксированных параметров, результирующее семейство не является экспоненциальным семейством.

Как упоминалось выше, как правило, поддержка экспоненциального семейства должна оставаться одинаковой для всех настроек параметров в семействе. Вот почему вышеупомянутые случаи (например, биномиальные с переменным количеством испытаний, Парето с меняющейся минимальной границей) не являются экспоненциальными семействами - во всех случаях рассматриваемый параметр влияет на поддержку (в частности, изменение минимального или максимального возможного значения) . По тем же причинам ни дискретное равномерное распределение, ни непрерывное равномерное распределение не являются экспоненциальными семействами, поскольку одна или обе границы меняются.

Распределение Вейбулла с фиксированным параметром формы k является экспоненциальным семейством. В отличие от предыдущих примеров, параметр формы не влияет на опору; Тот факт, что возможность его изменения делает показатель Вейбулла неэкспоненциальным, связан, скорее, с особой формой функции плотности вероятности Вейбулла ( k появляется в показателе экспоненты).

В общем, распределения, которые являются результатом конечной или бесконечной смеси других распределений, например плотностей моделей смеси и составных распределений вероятностей , не являются экспоненциальными семействами. Примеры являются типичными гауссовскими моделями смеси , а также множество распределений с тяжелыми хвостами , что результат от компаундирования (т.е. бесконечно смешивания) распределения с предварительным распределением по одному из параметров, например , в Стьюденте т -распределение (компаундировании нормального распределения над гамма- распределенная точность до), абета-биномиальное и полиномиальное распределение Дирихле . Другими примерами распределений, которые не являются экспоненциальными семействами, являются F-распределение , распределение Коши , гипергеометрическое распределение и логистическое распределение .

Ниже приведены некоторые подробные примеры представления некоторых полезных распределений в виде экспоненциальных семейств.

Нормальное распределение: неизвестное среднее, известная дисперсия [ править ]

В качестве первого примера рассмотрим случайную величину, распределенную нормально с неизвестным средним μ и известной дисперсией σ ² . Тогда функция плотности вероятности имеет вид

${\displaystyle f_{\sigma }(x;\mu )={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-(x-\mu )^{2}/(2\sigma ^{2})}.}$

Это экспоненциальное семейство с одним параметром, что можно увидеть, задав

${\displaystyle {\begin{aligned}h_{\sigma }(x)&={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-x^{2}/(2\sigma ^{2})}\\[4pt]T_{\sigma }(x)&={\frac {x}{\sigma }}\\[4pt]A_{\sigma }(\mu )&={\frac {\mu ^{2}}{2\sigma ^{2}}}\\[4pt]\eta _{\sigma }(\mu )&={\frac {\mu }{\sigma }}.\end{aligned}}}$

Если σ = 1, это в канонической форме, так как тогда  η ( μ ) =  μ .

Нормальное распределение: неизвестное среднее и неизвестное отклонение [ править ]

Затем рассмотрим случай нормального распределения с неизвестным средним и неизвестной дисперсией. Тогда функция плотности вероятности имеет вид

${\displaystyle f(x;\mu ,\sigma )={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}.}$

Это экспоненциальное семейство, которое можно записать в канонической форме, определив

${\displaystyle {\begin{aligned}{\boldsymbol {\eta }}&=\left[\,{\frac {\mu }{\sigma ^{2}}},~-{\frac {1}{2\sigma ^{2}}}\,\right]^{\mathsf {T}}\\h(x)&={\frac {1}{\sqrt {2\pi }}}\\T(x)&=\left(x,x^{2}\right)^{\rm {T}}\\A({\boldsymbol {\eta }})&={\frac {\mu ^{2}}{2\sigma ^{2}}}+\log |\sigma |=-{\frac {\eta _{1}^{2}}{4\eta _{2}}}+{\frac {1}{2}}\log \left|{\frac {1}{2\eta _{2}}}\right|\end{aligned}}}$

Биномиальное распределение [ править ]

В качестве примера дискретного экспоненциального семейства рассмотрим биномиальное распределение с известным числом испытаний n . Функция массы вероятности для этого распределения равна

${\displaystyle f(x)={n \choose x}p^{x}(1-p)^{n-x},\quad x\in \{0,1,2,\ldots ,n\}.}$

Это может быть эквивалентно записано как

${\displaystyle f(x)={n \choose x}\exp \left(x\log \left({\frac {p}{1-p}}\right)+n\log(1-p)\right),}$

что показывает, что биномиальное распределение является экспоненциальным семейством, естественным параметром которого является

${\displaystyle \eta =\log {\frac {p}{1-p}}.}$

Эта функция p известна как logit .

Таблица распределений [ править ]

В следующей таблице показано, как переписать ряд общих распределений как распределения экспоненциального семейства с естественными параметрами. Обратитесь к карточкам ^[8] для получения информации об основных экспоненциальных семействах.

Для скалярной переменной и скалярного параметра форма выглядит следующим образом:

${\displaystyle f_{X}(x\mid \theta )=h(x)\exp {\Big (}\eta ({\theta })T(x)-A({\eta }){\Big )}}$

Для скалярной переменной и векторного параметра:

${\displaystyle f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\exp {\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})\cdot \mathbf {T} (x)-A({\boldsymbol {\eta }}){\Big )}}$

${\displaystyle f_{X}(x\mid {\boldsymbol {\theta }})=h(x)g({\boldsymbol {\theta }})\exp {\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})\cdot \mathbf {T} (x){\Big )}}$

Для векторной переменной и векторного параметра:

${\displaystyle f_{X}(\mathbf {x} \mid {\boldsymbol {\theta }})=h(\mathbf {x} )\exp {\Big (}{\boldsymbol {\eta }}({\boldsymbol {\theta }})\cdot \mathbf {T} (\mathbf {x} )-A({\boldsymbol {\eta }}){\Big )}}$

Приведенные выше формулы выбирают функциональную форму экспоненциального семейства с логарифмической статистической суммой . Причина этого в том, что моменты достаточной статистики можно легко вычислить, просто дифференцируя эту функцию. Альтернативные формы включают параметризацию этой функции в терминах нормального параметра вместо естественного параметра и / или использование множителя вне экспоненты. Отношения между последним и первым:${\displaystyle A({\boldsymbol {\eta }})}$${\displaystyle {\boldsymbol {\theta }}}$${\displaystyle g({\boldsymbol {\eta }})}$

${\displaystyle A({\boldsymbol {\eta }})=-\log g({\boldsymbol {\eta }})}$

${\displaystyle g({\boldsymbol {\eta }})=e^{-A({\boldsymbol {\eta }})}}$

Для преобразования между представлениями, включающими два типа параметров, используйте приведенные ниже формулы для записи одного типа параметра в терминах другого.

Распределение	Параметр (ы) ${\displaystyle {\boldsymbol {\theta }}}$	Натуральный параметр (ы) ${\displaystyle {\boldsymbol {\eta }}}$	Обратное отображение параметров	Базовая мера ${\displaystyle h(x)}$	Достаточная статистика ${\displaystyle T(x)}$	Лог-раздел ${\displaystyle A({\boldsymbol {\eta }})}$	Лог-раздел ${\displaystyle A({\boldsymbol {\theta }})}$
Распределение Бернулли	${\displaystyle p}$	${\displaystyle \log {\frac {p}{1-p}}}$ Это функция логита .	${\displaystyle {\frac {1}{1+e^{-\eta }}}={\frac {e^{\eta }}{1+e^{\eta }}}}$ Это логистическая функция .	${\displaystyle 1}$	${\displaystyle x}$	${\displaystyle \log(1+e^{\eta })}$	${\displaystyle -\log(1-p)}$
биномиальное распределение с известным количеством испытаний${\displaystyle n}$	${\displaystyle p}$	${\displaystyle \log {\frac {p}{1-p}}}$	${\displaystyle {\frac {1}{1+e^{-\eta }}}={\frac {e^{\eta }}{1+e^{\eta }}}}$	${\displaystyle {n \choose x}}$	${\displaystyle x}$	${\displaystyle n\log(1+e^{\eta })}$	${\displaystyle -n\log(1-p)}$
распределение Пуассона	${\displaystyle \lambda }$	${\displaystyle \log \lambda }$	${\displaystyle e^{\eta }}$	${\displaystyle {\frac {1}{x!}}}$	${\displaystyle x}$	${\displaystyle e^{\eta }}$	${\displaystyle \lambda }$
отрицательное биномиальное распределение с известным количеством отказов${\displaystyle r}$	${\displaystyle p}$	${\displaystyle \log p}$	${\displaystyle e^{\eta }}$	${\displaystyle {x+r-1 \choose x}}$	${\displaystyle x}$	${\displaystyle -r\log(1-e^{\eta })}$	${\displaystyle -r\log(1-p)}$
экспоненциальное распределение	${\displaystyle \lambda }$	${\displaystyle -\lambda }$	${\displaystyle -\eta }$	${\displaystyle 1}$	${\displaystyle x}$	${\displaystyle -\log(-\eta )}$	${\displaystyle -\log \lambda }$
Распределение Парето с известным минимальным значением${\displaystyle x_{m}}$	${\displaystyle \alpha }$	${\displaystyle -\alpha -1}$	${\displaystyle -1-\eta }$	${\displaystyle 1}$	${\displaystyle \log x}$	${\displaystyle -\log(-1-\eta )+(1+\eta )\log x_{\mathrm {m} }}$	${\displaystyle -\log \alpha -\alpha \log x_{\mathrm {m} }}$
Распределение Вейбулла с известной формой k	${\displaystyle \lambda }$	${\displaystyle -{\frac {1}{\lambda ^{k}}}}$	${\displaystyle (-\eta )^{-{\frac {1}{k}}}}$	${\displaystyle x^{k-1}}$	${\displaystyle x^{k}}$	${\displaystyle -\log(-\eta )-\log k}$	${\displaystyle k\log \lambda -\log k}$
Распределение Лапласа с известным средним${\displaystyle \mu }$	${\displaystyle b}$	${\displaystyle -{\frac {1}{b}}}$	${\displaystyle -{\frac {1}{\eta }}}$	${\displaystyle 1}$	${\displaystyle |x-\mu |}$	${\displaystyle \log \left(-{\frac {2}{\eta }}\right)}$	${\displaystyle \log 2b}$
распределение хи-квадрат	${\displaystyle \nu }$	${\displaystyle {\frac {\nu }{2}}-1}$	${\displaystyle 2(\eta +1)}$	${\displaystyle e^{-{\frac {x}{2}}}}$	${\displaystyle \log x}$	${\displaystyle \log \Gamma (\eta +1)+(\eta +1)\log 2}$	${\displaystyle \log \Gamma \left({\frac {\nu }{2}}\right)+{\frac {\nu }{2}}\log 2}$
известная дисперсия нормального распределения	${\displaystyle \mu }$	${\displaystyle {\frac {\mu }{\sigma }}}$	${\displaystyle \sigma \eta }$	${\displaystyle {\frac {e^{-{\frac {x^{2}}{2\sigma ^{2}}}}}{{\sqrt {2\pi }}\sigma }}}$	${\displaystyle {\frac {x}{\sigma }}}$	${\displaystyle {\frac {\eta ^{2}}{2}}}$	${\displaystyle {\frac {\mu ^{2}}{2\sigma ^{2}}}}$
непрерывное распределение Бернулли	${\displaystyle \lambda }$	${\displaystyle \log {\frac {\lambda }{1-\lambda }}}$	${\displaystyle {\frac {e^{\eta }}{1+e^{\eta }}}}$	${\displaystyle 1}$	${\displaystyle x}$	${\displaystyle \log {\frac {e^{\eta }-1}{\eta }}}$	${\displaystyle \log \left({\frac {1-2\lambda }{(1-\lambda )\log \left({\frac {1-\lambda }{\lambda }}\right)}}\right)}$
нормальное распределение	${\displaystyle \mu ,\ \sigma ^{2}}$	${\displaystyle {\begin{bmatrix}{\dfrac {\mu }{\sigma ^{2}}}\\[10pt]-{\dfrac {1}{2\sigma ^{2}}}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}-{\dfrac {\eta _{1}}{2\eta _{2}}}\\[15pt]-{\dfrac {1}{2\eta _{2}}}\end{bmatrix}}}$	${\displaystyle {\frac {1}{\sqrt {2\pi }}}}$	${\displaystyle {\begin{bmatrix}x\\x^{2}\end{bmatrix}}}$	${\displaystyle -{\frac {\eta _{1}^{2}}{4\eta _{2}}}-{\frac {1}{2}}\log(-2\eta _{2})}$	${\displaystyle {\frac {\mu ^{2}}{2\sigma ^{2}}}+\log \sigma }$
логнормальное распределение	${\displaystyle \mu ,\ \sigma ^{2}}$	${\displaystyle {\begin{bmatrix}{\dfrac {\mu }{\sigma ^{2}}}\\[10pt]-{\dfrac {1}{2\sigma ^{2}}}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}-{\dfrac {\eta _{1}}{2\eta _{2}}}\\[15pt]-{\dfrac {1}{2\eta _{2}}}\end{bmatrix}}}$	${\displaystyle {\frac {1}{{\sqrt {2\pi }}x}}}$	${\displaystyle {\begin{bmatrix}\log x\\(\log x)^{2}\end{bmatrix}}}$	${\displaystyle -{\frac {\eta _{1}^{2}}{4\eta _{2}}}-{\frac {1}{2}}\log(-2\eta _{2})}$	${\displaystyle {\frac {\mu ^{2}}{2\sigma ^{2}}}+\log \sigma }$
обратное гауссово распределение	${\displaystyle \mu ,\ \lambda }$	${\displaystyle {\begin{bmatrix}-{\dfrac {\lambda }{2\mu ^{2}}}\\[15pt]-{\dfrac {\lambda }{2}}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}{\sqrt {\dfrac {\eta _{2}}{\eta _{1}}}}\\[15pt]-2\eta _{2}\end{bmatrix}}}$	${\displaystyle {\frac {1}{{\sqrt {2\pi }}x^{\frac {3}{2}}}}}$	${\displaystyle {\begin{bmatrix}x\\[5pt]{\dfrac {1}{x}}\end{bmatrix}}}$	${\displaystyle 2{\sqrt {\eta _{1}\eta _{2}}}-{\frac {1}{2}}\log(-2\eta _{2})}$	${\displaystyle -{\frac {\lambda }{\mu }}-{\frac {1}{2}}\log \lambda }$
гамма-распределение	${\displaystyle \alpha ,\ \beta }$	${\displaystyle {\begin{bmatrix}\alpha -1\\-\beta \end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}\eta _{1}+1\\-\eta _{2}\end{bmatrix}}}$	${\displaystyle 1}$	${\displaystyle {\begin{bmatrix}\log x\\x\end{bmatrix}}}$	${\displaystyle \log \Gamma (\eta _{1}+1)-(\eta _{1}+1)\log(-\eta _{2})}$	${\displaystyle \log \Gamma (\alpha )-\alpha \log \beta }$
	${\displaystyle k,\ \theta }$	${\displaystyle {\begin{bmatrix}k-1\\[5pt]-{\dfrac {1}{\theta }}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}\eta _{1}+1\\[5pt]-{\dfrac {1}{\eta _{2}}}\end{bmatrix}}}$				${\displaystyle \log \Gamma (k)+k\log \theta }$
обратное гамма-распределение	${\displaystyle \alpha ,\ \beta }$	${\displaystyle {\begin{bmatrix}-\alpha -1\\-\beta \end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}-\eta _{1}-1\\-\eta _{2}\end{bmatrix}}}$	${\displaystyle 1}$	${\displaystyle {\begin{bmatrix}\log x\\{\frac {1}{x}}\end{bmatrix}}}$	${\displaystyle \log \Gamma (-\eta _{1}-1)-(-\eta _{1}-1)\log(-\eta _{2})}$	${\displaystyle \log \Gamma (\alpha )-\alpha \log \beta }$
обобщенное обратное гауссово распределение	${\displaystyle p,\ a,\ b}$	${\displaystyle {\begin{bmatrix}p-1\\-a/2\\-b/2\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}\eta _{1}+1\\-2\eta _{2}\\-2\eta _{3}\end{bmatrix}}}$	${\displaystyle 1}$	${\displaystyle {\begin{bmatrix}\log x\\x\\{\frac {1}{x}}\end{bmatrix}}}$	${\displaystyle \log 2K_{\eta _{1}+1}({\sqrt {4\eta _{2}\eta _{3}}})-{\frac {\eta _{1}+1}{2}}\log {\frac {\eta _{2}}{\eta _{3}}}}$	${\displaystyle \log 2K_{p}({\sqrt {ab}})-{\frac {p}{2}}\log {\frac {a}{b}}}$
масштабированное обратное распределение хи-квадрат	${\displaystyle \nu ,\ \sigma ^{2}}$	${\displaystyle {\begin{bmatrix}-{\dfrac {\nu }{2}}-1\\[10pt]-{\dfrac {\nu \sigma ^{2}}{2}}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}-2(\eta _{1}+1)\\[10pt]{\dfrac {\eta _{2}}{\eta _{1}+1}}\end{bmatrix}}}$	${\displaystyle 1}$	${\displaystyle {\begin{bmatrix}\log x\\{\frac {1}{x}}\end{bmatrix}}}$	${\displaystyle \log \Gamma (-\eta _{1}-1)-(-\eta _{1}-1)\log(-\eta _{2})}$	${\displaystyle \log \Gamma \left({\frac {\nu }{2}}\right)-{\frac {\nu }{2}}\log {\frac {\nu \sigma ^{2}}{2}}}$
бета-раздача (вариант 1)	${\displaystyle \alpha ,\ \beta }$	${\displaystyle {\begin{bmatrix}\alpha \\\beta \end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}\eta _{1}\\\eta _{2}\end{bmatrix}}}$	${\displaystyle {\frac {1}{x(1-x)}}}$	${\displaystyle {\begin{bmatrix}\log x\\\log(1-x)\end{bmatrix}}}$	${\displaystyle \log \Gamma (\eta _{1})+\log \Gamma (\eta _{2})-\log \Gamma (\eta _{1}+\eta _{2})}$	${\displaystyle \log \Gamma (\alpha )+\log \Gamma (\beta )-\log \Gamma (\alpha +\beta )}$
бета-раздача (вариант 2)	${\displaystyle \alpha ,\ \beta }$	${\displaystyle {\begin{bmatrix}\alpha -1\\\beta -1\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}\eta _{1}+1\\\eta _{2}+1\end{bmatrix}}}$	${\displaystyle 1}$	${\displaystyle {\begin{bmatrix}\log x\\\log(1-x)\end{bmatrix}}}$	${\displaystyle \log \Gamma (\eta _{1}+1)+\log \Gamma (\eta _{2}+1)-\log \Gamma (\eta _{1}+\eta _{2}+2)}$	${\displaystyle \log \Gamma (\alpha )+\log \Gamma (\beta )-\log \Gamma (\alpha +\beta )}$
многомерное нормальное распределение	${\displaystyle {\boldsymbol {\mu }},\ {\boldsymbol {\Sigma }}}$	${\displaystyle {\begin{bmatrix}{\boldsymbol {\Sigma }}^{-1}{\boldsymbol {\mu }}\\[5pt]-{\frac {1}{2}}{\boldsymbol {\Sigma }}^{-1}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}-{\frac {1}{2}}{\boldsymbol {\eta }}_{2}^{-1}{\boldsymbol {\eta }}_{1}\\[5pt]-{\frac {1}{2}}{\boldsymbol {\eta }}_{2}^{-1}\end{bmatrix}}}$	${\displaystyle (2\pi )^{-{\frac {k}{2}}}}$	${\displaystyle {\begin{bmatrix}\mathbf {x} \\[5pt]\mathbf {x} \mathbf {x} ^{\mathsf {T}}\end{bmatrix}}}$	${\displaystyle -{\frac {1}{4}}{\boldsymbol {\eta }}_{1}^{\mathsf {T}}{\boldsymbol {\eta }}_{2}^{-1}{\boldsymbol {\eta }}_{1}-{\frac {1}{2}}\log \left|-2{\boldsymbol {\eta }}_{2}\right|}$	${\displaystyle {\frac {1}{2}}{\boldsymbol {\mu }}^{\mathsf {T}}{\boldsymbol {\Sigma }}^{-1}{\boldsymbol {\mu }}+{\frac {1}{2}}\log |{\boldsymbol {\Sigma }}|}$
категориальное распределение (вариант 1)	${\displaystyle p_{1},\ \ldots ,\,p_{k}}$ куда ${\displaystyle \textstyle \sum _{i=1}^{k}p_{i}=1}$	${\displaystyle {\begin{bmatrix}\log p_{1}\\\vdots \\\log p_{k}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}e^{\eta _{1}}\\\vdots \\e^{\eta _{k}}\end{bmatrix}}}$ куда ${\displaystyle \textstyle \sum _{i=1}^{k}e^{\eta _{i}}=1}$	${\displaystyle 1}$	${\displaystyle {\begin{bmatrix}[x=1]\\\vdots \\{[x=k]}\end{bmatrix}}}$ ${\displaystyle [x=i]}$является кронштейн Айверсон *	${\displaystyle 0}$	${\displaystyle 0}$
категориальное распределение (вариант 2)	${\displaystyle p_{1},\ \ldots ,\,p_{k}}$ куда ${\displaystyle \textstyle \sum _{i=1}^{k}p_{i}=1}$	${\displaystyle {\begin{bmatrix}\log p_{1}+C\\\vdots \\\log p_{k}+C\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}{\dfrac {1}{C}}e^{\eta _{1}}\\\vdots \\{\dfrac {1}{C}}e^{\eta _{k}}\end{bmatrix}}=}$ ${\displaystyle {\begin{bmatrix}{\dfrac {e^{\eta _{1}}}{\sum _{i=1}^{k}e^{\eta _{i}}}}\\[10pt]\vdots \\[5pt]{\dfrac {e^{\eta _{k}}}{\sum _{i=1}^{k}e^{\eta _{i}}}}\end{bmatrix}}}$ куда ${\displaystyle \textstyle \sum _{i=1}^{k}e^{\eta _{i}}=C}$	${\displaystyle 1}$	${\displaystyle {\begin{bmatrix}[x=1]\\\vdots \\{[x=k]}\end{bmatrix}}}$ ${\displaystyle [x=i]}$является кронштейн Айверсон *	${\displaystyle 0}$	${\displaystyle 0}$
категориальное распределение (вариант 3)	${\displaystyle p_{1},\ \ldots ,\,p_{k}}$ куда ${\displaystyle p_{k}=1-\textstyle \sum _{i=1}^{k-1}p_{i}}$	${\displaystyle {\begin{bmatrix}\log {\dfrac {p_{1}}{p_{k}}}\\[10pt]\vdots \\[5pt]\log {\dfrac {p_{k-1}}{p_{k}}}\\[15pt]0\end{bmatrix}}=}$ ${\displaystyle {\begin{bmatrix}\log {\dfrac {p_{1}}{1-\sum _{i=1}^{k-1}p_{i}}}\\[10pt]\vdots \\[5pt]\log {\dfrac {p_{k-1}}{1-\sum _{i=1}^{k-1}p_{i}}}\\[15pt]0\end{bmatrix}}}$ Это обратная функция softmax , обобщение функции logit .	${\displaystyle {\begin{bmatrix}{\dfrac {e^{\eta _{1}}}{\sum _{i=1}^{k}e^{\eta _{i}}}}\\[10pt]\vdots \\[5pt]{\dfrac {e^{\eta _{k}}}{\sum _{i=1}^{k}e^{\eta _{i}}}}\end{bmatrix}}=}$ ${\displaystyle {\begin{bmatrix}{\dfrac {e^{\eta _{1}}}{1+\sum _{i=1}^{k-1}e^{\eta _{i}}}}\\[10pt]\vdots \\[5pt]{\dfrac {e^{\eta _{k-1}}}{1+\sum _{i=1}^{k-1}e^{\eta _{i}}}}\\[15pt]{\dfrac {1}{1+\sum _{i=1}^{k-1}e^{\eta _{i}}}}\end{bmatrix}}}$ Это функция softmax , обобщение логистической функции .	${\displaystyle 1}$	${\displaystyle {\begin{bmatrix}[x=1]\\\vdots \\{[x=k]}\end{bmatrix}}}$ ${\displaystyle [x=i]}$является кронштейн Айверсон *	${\displaystyle \log \left(\sum _{i=1}^{k}e^{\eta _{i}}\right)=\log \left(1+\sum _{i=1}^{k-1}e^{\eta _{i}}\right)}$	${\displaystyle -\log p_{k}=-\log \left(1-\sum _{i=1}^{k-1}p_{i}\right)}$
полиномиальное распределение (вариант 1) с известным количеством испытаний${\displaystyle n}$	${\displaystyle p_{1},\ \ldots ,\,p_{k}}$ куда ${\displaystyle \textstyle \sum _{i=1}^{k}p_{i}=1}$	${\displaystyle {\begin{bmatrix}\log p_{1}\\\vdots \\\log p_{k}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}e^{\eta _{1}}\\\vdots \\e^{\eta _{k}}\end{bmatrix}}}$ куда ${\displaystyle \textstyle \sum _{i=1}^{k}e^{\eta _{i}}=1}$	${\displaystyle {\frac {n!}{\prod _{i=1}^{k}x_{i}!}}}$	${\displaystyle {\begin{bmatrix}x_{1}\\\vdots \\x_{k}\end{bmatrix}}}$	${\displaystyle 0}$	${\displaystyle 0}$
полиномиальное распределение (вариант 2) с известным количеством испытаний${\displaystyle n}$	${\displaystyle p_{1},\ \ldots ,\,p_{k}}$ куда ${\displaystyle \textstyle \sum _{i=1}^{k}p_{i}=1}$	${\displaystyle {\begin{bmatrix}\log p_{1}+C\\\vdots \\\log p_{k}+C\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}{\dfrac {1}{C}}e^{\eta _{1}}\\\vdots \\{\dfrac {1}{C}}e^{\eta _{k}}\end{bmatrix}}=}$ ${\displaystyle {\begin{bmatrix}{\dfrac {e^{\eta _{1}}}{\sum _{i=1}^{k}e^{\eta _{i}}}}\\[10pt]\vdots \\[5pt]{\dfrac {e^{\eta _{k}}}{\sum _{i=1}^{k}e^{\eta _{i}}}}\end{bmatrix}}}$ куда ${\displaystyle \textstyle \sum _{i=1}^{k}e^{\eta _{i}}=C}$	${\displaystyle {\frac {n!}{\prod _{i=1}^{k}x_{i}!}}}$	${\displaystyle {\begin{bmatrix}x_{1}\\\vdots \\x_{k}\end{bmatrix}}}$	${\displaystyle 0}$	${\displaystyle 0}$
полиномиальное распределение (вариант 3) с известным количеством испытаний${\displaystyle n}$	${\displaystyle p_{1},\ \ldots ,\,p_{k}}$ куда ${\displaystyle p_{k}=1-\textstyle \sum _{i=1}^{k-1}p_{i}}$	${\displaystyle {\begin{bmatrix}\log {\dfrac {p_{1}}{p_{k}}}\\[10pt]\vdots \\[5pt]\log {\dfrac {p_{k-1}}{p_{k}}}\\[15pt]0\end{bmatrix}}=}$ ${\displaystyle {\begin{bmatrix}\log {\dfrac {p_{1}}{1-\sum _{i=1}^{k-1}p_{i}}}\\[10pt]\vdots \\[5pt]\log {\dfrac {p_{k-1}}{1-\sum _{i=1}^{k-1}p_{i}}}\\[15pt]0\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}{\dfrac {e^{\eta _{1}}}{\sum _{i=1}^{k}e^{\eta _{i}}}}\\[10pt]\vdots \\[5pt]{\dfrac {e^{\eta _{k}}}{\sum _{i=1}^{k}e^{\eta _{i}}}}\end{bmatrix}}=}$ ${\displaystyle {\begin{bmatrix}{\dfrac {e^{\eta _{1}}}{1+\sum _{i=1}^{k-1}e^{\eta _{i}}}}\\[10pt]\vdots \\[5pt]{\dfrac {e^{\eta _{k-1}}}{1+\sum _{i=1}^{k-1}e^{\eta _{i}}}}\\[15pt]{\dfrac {1}{1+\sum _{i=1}^{k-1}e^{\eta _{i}}}}\end{bmatrix}}}$	${\displaystyle {\frac {n!}{\prod _{i=1}^{k}x_{i}!}}}$	${\displaystyle {\begin{bmatrix}x_{1}\\\vdots \\x_{k}\end{bmatrix}}}$	${\displaystyle n\log \left(\sum _{i=1}^{k}e^{\eta _{i}}\right)=n\log \left(1+\sum _{i=1}^{k-1}e^{\eta _{i}}\right)}$	${\displaystyle -n\log p_{k}=-n\log \left(1-\sum _{i=1}^{k-1}p_{i}\right)}$
Распределение Дирихле (вариант 1)	${\displaystyle \alpha _{1},\ \ldots ,\,\alpha _{k}}$	${\displaystyle {\begin{bmatrix}\alpha _{1}\\\vdots \\\alpha _{k}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}\eta _{1}\\\vdots \\\eta _{k}\end{bmatrix}}}$	${\displaystyle {\frac {1}{\prod _{i=1}^{k}x_{i}}}}$	${\displaystyle {\begin{bmatrix}\log x_{1}\\\vdots \\\log x_{k}\end{bmatrix}}}$	${\displaystyle \sum _{i=1}^{k}\log \Gamma (\eta _{i})-\log \Gamma \left(\sum _{i=1}^{k}\eta _{i}\right)}$	${\displaystyle \sum _{i=1}^{k}\log \Gamma (\alpha _{i})-\log \Gamma \left(\sum _{i=1}^{k}\alpha _{i}\right)}$
Распределение Дирихле (вариант 2)	${\displaystyle \alpha _{1},\ \ldots ,\,\alpha _{k}}$	${\displaystyle {\begin{bmatrix}\alpha _{1}-1\\\vdots \\\alpha _{k}-1\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}\eta _{1}+1\\\vdots \\\eta _{k}+1\end{bmatrix}}}$	${\displaystyle 1}$	${\displaystyle {\begin{bmatrix}\log x_{1}\\\vdots \\\log x_{k}\end{bmatrix}}}$	${\displaystyle \sum _{i=1}^{k}\log \Gamma (\eta _{i}+1)-\log \Gamma \left(\sum _{i=1}^{k}(\eta _{i}+1)\right)}$	${\displaystyle \sum _{i=1}^{k}\log \Gamma (\alpha _{i})-\log \Gamma \left(\sum _{i=1}^{k}\alpha _{i}\right)}$
Распределение Уишарта	${\displaystyle \mathbf {V} ,\ n}$	${\displaystyle {\begin{bmatrix}-{\frac {1}{2}}\mathbf {V} ^{-1}\\[5pt]{\dfrac {n-p-1}{2}}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}-{\frac {1}{2}}{{\boldsymbol {\eta }}_{1}}^{-1}\\[5pt]2\eta _{2}+p+1\end{bmatrix}}}$	${\displaystyle 1}$	${\displaystyle {\begin{bmatrix}\mathbf {X} \\\log |\mathbf {X} |\end{bmatrix}}}$	${\displaystyle -\left(\eta _{2}+{\frac {p+1}{2}}\right)\log |-{\boldsymbol {\eta }}_{1}|}$       ${\displaystyle +\log \Gamma _{p}\left(\eta _{2}+{\frac {p+1}{2}}\right)=}$ ${\displaystyle -{\frac {n}{2}}\log |-{\boldsymbol {\eta }}_{1}|+\log \Gamma _{p}\left({\frac {n}{2}}\right)=}$ ${\displaystyle \left(\eta _{2}+{\frac {p+1}{2}}\right)(p\log 2+\log |\mathbf {V} |)}$       ${\displaystyle +\log \Gamma _{p}\left(\eta _{2}+{\frac {p+1}{2}}\right)}$ Приведены три варианта с разными параметризациями, чтобы облегчить вычисление моментов достаточной статистики.	${\displaystyle {\frac {n}{2}}(p\log 2+\log |\mathbf {V} |)+\log \Gamma _{p}\left({\frac {n}{2}}\right)}$
	Примечание : Используется тот факт , что то есть след из матрицы продукта является так же, как скалярное произведение . Предполагается, что параметры матрицы векторизованы (размещены в векторе) при вставке в экспоненциальную форму. Кроме того, и являются симметричными, поэтому, например,${\displaystyle {\rm {tr}}(\mathbf {A} ^{\mathsf {T}}\mathbf {B} )=\operatorname {vec} (\mathbf {A} )\cdot \operatorname {vec} (\mathbf {B} ),}$${\displaystyle \mathbf {V} }$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {V} ^{\mathsf {T}}=\mathbf {V} \ .}$
обратное распределение Уишарта	${\displaystyle \mathbf {\Psi } ,\,m}$	${\displaystyle {\begin{bmatrix}-{\frac {1}{2}}{\boldsymbol {\Psi }}\\[5pt]-{\dfrac {m+p+1}{2}}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}-2{\boldsymbol {\eta }}_{1}\\[5pt]-(2\eta _{2}+p+1)\end{bmatrix}}}$	${\displaystyle 1}$	${\displaystyle {\begin{bmatrix}\mathbf {X} ^{-1}\\\log |\mathbf {X} |\end{bmatrix}}}$	${\displaystyle \left(\eta _{2}+{\frac {p+1}{2}}\right)\log |-{\boldsymbol {\eta }}_{1}|}$       ${\displaystyle +\log \Gamma _{p}\left(-{\Big (}\eta _{2}+{\frac {p+1}{2}}{\Big )}\right)=}$ ${\displaystyle -{\frac {m}{2}}\log |-{\boldsymbol {\eta }}_{1}|+\log \Gamma _{p}\left({\frac {m}{2}}\right)=}$ ${\displaystyle -\left(\eta _{2}+{\frac {p+1}{2}}\right)(p\log 2-\log |{\boldsymbol {\Psi }}|)}$       ${\displaystyle +\log \Gamma _{p}\left(-{\Big (}\eta _{2}+{\frac {p+1}{2}}{\Big )}\right)}$	${\displaystyle {\frac {m}{2}}(p\log 2-\log |{\boldsymbol {\Psi }}|)+\log \Gamma _{p}\left({\frac {m}{2}}\right)}$
нормальное гамма-распределение	${\displaystyle \alpha ,\ \beta ,\ \mu ,\ \lambda }$	${\displaystyle {\begin{bmatrix}\alpha -{\frac {1}{2}}\\-\beta -{\dfrac {\lambda \mu ^{2}}{2}}\\\lambda \mu \\-{\dfrac {\lambda }{2}}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}\eta _{1}+{\frac {1}{2}}\\-\eta _{2}+{\dfrac {\eta _{3}^{2}}{4\eta _{4}}}\\-{\dfrac {\eta _{3}}{2\eta _{4}}}\\-2\eta _{4}\end{bmatrix}}}$	${\displaystyle {\dfrac {1}{\sqrt {2\pi }}}}$	${\displaystyle {\begin{bmatrix}\log \tau \\\tau \\\tau x\\\tau x^{2}\end{bmatrix}}}$	${\displaystyle \log \Gamma \left(\eta _{1}+{\frac {1}{2}}\right)-{\frac {1}{2}}\log \left(-2\eta _{4}\right)-}$       ${\displaystyle -\left(\eta _{1}+{\frac {1}{2}}\right)\log \left(-\eta _{2}+{\dfrac {\eta _{3}^{2}}{4\eta _{4}}}\right)}$	${\displaystyle \log \Gamma \left(\alpha \right)-\alpha \log \beta -{\frac {1}{2}}\log \lambda }$