Распределение вероятностей максимальной энтропии

Эта статья поднимает множество проблем. Пожалуйста, помогите улучшить его или обсудите эти проблемы на странице обсуждения . ( Узнайте, как и когда удалить эти сообщения-шаблоны ) Эта статья требует дополнительных ссылок для проверки . Пожалуйста, помогите улучшить эту статью , добавив цитаты из надежных источников . Материал, не полученный от источника, может быть оспорен и удален. Найти источники:  «Максимальное распределение вероятностей энтропии»  -  новости  · газеты  · книги  · ученый  · JSTOR ( август 2009 г. ) ( Узнайте, как и когда удалить это сообщение-шаблон ) Эта статья включает в себя список общих ссылок , но он остается в значительной степени непроверенным, поскольку в нем отсутствует достаточное количество соответствующих встроенных ссылок . Пожалуйста, помогите улучшить эту статью, добавив более точные цитаты. ( Декабрь 2013 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения ) ( Узнайте, как и когда удалить этот шаблон сообщения )

В статистике и теории информации максимальное распределение вероятностей энтропии имеет энтропию , по крайней мере , такую же большую, как у всех других членов определенного класса распределений вероятностей . Согласно принципу максимальной энтропии , если о распределении ничего не известно, кроме того, что оно принадлежит к определенному классу (обычно определяемому в терминах определенных свойств или мер), то распределение с наибольшей энтропией следует выбирать как наименее информативное. дефолт. Мотивация двоякая: во-первых, максимизация энтропии сводит к минимуму количество предшествующей информации.встроен в раздачу; во-вторых, многие физические системы со временем имеют тенденцию двигаться к конфигурациям с максимальной энтропией.

Определение энтропии и дифференциальной энтропии [ править ]

Если X - дискретная случайная величина с распределением, заданным

${\ displaystyle \ operatorname {Pr} (X = x_ {k}) = p_ {k} \ quad {\ mbox {for}} k = 1,2, \ ldots}$

то энтропия X определяется как

${\ Displaystyle H (X) = - \ sum _ {k \ geq 1} p_ {k} \ log p_ {k}.}$

Если Х является непрерывной случайной величиной с плотностью вероятности р ( х ), то дифференциальное энтропии из X определяется как ^{[1] [2] [3]}

${\ Displaystyle H (X) = - \ int _ {- \ infty} ^ {\ infty} p (x) \ log p (x) \, dx.}$

Величина p ( x ) log p ( x ) считается равной нулю, если p ( x ) = 0 .

Это частный случай более общих форм, описанных в статьях Энтропия (теория информации) , Принцип максимальной энтропии и дифференциальная энтропия. В связи с максимальным распределением энтропии это единственное необходимое, потому что максимизация также максимизирует более общие формы.${\ Displaystyle H (X)}$

Основание логарифма не имеет значения, если одно и то же используется последовательно: изменение основания просто приводит к изменению масштаба энтропии. Теоретики информации могут предпочесть использовать основание 2 для выражения энтропии в битах ; математики и физики часто предпочитают натуральный логарифм , в результате чего энтропия выражается в единицах нат .

Однако выбор меры имеет решающее значение для определения энтропии и результирующего максимального распределения энтропии, даже несмотря на то, что обычное обращение к мере Лебега часто защищается как «естественное».${\ displaystyle dx}$

Распределения с измеренными константами [ править ]

Многие статистические распределения, представляющие интерес, - это те, для которых моменты или другие измеримые величины ограничены как постоянные. Следующая теорема Людвига Больцмана дает вид плотности вероятности при этих ограничениях.

Непрерывный случай [ править ]

Пусть S является замкнутым подмножеством из действительных чисел R , и мы решили задать п измеримых функций F ₁ , ..., х _п и п чисел ₁ , ..., _н . Мы рассматриваем класс C всех действительных случайных величин, которые поддерживаются на S (то есть чья функция плотности равна нулю вне S ) и которые удовлетворяют условиям n моментов:

${\ displaystyle \ operatorname {E} (f_ {j} (X)) \ geq a_ {j} \ quad {\ mbox {for}} j = 1, \ ldots, n}$

Если в C есть член , функция плотности которого положительна всюду в S , и если существует максимальное распределение энтропии для C , то его плотность вероятности p ( x ) имеет следующий вид:

${\ displaystyle p (x) = \ exp \ left (\ sum _ {j = 0} ^ {n} \ lambda _ {j} f_ {j} (x) \ right) \ quad {\ mbox {для всех} } x \ in S}$

где мы предполагаем, что . Константа и n множителей Лагранжа решают задачу оптимизации с ограничениями (это условие гарантирует, что интегрируется до единицы): ^[4]${\ displaystyle f_ {0} (x) = 1}$${\ displaystyle \ lambda _ {0}}$ ${\ displaystyle {\ boldsymbol {\ lambda}} = (\ lambda _ {1}, \ ldots, \ lambda _ {n})}$${\ displaystyle a_ {0} = 1}$${\ displaystyle p}$

${\displaystyle \max _{\lambda _{0};{\boldsymbol {\lambda }}}\left\{\sum _{j=0}^{n}\lambda _{j}a_{j}-\int \exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x)\right)dx\right\}\quad \mathrm {subject\;to:\;\;} {\boldsymbol {\lambda }}\geq \mathbf {0} }$

Используя условия Каруша – Куна – Таккера , можно показать, что задача оптимизации имеет единственное решение, поскольку целевая функция в оптимизации является вогнутой .${\displaystyle {\boldsymbol {\lambda }}}$

Обратите внимание, что если моментными условиями являются равенства (а не неравенства), то есть

${\displaystyle \operatorname {E} (f_{j}(X))=a_{j}\quad {\mbox{ for }}j=1,\ldots ,n,}$

тогда условие ограничения отбрасывается, что делает оптимизацию по множителям Лагранжа неограниченной.${\displaystyle {\boldsymbol {\lambda }}\geq \mathbf {0} }$

Дискретный случай [ править ]

Предположим, что S = { x ₁ , x ₂ , ...} является (конечным или бесконечным) дискретным подмножеством вещественных чисел, и мы решили указать n функций f ₁ , ..., f _n и n чисел a ₁ , .. ., а _н . Мы рассматриваем класс C всех дискретных случайных величин X, которые поддерживаются на S и которые удовлетворяют условиям n моментов

${\displaystyle \operatorname {E} (f_{j}(X))\geq a_{j}\quad {\mbox{ for }}j=1,\ldots ,n}$

Если существует член C, который присваивает положительную вероятность всем членам S, и если существует максимальное распределение энтропии для C , то это распределение имеет следующую форму:

${\displaystyle \operatorname {Pr} (X=x_{k})=\exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x_{k})\right)\quad {\mbox{ for }}k=1,2,\ldots }$

где мы предполагаем, что и константы решают задачу оптимизации с ограничениями с помощью : ^[5]${\displaystyle f_{0}=1}$${\displaystyle \lambda _{0},\;{\boldsymbol {\lambda }}=(\lambda _{1},\ldots ,\lambda _{n})}$${\displaystyle a_{0}=1}$

${\displaystyle \max _{\lambda _{0};{\boldsymbol {\lambda }}}\left\{\sum _{j=0}^{n}\lambda _{j}a_{j}-\sum _{k\geq 1}\exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x_{k})\right)\right\}\quad \mathrm {subject\;to:\;\;} {\boldsymbol {\lambda }}\geq \mathbf {0} }$

Опять же, если моментными условиями являются равенства (вместо неравенств), то условие ограничения не присутствует в оптимизации.${\displaystyle {\boldsymbol {\lambda }}\geq \mathbf {0} }$

Доказательство в случае ограничений равенства [ править ]

В случае ограничений типа равенства эта теорема доказывается с помощью вариационного исчисления и множителей Лагранжа . Ограничения можно записать как

${\displaystyle \int _{-\infty }^{\infty }f_{j}(x)p(x)dx=a_{j}}$

Рассмотрим функционал

${\displaystyle J(p)=\int _{-\infty }^{\infty }p(x)\ln {p(x)}dx-\eta _{0}\left(\int _{-\infty }^{\infty }p(x)dx-1\right)-\sum _{j=1}^{n}\lambda _{j}\left(\int _{-\infty }^{\infty }f_{j}(x)p(x)dx-a_{j}\right)}$

где и - множители Лагранжа. Нулевое ограничение обеспечивает вторую аксиому вероятности . Другие ограничения заключаются в том, что измерениям функции задаются определенные константы . Энтропия достигает экстремума, когда функциональная производная равна нулю:${\displaystyle \eta _{0}}$${\displaystyle \lambda _{j},j\geq 1}$${\displaystyle n}$

${\displaystyle {\frac {\delta J}{\delta p}}\left(p\right)=\ln {p(x)}+1-\eta _{0}-\sum _{j=1}^{n}\lambda _{j}f_{j}(x)=0}$

Это упражнение для читателя ^{[ необходима цитата ],} что этот экстремум действительно является максимумом. Следовательно, максимальное распределение вероятностей энтропии в этом случае должно иметь вид ( )${\displaystyle \lambda _{0}:=\eta _{0}-1}$

${\displaystyle p(x)=e^{-1+\eta _{0}}\cdot e^{\sum _{j=1}^{n}\lambda _{j}f_{j}(x)}=\exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x)\right)\;.}$

Доказательство дискретной версии по сути такое же.

Уникальность максимальная [ править ]

Предположим , есть распределения, удовлетворяющие ограничениям на ожидание. Допуская и учитывая распределение, становится ясно, что это распределение удовлетворяет ограничениям на ожидание и, кроме того, имеет поддержку . Исходя из основных фактов об энтропии, это так . Принимая пределы и соответственно урожайности .${\displaystyle p}$${\displaystyle p'}$${\displaystyle \alpha \in (0,1)}$${\displaystyle q=\alpha \cdot p+(1-\alpha )\cdot p'}$${\displaystyle \mathrm {supp} (q)=\mathrm {supp} (p)\cup \mathrm {supp} (p')}$${\displaystyle {\mathcal {H}}(q)\geq \alpha {\mathcal {H}}(p)+(1-\alpha ){\mathcal {H}}(p')}$${\displaystyle \alpha \longrightarrow 1}$${\displaystyle \alpha \longrightarrow 0}$${\displaystyle {\mathcal {H}}(q)\geq {\mathcal {H}}(p),{\mathcal {H}}(p')}$

Отсюда следует, что распределение, удовлетворяющее ограничениям на ожидание и максимизирующее энтропию, обязательно должно иметь полную поддержку, т. Е. Распределение почти везде положительно. Отсюда следует, что максимизирующее распределение должно быть внутренней точкой в ​​пространстве распределений, удовлетворяющих ограничениям на ожидание, то есть оно должно быть локальным экстремумом. Таким образом, достаточно показать, что локальный экстремум уникален, чтобы показать и то, и другое, что максимизирующее энтропию распределение уникально (и это также показывает, что локальный экстремум является глобальным максимумом).

Допустим, это локальные крайности. Переформулируя приведенные выше вычисления, они характеризуются параметрами via и аналогично для , где . Теперь отметим ряд тождеств: через удовлетворение ограничений на ожидание и использование градиентов / производных по направлениям, и аналогично для . Позволяя получить:${\displaystyle p,p'}$${\displaystyle {\vec {\lambda }},{\vec {\lambda }}'\in \mathbb {R} ^{n}}$${\displaystyle p(x)={\frac {e^{\langle {\vec {\lambda }},{\vec {f}}(x)\rangle }}{C({\vec {\lambda }})}}}$${\displaystyle p'}$${\displaystyle C({\vec {\lambda }})=\int _{x\in \mathbb {R} }e^{\langle {\vec {\lambda }},{\vec {f}}(x)\rangle }~dx}$${\displaystyle D\log(C(\cdot ))\vert _{\vec {\lambda }}=\left.{\frac {DC(\cdot )}{C(\cdot )}}\right|_{\vec {\lambda }}=\mathbb {E} _{p}[{\vec {f}}(X)]={\vec {a}}}$${\displaystyle {\vec {\lambda }}'}$${\displaystyle u={\vec {\lambda }}'-{\vec {\lambda }}\in \mathbb {R} ^{n}}$

${\displaystyle 0=\langle u,{\vec {a}}-{\vec {a}}\rangle =D_{u}\log(C(\cdot ))\vert _{{\vec {\lambda }}'}-D_{u}\log(C(\cdot ))\vert _{\vec {\lambda }}=D_{u}^{2}\log(C(\cdot ))\vert _{\vec {\gamma }}}$

где для некоторых . Дальнейшие вычисления${\displaystyle {\vec {\gamma }}=\theta {\vec {\lambda }}+(1-\theta ){\vec {\lambda }}'}$${\displaystyle \theta \in (0,1)}$

${\displaystyle {\begin{array}{rcl}0&=&D_{u}^{2}\log(C(\cdot ))\vert _{\vec {\gamma }}\\&=&\left.D_{u}\left({\frac {D_{u}C(\cdot )}{C(\cdot )}}\right)\right|_{\vec {\gamma }}\\&=&\left.{\frac {D_{u}^{2}C(\cdot )}{C(\cdot )}}\right|_{\vec {\gamma }}-\left.{\frac {(D_{u}C(\cdot ))^{2}}{C(\cdot )^{2}}}\right|_{\vec {\gamma }}\\&=&\mathbb {E} _{q}[(\langle u,{\vec {f}}(X)\rangle )^{2}]-\left(\mathbb {E} _{q}[\langle u,{\vec {f}}(X)\rangle ]\right)^{2}=\mathrm {Var} _{q}(\langle u,{\vec {f}}(X)\rangle )\\\end{array}}}$

где аналогично приведенному выше распределению, только параметризовано . Предполагая, что никакая нетривиальная линейная комбинация наблюдаемых почти всюду (п.в.) константа (что, например, имеет место, если наблюдаемые независимы, а не п.в. константами), верно, что имеет ненулевую дисперсию, если только . Таким образом, из приведенного выше уравнения ясно, что последнее должно иметь место. Следовательно , параметры, характеризующие локальные экстремумы , идентичны, а значит, идентичны сами распределения. Таким образом, локальный экстремум уникален, и, согласно приведенному выше обсуждению, максимум уникален - при условии, что локальный экстремум действительно существует.${\displaystyle q}$${\displaystyle {\vec {\gamma }}}$${\displaystyle \langle u,{\vec {f}}(X)\rangle }$${\displaystyle u=0}$${\displaystyle {\vec {\lambda }}'-{\vec {\lambda }}=u=0}$${\displaystyle p,p'}$

Предостережения [ править ]

Обратите внимание, что не все классы распределений содержат максимальное распределение энтропии. Возможно, что класс содержит распределения произвольно большой энтропии (например, класс всех непрерывных распределений на R со средним значением 0, но произвольным стандартным отклонением), или что энтропии ограничены сверху, но нет распределения, которое достигает максимальной энтропии. ^[а] Также возможно , что ожидаемое значение ограничения для класса C заставить распределение вероятностей равным нулю в определенных подмножеств S . В этом случае наша теорема не применяется, но можно обойти эту проблему , сокращая набор S .

Примеры [ править ]

Каждое распределение вероятностей является тривиальным распределением вероятностей максимальной энтропии при условии, что это распределение имеет собственную энтропию. Чтобы увидеть это, перепишите плотность как и сравните с выражением теоремы выше. Выбрав в качестве измеримой функции и${\displaystyle p(x)=\exp {(\ln {p(x)})}}$${\displaystyle \ln {p(x)}\rightarrow f(x)}$

${\displaystyle \int \exp {(f(x))}f(x)dx=-H}$

константа, максимальное распределение вероятностей энтропии при ограничении${\displaystyle p(x)}$

${\displaystyle \int p(x)f(x)dx=-H}$.

Нетривиальные примеры - это распределения, на которые накладываются несколько ограничений, отличных от назначения энтропии. Их часто можно найти, начав с одной процедуры и обнаружив, что их можно разделить на части.${\displaystyle \ln {p(x)}\rightarrow f(x)}$${\displaystyle f(x)}$

Таблица примеров распределения максимальной энтропии приведена в работах Лисмана (1972) ^[6] и Park & ​​Bera (2009) ^[7].

Равномерные и кусочно-однородные распределения [ править ]

Равномерное распределение на отрезке [ , Ь ] является максимальное распределение энтропии среди всех непрерывных распределений , которые поддерживаются в интервале [ , Ь ], и , следовательно , плотность вероятности равна 0 вне интервала. Эта однородная плотность может быть связана с принципом безразличия Лапласа , который иногда называют принципом недостаточной причины. В более общем смысле, если нам дано подразделение a = a ₀ < a ₁ <... < a _k = b интервала [ a , b ] и вероятностейp ₁ , ..., p _k, которые в сумме дают единицу, то мы можем рассмотреть класс всех непрерывных распределений, таких что

${\displaystyle \operatorname {Pr} (a_{j-1}\leq X<a_{j})=p_{j}\quad {\mbox{ for }}j=1,\ldots ,k}$

Плотность распределения максимальной энтропии для этого класса постоянна на каждом из интервалов [ a _{j -1} , a _j ). Равномерное распределение на конечном множестве { x ₁ , ..., x _n } (которое присваивает вероятность 1 / n каждому из этих значений) является максимальным распределением энтропии среди всех дискретных распределений, поддерживаемых на этом множестве.

Положительное и указанное среднее: экспоненциальное распределение [ править ]

Экспоненциальное распределение , при котором функция плотности

${\displaystyle p(x|\lambda )={\begin{cases}\lambda e^{-\lambda x}&x\geq 0,\\0&x<0,\end{cases}}}$

максимальное распределение энтропии среди всех непрерывных распределений, поддерживаемых в [0, ∞), которые имеют заданное среднее значение 1 / λ.

Указанная дисперсия: нормальное распределение [ править ]

Нормальное распределение N (μ, σ ² ), для которых функция плотности

${\displaystyle p(x|\mu ,\sigma )={\frac {1}{\sigma {\sqrt {2\pi }}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}},}$

имеет максимальную энтропию среди всех вещественнозначных распределений с носителем на (−∞, ∞) с заданной дисперсией σ ² (конкретный момент ). Следовательно, предположение о нормальности налагает минимальные априорные структурные ограничения после этого момента. (См. Статью о дифференциальной энтропии для вывода.)

В случае распределений, поддерживаемых на [0, ∞), максимальное распределение энтропии зависит от соотношений между первым и вторым моментами. В определенных случаях это может быть экспоненциальное распределение, может быть другое распределение или может быть неопределимым. ^[8]

Дискретные распределения с указанным средним [ править ]

Среди всех дискретных распределений, поддерживаемых на множестве { x ₁ , ..., x _n } с заданным средним μ, максимальное распределение энтропии имеет следующую форму:

${\displaystyle \operatorname {Pr} (X=x_{k})=Cr^{x_{k}}\quad {\mbox{ for }}k=1,\ldots ,n}$

где положительные константы C и r могут быть определены из требований, согласно которым сумма всех вероятностей должна быть равна 1, а ожидаемое значение должно быть μ.

Например, если большое число N кости брошены, и вы сказали , что сумма всех показанных чисел S . Основываясь только на этой информации, какое будет разумное предположение для количества игральных костей, показывающих 1, 2, ..., 6? Это является примером ситуации , рассмотренной выше, с { х ₁ , ..., х ₆ } = {1, ..., 6} , и μ = S / N .

Наконец, среди всех дискретных распределений, поддерживаемых бесконечным множеством { x ₁ , x ₂ , ...} со средним значением μ, максимальное распределение энтропии имеет форму:

${\displaystyle \operatorname {Pr} (X=x_{k})=Cr^{x_{k}}\quad {\mbox{ for }}k=1,2,\ldots ,}$

где снова константы C и r определялись требованиями, согласно которым сумма всех вероятностей должна быть 1, а ожидаемое значение должно быть μ. Например, в случае, когда x _k = k , это дает

${\displaystyle C={\frac {1}{\mu -1}},\quad \quad r={\frac {\mu -1}{\mu }},}$

такое, что соответствующее максимальное распределение энтропии является геометрическим распределением .

Круговые случайные величины [ править ]

Для непрерывной случайной величины, распределенной вокруг единичной окружности, распределение фон Мизеса максимизирует энтропию, когда указаны действительная и мнимая части первого кругового момента ^[9] или, что то же самое, указаны круговое среднее и круговая дисперсия .${\displaystyle \theta _{i}}$

Если заданы среднее значение и дисперсия углов по модулю , обернутое нормальное распределение максимизирует энтропию. ^[9]${\displaystyle \theta _{i}}$${\displaystyle 2\pi }$

Максимизатор для указанного среднего, дисперсии и перекоса [ править ]

Существует верхняя граница энтропии непрерывных случайных величин с заданными средним значением, дисперсией и перекосом. Однако не существует распределения, которое достигает этой верхней границы , потому что оно неограничено, кроме случаев (см. Cover & Thomas (2006: глава 12)). ^{[ требуется разъяснение (пояснение) ]}${\displaystyle \mathbb {R} }$${\displaystyle p(x)=c\exp {(\lambda _{1}x+\lambda _{2}x^{2}+\lambda _{3}x^{3})}}$${\displaystyle \lambda _{3}=0}$

Однако максимальная энтропия ε- достижима: энтропия распределения может быть сколь угодно близкой к верхней границе. Начните с нормального распределения указанного среднего и дисперсии. Чтобы ввести положительный перекос, немного сместите нормальное распределение вверх со значением, на много σ большим, чем среднее. На асимметрию, пропорциональную третьему моменту, повлияет больше, чем на моменты более низкого порядка.

Максимизатор для указанной меры риска среднего и отклонения [ править ]

Каждое распределение с логарифмически вогнутой плотностью максимальное распределение энтропии с указанным средним ц и отклонение риска меры D . ^[10]

В частности, максимальное распределение энтропии с указанным средним значением и отклонением составляет:${\displaystyle E(x)=\mu }$${\displaystyle D(x)=d}$

• Нормальное распределение , если это стандартное отклонение ;${\displaystyle N(m,d^{2})}$${\displaystyle D(x)={\sqrt {E[(x-\mu )^{2}]}}}$
• Распределение Лапласа , если - среднее абсолютное отклонение ; ^[6]${\displaystyle D(x)=E(|x-\mu |)}$
• Распределение с плотностью вида , если является стандартной нижней полу-отклонение, где и а, б, в константы. ^[10]${\displaystyle f(x)=c\exp(ax+b{[x-\mu ]_{-}}^{2})}$${\displaystyle D(x)={\sqrt {E[{(x-\mu )_{-}}^{2}]}}}$${\displaystyle [x]_{-}:=\max\{0,-x\}}$

Другие примеры [ править ]

В таблице ниже каждое перечисленное распределение максимизирует энтропию для определенного набора функциональных ограничений, перечисленных в третьем столбце, и ограничения, в соответствии с которым x должен быть включен в поддержку плотности вероятности, которая указана в четвертом столбце. ^{[6] [7]} Некоторые перечисленные примеры (Бернулли, геометрический, экспоненциальный, Лаплас, Парето) тривиально верны, потому что связанные с ними ограничения эквивалентны назначению их энтропии. Они все равно включены, потому что их ограничение связано с общей или легко измеряемой величиной. Для справки: - это гамма-функция , - это дигамма-функция , - это бета-функция , а γ _E${\displaystyle \Gamma (x)=\int _{0}^{\infty }e^{-t}t^{x-1}dt}$${\displaystyle \psi (x)={\frac {d}{dx}}\ln \Gamma (x)={\frac {\Gamma '(x)}{\Gamma (x)}}}$${\displaystyle B(p,q)={\frac {\Gamma (p)\Gamma (q)}{\Gamma (p+q)}}}$- постоянная Эйлера-Маскерони .

Таблица вероятностных распределений и соответствующих ограничений максимальной энтропии

Название дистрибутива	Плотность вероятности / функция массы	Ограничение максимальной энтропии	Поддерживать
Равномерное (дискретное)	${\displaystyle f(k)={\frac {1}{b-a+1}}}$	Никто	${\displaystyle \{a,a+1,...,b-1,b\}\,}$
Равномерное (непрерывное)	${\displaystyle f(x)={\frac {1}{b-a}}}$	Никто	${\displaystyle [a,b]\,}$
Бернулли	${\displaystyle f(k)=p^{k}(1-p)^{1-k}}$	${\displaystyle \operatorname {E} (k)=p\,}$	${\displaystyle \{0,1\}\,}$
Геометрический	${\displaystyle f(k)=(1-p)^{k-1}\,p}$	${\displaystyle \operatorname {E} (k)={\frac {1}{p}}\,}$	${\displaystyle \mathbb {N} \setminus \left\{0\right\}=\{1,2,3,...\}}$
Экспоненциальный	${\displaystyle f(x)=\lambda \exp \left(-\lambda x\right)}$	${\displaystyle \operatorname {E} (x)={\frac {1}{\lambda }}\,}$	${\displaystyle [0,\infty )\,}$
Лаплас	${\displaystyle f(x)={\frac {1}{2b}}\exp \left(-{\frac {|x-\mu |}{b}}\right)}$	${\displaystyle \operatorname {E} (|x-\mu |)=b\,}$	${\displaystyle (-\infty ,\infty )\,}$
Асимметричный лаплас	${\displaystyle f(x)={\frac {\lambda \,e^{-(x-m)\lambda s\kappa ^{s}}}{\kappa +1/\kappa }}\,(s\!=\!\operatorname {sgn}(x\!-\!m))}$	${\displaystyle \operatorname {E} ((x-m)s\kappa ^{s})=1/\lambda \,}$	${\displaystyle (-\infty ,\infty )\,}$
Парето	${\displaystyle f(x)={\frac {\alpha x_{m}^{\alpha }}{x^{\alpha +1}}}}$	${\displaystyle \operatorname {E} (\ln(x))={\frac {1}{\alpha }}+\ln(x_{m})\,}$	${\displaystyle [x_{m},\infty )\,}$
Нормальный	${\displaystyle f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)}$	${\displaystyle \operatorname {E} (x)=\mu ,\,\operatorname {E} ((x-\mu )^{2})=\sigma ^{2}}$	${\displaystyle (-\infty ,\infty )\,}$
Усеченный нормальный	(см. статью)	${\displaystyle \operatorname {E} (x)=\mu _{T},\,\operatorname {E} ((x-\mu _{T})^{2})=\sigma _{T}^{2}}$	${\displaystyle [a,b]}$
фон Мизес	${\displaystyle f(\theta )={\frac {1}{2\pi I_{0}(\kappa )}}\exp {(\kappa \cos {(\theta -\mu )})}}$	${\displaystyle \operatorname {E} (\cos \theta )={\frac {I_{1}(\kappa )}{I_{0}(\kappa )}}\cos \mu ,\,\operatorname {E} (\sin \theta )={\frac {I_{1}(\kappa )}{I_{0}(\kappa )}}\sin \mu }$	${\displaystyle [0,2\pi )\,}$
Рэлей	${\displaystyle f(x)={\frac {x}{\sigma ^{2}}}\exp \left(-{\frac {x^{2}}{2\sigma ^{2}}}\right)}$	${\displaystyle \operatorname {E} (x^{2})=2\sigma ^{2},\operatorname {E} (\ln(x))={\frac {\ln(2\sigma ^{2})-\gamma _{\mathrm {E} }}{2}}\,}$	${\displaystyle [0,\infty )\,}$
Бета	${\displaystyle f(x)={\frac {x^{\alpha -1}(1-x)^{\beta -1}}{B(\alpha ,\beta )}}}$ за ${\displaystyle 0\leq x\leq 1}$	${\displaystyle \operatorname {E} (\ln(x))=\psi (\alpha )-\psi (\alpha +\beta )\,}$ ${\displaystyle \operatorname {E} (\ln(1-x))=\psi (\beta )-\psi (\alpha +\beta )\,}$	${\displaystyle [0,1]\,}$
Коши	${\displaystyle f(x)={\frac {1}{\pi (1+x^{2})}}}$	${\displaystyle \operatorname {E} (\ln(1+x^{2}))=2\ln 2}$	${\displaystyle (-\infty ,\infty )\,}$
Чи	${\displaystyle f(x)={\frac {2}{2^{k/2}\Gamma (k/2)}}x^{k-1}\exp \left(-{\frac {x^{2}}{2}}\right)}$	${\displaystyle \operatorname {E} (x^{2})=k,\,\operatorname {E} (\ln(x))={\frac {1}{2}}\left[\psi \left({\frac {k}{2}}\right)\!+\!\ln(2)\right]}$	${\displaystyle [0,\infty )\,}$
Хи-квадрат	${\displaystyle f(x)={\frac {1}{2^{k/2}\Gamma (k/2)}}x^{{\frac {k}{2}}\!-\!1}\exp \left(-{\frac {x}{2}}\right)}$	${\displaystyle \operatorname {E} (x)=k,\,\operatorname {E} (\ln(x))=\psi \left({\frac {k}{2}}\right)+\ln(2)}$	${\displaystyle [0,\infty )\,}$
Erlang	${\displaystyle f(x)={\frac {\lambda ^{k}}{(k-1)!}}x^{k-1}\exp(-\lambda x)}$	${\displaystyle \operatorname {E} (x)=k/\lambda ,\,\operatorname {E} (\ln(x))=\psi (k)-\ln(\lambda )}$	${\displaystyle [0,\infty )\,}$
Гамма	${\displaystyle f(x)={\frac {x^{k-1}\exp(-{\frac {x}{\theta }})}{\theta ^{k}\Gamma (k)}}}$	${\displaystyle \operatorname {E} (x)=k\theta ,\,\operatorname {E} (\ln(x))=\psi (k)+\ln(\theta )}$	${\displaystyle [0,\infty )\,}$
Логнормальный	${\displaystyle f(x)={\frac {1}{\sigma x{\sqrt {2\pi }}}}\exp \left(-{\frac {(\ln x-\mu )^{2}}{2\sigma ^{2}}}\right)}$	${\displaystyle \operatorname {E} (\ln(x))=\mu ,\operatorname {E} ((\ln(x)-\mu )^{2})=\sigma ^{2}\,}$	${\displaystyle [0,\infty )\,}$
Максвелл – Больцманн	${\displaystyle f(x)={\frac {1}{a^{3}}}{\sqrt {\frac {2}{\pi }}}\,x^{2}\exp \left(-{\frac {x^{2}}{2a^{2}}}\right)}$	${\displaystyle \operatorname {E} (x^{2})=3a^{2},\,\operatorname {E} (\ln(x))\!=\!1\!+\!\ln \left({\frac {a}{\sqrt {2}}}\right)\!-\!{\frac {\gamma _{\mathrm {E} }}{2}}}$	${\displaystyle [0,\infty )\,}$
Weibull	${\displaystyle f(x)={\frac {k}{\lambda ^{k}}}x^{k-1}\exp \left(-{\frac {x^{k}}{\lambda ^{k}}}\right)}$	${\displaystyle \operatorname {E} (x^{k})=\lambda ^{k},\operatorname {E} (\ln(x))=\ln(\lambda )-{\frac {\gamma _{\mathrm {E} }}{k}}\,}$	${\displaystyle [0,\infty )\,}$
Многомерный нормальный	${\displaystyle f_{X}({\vec {x}})=}$ ${\displaystyle {\frac {\exp \left(-{\frac {1}{2}}({\vec {x}}-{\vec {\mu }})^{\top }\Sigma ^{-1}\cdot ({\vec {x}}-{\vec {\mu }})\right)}{(2\pi )^{N/2}\left|\Sigma \right|^{1/2}}}}$	${\displaystyle \operatorname {E} ({\vec {x}})={\vec {\mu }},\,\operatorname {E} (({\vec {x}}-{\vec {\mu }})({\vec {x}}-{\vec {\mu }})^{T})=\Sigma \,}$	${\displaystyle \mathbb {R} ^{n}}$
Биномиальный	${\displaystyle f(k)={n \choose k}p^{k}(1-p)^{n-k}}$	${\displaystyle \operatorname {E} (x)=\mu ,f\in {\text{n-generalized binomial distribution}}}$[11]	${\displaystyle \left\{0,{\ldots },n\right\}}$
Пуассон	${\displaystyle f(k)={\frac {\lambda ^{k}\exp(-\lambda )}{k!}}}$	${\displaystyle \operatorname {E} (x)=\lambda ,f\in {\infty }{\text{-generalized binomial distribution}}}$[11]	${\displaystyle \mathbb {N} \cup \left\{0\right\}}$

См. Также [ править ]

• Экспоненциальная семья
• Мера Гиббса
• Функция распределения (математика)
• Максимальное блуждание с энтропией - максимальное увеличение энтропии для графа

Примечания [ править ]

Цитаты [ править ]

Ссылки [ править ]

• Обложка, ТМ ; Томас, Дж. А. (2006). «Глава 12, Максимальная энтропия» (PDF) . Элементы теории информации (2-е изд.). Вайли. ISBN 978-0471241959.
• Ф. Нильсен, Р. Нок (2017), Верхние границы MaxEnt для дифференциальной энтропии одномерных непрерывных распределений , IEEE Signal Processing Letters , 24 (4), 402-406
• IJ Taneja (2001), Общие информационные меры и их приложения . Глава 1
• Нэдер Ebrahimi, Эхсан С. Soofi, Рефик Сойер (2008), "идентификация максимального Многофакторный энтропии, преобразование, и зависимость", журнал многофакторного анализа 99: 1217-1231, DOI : 10.1016 / j.jmva.2007.08.004