Распределение Дирихле

Распределение Дирихле

Функция плотности вероятности
Параметры	${\ displaystyle K \ geq 2}$количество категорий ( целых ) параметров концентрации , где ${\ displaystyle \ alpha _ {1}, \ ldots, \ alpha _ {K}}$ ${\ displaystyle \ alpha _ {i}> 0}$
Поддерживать	${\ Displaystyle x_ {1}, \ ldots, x_ {K}}$где и${\ displaystyle x_ {i} \ in (0,1)}$${\ Displaystyle \ сумма _ {я = 1} ^ {К} х_ {я} = 1}$
PDF	${\ displaystyle {\ frac {1} {\ mathrm {B} ({\ boldsymbol {\ alpha}})}} \ prod _ {i = 1} ^ {K} x_ {i} ^ {\ alpha _ {i } -1}}$ где где${\ displaystyle \ mathrm {B} ({\ boldsymbol {\ alpha}}) = {\ frac {\ prod _ {i = 1} ^ {K} \ Gamma (\ alpha _ {i})} {\ Gamma { \ bigl (} \ sum _ {i = 1} ^ {K} \ alpha _ {i} {\ bigr)}}}}$ ${\ displaystyle {\ boldsymbol {\ alpha}} = (\ alpha _ {1}, \ ldots, \ alpha _ {K})}$
Иметь в виду	${\displaystyle \operatorname {E} [X_{i}]={\frac {\alpha _{i}}{\sum _{k=1}^{K}\alpha _{k}}}}$ ${\displaystyle \operatorname {E} [\ln X_{i}]=\psi (\alpha _{i})-\psi (\textstyle \sum _{k}\alpha _{k})}$ (см. функцию дигаммы )
Режим	${\displaystyle x_{i}={\frac {\alpha _{i}-1}{\sum _{k=1}^{K}\alpha _{k}-K}},\quad \alpha _{i}>1.}$
Дисперсия	${\displaystyle \operatorname {Var} [X_{i}]={\frac {{\tilde {\alpha }}_{i}(1-{\tilde {\alpha }}_{i})}{\alpha _{0}+1}},\quad \operatorname {Cov} [X_{i},X_{j}]={\frac {\delta _{ij}\,{\tilde {\alpha }}_{i}-{\tilde {\alpha }}_{i}{\tilde {\alpha }}_{j}}{\alpha _{0}+1}}}$ где и${\displaystyle {\tilde {\alpha }}_{i}={\frac {\alpha _{i}}{\alpha _{0}}}}$${\displaystyle \alpha _{0}=\sum _{i=1}^{K}\alpha _{i}}$
Энтропия	${\displaystyle H(X)=\log \mathrm {B} (\alpha )+(\alpha _{0}-K)\psi (\alpha _{0})-\sum _{j=1}^{K}(\alpha _{j}-1)\psi (\alpha _{j})}$ с определением как для дисперсии выше.${\displaystyle \alpha _{0}}$

В вероятности и статистике , то распределение Дирихле (после того, как Петр Густав Лежен Дирихле ), часто обозначается , семейство непрерывных многомерных вероятностных распределений параметризованных вектором положительных чисел . Это многомерное обобщение беты - распределение , ^[1] , следовательно , его альтернативное название из многомерных бета распределения (MBD) . ^[2] Распределения Дирихле обычно используются в качестве априорных распределений в байесовской статистике.${\displaystyle \operatorname {Dir} ({\boldsymbol {\alpha }})}$ ${\displaystyle {\boldsymbol {\alpha }}}$, А на самом деле распределение Дирихля является сопряженным перед от категориальной распределения и полиномиального распределения .

Бесконечномерным обобщением распределения Дирихле является процесс Дирихле .

Функция плотности вероятности [ править ]

Иллюстрируем, как изменяется логарифм функции плотности при K  = 3, когда мы меняем вектор α с α  = (0,3, 0,3, 0,3) на (2,0, 2,0, 2,0), сохраняя все индивидуумы равными друг другу.${\displaystyle \alpha _{i}}$

Распределение Дирихле порядка K  ≥ 2 с параметрами α ₁ , ..., α _K > 0 имеет функцию плотности вероятности относительно меры Лебега на евклидовом пространстве R ^K-1, задаваемой формулой

${\displaystyle f\left(x_{1},\ldots ,x_{K};\alpha _{1},\ldots ,\alpha _{K}\right)={\frac {1}{\mathrm {B} ({\boldsymbol {\alpha }})}}\prod _{i=1}^{K}x_{i}^{\alpha _{i}-1}}$

где принадлежат стандартному симплексу , или другими словами:${\displaystyle \{x_{k}\}_{k=1}^{k=K}}$${\displaystyle K-1}$ ${\displaystyle \sum _{i=1}^{K}x_{i}=1{\mbox{ and }}x_{i}\geq 0{\mbox{ for all }}i\in \{1,\dots ,K\}}$

Константа нормализующее является многомерный бета - функция , которая может быть выражена в терминах гамма - функции :

${\displaystyle \mathrm {B} ({\boldsymbol {\alpha }})={\frac {\prod _{i=1}^{K}\Gamma (\alpha _{i})}{\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}},\qquad {\boldsymbol {\alpha }}=(\alpha _{1},\ldots ,\alpha _{K}).}$

Поддержка [ править ]

Поддержка распределения Дирихля множество K - мерных векторы , элементы которых являются действительными числами в интервале (0,1) такое , что , то есть сумма координат равна 1. Это можно рассматривать как вероятности а K- ходовое категориальное событие. Другой способ выразить это состоит в том, что область распределения Дирихле сама по себе является набором вероятностных распределений , в частности, набором K -мерных дискретных распределений . Техническим термином для обозначения множества точек в носителе K -мерного распределения Дирихле является открытый стандарт ( K${\displaystyle {\boldsymbol {x}}}$${\displaystyle \|{\boldsymbol {x}}\|_{1}=1}$  - 1) -симплекс , ^[3] который является обобщением треугольника , вложенного в следующее более высокое измерение. Например, при K  = 3 опора представляет собой равносторонний треугольник, внедренный под углом вниз в трехмерное пространство с вершинами в точках (1,0,0), (0,1,0) и (0,0 , 1), т.е. касание каждой из осей координат в точке на 1 единицу от начала координат.

Особые случаи [ править ]

Частным частным случаем является симметричное распределение Дирихле , в котором все элементы, составляющие вектор параметров, имеют одинаковое значение. Симметричный случай может быть полезен, например, когда требуется приоритет Дирихле над компонентами, но нет никаких предварительных знаний о предпочтении одного компонента над другим. Поскольку все элементы вектора параметров имеют одинаковое значение, симметричное распределение Дирихле может быть параметризовано одним скалярным значением α , называемым параметром концентрации . ^{[ необходима цитата ]} В терминах α функция плотности имеет вид${\displaystyle {\boldsymbol {\alpha }}}$

${\displaystyle f(x_{1},\dots ,x_{K-1};\alpha )={\frac {\Gamma (\alpha K)}{\Gamma (\alpha )^{K}}}\prod _{i=1}^{K}x_{i}^{\alpha -1}.}$

Когда α = 1 ^[1] , симметричное распределение Дирихле эквивалентно равномерному распределению по открытому стандартному ( K  - 1) -симплексу , т. Е. Равномерно по всем точкам его носителя . Это конкретное распределение известно как плоское распределение Дирихле . Значения параметра концентрации выше 1 предпочитают вариации с плотным, равномерно распределенным распределением, т. Е. Все значения в одном образце похожи друг на друга. Значения параметра концентрации ниже 1 предпочитают разреженные распределения, т. Е. Большинство значений в пределах одного образца будут близки к 0, а подавляющая часть массы будет сосредоточена в нескольких значениях.

В более общем смысле , вектор параметров иногда записывается как произведение а ( скалярной ) параметра концентрации & alpha ; и ( вектор ) базовой мерой , где лежит внутри ( K  - 1) -симплекс (т.е. его координаты сумма к одному). Параметр концентрации в этом случае в K раз больше, чем параметр концентрации для описанного выше симметричного распределения Дирихле. Эта конструкция связана с концепцией базовой меры при обсуждении процессов Дирихле и часто используется в тематической литературе по моделированию.${\displaystyle \alpha {\boldsymbol {n}}}$ ${\displaystyle {\boldsymbol {n}}=(n_{1},\dots ,n_{K})}$${\displaystyle {\boldsymbol {n}}}$${\displaystyle n_{i}}$

Свойства [ править ]

Моменты [ править ]

Пусть .${\displaystyle X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} (\alpha )}$

Позволять

${\displaystyle \alpha _{0}=\sum _{i=1}^{K}\alpha _{i}.}$

Тогда ^{[4] [5]}

${\displaystyle \operatorname {E} [X_{i}]={\frac {\alpha _{i}}{\alpha _{0}}},}$

${\displaystyle \operatorname {Var} [X_{i}]={\frac {\alpha _{i}(\alpha _{0}-\alpha _{i})}{\alpha _{0}^{2}(\alpha _{0}+1)}}.}$

Кроме того, если ${\displaystyle i\neq j}$

${\displaystyle \operatorname {Cov} [X_{i},X_{j}]={\frac {-\alpha _{i}\alpha _{j}}{\alpha _{0}^{2}(\alpha _{0}+1)}}.}$

Определенная таким образом матрица сингулярна .

В более общем смысле моменты случайных величин с распределением Дирихле можно выразить как ^[6]

${\displaystyle \operatorname {E} \left[\prod _{i=1}^{K}X_{i}^{\beta _{i}}\right]={\frac {B\left({\boldsymbol {\alpha }}+{\boldsymbol {\beta }}\right)}{B\left({\boldsymbol {\alpha }}\right)}}={\frac {\Gamma \left(\sum \limits _{i=1}^{K}\alpha _{i}\right)}{\Gamma \left[\sum \limits _{i=1}^{K}(\alpha _{i}+\beta _{i})\right]}}\times \prod _{i=1}^{K}{\frac {\Gamma (\alpha _{i}+\beta _{i})}{\Gamma (\alpha _{i})}}.}$

Режим [ править ]

Режим распределения является ^[7] вектор ( х ₁ , ..., х _K ) с

${\displaystyle x_{i}={\frac {\alpha _{i}-1}{\alpha _{0}-K}},\qquad \alpha _{i}>1.}$

Маржинальные распределения [ править ]

Эти предельные распределения являются бета - распределения : ^[8]

${\displaystyle X_{i}\sim \operatorname {Beta} (\alpha _{i},\alpha _{0}-\alpha _{i}).}$

Сопряжение с категориальным / полиномиальным [ править ]

Распределение Дирихле - это сопряженное априорное распределение категориального распределения (общее дискретное распределение вероятностей с заданным количеством возможных исходов) и полиномиального распределения (распределение по наблюдаемым количествам каждой возможной категории в наборе категориально распределенных наблюдений). Это означает, что если точка данных имеет категориальное или полиномиальное распределение, а предварительное распределение параметра распределения (вектор вероятностей, который генерирует точку данных) распределяется как Дирихле, то апостериорное распределениепараметра также является Дирихле. Интуитивно в таком случае, начиная с того, что мы знаем о параметре до наблюдения за точкой данных, мы можем обновить наши знания на основе точки данных и получить новое распределение той же формы, что и старое. Это означает, что мы можем последовательно обновлять наши знания о параметре, добавляя новые наблюдения по одному, не сталкиваясь с математическими трудностями.

Формально это можно выразить следующим образом. Учитывая модель

${\displaystyle {\begin{array}{rcccl}{\boldsymbol {\alpha }}&=&\left(\alpha _{1},\ldots ,\alpha _{K}\right)&=&{\text{concentration hyperparameter}}\\\mathbf {p} \mid {\boldsymbol {\alpha }}&=&\left(p_{1},\ldots ,p_{K}\right)&\sim &\operatorname {Dir} (K,{\boldsymbol {\alpha }})\\\mathbb {X} \mid \mathbf {p} &=&\left(\mathbf {x} _{1},\ldots ,\mathbf {x} _{K}\right)&\sim &\operatorname {Cat} (K,\mathbf {p} )\end{array}}}$

то имеет место следующее:

${\displaystyle {\begin{array}{rcccl}\mathbf {c} &=&\left(c_{1},\ldots ,c_{K}\right)&=&{\text{number of occurrences of category }}i\\\mathbf {p} \mid \mathbb {X} ,{\boldsymbol {\alpha }}&\sim &\operatorname {Dir} (K,\mathbf {c} +{\boldsymbol {\alpha }})&=&\operatorname {Dir} \left(K,c_{1}+\alpha _{1},\ldots ,c_{K}+\alpha _{K}\right)\end{array}}}$

Это соотношение используется в байесовской статистике для оценки базового параметра р о в категориальном распределении данного сборника N выборок. Интуитивно мы можем рассматривать гиперприорный вектор α как псевдосчет , т.е. как представление количества наблюдений в каждой категории, которые мы уже видели. Затем мы просто добавляем счетчики для всех новых наблюдений (вектор c ), чтобы получить апостериорное распределение.

В байесовских моделях смеси и других иерархических байесовских моделях с компонентами смеси распределения Дирихле обычно используются в качестве априорных распределений для категориальных переменных, появляющихся в моделях. См. Раздел о приложениях ниже для получения дополнительной информации.

Связь с полиномиальным распределением Дирихле [ править ]

В модели, в которой априорное распределение Дирихле размещается над набором категориально-значных наблюдений, маргинальное совместное распределение наблюдений (то есть совместное распределение наблюдений с маргинализированным априорным параметром ) является полиномиальным распределением Дирихле . Это распределение играет важную роль в иерархических байесовских моделях , поскольку при выполнении вывода по таким моделям с использованием таких методов, как выборка Гиббса или вариационный байесовский метод , априорные распределения Дирихле часто не учитываются. Подробнее читайте в статье об этом дистрибутиве .

Энтропия [ править ]

Если Х представляет собой Dir ( α ) случайная величина, то дифференциальной энтропии из X (в физ единиц ) является ^[9]

${\displaystyle h({\boldsymbol {X}})=\operatorname {E} [-\ln f({\boldsymbol {X}})]=\ln \operatorname {B} ({\boldsymbol {\alpha }})+(\alpha _{0}-K)\psi (\alpha _{0})-\sum _{j=1}^{K}(\alpha _{j}-1)\psi (\alpha _{j})}$

где - дигамма-функция .${\displaystyle \psi }$

Приведенная ниже формула для может использоваться для вычисления приведенной выше дифференциальной энтропии . Поскольку функции являются достаточной статистикой распределения Дирихле, экспоненциальные семейные дифференциальные тождества могут использоваться для получения аналитического выражения для математического ожидания и связанной с ним ковариационной матрицы: ^{[ необходима цитата ]}${\displaystyle \operatorname {E} [\ln(X_{i})]}$${\displaystyle \ln(X_{i})}$${\displaystyle \ln(X_{i})}$

${\displaystyle \operatorname {E} [\ln(X_{i})]=\psi (\alpha _{i})-\psi (\alpha _{0})}$

и

${\displaystyle \operatorname {Cov} [\ln(X_{i}),\ln(X_{j})]=\psi '(\alpha _{i})\delta _{ij}-\psi '(\alpha _{0})}$

где - дигамма-функция , - тригамма-функция и - дельта Кронекера .${\displaystyle \psi }$${\displaystyle \psi '}$${\displaystyle \delta _{ij}}$

Спектр информации Реньи для значений, отличных от приведенных в ^[10]${\displaystyle \lambda =1}$

${\displaystyle F_{R}(\lambda )=(1-\lambda )^{-1}\left(-\lambda \log \mathrm {B} (\alpha )+\sum _{i=1}^{K}\log \Gamma (\lambda (\alpha _{i}-1)+1)-\log \Gamma (\lambda (\alpha _{0}-d)+d)\right)}$

а информационная энтропия - это предел, равный 1.${\displaystyle \lambda }$

Еще одна интересная мера, связанная с этим, - это энтропия дискретного категориального (одного из K двоичных) вектора с распределением вероятностей-масс , т . Е .. Условная информационная энтропия из , учитывая это${\displaystyle {\boldsymbol {Z}}}$${\displaystyle {\boldsymbol {X}}}$${\displaystyle P(Z_{i}=1,Z_{j\neq i}=0|{\boldsymbol {X}})=X_{i}}$${\displaystyle {\boldsymbol {Z}}}$${\displaystyle {\boldsymbol {X}}}$

${\displaystyle S({\boldsymbol {X}})=H({\boldsymbol {Z}}|{\boldsymbol {X}})=\operatorname {E} _{\boldsymbol {Z}}[-\log P({\boldsymbol {Z}}|{\boldsymbol {X}})]=\sum _{i=1}^{K}-X_{i}\log X_{i}}$

Эта функция является скалярной случайной величиной. Если имеет симметричное распределение Дирихле со всеми , ожидаемое значение энтропии (в натуральных единицах ) равно ^[11]${\displaystyle {\boldsymbol {X}}}$${\displaystyle {\boldsymbol {X}}}$${\displaystyle \alpha _{i}=\alpha }$

${\displaystyle \operatorname {E} [S({\boldsymbol {X}})]=\sum _{i=1}^{K}\operatorname {E} [-X_{i}\ln X_{i}]=\psi (K\alpha +1)-\psi (\alpha +1)}$

Агрегация [ править ]

Если

${\displaystyle X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} (\alpha _{1},\ldots ,\alpha _{K})}$

тогда, если случайные величины с индексами i и j исключить из вектора и заменить их суммой,

${\displaystyle X'=(X_{1},\ldots ,X_{i}+X_{j},\ldots ,X_{K})\sim \operatorname {Dir} (\alpha _{1},\ldots ,\alpha _{i}+\alpha _{j},\ldots ,\alpha _{K}).}$

Это свойство агрегирования можно использовать для получения предельного распределения, указанного выше.${\displaystyle X_{i}}$

Нейтралитет [ править ]

Если , то вектор  X называется нейтральным ^[12] в том смысле, что X _K не зависит от ^[3], где${\displaystyle X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} (\alpha )}$${\displaystyle X^{(-K)}}$

${\displaystyle X^{(-K)}=\left({\frac {X_{1}}{1-X_{K}}},{\frac {X_{2}}{1-X_{K}}},\ldots ,{\frac {X_{K-1}}{1-X_{K}}}\right),}$

и аналогично для удаления любого из . Обратите внимание, что любая перестановка X также нейтральна (свойство, которым не обладают образцы, взятые из обобщенного распределения Дирихле ). ^[13]${\displaystyle X_{2},\ldots ,X_{K-1}}$

Комбинируя это со свойством агрегации, следует, что X _j + ... + X _K не зависит от . Более того, для распределения Дирихле верно, что для , пара и два вектора и , рассматриваемые как тройка нормализованных случайных векторов, взаимно независимы . Аналогичный результат верен для разбиения индексов {1,2, ..., K } на любую другую пару неодноэлементных подмножеств.${\displaystyle \left({\frac {X_{1}}{X_{1}+\cdots +X_{j-1}}},{\frac {X_{2}}{X_{1}+\cdots +X_{j-1}}},\ldots ,{\frac {X_{j-1}}{X_{1}+\cdots +X_{j-1}}}\right)}$${\displaystyle 3\leq j\leq K-1}$${\displaystyle \left(X_{1}+\cdots +X_{j-1},X_{j}+\cdots +X_{K}\right)}$${\displaystyle \left({\frac {X_{1}}{X_{1}+\cdots +X_{j-1}}},{\frac {X_{2}}{X_{1}+\cdots +X_{j-1}}},\ldots ,{\frac {X_{j-1}}{X_{1}+\cdots +X_{j-1}}}\right)}$${\displaystyle \left({\frac {X_{j}}{X_{j}+\cdots +X_{K}}},{\frac {X_{j+1}}{X_{j}+\cdots +X_{K}}},\ldots ,{\frac {X_{K}}{X_{j}+\cdots +X_{K}}}\right)}$

Характеристическая функция [ править ]

Характеристическая функция распределения Дирихле представляет собой конфлюэнтную форму гипергеометрического ряда Лауричеллы . Это дано Филлипсом как ^[14]

${\displaystyle CF\left(s_{1},\ldots ,s_{K-1}\right)=\operatorname {E} \left(e^{i\left(s_{1}X_{1}+\cdots +s_{K-1}X_{K-1}\right)}\right)=\Psi ^{\left[K-1\right]}(\alpha _{1},\ldots ,\alpha _{K-1};\alpha ;is_{1},\ldots ,is_{K-1})}$

где и${\displaystyle \alpha =\alpha _{1}+\cdots +\alpha _{K}}$

${\displaystyle \Psi ^{[m]}(a_{1},\ldots ,a_{m};c;z_{1},\ldots z_{m})=\sum {\frac {(a_{1})_{k_{1}}\cdots (a_{m})_{k_{m}}\,z_{1}^{k_{1}}\cdots z_{m}^{k_{m}}}{(c)_{k}\,k_{1}!\cdots k_{m}!}}.}$

Сумма складывается из неотрицательных целых чисел и . Филлипс далее утверждает, что эта форма «неудобна для численных расчетов» и дает альтернативу в терминах комплексного интеграла по путям :${\displaystyle k_{1},\ldots ,k_{m}}$${\displaystyle k=k_{1}+\cdots +k_{m}}$

${\displaystyle \Psi ^{[m]}={\frac {\Gamma (c)}{2\pi i}}\int _{L}e^{t}\,t^{a_{1}+\cdots +a_{m}-c}\,\prod _{j=1}^{m}(t-z_{j})^{-a_{j}}\,dt}$

где L обозначает любой путь в комплексной плоскости , начинающийся в, огибающий в положительном направлении все особенности подынтегрального выражения и возвращающийся в .${\displaystyle -\infty }$${\displaystyle -\infty }$

Неравенство [ править ]

Функция плотности вероятности играет ключевую роль в многофункциональном неравенстве, которое предполагает различные оценки для распределения Дирихле. ^[15]${\displaystyle f\left(x_{1},\ldots ,x_{K-1};\alpha _{1},\ldots ,\alpha _{K}\right)}$

Связанные дистрибутивы [ править ]

Для K независимо распределенных гамма-распределений :

${\displaystyle Y_{1}\sim \operatorname {Gamma} (\alpha _{1},\theta ),\ldots ,Y_{K}\sim \operatorname {Gamma} (\alpha _{K},\theta )}$

имеем: ^{[16] : 402}

${\displaystyle V=\sum _{i=1}^{K}Y_{i}\sim \operatorname {Gamma} \left(\sum _{i=1}^{K}\alpha _{i},\theta \right),}$

${\displaystyle X=(X_{1},\ldots ,X_{K})=\left({\frac {Y_{1}}{V}},\ldots ,{\frac {Y_{K}}{V}}\right)\sim \operatorname {Dir} \left(\alpha _{1},\ldots ,\alpha _{K}\right).}$

Хотя X _i не являются независимыми друг от друга, можно видеть, что они генерируются из набора K независимых гамма- случайных величин. ^{[16] : 594} К сожалению, поскольку сумма V теряется при формировании X (на самом деле, можно показать, что V стохастически не зависит от X ), невозможно восстановить исходные гамма-случайные величины только по этим значениям. Тем не менее, поскольку с независимыми случайными величинами проще работать, эта репараметризация может быть полезна для доказательства свойств распределения Дирихле.

Сопряженный априор распределения Дирихле [ править ]

Поскольку распределение Дирихле является экспоненциальным семейным распределением, оно имеет сопряженный априор. Сопряженное предшествующее имеет форму: ^[17]

${\displaystyle \operatorname {CD} ({\boldsymbol {\alpha }}\mid {\boldsymbol {v}},\eta )\propto \left({\frac {1}{\operatorname {B} ({\boldsymbol {\alpha }})}}\right)^{\eta }\exp \left(-\sum _{k}v_{k}\alpha _{k}\right).}$

Здесь есть K - мерный вещественный вектор и является скалярным параметром. Область ограничена набором параметров, для которых указанная выше ненормализованная функция плотности может быть нормализована. (Необходимое и достаточное) условие: ^[18]${\displaystyle {\boldsymbol {v}}}$${\displaystyle \eta }$${\displaystyle ({\boldsymbol {v}},\eta )}$

${\displaystyle \forall k\;\;v_{k}>0\;\;\;\;{\text{ and }}\;\;\;\;\eta >-1\;\;\;\;{\text{ and }}\;\;\;\;(\eta \leq 0\;\;\;\;{\text{ or }}\;\;\;\;\sum _{k}\exp -{\frac {v_{k}}{\eta }}<1)}$

Свойство сопряжения можно выразить как

если [ предшествующий : ] и [ наблюдение : ], то [ последующий : ].${\displaystyle {\boldsymbol {\alpha }}\sim \operatorname {CD} (\cdot \mid {\boldsymbol {v}},\eta )}$${\displaystyle {\boldsymbol {x}}\mid {\boldsymbol {\alpha }}\sim \operatorname {Dirichlet} (\cdot \mid {\boldsymbol {\alpha }})}$${\displaystyle {\boldsymbol {\alpha }}\mid {\boldsymbol {x}}\sim \operatorname {CD} (\cdot \mid {\boldsymbol {v}}-\log {\boldsymbol {x}},\eta +1)}$

В опубликованной литературе нет практического алгоритма, из которого можно было бы эффективно генерировать образцы .${\displaystyle \operatorname {CD} ({\boldsymbol {\alpha }}\mid {\boldsymbol {v}},\eta )}$

Приложения [ править ]

Дирихле распределение наиболее часто используется в качестве предварительного распределения по категориальным переменным или мультиномиальным переменным в байесовской модели смеси и другой иерархической байесовской модели . (Во многих областях, например, при обработке естественного языка , категориальные переменные часто неточно называют «полиномиальными переменными». Такое использование вряд ли вызовет путаницу, как и в случае, когда распределения Бернулли и биномиальные распределения обычно объединяются.)

Вывод по иерархическим байесовским моделям часто делается с использованием выборки Гиббса , и в таком случае экземпляры распределения Дирихле обычно исключаются из модели путем интегрирования случайной величины Дирихле . Это приводит к тому, что различные категориальные переменные, взятые из одной и той же случайной величины Дирихле, становятся коррелированными, а совместное распределение по ним предполагает полиномиальное распределение Дирихле , обусловленное гиперпараметрами распределения Дирихле ( параметры концентрации ). Одна из причин для этого заключается в том, что выборка Гиббса полиномиального распределения Дирихле чрезвычайно проста; см. эту статью для получения дополнительной информации.

Генерация случайных чисел [ править ]

Гамма-распределение [ править ]

Имея источник случайных величин с гамма-распределением, можно легко выбрать случайный вектор из K -мерного распределения Дирихле с параметрами . Сначала возьмите K независимых случайных выборок из гамма-распределений, каждая с плотностью${\displaystyle x=(x_{1},\ldots ,x_{K})}$${\displaystyle (\alpha _{1},\ldots ,\alpha _{K})}$${\displaystyle y_{1},\ldots ,y_{K}}$

${\displaystyle \operatorname {Gamma} (\alpha _{i},1)={\frac {y_{i}^{\alpha _{i}-1}\;e^{-y_{i}}}{\Gamma (\alpha _{i})}},\!}$

а затем установите

${\displaystyle x_{i}={\frac {y_{i}}{\sum _{j=1}^{K}y_{j}}}.}$

Доказательство [ править ]

Совместное распределение определяется по:${\displaystyle \{y_{i}\}}$

${\displaystyle e^{-\sum _{i}y_{i}}\prod _{i=1}^{K}{\frac {y_{i}^{\alpha _{i}-1}}{\Gamma (\alpha _{i})}}}$

Затем используется замена переменных, параметризация в терминах и и выполняется замена переменных таким образом, что${\displaystyle \{y_{i}\}}$${\displaystyle y_{1},y_{2},\ldots ,y_{K-1}}$${\displaystyle \sum _{i=1}^{K}y_{i}}$${\displaystyle y\to x}$${\displaystyle x_{K}=\sum _{i=1}^{K}y_{i},x_{1}={\frac {y_{1}}{x_{K}}},x_{2}={\frac {y_{2}}{x_{K}}},\ldots ,x_{K-1}={\frac {y_{K-1}}{x_{K}}}}$

Затем следует использовать формулу замены переменных, в которой находится якобиан преобразования.${\displaystyle P(x)=P(y(x)){\bigg |}{\frac {\partial y}{\partial x}}{\bigg |}}$${\displaystyle {\bigg |}{\frac {\partial y}{\partial x}}{\bigg |}}$

Записывая y явно как функцию от x, получаем ${\displaystyle y_{1}=x_{K}x_{1},y_{2}=x_{K}x_{2}\ldots y_{K-1}=x_{K-1}x_{K},y_{K}=x_{K}(1-\sum _{i=1}^{K-1}x_{i})}$

Якобиан теперь выглядит как

${\displaystyle {\begin{vmatrix}x_{K}&0&\ldots &x_{1}\\0&x_{K}&\ldots &x_{2}\\\vdots &\vdots &\ddots &\vdots \\-x_{K}&-x_{K}&\ldots &1-\sum _{i=1}^{K-1}x_{i}\end{vmatrix}}}$

Определитель можно оценить, отметив, что он остается неизменным, если несколько строк добавляются к другой строке, и добавив каждую из первых строк K-1 к нижней строке, чтобы получить

${\displaystyle {\begin{vmatrix}x_{K}&0&\ldots &x_{1}\\0&x_{K}&\ldots &x_{2}\\\vdots &\vdots &\ddots &\vdots \\0&0&\ldots &1\end{vmatrix}}}$

который можно развернуть в нижней строке, чтобы получить ${\displaystyle x_{K}^{K-1}}$

Подставляя вместо x в совместном pdf-формате и включая якобиан, получаем:

${\displaystyle {\frac {\left[\prod _{i=1}^{K-1}(x_{i}x_{K})^{\alpha _{i}-1}\right]\left[x_{K}(1-\sum _{i=1}^{K-1}x_{i})\right]^{\alpha _{K}-1}}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}x_{K}^{K-1}e^{-x_{K}}}$

Каждая из переменных и аналогично .${\displaystyle 0\leq x_{1},x_{2},\ldots ,x_{k-1}\leq 1}$${\displaystyle 0\leq \sum _{i=1}^{K-1}x_{i}\leq 1}$

Наконец, интегрируя дополнительную степень свободы, мы получаем:${\displaystyle x_{K}}$

${\displaystyle x_{1},x_{2},\ldots ,x_{K-1}\sim {\frac {(1-\sum _{i=1}^{K-1}x_{i})^{\alpha _{K}-1}\prod _{i=1}^{K-1}x_{i}^{\alpha _{i}-1}}{B({\underline {\alpha }})}}}$

Что эквивалентно

${\displaystyle {\frac {\prod _{i=1}^{K}x_{i}^{\alpha _{i}-1}}{B({\underline {\alpha }})}}}$ при поддержке ${\displaystyle \sum _{i=1}^{K}x_{i}=1}$

Ниже приведен пример кода Python для рисования образца:

params  =  [ a1 ,  a2 ,  ... ,  ak ] sample  =  [ random . gammavariate ( a ,  1 )  for  a  in  params ] sample  =  [ v  /  sum ( sample )  for  v  in  sample ]

Эта формулировка верна независимо от того, как параметризовано гамма-распределение (форма / масштаб по сравнению с формой / скоростью), потому что они эквивалентны, когда масштаб и коэффициент равны 1,0.

Маржинальные бета-распределения [ править ]

Менее эффективный алгоритм ^[19] полагается на одномерное маргинальное и условное распределения, являющиеся бета-версией, и действует следующим образом. Моделировать из${\displaystyle x_{1}}$

${\displaystyle {\textrm {Beta}}\left(\alpha _{1},\sum _{i=2}^{K}\alpha _{i}\right)}$

Затем смоделируйте в следующем порядке. Для моделирования из${\displaystyle x_{2},\ldots ,x_{K-1}}$${\displaystyle j=2,\ldots ,K-1}$${\displaystyle \phi _{j}}$

${\displaystyle {\textrm {Beta}}\left(\alpha _{j},\sum _{i=j+1}^{K}\alpha _{i}\right),}$

и разреши

${\displaystyle x_{j}=\left(1-\sum _{i=1}^{j-1}x_{i}\right)\phi _{j}.}$

Наконец, установите

${\displaystyle x_{K}=1-\sum _{i=1}^{K-1}x_{i}.}$

Эта итерационная процедура близко соответствует интуиции «разрезания струны», описанной ниже.

Ниже приведен пример кода Python для рисования образца:

params  =  [ a1 ,  a2 ,  ... ,  ak ] xs  =  [ случайный . betavariate ( params [ 0 ],  sum ( params [ 1 :]))] для  j  в  диапазоне ( 1 ,  len ( params )  -  1 ):  phi  =  random . Betavariate ( params [ j ],  sum ( params[ j  +  1  :]))  хз . добавить (( 1  -  сумма ( xs ))  *  phi ) xs . добавить ( 1  -  сумма ( xs ))

Интуитивная интерпретация параметров [ править ]

Параметр концентрации [ править ]

Распределения Дирихле очень часто используются в качестве априорных распределений в байесовском выводе . Самым простым и, возможно, наиболее распространенным типом априорного распределения Дирихле является симметричное распределение Дирихле, в котором все параметры равны. Это соответствует случаю, когда у вас нет предварительной информации о предпочтении одного компонента перед любым другим. Как описано выше, единственное значение α, на которое устанавливаются все параметры, называется параметром концентрации . Если пространство выборки распределения Дирихле интерпретируется как дискретное распределение вероятностей, то интуитивно можно представить, что параметр концентрации определяет, насколько «концентрированной» вероятностная масса образца из распределения Дирихле. При значении намного меньше 1 масса будет сильно сконцентрирована в нескольких компонентах, а все остальные почти не будут иметь массы. При значении намного больше 1 масса будет почти одинаково распределена между всеми компонентами. См. Статью о параметре концентрации для дальнейшего обсуждения.

Обрезка струны [ править ]

Одним из примеров использования распределения Дирихле является случай, когда нужно разрезать струны (каждая с начальной длиной 1,0) на K частей с разной длиной, где каждая часть имеет заданную среднюю длину, но допускает некоторое изменение относительных размеров частей. Значения α / α ₀ определяют средние длины отрезанных кусков струны, полученные в результате распределения. Дисперсия этого среднего значения обратно пропорциональна α ₀ .

Урна Поли [ править ]

Рассмотрим урну с шарами K разных цветов. Первоначально урна содержит α ₁ шаров цвета 1, α ₂ шаров цвета 2 и т. Д. Теперь выполните N розыгрышей из урны, при этом после каждой розыгрыша мяч помещается обратно в урну с дополнительным мячом того же цвета. В пределе, когда N приближается к бесконечности, пропорции разноцветных шаров в урне будут распределены как Dir ( α ₁ , ..., α _K ). ^[20]

Для формального доказательства, обратите внимание , что пропорции различных цветных шаров образуют ограниченный [0,1] ^K - значного Мартингейл , следовательно , самой мартингальной сходимость теоремы , эти пропорции сходятся почти наверняка и в среднем до предельного случайного вектора. Чтобы увидеть, что этот предельный вектор имеет указанное выше распределение Дирихле, убедитесь, что все смешанные моменты согласуются.

Каждый розыгрыш из урны изменяет вероятность вытаскивания шара любого цвета из урны в будущем. Эта модификация уменьшается с количеством розыгрышей, так как относительный эффект добавления нового шара в урну уменьшается по мере того, как в урне накапливается все большее количество шаров.

См. Также [ править ]

• Обобщенное распределение Дирихле
• Сгруппированное распределение Дирихле
• Обратное распределение Дирихле
• Скрытое размещение Дирихле
• Процесс Дирихле
• Матричное вариационное распределение Дирихле

Ссылки [ править ]

Внешние ссылки [ править ]

• "Распределение Дирихле" , Математическая энциклопедия , EMS Press , 2001 [1994]
• Распределение Дирихле
• Как оценить параметры составного распределения Дирихле (распределение Полиа) с помощью максимизации ожидания (EM)
• Люк Деврой. «Генерация неоднородной случайной величины» . Дата обращения 19 октября 2019 .
• Случайные меры Дирихле, метод построения с помощью составных пуассоновских случайных величин и свойства обменяемости полученного гамма-распределения
• Пакет SciencesPo : R, который содержит функции для моделирования параметров распределения Дирихле.