Дирихле-полиномиальное распределение

Дирихле-полиномиальный

Параметры	${\ displaystyle n> 0}$количество испытаний (положительное целое число ) ${\ displaystyle \ alpha _ {1}, \ ldots, \ alpha _ {K}> 0}$
Поддерживать	${\ Displaystyle х_ {я} \ в \ {0, \ точки, п \}}$ ${\ Displaystyle \ Sigma x_ {i} = п \!}$
PMF	${\ Displaystyle {\ гидроразрыва {\ влево (п! \ вправо) \ Гамма \ влево (\ сумма \ альфа _ {к} \ вправо)} {\ Гамма \ влево (п + \ сумма \ альфа _ {к} \ вправо) }} \ prod _ {k = 1} ^ {K} {\ frac {\ Gamma (x_ {k} + \ alpha _ {k})} {\ left (x_ {k}! \ right) \ Gamma (\ альфа _ {k})}}}$
Иметь в виду	${\displaystyle \operatorname {E} (X_{i})=n{\frac {\alpha _{i}}{\sum \alpha _{k}}}}$
Дисперсия	${\displaystyle \operatorname {Var} (X_{i})=n{\frac {\alpha _{i}}{\sum \alpha _{k}}}\left(1-{\frac {\alpha _{i}}{\sum \alpha _{k}}}\right)\left({\frac {n+\sum \alpha _{k}}{1+\sum \alpha _{k}}}\right)}$ ${\displaystyle \textstyle {\mathrm {Cov} }(X_{i},X_{j})=-n{\frac {\alpha _{i}\alpha _{j}}{(\sum \alpha _{k})^{2}}}\left({\frac {n+\sum \alpha _{k}}{1+\sum \alpha _{k}}}\right)~~(i\neq j)}$
MGF	${\displaystyle \operatorname {E} (\prod \limits _{k=1}^{K}{e}^{t_{k}\cdot x_{k}})={\frac {\Gamma (n+1)\Gamma (\sum \alpha _{k})}{\Gamma (\sum \alpha _{k}+n)}}\cdot D_{n}({\boldsymbol {\alpha }},(e^{t_{1}},...,e^{t_{K}}))}$ с [1] ${\displaystyle D_{n}={\frac {1}{n}}\sum \limits _{u=1}^{n}\left[\left(\sum \limits _{k=1}^{K}\alpha _{k}\cdot {e}^{t_{k}\cdot u}\right)D_{n-u}\right],D_{0}=1}$
CF	${\displaystyle \operatorname {E} (\prod \limits _{k=1}^{K}{e}^{it_{k}\cdot x_{k}})={\frac {\Gamma (n+1)\Gamma (\sum \alpha _{k})}{\Gamma (\sum \alpha _{k}+n)}}\cdot D_{n}({\boldsymbol {\alpha }},(e^{it_{1}},...,e^{it_{K}}))}$ с ${\displaystyle D_{n}={\frac {1}{n}}\sum \limits _{u=1}^{n}\left[\left(\sum \limits _{k=1}^{K}\alpha _{k}\cdot {e}^{it_{k}\cdot u}\right)D_{n-u}\right],D_{0}=1}$[1]
PGF	${\displaystyle \operatorname {E} (\prod \limits _{k=1}^{K}{z_{k}}^{x_{k}})={\frac {\Gamma (n+1)\Gamma (\sum \alpha _{k})}{\Gamma (\sum \alpha _{k}+n)}}\cdot D_{n}({\boldsymbol {\alpha }},\mathbf {z} )}$ с ${\displaystyle D_{n}={\frac {1}{n}}\sum \limits _{u=1}^{n}\left[\left(\sum \limits _{k=1}^{K}\alpha _{k}\cdot {z_{k}}^{u}\right)D_{n-u}\right],D_{0}=1}$ [1]

В теории вероятностей и статистике , то распределение Дирихля-полиномиального семейство дискретных многомерные вероятностных распределений на конечные поддержки неотрицательных целых чисел. Его также называют составным полиномиальным распределением Дирихле ( DCM ) или многомерным распределением Полиа (в честь Джорджа Полиа ). Это составное распределение вероятностей , где вектор вероятности p взят из распределения Дирихле с вектором параметров , а наблюдение получено из полиномиального распределения.${\displaystyle {\boldsymbol {\alpha }}}$с вектором вероятности p и числом испытаний n . Вектор параметров Дирихле отражает предшествующее мнение о ситуации и может рассматриваться как псевдосчет: наблюдения за каждым результатом, которые происходят до сбора фактических данных. Компаундирование соответствует схеме урны Pólya . Он часто встречается в байесовской статистике , машинном обучении , эмпирических байесовских методах и классической статистике как сверхдисперсное полиномиальное распределение .

Оно сводится к категориальному распределению как частному случаю, когда n  = 1. Оно также сколь угодно хорошо аппроксимирует полиномиальное распределение для больших α . Полиномиальное распределение Дирихле является многомерным расширением бета-биномиального распределения , так как полиномиальное распределение и распределение Дирихле являются многомерными версиями биномиального распределения и бета-распределений соответственно.

Спецификация [ править ]

Полиномиальное распределение Дирихле как составное распределение [ править ]

Распределение Дирихле сопряжено с полиномиальным распределением. Этот факт приводит к аналитически поддающемуся анализу распределению соединений . Для случайного вектора количества категорий , распределенного в соответствии с полиномиальным распределением , маргинальное распределение получается путем интегрирования распределения для p, которое можно рассматривать как случайный вектор, следующий за распределением Дирихле:${\displaystyle \mathbf {x} =(x_{1},\dots ,x_{K})}$

${\displaystyle \Pr(\mathbf {x} \mid {\boldsymbol {\alpha }})=\int _{\mathbf {p} }\Pr(\mathbf {x} \mid \mathbf {p} )\Pr(\mathbf {p} \mid {\boldsymbol {\alpha }}){\textrm {d}}\mathbf {p} }$

что приводит к следующей явной формуле:

${\displaystyle \Pr(\mathbf {x} \mid {\boldsymbol {\alpha }})={\frac {\left(n!\right)\Gamma \left(\alpha _{0}\right)}{\Gamma \left(n+\alpha _{0}\right)}}\prod _{k=1}^{K}{\frac {\Gamma (x_{k}+\alpha _{k})}{\left(x_{k}!\right)\Gamma (\alpha _{k})}}}$

где определяется как сумма . Другая форма того же составного распределения, более компактно записанная в терминах бета-функции , B , выглядит следующим образом:${\displaystyle \alpha _{0}}$${\displaystyle \alpha _{0}=\sum \alpha _{k}}$

${\displaystyle \Pr(\mathbf {x} \mid {\boldsymbol {\alpha }})={\frac {nB\left(\alpha _{0},n\right)}{\prod _{k:x_{k}>0}x_{k}B\left(\alpha _{k},x_{k}\right)}}.}$

Последняя форма подчеркивает тот факт , что нулевые категории счетов можно пренебречь при расчете - полезный факт , когда количество категорий очень большое и редкое (например , количество слов в документах).

Обратите внимание, что pdf - это бета-биномиальное распределение, когда . Также можно показать, что оно приближается к полиномиальному распределению по мере приближения к бесконечности. Параметр управляет степенью избыточной дисперсии или скачкообразности относительно полинома . Альтернативные варианты обозначения, найденные в литературе, - это S и A.${\displaystyle K=2}$${\displaystyle \alpha _{0}}$${\displaystyle \alpha _{0}}$${\displaystyle \alpha _{0}}$

Дирихле-полином как модель урны [ править ]

Полиномиальное распределение Дирихле также может быть мотивировано моделью урны для положительных целочисленных значений вектора α, известной как модель урны Поля . В частности, представьте урну, содержащую шары K цветов, пронумерованных для i-го цвета, в которой выполняются случайные розыгрыши. Когда случайным образом вытягивается шар и наблюдается его, в урну возвращаются два шара одного цвета. Если это будет выполнено n раз, то вероятность наблюдения случайного вектора${\displaystyle \alpha _{i}}$${\displaystyle x}$подсчетов цветов является многочленом Дирихле с параметрами n и α. Если случайные розыгрыши выполняются с простой заменой (в урну не добавляются шары, превышающие наблюдаемый шар), то распределение следует полиномиальному распределению, а если случайные розыгрыши выполняются без замены, распределение следует многомерному гипергеометрическому распределению .

Свойства [ править ]

Моменты [ править ]

Еще раз, let и let , тогда ожидаемое количество раз, когда результат i наблюдался за n испытаний, равно${\displaystyle \alpha _{0}=\sum \alpha _{k}}$${\displaystyle p_{i}={\frac {\alpha _{i}}{\sum \alpha _{k}}}={\frac {\alpha _{i}}{\alpha _{0}}}}$

${\displaystyle \operatorname {E} (X_{i})=np_{i}=n{\frac {\alpha _{i}}{\alpha _{0}}}.\,}$

Ковариационная матрица выглядит следующим образом . Каждая диагональная запись представляет собой дисперсию случайной величины с бета-биномиальным распределением и, следовательно,

${\displaystyle \operatorname {var} (X_{i})=np_{i}(1-p_{i})\left({\frac {n+\sum \alpha _{k}}{1+\sum \alpha _{k}}}\right)=n{\frac {\alpha _{i}}{\alpha _{0}}}\left(1-{\frac {\alpha _{i}}{\alpha _{0}}}\right)\left({\frac {n+\alpha _{0}}{1+\alpha _{0}}}\right).\,}$

Недиагональные записи - это ковариации :

${\displaystyle \operatorname {cov} (X_{i},X_{j})=-np_{i}p_{j}\left({\frac {n+\sum \alpha _{k}}{1+\sum \alpha _{k}}}\right)=-n{\frac {\alpha _{i}\alpha _{j}}{\alpha _{0}^{2}}}\left({\frac {n+\alpha _{0}}{1+\alpha _{0}}}\right)\,}$

для i , j различны.

Все ковариации отрицательны, потому что при фиксированном n увеличение одного компонента полиномиального вектора Дирихле требует уменьшения другого компонента.

Это положительно-полуопределенная матрица размера K × K ранга K  - 1.

Элементы соответствующей корреляционной матрицы :

${\displaystyle \rho (X_{i},X_{i})=1.}$

${\displaystyle \rho (X_{i},X_{j})={\frac {\operatorname {cov} (X_{i},X_{j})}{\sqrt {\operatorname {var} (X_{i})\operatorname {var} (X_{j})}}}={\frac {-p_{i}p_{j}({\frac {n+\alpha _{0}}{1+\alpha _{0}}})}{\sqrt {p_{i}(1-p_{i})({\frac {n+\alpha _{0}}{1+\alpha _{0}}})p_{j}(1-p_{j})({\frac {n+\alpha _{0}}{1+\alpha _{0}}})}}}=-{\sqrt {\frac {\alpha _{i}\alpha _{j}}{(\alpha _{0}-\alpha _{i})(\alpha _{0}-\alpha _{j})}}}.}$

Размер выборки выпадает из этого выражения.

Каждый из k компонентов в отдельности имеет бета-биномиальное распределение.

Поддержка Дирихль-полиномиального распределения является набором

${\displaystyle \{(n_{1},\dots ,n_{k})\in \mathbb {N} ^{k}|n_{1}+\cdots +n_{k}=n\}.\,}$

Количество его элементов

${\displaystyle {n+k-1 \choose k-1}.}$

Обозначение матрицы [ править ]

В матричных обозначениях

${\displaystyle \operatorname {E} (\mathbf {X} )=n\mathbf {p} ,\,}$

и

${\displaystyle \operatorname {var} (\mathbf {X} )=n\lbrace \operatorname {diag} (\mathbf {p} )-\mathbf {p} \mathbf {p} ^{\rm {T}}\rbrace \left({\frac {n+\alpha _{0}}{1+\alpha _{0}}}\right),\,}$

где p ^T = вектор-строка, транспонированная вектор-столбец p . Сдача

${\displaystyle \alpha _{0}={\frac {1-\rho ^{2}}{\rho ^{2}}}\,}$, мы можем написать альтернативно

${\displaystyle \operatorname {var} (\mathbf {X} )=n\lbrace \operatorname {diag} (\mathbf {p} )-\mathbf {p} \mathbf {p} ^{\rm {T}}\rbrace (1+\rho ^{2}(n-1)),\,}$

Этот параметр известен как «внутриклассовая» или «внутрикластерная» корреляция. Именно эта положительная корреляция приводит к избыточной дисперсии по сравнению с полиномиальным распределением.${\displaystyle \rho \!}$

Агрегация [ править ]

Если

${\displaystyle X=(X_{1},\ldots ,X_{K})\sim \operatorname {DM} (\alpha _{1},\cdots ,\alpha _{K})}$

тогда, если случайные величины с индексами i и j исключить из вектора и заменить их суммой,

${\displaystyle X'=(X_{1},\ldots ,X_{i}+X_{j},\ldots ,X_{K})\sim \operatorname {DM} \left(\alpha _{1},\cdots ,\alpha _{i}+\alpha _{j},\cdots ,\alpha _{K}\right).}$

Это свойство агрегирования можно использовать для получения предельного распределения, указанного выше.${\displaystyle X_{i}}$

Функция правдоподобия [ править ]

Концептуально мы делаем N независимых розыгрышей из категориального распределения с K категориями. Представим независимые ничьи в виде случайных категориальных переменных для . Обозначим, сколько раз определенная категория была замечена (для ) среди всех категориальных переменных как , и . Тогда у нас есть два разных взгляда на эту проблему:${\displaystyle z_{n}}$${\displaystyle n=1\dots N}$${\displaystyle k}$${\displaystyle k=1\dots K}$${\displaystyle n_{k}}$${\displaystyle \sum _{k}n_{k}=N}$

1. Набор категориальных переменных .${\displaystyle N}$${\displaystyle z_{1},\dots ,z_{N}}$
2. Одиночная векторная переменная , распределенная согласно полиномиальному распределению .${\displaystyle \mathbf {x} =(n_{1},\dots ,n_{K})}$

Первый случай - это набор случайных величин, определяющих каждый отдельный результат, а второй - это переменная, определяющая количество результатов каждой из K категорий. Это различие важно, так как два случая имеют соответственно разные распределения вероятностей.

Параметр категориального распределения: где - вероятность получить значение ; также является параметром полиномиального распределения . Вместо того, чтобы указывать напрямую, мы даем ему сопряженное априорное распределение , и, следовательно, оно взято из распределения Дирихле с вектором параметров .${\displaystyle \mathbf {p} =(p_{1},p_{2},\dots ,p_{K}),}$${\displaystyle p_{k}}$${\displaystyle k}$${\displaystyle \mathbf {p} }$${\displaystyle P(\mathbf {x} |\mathbf {p} )}$${\displaystyle \mathbf {p} }$${\displaystyle {\boldsymbol {\alpha }}=(\alpha _{1},\alpha _{2},\ldots ,\alpha _{K})}$

Интегрируя , мы получаем составное распределение. Однако форма распределения различается в зависимости от того, какую точку зрения мы придерживаемся.${\displaystyle \mathbf {p} }$

Для набора индивидуальных результатов [ править ]

Совместное распространение [ править ]

Для категориальных переменных , то маргинальный совместное распределение получается путем интегрирования по :${\displaystyle \mathbb {Z} =z_{1},\dots ,z_{N}}$ ${\displaystyle \mathbf {p} }$

${\displaystyle \Pr(\mathbb {Z} \mid {\boldsymbol {\alpha }})=\int _{\mathbf {p} }\Pr(\mathbb {Z} \mid \mathbf {p} )\Pr(\mathbf {p} \mid {\boldsymbol {\alpha }}){\textrm {d}}\mathbf {p} }$

что приводит к следующей явной формуле:

${\displaystyle \Pr(\mathbb {Z} \mid {\boldsymbol {\alpha }})={\frac {\Gamma \left(A\right)}{\Gamma \left(N+A\right)}}\prod _{k=1}^{K}{\frac {\Gamma (n_{k}+\alpha _{k})}{\Gamma (\alpha _{k})}}}$

где - гамма-функция , причем${\displaystyle \Gamma }$

${\displaystyle A=\sum _{k}\alpha _{k}{\text{ and }}N=\sum _{k}n_{k}{\text{, and where }}n_{k}={\text{number of }}z_{n}{\text{'s with the value }}k{\text{.}}}$

Хотя переменные не отображаются явно в приведенной выше формуле, они входят через значения.${\displaystyle z_{1},\dots ,z_{N}}$${\displaystyle n_{k}}$

Условное распространение [ править ]

Другая полезная формула, особенно в контексте выборки Гиббса , спрашивает, какова условная плотность данной переменной , обусловленная всеми другими переменными (которые мы будем обозначать ). Оказывается, имеет очень простой вид:${\displaystyle z_{n}}$${\displaystyle \mathbb {Z} ^{(-n)}}$

${\displaystyle \Pr(z_{n}=k\mid \mathbb {Z} ^{(-n)},{\boldsymbol {\alpha }})\propto n_{k}^{(-n)}+\alpha _{k}}$

где указывает количество отсчетов категории, наблюдаемых во всех переменных, кроме .${\displaystyle n_{k}^{(-n)}}$${\displaystyle k}$${\displaystyle z_{n}}$

Может быть полезно показать, как получить эту формулу. В общем, условные распределения пропорциональны соответствующим совместным распределениям , поэтому мы просто начинаем с приведенной выше формулы для совместного распределения всех значений, а затем исключаем любые факторы, не зависящие от рассматриваемого конкретного значения . Для этого мы используем обозначения, определенные выше, и${\displaystyle z_{1},\dots ,z_{N}}$${\displaystyle z_{n}}$${\displaystyle n_{k}^{(-n)}}$

${\displaystyle n_{j}={\begin{cases}n_{j}^{(-n)},&{\text{if }}j\not =k\\n_{j}^{(-n)}+1,&{\text{if }}j=k\end{cases}}}$

Мы также используем тот факт, что

${\displaystyle \Gamma (n+1)=n\Gamma (n)}$

Потом:

${\displaystyle {\begin{aligned}&\Pr(z_{n}=k\mid \mathbb {Z} ^{(-n)},{\boldsymbol {\alpha }})\\\propto \ &\Pr(z_{n}=k,\mathbb {Z} ^{(-n)}\mid {\boldsymbol {\alpha }})\\=\ &\ {\frac {\Gamma \left(A\right)}{\Gamma \left(N+A\right)}}\prod _{j=1}^{K}{\frac {\Gamma (n_{j}+\alpha _{j})}{\Gamma (\alpha _{j})}}\\\propto \ &\prod _{j=1}^{K}\Gamma (n_{j}+\alpha _{j})\\=\ &\Gamma (n_{k}+\alpha _{k})\prod _{j\not =k}\Gamma (n_{j}+\alpha _{j})\\=\ &\Gamma (n_{k}^{(-n)}+1+\alpha _{k})\prod _{j\not =k}\Gamma (n_{j}^{(-n)}+\alpha _{j})\\=\ &(n_{k}^{(-n)}+\alpha _{k})\Gamma (n_{k}^{(-n)}+\alpha _{k})\prod _{j\not =k}\Gamma (n_{j}^{(-n)}+\alpha _{j})\\=\ &(n_{k}^{(-n)}+\alpha _{k})\prod _{j}\Gamma (n_{j}^{(-n)}+\alpha _{j})\\\propto \ &n_{k}^{(-n)}+\alpha _{k}\\\end{aligned}}}$

В общем, нет необходимости беспокоиться о нормирующей константе во время вывода уравнений для условных распределений. Константа нормализации будет определена как часть алгоритма выборки из распределения (см. Категориальное распределение # Выборка ). Однако, когда условное распределение записано в простой форме, приведенной выше, оказывается, что нормализующая константа принимает простую форму:

${\displaystyle \sum _{k}\left(n_{k}^{(-n)}+\alpha _{k}\right)=A+\sum _{k}n_{k}^{(-n)}=A+N-1}$

Следовательно

${\displaystyle \Pr(z_{n}=k\mid \mathbb {Z} ^{(-n)},{\boldsymbol {\alpha }})={\frac {n_{k}^{(-n)}+\alpha _{k}}{A+N-1}}}$

Эта формула тесно связана с китайским ресторанным процессом , который является результатом принятия лимита как .${\displaystyle K\to \infty }$

В байесовской сети [ править ]

В более крупной байесовской сети, в которой категориальные (или так называемые "полиномиальные") распределения встречаются с распределением Дирихлеприоры как часть более крупной сети, все приоры Дирихле могут быть свернуты при условии, что единственными узлами, зависящими от них, являются категориальные распределения. Свертывание происходит для каждого узла распределения Дирихле отдельно от других и происходит независимо от любых других узлов, которые могут зависеть от категориальных распределений. Это также происходит независимо от того, зависят ли категориальные распределения от узлов, дополнительных к априорным элементам Дирихле (хотя в таком случае эти другие узлы должны оставаться в качестве дополнительных обусловливающих факторов). По сути, все категориальные распределения, зависящие от данного узла распределения Дирихле, становятся связанными в единое мультиномиальное совместное распределение Дирихле, определяемое приведенной выше формулой.Совместное распределение, как определено таким образом, будет зависеть от родителя (ей) интегрированных предшествующих узлов Дирихле, а также любого родителя (ов) категориальных узлов, кроме самих предшествующих узлов Дирихле.

В следующих разделах мы обсудим различные конфигурации, обычно встречающиеся в байесовских сетях. Повторяем плотность вероятности сверху и определяем ее с помощью символа :${\displaystyle \operatorname {DirMult} (\mathbb {Z} \mid {\boldsymbol {\alpha }})}$

${\displaystyle \Pr(\mathbb {Z} \mid {\boldsymbol {\alpha }})=\operatorname {DirMult} (\mathbb {Z} \mid {\boldsymbol {\alpha }})={\frac {\Gamma \left(\sum _{k}\alpha _{k}\right)}{\Gamma \left(\sum _{k}n_{k}+\alpha _{k}\right)}}\prod _{k=1}^{K}{\frac {\Gamma (n_{k}+\alpha _{k})}{\Gamma (\alpha _{k})}}}$

Несколько априоров Дирихле с одним и тем же гиперприором [ править ]

Представьте, что у нас есть следующая иерархическая модель:

${\displaystyle {\begin{array}{lcl}{\boldsymbol {\alpha }}&\sim &{\text{some distribution}}\\{\boldsymbol {\theta }}_{d=1\dots M}&\sim &\operatorname {Dirichlet} _{K}({\boldsymbol {\alpha }})\\z_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {Categorical} _{K}({\boldsymbol {\theta }}_{d})\end{array}}}$

В таких случаях у нас есть несколько априорных значений Дирише, каждый из которых генерирует некоторое количество категориальных наблюдений (возможно, разное количество для каждого априорного значения). Тот факт, что все они зависят от одного и того же гиперприора, даже если это случайная величина, как указано выше, не имеет значения. Эффект интегрирования априорного значения Дирихле связывает категориальные переменные, связанные с этим априорным значением, совместное распределение которого просто наследует любые обусловливающие факторы априорного значения Дирихле. Тот факт, что несколько приоритетов могут иметь один гиперприор, не имеет значения:

${\displaystyle \Pr(\mathbb {Z} \mid {\boldsymbol {\alpha }})=\prod _{d}\operatorname {DirMult} (\mathbb {Z} _{d}\mid {\boldsymbol {\alpha }})}$

где это просто набор категориальных переменных, зависящих от априорного d .${\displaystyle \mathbb {Z} _{d}}$

Соответственно, условное распределение вероятностей можно записать следующим образом:

${\displaystyle \Pr(z_{dn}=k\mid \mathbb {Z} ^{(-dn)},{\boldsymbol {\alpha }})\ \propto \ n_{k,d}^{(-n)}+\alpha _{k}}$

где конкретно означает количество переменных в наборе , за исключением самого себя, которые имеют значение .${\displaystyle n_{k,d}^{(-n)}}$ ${\displaystyle \mathbb {Z} _{d}}$${\displaystyle z_{dn}}$${\displaystyle k}$

Необходимо подсчитывать только те переменные, имеющие значение k , которые связаны вместе с рассматриваемой переменной за счет того же предшествующего значения. Мы не хотим подсчитывать другие переменные, также имеющие значение k .

Множественные приоры Дирихле с одним и тем же гиперприором с зависимыми дочерними элементами [ править ]

А теперь представьте себе несколько более сложную иерархическую модель:

${\displaystyle {\begin{array}{lcl}{\boldsymbol {\alpha }}&\sim &{\text{some distribution}}\\{\boldsymbol {\theta }}_{d=1\dots M}&\sim &\operatorname {Dirichlet} _{K}({\boldsymbol {\alpha }})\\z_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {Categorical} _{K}({\boldsymbol {\theta }}_{d})\\{\boldsymbol {\phi }}&\sim &{\text{some other distribution}}\\w_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {F} (w_{dn}\mid z_{dn},{\boldsymbol {\phi }})\end{array}}}$

Эта модель такая же, как и выше, но, кроме того, каждая из категориальных переменных имеет зависимую дочернюю переменную. Это типично для смешанной модели .

Опять же, в совместном распределении только категориальные переменные, зависящие от одного и того же априорного значения, связаны в один полином Дирихле:

${\displaystyle \Pr(\mathbb {Z} ,\mathbb {W} \mid {\boldsymbol {\alpha }},{\boldsymbol {\phi }})=\prod _{d}\operatorname {DirMult} (\mathbb {Z} _{d}\mid {\boldsymbol {\alpha }})\prod _{d=1}^{M}\prod _{n=1}^{N_{d}}\operatorname {F} (w_{dn}\mid z_{dn},{\boldsymbol {\phi }})}$

Условное распределение категориальных переменных, зависящих только от их родителей и предков, будет иметь ту же форму, что и выше, в более простом случае. Однако при выборке Гиббса необходимо определить условное распределение данного узла, зависящее не только от таких предков, но и от всех других параметров.${\displaystyle z_{dn}}$${\displaystyle \mathbb {Z} ^{(-dn)}}$${\displaystyle \alpha }$

Упрощенное выражение для условного распределения получается выше, просто переписывая выражение для совместной вероятности и удаляя постоянные множители. Следовательно, такое же упрощение применимо к большему выражению совместной вероятности, например, в этой модели, состоящему из полиномиальных плотностей Дирихле плюс коэффициенты для многих других случайных величин, зависящих от значений категориальных переменных.

Это дает следующее:

${\displaystyle \Pr(z_{dn}=k\mid \mathbb {Z} ^{(-dn)},\mathbb {W} ,{\boldsymbol {\alpha }},{\boldsymbol {\phi }})\ \propto \ (n_{k,d}^{(-n)}+\alpha _{k})\operatorname {F} (w_{dn}\mid z_{dn},{\boldsymbol {\phi }})}$

Здесь прямо фигурирует плотность вероятности . Для того, чтобы сделать случайную выборку более , мы бы вычислить ненормализованные вероятности для всех K возможностей для использования вышеуказанной формулы, а затем нормализовать их и продолжайте как обычно с помощью алгоритма , описанного в категорическом распределении статьи.${\displaystyle \operatorname {F} }$${\displaystyle z_{dn}}$${\displaystyle z_{dn}}$

Правильно говоря, дополнительный фактор, который появляется в условном распределении, выводится не из спецификации модели, а непосредственно из совместного распределения. Это различие важно при рассмотрении моделей, в которых данный узел с предшествующим родительским элементом Дирихле имеет несколько зависимых дочерних элементов, особенно когда эти дочерние элементы зависят друг от друга (например, если у них общий родительский элемент, который свернут). Это обсуждается более подробно ниже.

Множественные приоритеты Дирихле со сменой предыдущего состава [ править ]

Теперь представьте, что у нас есть следующая иерархическая модель:

${\displaystyle {\begin{array}{lcl}{\boldsymbol {\theta }}&\sim &{\text{some distribution}}\\z_{n=1\dots N}&\sim &\operatorname {Categorical} _{K}({\boldsymbol {\theta }})\\{\boldsymbol {\alpha }}&\sim &{\text{some distribution}}\\{\boldsymbol {\phi }}_{k=1\dots K}&\sim &\operatorname {Dirichlet} _{V}({\boldsymbol {\alpha }})\\w_{n=1\dots N}&\sim &\operatorname {Categorical} _{V}({\boldsymbol {\phi }}_{z_{n}})\\\end{array}}}$

Здесь у нас есть сложная ситуация, когда у нас есть несколько априорных значений Дирихле, как и раньше, и набор зависимых категориальных переменных, но связь между априорными и зависимыми переменными не является фиксированной, в отличие от предыдущих. Вместо этого выбор того, какой из них перед использованием, зависит от другой случайной категориальной переменной. Это происходит, например, в тематических моделях, и действительно, имена переменных выше должны соответствовать именам в скрытом распределении Дирихле . В этом случае набор представляет собой набор слов, каждое из которых взято из одной из возможных тем, где каждая тема является предшествующей Дирихле над словарным запасом${\displaystyle \mathbb {W} }$${\displaystyle K}$${\displaystyle V}$возможные слова с указанием частоты встречаемости разных слов в теме. Однако тематическая принадлежность данного слова не фиксирована; скорее, он определяется набором скрытых переменных . Для каждого слова существует одна скрытая переменная - размерная категориальная переменная, определяющая тему, к которой принадлежит слово.${\displaystyle \mathbb {Z} }$${\displaystyle K}$

В этом случае все переменные, зависящие от данного априорного значения, связаны вместе (т. Е. Коррелированы ) в группе, как и раньше - в частности, связаны все слова, принадлежащие данной теме. В этом случае, однако, членство в группе меняется, поскольку слова не привязаны к данной теме, а тема зависит от значения скрытой переменной, связанной со словом. Однако определение полиномиальной плотности Дирихле на самом деле не зависит от количества категориальных переменных в группе (т. Е. Количества слов в документе, созданных на основе данной темы), а только от подсчета количества переменных в группа имеет заданное значение (т. е. среди всех словосочетаний, сгенерированных из данной темы, сколько из них является данным словом). Следовательно, мы все еще можем написать явную формулу для совместного распределения:

${\displaystyle \Pr(\mathbb {W} \mid {\boldsymbol {\alpha }},\mathbb {Z} )=\prod _{k=1}^{K}\operatorname {DirMult} (\mathbb {W} _{k}\mid \mathbb {Z} ,{\boldsymbol {\alpha }})=\prod _{k=1}^{K}\left[{\frac {\Gamma \left(\sum _{v}\alpha _{v}\right)}{\Gamma \left(\sum _{v}n_{v}^{k}+\alpha _{v}\right)}}\prod _{v=1}^{V}{\frac {\Gamma (n_{v}^{k}+\alpha _{v})}{\Gamma (\alpha _{v})}}\right]}$

Здесь мы используем нотацию для обозначения количества токенов слов, значение которых является символом слова v и которые принадлежат теме k .${\displaystyle n_{v}^{k}}$

Условное распределение по-прежнему имеет тот же вид:

${\displaystyle \Pr(w_{n}=v\mid \mathbb {W} ^{(-n)},\mathbb {Z} ,{\boldsymbol {\alpha }})\ \propto \ n_{v}^{k,(-n)}+\alpha _{v}}$

Здесь снова связаны только категориальные переменные для слов, принадлежащих данной теме (даже если это связывание будет зависеть от назначений скрытых переменных), и, следовательно, подсчет слов должен быть выше только слов, сгенерированных данной темой. Следовательно, символ , который представляет собой количество словосочетаний, имеющих символ слова v , но только среди тех, которые генерируются темой k , и исключая само слово, распределение которого описывается.${\displaystyle n_{v}^{k,(-n)}}$

(Причина, по которой исключение самого слова необходимо и почему оно вообще имеет смысл, заключается в том, что в контексте выборки Гиббса мы неоднократно передискретизируем значения каждой случайной переменной после того, как прошли все предыдущие переменные. переменная уже будет иметь значение, и нам нужно исключить это существующее значение из различных подсчетов, которые мы используем.)

Комбинированный пример: тематические модели LDA [ править ]

Теперь мы покажем, как объединить некоторые из вышеперечисленных сценариев, чтобы продемонстрировать, как Гиббс делает выборку из реальной модели, в частности, тематической модели сглаженного скрытого распределения Дирихле (LDA) .

Модель выглядит следующим образом:

${\displaystyle {\begin{array}{lcl}{\boldsymbol {\alpha }}&\sim &{\text{A Dirichlet hyperprior, either a constant or a random variable}}\\{\boldsymbol {\beta }}&\sim &{\text{A Dirichlet hyperprior, either a constant or a random variable}}\\{\boldsymbol {\theta }}_{d=1\dots M}&\sim &\operatorname {Dirichlet} _{K}({\boldsymbol {\alpha }})\\{\boldsymbol {\phi }}_{k=1\dots K}&\sim &\operatorname {Dirichlet} _{V}({\boldsymbol {\beta }})\\z_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {Categorical} _{K}({\boldsymbol {\theta }}_{d})\\w_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {Categorical} _{V}({\boldsymbol {\phi }}_{z_{dn}})\\\end{array}}}$

По сути, мы объединяем предыдущие три сценария: у нас есть категориальные переменные, зависящие от нескольких априорных факторов, разделяющих гиперприор; у нас есть категориальные переменные с зависимыми детьми ( скрытые переменные тематических идентичностей); и у нас есть категориальные переменные со сдвигающейся принадлежностью к множеству априорных значений, разделяющих гиперприор. В стандартной модели LDA слова полностью соблюдаются, и, следовательно, нам никогда не нужно их пересчитывать. (Однако выборка Гиббса была бы в равной степени возможна, если бы наблюдались только некоторые слова или ни одно из них. В таком случае мы хотели бы инициализировать распределение по словам каким-либо разумным образом - например, из выходных данных некоторого процесса, который генерирует предложения , например, машинный перевод модель - для того , чтобы в результате задней скрытые распределения переменных, чтобы иметь смысл.)

Используя приведенные выше формулы, мы можем записать условные вероятности напрямую:

${\displaystyle {\begin{array}{lcl}\Pr(w_{dn}=v\mid \mathbb {W} ^{(-dn)},\mathbb {Z} ,{\boldsymbol {\beta }})\ &\propto \ &\#\mathbb {W} _{v}^{k,(-dn)}+\beta _{v}\\\Pr(z_{dn}=k\mid \mathbb {Z} ^{(-dn)},w_{dn}=v,\mathbb {W} ^{(-dn)},{\boldsymbol {\alpha }})\ &\propto \ &(\#\mathbb {Z} _{k}^{d,(-dn)}+\alpha _{k})\Pr(w_{dn}=v\mid \mathbb {W} ^{(-dn)},\mathbb {Z} ,{\boldsymbol {\beta }})\\\end{array}}}$

Здесь мы более четко определили количество слов, чтобы четко разделить количество слов и количество тем:

${\displaystyle {\begin{array}{lcl}\#\mathbb {W} _{v}^{k,(-dn)}&=&{\text{number of words having value }}v{\text{ among topic }}k{\text{ excluding }}w_{dn}\\\#\mathbb {Z} _{k}^{d,(-dn)}&=&{\text{number of topics having value }}k{\text{ among document }}d{\text{ excluding }}z_{dn}\\\end{array}}}$

Как и в приведенном выше сценарии с категориальными переменными с зависимыми дочерними элементами, условная вероятность этих зависимых детей появляется в определении условной вероятности родителя. В этом случае каждая скрытая переменная имеет только одно зависимое дочернее слово, поэтому появляется только один такой термин. (Если бы было несколько зависимых детей, все они должны были бы появиться в условной вероятности родителя, независимо от того, было ли перекрытие между разными родителями и одними и теми же детьми, т.е. независимо от того, есть ли у зависимых детей данного родителя и других родителей. случай, когда у ребенка несколько родителей, условная вероятность для этого ребенка появляется в определении условной вероятности каждого из его родителей.)

Приведенное выше определение определяет только ненормализованную условную вероятность слов, в то время как условная вероятность темы требует фактической (т.е. нормализованной) вероятности. Следовательно, мы должны нормализовать, суммируя все символы слов:

${\displaystyle {\begin{array}{rcl}\Pr(z_{dn}=k\mid \mathbb {Z} ^{(-dn)},w_{dn}=v,\mathbb {W} ^{(-dn)},{\boldsymbol {\alpha }})\ &\propto \ &{\bigl (}\#\mathbb {Z} _{k}^{d,(-dn)}+\alpha _{k}{\bigr )}{\dfrac {\#\mathbb {W} _{v}^{k,(-dn)}+\beta _{v}}{\sum _{v'=1}^{V}(\#\mathbb {W} _{v'}^{k,(-dn)}+\beta _{v'})}}\\&&\\&=&{\bigl (}\#\mathbb {Z} _{k}^{d,(-dn)}+\alpha _{k}{\bigr )}{\dfrac {\#\mathbb {W} _{v}^{k,(-dn)}+\beta _{v}}{\#\mathbb {W} ^{k}+B-1}}\end{array}}}$

куда

${\displaystyle {\begin{array}{lcl}\#\mathbb {W} ^{k}&=&{\text{number of words generated by topic }}k\\B&=&\sum _{v=1}^{V}\beta _{v}\\\end{array}}}$

Также стоит остановиться еще на одном моменте, который касается второго фактора, указанного выше в условной вероятности. Помните, что условное распределение в целом является производным от совместного распределения и упрощается за счет удаления членов, не зависящих от области условного распределения (часть слева от вертикальной черты). Когда у узла есть зависимые дочерние элементы, в совместном распределении будет один или несколько факторов, от которых зависят . Обычно${\displaystyle z}$${\displaystyle \operatorname {F} (\dots \mid z)}$${\displaystyle z}$есть один фактор для каждого зависимого узла, и он имеет ту же функцию плотности, что и распределение, фигурирующее в математическом определении. Однако, если у зависимого узла есть еще один родительский узел (со-родитель), и этот со-родитель свернут, тогда узел станет зависимым от всех других узлов, разделяющих этого со-родителя, и вместо нескольких терминов для каждый такой узел совместного распределения будет иметь только один совместный член. У нас здесь именно такая ситуация. Несмотря на то, что у него только один дочерний элемент, у этого дочернего элемента есть сопродитель Дирихле, который мы свернули, что индуцирует многочлен Дирихле по всему набору узлов .${\displaystyle z_{dn}}$${\displaystyle w_{dn}}$${\displaystyle \mathbb {W} ^{k}}$

В этом случае случается, что эта проблема не вызывает серьезных проблем именно из-за однозначной связи между и . Мы можем переписать совместное распределение следующим образом:${\displaystyle z_{dn}}$${\displaystyle w_{dn}}$

${\displaystyle {\begin{array}{lcl}p(\mathbb {W} ^{k}\mid z_{dn})&=&p(w_{dn}\mid \mathbb {W} ^{k,(-dn)},z_{dn})\,p(\mathbb {W} ^{k,(-dn)}\mid z_{dn})\\&=&p(w_{dn}\mid \mathbb {W} ^{k,(-dn)},z_{dn})\,p(\mathbb {W} ^{k,(-dn)})\\&\sim &p(w_{dn}\mid \mathbb {W} ^{k,(-dn)},z_{dn})\end{array}}}$

где в наборе (т. е. в наборе исключенных узлов ) ни один из узлов не является родительским. Следовательно, он может быть исключен как обусловливающий фактор (строка 2), что означает, что весь фактор может быть исключен из условного распределения (строка 3).${\displaystyle \mathbb {W} ^{k,(-dn)}}$${\displaystyle \mathbb {W} ^{k}}$${\displaystyle w_{dn}}$${\displaystyle z_{dn}}$

Второй пример: наивная байесовская кластеризация документов [ править ]

Вот еще одна модель, но с другим набором проблем. Это реализация неконтролируемой наивной байесовской модели для кластеризации документов. То есть мы хотели бы классифицировать документы по нескольким категориям (например, « спам » или «не спам», или «статья в научном журнале», «газетная статья о финансах», «газетная статья о политике», «любовное письмо») на основе текстового контента. Однако мы еще не знаем правильную категорию каких-либо документов; вместо этого мы хотим сгруппировать их по взаимному сходству. (Например, набор научных статей будет иметь тенденцию быть похожими друг на друга по использованию слов, но сильно отличаться от набора любовных писем.) Это тип обучения без учителя.. (Тот же метод можно использовать для полууправляемого обучения , то есть когда мы знаем правильную категорию некоторой части документов и хотели бы использовать эти знания, чтобы помочь в кластеризации остальных документов.)

Модель выглядит следующим образом:

${\displaystyle {\begin{array}{lcl}{\boldsymbol {\alpha }}&\sim &{\text{A Dirichlet hyperprior, either a constant or a random variable}}\\{\boldsymbol {\beta }}&\sim &{\text{A Dirichlet hyperprior, either a constant or a random variable}}\\{\boldsymbol {\theta }}_{d=1\dots M}&\sim &\operatorname {Dirichlet} _{K}({\boldsymbol {\alpha }})\\{\boldsymbol {\phi }}_{k=1\dots K}&\sim &\operatorname {Dirichlet} _{V}({\boldsymbol {\beta }})\\z_{d=1\dots M}&\sim &\operatorname {Categorical} _{K}({\boldsymbol {\theta }}_{d})\\w_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {Categorical} _{V}({\boldsymbol {\phi }}_{z_{d}})\\\end{array}}}$

Во многих отношениях эта модель очень похожа на модель тем LDA, описанную выше, но она предполагает одну тему на документ, а не одну тему на слово, с документом, состоящим из смеси тем. Это ясно видно в приведенной выше модели, которая идентична модели LDA, за исключением того, что существует только одна скрытая переменная на документ, а не одна на слово. И снова мы предполагаем, что мы сворачиваем все априоры Дирихле.

Условная вероятность для данного слова почти идентична случаю LDA. Еще раз, все слова, порожденные одним и тем же апором Дирихле, взаимозависимы. В данном случае это означает, что слова всех документов имеют данную метку - опять же, это может варьироваться в зависимости от назначения меток, но все, что нас волнует, - это общее количество. Следовательно:

${\displaystyle {\begin{array}{lcl}\Pr(w_{dn}=v\mid \mathbb {W} ^{(-dn)},\mathbb {Z} ,{\boldsymbol {\beta }})\ &\propto \ &\#\mathbb {W} _{v}^{k,(-dn)}+\beta _{v}\\\end{array}}}$

куда

${\displaystyle {\begin{array}{lcl}\#\mathbb {W} _{v}^{k,(-dn)}&=&{\text{number of words having value }}v{\text{ among documents with label }}k{\text{ excluding }}w_{dn}\\\end{array}}}$

Однако существует критическое различие в условном распределении скрытых переменных для присвоений меток, которое заключается в том, что данная переменная метки имеет несколько дочерних узлов вместо одного - в частности, узлов для всех слов в документе метки. Это тесно связано с приведенным выше обсуждением фактора , проистекающего из совместного распределения. В этом случае необходимо совместное распределение по всем словам во всех документах, содержащих присвоение меток, равное значению${\displaystyle \operatorname {F} (\dots \mid z_{d})}$${\displaystyle z_{d}}$, и имеет значение полиномиального распределения Дирихле. Более того, мы не можем свести это совместное распределение к условному распределению по одному слову. Скорее, мы можем уменьшить его только до меньшего совместного условного распределения по словам в документе для рассматриваемой метки, и, следовательно, мы не можем упростить его, используя описанный выше трюк, который дает простую сумму ожидаемого количества и предыдущего. Хотя на самом деле его можно переписать как произведение таких индивидуальных сумм, количество факторов очень велико и явно не более эффективно, чем прямое вычисление вероятности полиномиального распределения Дирихле.

Связанные дистрибутивы [ править ]

Одномерная версия полиномиального распределения Дирихле известна как бета-биномиальное распределение .

Полиномиальное распределение Дирихле может быть построено из независимых отрицательных биномиальных случайных величин способом, аналогичным построению полиномиального распределения из независимых пуассоновских случайных величин. ^[2]

Использует [ редактировать ]

Полиномиальное распределение Дирихле используется в автоматизированной классификации и кластеризации документов, генетике , экономике , боевом моделировании и количественном маркетинге.

Эта статья включает в себя список общих ссылок , но он остается в основном непроверенным, поскольку в нем отсутствуют соответствующие встроенные ссылки . Пожалуйста, помогите улучшить эту статью, добавив более точные цитаты. ( Июнь 2012 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

См. Также [ править ]

• Бета-биномиальное распределение
• Китайский ресторанный процесс
• Процесс Дирихле
• Обобщенное распределение Дирихле
• Оценка Кричевского – Трофимова
• Отрицательное полиномиальное распределение Дирихле

Ссылки [ править ]

Цитаты [ править ]

Источники [ править ]