Процесс Дирихле

Рисует из процесса Дирихле . В четырех строках используются разные альфы (сверху вниз: 1, 10, 100 и 1000), и каждая строка содержит три повторения одного и того же эксперимента. Как видно из графиков, отрисовки процесса Дирихле представляют собой дискретные распределения, и с увеличением они становятся менее концентрированными (более разбросанными) . Графики были сгенерированы с использованием представления процесса Дирихле с точки зрения процесса ломки стержня.${\ Displaystyle \ OperatorName {DP} (N (0,1), \ альфа)}$${\ displaystyle \ alpha}$${\ displaystyle \ alpha}$

В теории вероятностей , процессы Дирихля (после Дирихля ) представляют собой семейство случайных процессов , чьи реализации являются распределением вероятностей . Другими словами, процесс Дирихле - это распределение вероятностей, диапазон которого сам является набором распределений вероятностей. Он часто используется в байесовском выводе для описания предшествующих знаний о распределении случайных величин - насколько вероятно, что случайные величины распределены согласно тому или иному конкретному распределению.

Процесс Дирихле задается базовым распределением и положительным действительным числом, называемым параметром концентрации (также известным как параметр масштабирования). Базовое распределение - это ожидаемая ценность процесса, т. Е. Процесс Дирихле рисует распределения «вокруг» базового распределения так же, как нормальное распределение рисует действительные числа вокруг своего среднего значения. Однако, даже если базовое распределение является непрерывным , распределения, полученные из процесса Дирихле, почти наверняка дискретны . Параметр масштабирования указывает, насколько сильна эта дискретизация: в пределе все реализации сосредоточены на одном значении, а в пределе${\ displaystyle H}$ ${\ displaystyle \ alpha}$ ${\ displaystyle \ alpha \ rightarrow 0}$${\ displaystyle \ alpha \ rightarrow \ infty}$реализации становятся непрерывными. Между двумя крайностями реализации представляют собой дискретные распределения с все меньшей и меньшей концентрацией по мере увеличения.${\ displaystyle \ alpha}$

Процесс Дирихле также можно рассматривать как бесконечномерное обобщение распределения Дирихле . Точно так же, как распределение Дирихле является сопряженным априорным для категориального распределения , процесс Дирихле является сопряженным априорным для бесконечных непараметрических дискретных распределений. Особенно важным применением процессов Дирихле является априорное распределение вероятностей в моделях с бесконечной смесью .

Процесс Дирихле был официально представлен Томасом Фергюсоном в 1973 году. ^[1] С тех пор он применяется в интеллектуальном анализе данных и машинном обучении , в том числе для обработки естественного языка , компьютерного зрения и биоинформатики .

Введение [ править ]

Процессы Дирихле обычно используются при моделировании данных, которые имеют тенденцию повторять предыдущие значения в так называемой манере «богатые становятся богатыми». В частности, предположим, что создание значений можно смоделировать с помощью следующего алгоритма.${\ Displaystyle X_ {1}, X_ {2}, \ точки}$

Входные данные: (распределение вероятностей, называемое базовым распределением), (положительное действительное число, называемое параметром масштабирования ).${\ displaystyle H}$${\ displaystyle \ alpha}$

Для :${\ Displaystyle п \ geq 1}$

В то же время другая распространенная модель данных состоит в том, что наблюдения считаются независимыми и одинаково распределенными (iid) согласно некоторому (случайному) распределению . Цель введения процессов Дирихле - дать возможность описать описанную выше процедуру в этой модели ИИД.${\ Displaystyle X_ {1}, X_ {2}, \ точки}$${\ displaystyle P}$

Эти наблюдения в алгоритме не независимы , так как мы должны учитывать предыдущие результаты при генерации следующего значения. Однако их можно обменять . Этот факт можно показать, вычислив совместное распределение вероятностей наблюдений и заметив, что результирующая формула зависит только от того, какие значения встречаются среди наблюдений и сколько повторений они имеют. Из - за этого взаимозаменяемость, де представления Finetti в теореме относится и это означает , что наблюдения являются условно независимыми дан (латентное) распределение . Этот${\ Displaystyle X_ {1}, X_ {2}, \ точки}$${\ displaystyle x}$${\ Displaystyle X_ {1}, X_ {2}, \ точки}$${\ displaystyle P}$${\ displaystyle P}$является случайной величиной и имеет распределение. Это распределение (по распределениям) называется процессом Дирихле ( ). Таким образом, это означает, что мы получаем процедуру, эквивалентную описанному выше алгоритму:${\displaystyle \operatorname {DP} }$

1. Нарисуйте раздачу из${\displaystyle P}$${\displaystyle \operatorname {DP} \left(H,\alpha \right)}$
2. Проводите наблюдения независимо от .${\displaystyle X_{1},X_{2},\dots }$${\displaystyle P}$

Однако на практике нарисовать конкретное распределение невозможно, поскольку для его задания требуется бесконечное количество информации. Это обычное явление в контексте байесовской непараметрической статистики, где типичной задачей является изучение распределений в функциональных пространствах, которые включают фактически бесконечно много параметров. Ключевой вывод состоит в том, что во многих приложениях бесконечномерные распределения появляются только как промежуточное вычислительное устройство и не требуются ни для первоначальной спецификации предшествующих убеждений, ни для утверждения окончательного вывода.${\displaystyle P}$

Формальное определение [ править ]

Учитывая измеримое множество S , базовое распределение вероятностей H и положительное действительное число , процесс Дирихле представляет собой случайный процесс , путь выборки которого (или реализация , т. Е. Бесконечная последовательность случайных величин, взятых из процесса) является распределением вероятностей по S , такое, что имеет место следующее. Для любого измеримого конечного разбиения на S , обозначается ,${\displaystyle \alpha }$${\displaystyle \operatorname {DP} (H,\alpha )}$${\displaystyle \{B_{i}\}_{i=1}^{n}}$

${\displaystyle {\text{if }}X\sim \operatorname {DP} (H,\alpha )}$

${\displaystyle {\text{then }}(X(B_{1}),\dots ,X(B_{n}))\sim \operatorname {Dir} (\alpha H(B_{1}),\dots ,\alpha H(B_{n})),}$

где обозначает распределение Дирихле, а обозначение означает, что случайная величина имеет распределение .${\displaystyle \operatorname {Dir} }$${\displaystyle X\sim D}$${\displaystyle X}$${\displaystyle D}$

Альтернативные взгляды [ править ]

Существует несколько эквивалентных взглядов на процесс Дирихле. Помимо формального определения выше, процесс Дирихле может быть определен неявно с помощью теоремы де Финетти, как описано в первом разделе; это часто называют китайским ресторанным процессом . Третья альтернатива - это процесс разрушения палки , который конструктивно определяет процесс Дирихле путем записи распределения, взятого из процесса, как , где - выборки из базового распределения , - это индикаторная функция с центром (ноль везде, кроме ) и определены по рекурсивной схеме, которая многократно выбирает из бета-распределения .${\displaystyle f(x)=\sum _{k=1}^{\infty }\beta _{k}\delta _{x_{k}}(x)}$${\displaystyle \{x_{k}\}_{k=1}^{\infty }}$${\displaystyle H}$${\displaystyle \delta _{x_{k}}}$${\displaystyle x_{k}}$${\displaystyle \delta _{x_{k}}(x_{k})=1}$${\displaystyle \beta _{k}}$ ${\displaystyle \operatorname {Beta} (1,\alpha )}$

Китайский ресторанный процесс [ править ]

Анимация процесса китайского ресторана с параметром масштабирования . Таблицы скрываются, когда клиенты столика больше не могут отображаться; однако за каждым столом бесконечно много мест. (Запись интерактивной анимации. ^[2] )${\displaystyle \alpha =0.5}$

Широко используемая метафора процесса Дирихле основана на так называемом китайском ресторанном процессе . Метафора выглядит следующим образом:

Представьте себе китайский ресторан, в который входят клиенты. Новый клиент садится за стол с вероятностью, пропорциональной количеству уже сидящих клиентов. Кроме того, покупатель открывает новую таблицу с вероятностью, пропорциональной параметру масштабирования . После того, как введено бесконечно много клиентов, получается распределение вероятностей по бесконечно большому количеству выбираемых таблиц. Это распределение вероятностей по таблицам представляет собой случайную выборку вероятностей наблюдений, полученных из процесса Дирихле с параметром масштабирования .${\displaystyle \alpha }$${\displaystyle \alpha }$

Если кто-то связывает извлечение из базовой меры с каждой таблицей, результирующее распределение по пространству выборки является случайной выборкой процесса Дирихле. Китайский ресторанный процесс связан со схемой выборки урны Полиа, которая дает выборки из конечных распределений Дирихле.${\displaystyle H}$${\displaystyle S}$

Поскольку клиенты сидят за столом с вероятностью, пропорциональной количеству клиентов, уже сидящих за столом, можно вывести два свойства DP:

1. Процесс Дирихле проявляет самоусиливающееся свойство: чем чаще выборка данного значения производилась в прошлом, тем выше вероятность повторной выборки.
2. Даже если это распределение по бесчисленному набору , существует ненулевая вероятность того, что две выборки будут иметь точно такое же значение, потому что масса вероятности будет сосредоточена на небольшом количестве таблиц.${\displaystyle H}$

Процесс ломки палки [ править ]

Третий подход к процессу Дирихле - это так называемая точка зрения на процесс разрушения палки. Помните, что результаты процесса Дирихле - это распределения по множеству . Как отмечалось ранее, полученное распределение является дискретным с вероятностью 1. В представлении процесса ломки палки мы явно используем дискретность и даем функцию массы вероятности этого (случайного) дискретного распределения как:${\displaystyle S}$

${\displaystyle f(\theta )=\sum _{k=1}^{\infty }\beta _{k}\cdot \delta _{\theta _{k}}(\theta )}$

где - индикаторная функция, которая везде, кроме . Поскольку это распределение само по себе является случайным, его функция масс параметризуется двумя наборами случайных величин: местоположениями и соответствующими вероятностями . Ниже мы приводим без доказательства, что это за случайные величины.${\displaystyle \delta _{\theta _{k}}}$${\displaystyle \delta _{\theta _{k}}(\theta _{k})=1}$${\displaystyle \left\{\theta _{k}\right\}_{k=1}^{\infty }}$${\displaystyle \left\{\beta _{k}\right\}_{k=1}^{\infty }}$

Локации независимы и одинаково распределены в соответствии с базовым распределением процесса Дирихле. Вероятности задаются процедурой, напоминающей ломку палки единичной длины (отсюда и название):${\displaystyle \theta _{k}}$${\displaystyle H}$${\displaystyle \beta _{k}}$

${\displaystyle \beta _{k}=\beta '_{k}\cdot \prod _{i=1}^{k-1}\left(1-\beta '_{i}\right)}$

где - независимые случайные величины с бета-распределением . Сходство с «ломкой палки» можно увидеть, если принять во внимание длину куска палки. Мы начинаем с палки единичной длины и на каждом шаге отламываем часть оставшейся палки в соответствии с и назначаем этот отломанный кусок . Формулу можно понять, отметив, что после того, как первые значения k  - 1 имеют свои части, длина оставшейся части палки равна, и эта часть разбивается в соответствии с и получает присвоение .${\displaystyle \beta '_{k}}$ ${\displaystyle \operatorname {Beta} (1,\alpha )}$${\displaystyle \beta _{k}}$${\displaystyle \beta '_{k}}$${\displaystyle \beta _{k}}$${\displaystyle \prod _{i=1}^{k-1}\left(1-\beta '_{i}\right)}$${\displaystyle \beta '_{k}}$${\displaystyle \beta _{k}}$

Чем меньше , тем меньше стика будет оставлено для последующих значений (в среднем), что даст более концентрированные распределения. ${\displaystyle \alpha }$

Процесс прерывания палки аналогичен построению, в котором производится последовательная выборка из предельных бета-распределений , чтобы сгенерировать выборку из распределения Дирихле . См. Доказательство в ^[3] .

Схема урны Pólya [ править ]

Еще один способ визуализировать процесс Дирихле и процесс китайского ресторана - это модифицированная схема урны Полиа, которую иногда называют схемой выборки Блэквелла-Маккуина . Представьте, что мы начинаем с урны, заполненной черными шарами. Далее поступаем следующим образом:${\displaystyle \alpha }$

1. Каждый раз, когда нам нужно наблюдение, мы вытаскиваем шар из урны.
2. Если шар черный, мы равномерно генерируем новый (не черный) цвет, маркируем новый шар этим цветом, бросаем новый шар в урну вместе с нарисованным шаром и возвращаем сгенерированный нами цвет.
3. В противном случае пометьте новый шар цветом нарисованного нами шара, бросьте новый шар в урну вместе с нарисованным шаром и верните цвет, который мы наблюдали.

Полученное распределение по цветам такое же, как распределение по столам в китайском ресторане. Кроме того, когда мы рисуем черный шар, если вместо генерации нового цвета мы выбираем случайное значение из базового распределения и используем это значение для маркировки нового шара, результирующее распределение по меткам будет таким же, как распределение по значения в процессе Дирихле.${\displaystyle H}$

Использовать как предварительное распространение [ править ]

Процесс Дирихле можно использовать в качестве априорного распределения для оценки распределения вероятностей, генерирующих данные. В этом разделе мы рассматриваем модель

${\displaystyle {\begin{aligned}P&\sim {\textrm {DP}}(H,\alpha )\\X_{1},\cdots ,X_{n}|P&{\overset {\textrm {i.i.d.}}{\sim }}P.\end{aligned}}}$

Распределение процесса Дирихле удовлетворяет априорной сопряженности , апостериорной непротиворечивости и теореме Бернштейна – фон Мизеса . ^[4]

Предыдущее супружество [ править ]

В этой модели апостериорное распределение снова является процессом Дирихле. Это означает, что процесс Дирихле является сопряженным для данной модели. Заднее распределение задаются

${\displaystyle {\begin{aligned}P|X_{1},\cdots ,X_{n}&\sim {\textrm {DP}}\left({\frac {\alpha }{\alpha +n}}H+{\frac {1}{\alpha +n}}\sum _{i=1}^{n}\delta _{X_{i}},\;\alpha +n\right)\\&={\textrm {DP}}\left({\frac {\alpha }{\alpha +n}}H+{\frac {n}{\alpha +n}}\mathbb {P} _{n},\;\alpha +n\right)\end{aligned}}}$

где определено ниже.${\displaystyle \mathbb {P} _{n}}$

Апостериорная согласованность [ править ]

Если мы возьмем частотный подход к вероятности, мы считаем, что существует истинное распределение вероятностей, которое привело к генерации данных. Тогда получается, что процесс Дирихля последователен в слабой топологии , что означает , что для каждых слабых окрестностей в , задней вероятности сходится к .${\displaystyle P_{0}}$${\displaystyle U}$${\displaystyle P_{0}}$${\displaystyle U}$${\displaystyle 1}$

Теорема Бернштейна-фон Мизеса [ править ]

Чтобы интерпретировать достоверные множества как доверительные, необходима теорема Бернштейна – фон Мизеса . В случае процесса Дирихле мы сравниваем апостериорное распределение с эмпирическим процессом . Предположим, что это класс -Донскера, т.е. ${\displaystyle \mathbb {P} _{n}={\frac {1}{n}}\sum _{i=1}^{n}\delta _{X_{i}}}$${\displaystyle {\mathcal {F}}}$${\displaystyle P_{0}}$

${\displaystyle {\begin{aligned}{\sqrt {(}}n)\left(\mathbb {P} _{n}-P_{0}\right)\rightsquigarrow G_{P_{0}}\end{aligned}}}$

для какого-то броуновского моста . Предположим также, что существует такая функция , что тогда почти наверняка${\displaystyle G_{P_{0}}}$${\displaystyle F}$${\displaystyle F(x)\geq \sup _{f\in {\mathcal {F}}}f(x)}$${\displaystyle \int F^{2}\mathrm {d} H<\infty }$${\displaystyle P_{0}}$

${\displaystyle {\sqrt {n}}\left(P-\mathbb {P} _{n}\right)|X_{1},\cdots ,X_{n}\rightsquigarrow G_{P_{0}}.}$

Это означает, что построенные вами достоверные наборы являются асимптотическими доверительными наборами, а байесовский вывод, основанный на процессе Дирихле, асимптотически также является правильным частотным выводом.

Использование в моделях смеси Дирихле [ править ]

Моделирование 1000 наблюдений, взятых из модели смеси Дирихле. Каждое наблюдение в кластере проводится независимо от многомерного нормального распределения . Средние кластеры берутся из распределения G, которое, в свою очередь, извлекается из процесса Дирихле с параметром концентрации и базовым распределением . Каждая строка представляет собой новую симуляцию.${\displaystyle N(\mu _{k},1/4)}$${\displaystyle \mu _{k}}$${\displaystyle \alpha =0.5}$${\displaystyle H=N(2,16)}$

Чтобы понять, что такое процессы Дирихле и какую задачу они решают, рассмотрим пример кластеризации данных . Это обычная ситуация, когда предполагается, что точки данных распределены иерархическим образом, где каждая точка данных принадлежит (случайно выбранному) кластеру, а элементы кластера далее случайным образом распределяются внутри этого кластера.

Пример 1 [ править ]

Например, нас может интересовать, как люди будут голосовать по ряду вопросов на предстоящих выборах. Разумной моделью для этой ситуации может быть классификация каждого избирателя как либерала, консерватора или умеренного, а затем моделирование события, когда избиратель говорит «да» на любой конкретный вопрос, как случайная величина Бернулли с вероятностью, зависящей от того, какой политический кластер они принадлежат. Глядя на то, как в предыдущие годы подавались голоса по аналогичным законодательным актам, можно было бы подогнать модель прогнозирования, используя простой алгоритм кластеризации, такой как k-среднее. Однако этот алгоритм требует заранее знать количество кластеров, в которых сгенерированы данные. Во многих ситуациях невозможно определить это заранее, и даже когда мы можем разумно предположить количество кластеров, мы все равно хотели бы иметь возможность проверить это предположение. Например, в приведенном выше примере голосования разделение на либералов, консерваторов и умеренных может быть недостаточно точным; Такие атрибуты, как религия, класс или раса, также могут иметь решающее значение для моделирования поведения избирателей, что приводит к увеличению количества кластеров в модели.

Пример 2 [ править ]

В качестве другого примера нас может заинтересовать моделирование скоростей галактик с использованием простой модели, предполагающей, что скорости сгруппированы, например, предполагая, что каждая скорость распределена согласно нормальному распределению , где -ое наблюдение принадлежит -ому скоплению галактик. с общей ожидаемой скоростью. В этом случае далеко не очевидно, как определить априори, сколько скоплений (с общими скоростями) должно быть, и любая модель для этого была бы очень подозрительной и должна проверяться по данным. Используя предварительный процесс Дирихле для распределения кластеров, мы избавляемся от необходимости заранее явно указывать количество кластеров, хотя параметр концентрации по-прежнему неявно управляет им.${\displaystyle v_{i}\sim N(\mu _{k},\sigma ^{2})}$${\displaystyle i}$${\displaystyle k}$

Рассмотрим этот пример подробнее. Первая наивная модель предполагает наличие кластеров нормально распределенных скоростей с известной фиксированной дисперсией . Обозначая событие, когда -е наблюдение находится в -м кластере, мы можем записать эту модель как:${\displaystyle K}$ ${\displaystyle \sigma ^{2}}$${\displaystyle i}$${\displaystyle k}$${\displaystyle z_{i}=k}$

${\displaystyle {\begin{aligned}(v_{i}\mid z_{i}=k,\mu _{k})&\sim N(\mu _{k},\sigma ^{2})\\\operatorname {P} (z_{i}=k)&=\pi _{k}\\({\boldsymbol {\pi }}\mid \alpha )&\sim \operatorname {Dir} \left({\frac {\alpha }{K}}\cdot \mathbf {1} _{K}\right)\\\mu _{k}&\sim H(\lambda )\end{aligned}}}$

То есть мы предполагаем, что данные принадлежат разным кластерам со средними значениями, и это (неизвестная) априорная вероятность принадлежности точки данных к -ому кластеру. Мы предполагаем, что у нас нет исходной информации, различающей кластеры, которая фиксируется симметричной априорностью . Здесь обозначает распределение Дирихле и обозначает вектор длины, где каждый элемент равен 1. Далее мы назначаем независимые и идентичные априорные распределения каждому среднему кластеру, где может быть любое параметрическое распределение с параметрами, обозначенными как . Гиперпараметры и${\displaystyle K}$${\displaystyle \mu _{k}}$${\displaystyle \pi _{k}}$${\displaystyle k}$${\displaystyle \operatorname {Dir} \left(\alpha /K\cdot \mathbf {1} _{K}\right)}$${\displaystyle \operatorname {Dir} }$${\displaystyle \mathbf {1} _{K}}$${\displaystyle K}$${\displaystyle H(\lambda )}$${\displaystyle H}$${\displaystyle \lambda }$${\displaystyle \alpha }$${\displaystyle \lambda }$считаются известными фиксированными константами, выбранными для отражения наших прежних представлений о системе. Чтобы понять связь с априорными процессами Дирихле, мы переписываем эту модель в эквивалентной, но более информативной форме:

${\displaystyle {\begin{aligned}(v_{i}\mid {\tilde {\mu }}_{i})&\sim N({\tilde {\mu }}_{i},\sigma ^{2})\\{\tilde {\mu }}_{i}&\sim G=\sum _{k=1}^{K}\pi _{k}\delta _{\mu _{k}}({\tilde {\mu }}_{i})\\({\boldsymbol {\pi }}\mid \alpha )&\sim \operatorname {Dir} \left({\frac {\alpha }{K}}\cdot \mathbf {1} _{K}\right)\\\mu _{k}&\sim H(\lambda )\end{aligned}}}$

Вместо того чтобы воображать, что каждой точке данных сначала назначается кластер, а затем извлекается из распределения, связанного с этим кластером, мы теперь думаем, что каждое наблюдение связано с параметром, взятым из некоторого дискретного распределения с поддержкой средств. То есть теперь мы рассматриваем как полученное из случайного распределения, и наша априорная информация включается в модель посредством распределения по распределениям .${\displaystyle {\tilde {\mu }}_{i}}$${\displaystyle G}$${\displaystyle K}$${\displaystyle {\tilde {\mu }}_{i}}$${\displaystyle G}$${\displaystyle G}$

Теперь мы хотели бы расширить эту модель, чтобы она работала без предварительного указания фиксированного количества кластеров . Математически это означает, что мы хотели бы выбрать случайное априорное распределение, в котором значения средних значений кластеров снова независимо распределяются согласно, а распределение по бесконечному набору кластеров является симметричным. Именно этого и добивается модель:${\displaystyle K}$${\displaystyle G({\tilde {\mu }}_{i})=\sum _{k=1}^{\infty }\pi _{k}\delta _{\mu _{k}}({\tilde {\mu }}_{i})}$${\displaystyle \mu _{k}}$${\displaystyle H\left(\lambda \right)}$${\displaystyle \pi _{k}}$

${\displaystyle {\begin{aligned}(v_{i}\mid {\tilde {\mu }}_{i})&\sim N({\tilde {\mu }}_{i},\sigma ^{2})\\{\tilde {\mu }}_{i}&\sim G\\G&\sim \operatorname {DP} (H(\lambda ),\alpha )\end{aligned}}}$

Имея это в руках, мы можем лучше понять вычислительные достоинства процесса Дирихле. Предположим, что мы хотели получить наблюдения из наивной модели именно с кластерами. Простым алгоритмом для этого было бы извлечение значений из , распределения из, а затем для каждого наблюдения независимо производить выборку кластера с вероятностью и значением наблюдения в соответствии с . Легко видеть, что этот алгоритм не работает в случае, когда мы разрешаем бесконечные кластеры, потому что это потребовало бы выборки бесконечномерного параметра . Тем не менее, выборочные наблюдения все еще возможны.${\displaystyle n}$${\displaystyle K}$${\displaystyle K}$${\displaystyle \mu _{k}}$${\displaystyle H(\lambda )}$${\displaystyle \pi }$${\displaystyle \operatorname {Dir} \left(\alpha /K\cdot \mathbf {1} _{K}\right)}$${\displaystyle k}$${\displaystyle \pi _{k}}$${\displaystyle N\left(\mu _{k},\sigma ^{2}\right)}$${\displaystyle {\boldsymbol {\pi }}}$${\displaystyle v_{i}}$. Можно, например, использовать представление китайского ресторана, описанное ниже, и вычислить вероятность создания использованных кластеров и нового кластера. Это позволяет избежать явного указания . Другие решения основаны на усечении кластеров: вводится (высокая) верхняя граница для истинного количества кластеров, и числа кластеров, превышающие нижнюю границу, рассматриваются как один кластер.${\displaystyle {\boldsymbol {\pi }}}$

Подбор модели, описанной выше, на основе наблюдаемых данных означает нахождение апостериорного распределения по вероятностям кластеров и связанных с ними средних. В бесконечномерном случае явно невозможно записать апостериорную функцию. Тем не менее, можно брать образцы из этой апостериорной части, используя модифицированный сэмплер Гиббса . ^[5] Это критический факт, который делает априорный процесс Дирихле полезным для вывода .${\displaystyle D}$ ${\displaystyle p\left({\boldsymbol {\pi }},{\boldsymbol {\mu }}\mid D\right)}$

Приложения процесса Дирихле [ править ]

Процессы Дирихле часто используются в байесовской непараметрической статистике . «Непараметрический» здесь не означает модель без параметров, а скорее модель, в которой представления растут по мере увеличения количества наблюдаемых данных. Байесовские непараметрические модели приобрели значительную популярность в области машинного обучения из-за вышеупомянутой гибкости, особенно при обучении без учителя . В байесовской непараметрической модели априорное и апостериорное распределения - это не параметрические распределения, а случайные процессы. ^[6] Тот факт, что распределение Дирихле является распределением вероятностей на симплексенаборов неотрицательных чисел, сумма которых равна единице, делает его хорошим кандидатом для моделирования распределений по распределениям или распределений по функциям. Кроме того, непараметрическая природа этой модели делает ее идеальным кандидатом для задач кластеризации, когда точное количество кластеров заранее неизвестно. Кроме того, процесс Дирихле также использовался для разработки смеси экспертных моделей в контексте контролируемых алгоритмов обучения (настройки регрессии или классификации). Например, смеси экспертов по гауссовским процессам, где количество требуемых экспертов должно быть выведено из данных. ^{[7] [8]}

Поскольку выводы из процесса Дирихле являются дискретными, важно использовать их в качестве априорной вероятности в моделях с бесконечной смесью . В данном случае - параметрический набор распределений компонентов. Таким образом, процесс генерации состоит в том, что выборка берется из процесса Дирихле, а для каждой точки данных, в свою очередь, извлекается значение из этого распределения выборки и используется в качестве распределения компонентов для этой точки данных. Тот факт, что количество отдельных компонентов, которые могут быть сгенерированы, не ограничено, делает эту модель подходящей для случая, когда количество компонентов смеси не определено заранее. Например, бесконечная смесь моделей Гаусса ^[9], а также связанные модели смешанной регрессии, например ^[10]${\displaystyle S}$

Бесконечная природа этих моделей также предоставляет их приложениям обработки естественного языка , где часто желательно рассматривать словарь как бесконечный дискретный набор.

Процесс Дирихле также может быть использован для непараметрического тестирования гипотез, т.е. разработать Байес непараметрических версии классических непараметрических тестов гипотез, например , тест знака , Уилкоксон тест суммы рангов , Уилкоксон-ранговый критерий , и т.д. Например, Байес непараметрических версий тест суммы рангов Вилкоксона и знаковый критерий рангов Уилкоксона были разработаны с использованием неточного процесса Дирихле , предшествующего незнанию процесса Дирихле. ^{[ необходима цитата ]}

Связанные дистрибутивы [ править ]

• Процесс Питмана – Йорка является обобщением процесса Дирихле для учета степенных хвостов.
• Иерархический процесс Дирихля расширяет обычный процесс Дирихля для моделирования сгруппированных данных.

Ссылки [ править ]

Внешние ссылки [ править ]

• Введение в распределение Дирихле и связанные с ним процессы Фригика, Капилы и Гупты
• Обзор процессов Дирихле Йи Уай Тех
• Веб-страница семинара NIPS 2003 по непараметрическим байесовским методам
• Учебное пособие Майкла Джордана NIPS 2005: Непараметрические байесовские методы: процессы Дирихле, процессы в китайском ресторане и все такое
• Резюме Питера Грина построения процессов Дирихле
• Статья Питера Грина о вероятностных моделях процессов Дирихле с последствиями для статистического моделирования и анализа
• Учебное пособие Зубина Гахрамани UAI 2005 по непараметрическим байесовским методам
• Программное обеспечение GIMM для выполнения кластерного анализа с использованием бесконечных моделей смеси
• Игрушечный пример кластеризации с использованием процесса Дирихле. Чжиюань Вэн