Вариационные байесовские методы

Эта статья включает в себя список общих ссылок , но он остается в значительной степени непроверенным, поскольку в нем отсутствует достаточное количество соответствующих встроенных ссылок . Пожалуйста, помогите улучшить эту статью, добавив более точные цитаты. ( Сентябрь 2010 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Вариационные байесовские методы - это семейство методов аппроксимации трудноразрешимых интегралов, возникающих при байесовском выводе и машинном обучении . Они обычно используются в сложных статистических моделях, состоящих из наблюдаемых переменных (обычно называемых «данными»), а также неизвестных параметров и скрытых переменных с различными видами отношений между тремя типами случайных величин , которые могут быть описаны графической моделью . Как обычно в байесовском выводе, параметры и скрытые переменные сгруппированы вместе как «ненаблюдаемые переменные». Вариационные байесовские методы в основном используются для двух целей:

1. Обеспечить аналитическое приближение к апостериорной вероятности ненаблюдаемых переменных, чтобы сделать статистический вывод по этим переменным.
2. Для получения оценки нижней границы для предельной вероятности (иногда называемой «доказательством») наблюдаемых данных (т.е. предельной вероятности данных , учитывая модель, с маргинализация выполняется по ненаблюдаемому переменной). Это обычно используется для выполнения выбора модели , общая идея заключается в том, что более высокая предельная вероятность для данной модели указывает на лучшее соответствие данных этой модели и, следовательно, большую вероятность того, что рассматриваемая модель была той, которая сгенерировала данные. (См. Также статью о байесовском факторе .)

В первой цели (аппроксимации апостериорной вероятности) вариационный байесовский метод является альтернативой методам выборки Монте-Карло - в частности, методам Монте-Карло с цепью Маркова, таким как выборка Гиббса - для принятия полностью байесовского подхода к статистическому выводу по сложным распределениям, которые являются трудно оценить напрямую или по образцу . В частности, в то время как методы Монте-Карло обеспечивают численное приближение к точной апостериорной оценке с использованием набора выборок, вариационный байесовский метод обеспечивает локально-оптимальное точное аналитическое решение для аппроксимации апостериорной оценки.

Вариационный байесовский алгоритм можно рассматривать как расширение алгоритма EM ( максимизация ожидания ) от максимальной апостериорной оценки ( оценка MAP) единственного наиболее вероятного значения каждого параметра до полностью байесовской оценки, которая вычисляет (приближение) всего апостериорного распределения. параметров и скрытых переменных. Как и в EM, он находит набор оптимальных значений параметров и имеет ту же чередующуюся структуру, что и EM, на основе набора взаимосвязанных (взаимозависимых) уравнений, которые не могут быть решены аналитически.

Для многих приложений вариационный байесовский метод дает решения, сопоставимые по точности с выборкой Гиббса на большей скорости. Однако вывод системы уравнений, используемых для итеративного обновления параметров, часто требует большого объема работы по сравнению с выводом сопоставимых уравнений выборки Гиббса. Это справедливо даже для многих моделей, которые концептуально довольно просты, как показано ниже в случае базовой неиерархической модели только с двумя параметрами и без скрытых переменных.

Математический вывод [ править ]

Проблема [ править ]

В вариационных умозаключениях, заднее распределение по набору ненаблюдаемых переменных данных некоторых данным аппроксимируются так называемым вариационным распределением , :${\ Displaystyle \ mathbf {Z} = \ {Z_ {1} \ точки Z_ {п} \}}$${\ displaystyle \ mathbf {X}}$${\ Displaystyle Q (\ mathbf {Z})}$

${\ Displaystyle P (\ mathbf {Z} \ mid \ mathbf {X}) \ приблизительно Q (\ mathbf {Z}).}$

Распределение ограничиваются принадлежит к семейству распределений простой формы (например , семейство гауссовских распределений) , чем , выбранное с целью сделать аналогичны истинной задним, .${\ Displaystyle Q (\ mathbf {Z})}$${\ Displaystyle P (\ mathbf {Z} \ mid \ mathbf {X})}$${\ Displaystyle Q (\ mathbf {Z})}$${\ Displaystyle P (\ mathbf {Z} \ mid \ mathbf {X})}$

Сходство (или несходство) измеряется с помощью функции несходства, и, следовательно, вывод выполняется путем выбора распределения, которое минимизирует .${\ Displaystyle d (Q; P)}$${\ Displaystyle Q (\ mathbf {Z})}$${\ Displaystyle d (Q; P)}$

KL дивергенция [ править ]

Наиболее распространенный тип вариационного Байеса использует дивергенцию Кульбака-Лейблера (KL-дивергенции) из P от Q в качестве функции выбора несходства. Этот выбор делает эту минимизацию управляемой. KL-дивергенция определяется как

${\ Displaystyle D _ {\ mathrm {KL}} (Q \ параллельно P) \ треугольник \ сумма _ {\ mathbf {Z}} Q (\ mathbf {Z}) \ log {\ frac {Q (\ mathbf {Z} )} {P (\ mathbf {Z} \ mid \ mathbf {X})}}.}.$

Обратите внимание, что Q и P перевернуты по сравнению с тем, что можно было ожидать. Такое использование обращенной KL-дивергенции концептуально аналогично алгоритму максимизации ожидания . (Использование KL-дивергенции другим способом дает алгоритм распространения математического ожидания .)

Несговорчивость [ править ]

Вариационные методы обычно используются для построения приближения для:

${\displaystyle P(\mathbf {Z} \mid \mathbf {X} )={\frac {P(\mathbf {X} \mid \mathbf {Z} )P(\mathbf {Z} )}{P(\mathbf {X} )}}={\frac {P(\mathbf {X} \mid \mathbf {Z} )P(\mathbf {Z} )}{\int _{\mathbf {Z} }P(\mathbf {X} ,\mathbf {Z} )\,d\mathbf {Z} }}}$

Маргинализация для вычисления в знаменателе обычно неразрешима, потому что, например, пространство поиска комбинаторно велико. Поэтому мы ищем приближение, используя .${\displaystyle \mathbf {Z} }$${\displaystyle P(\mathbf {X} )}$${\displaystyle \mathbf {Z} }$${\displaystyle Q(\mathbf {Z} )\approx P(\mathbf {Z} \mid \mathbf {X} )}$

Нижняя граница доказательств [ править ]

Учитывая это , указанная выше KL-дивергенция также может быть записана как${\displaystyle P(\mathbf {Z} \mid \mathbf {X} )={\frac {P(\mathbf {X} ,\mathbf {Z} )}{P(\mathbf {X} )}}}$

${\displaystyle D_{\mathrm {KL} }(Q\parallel P)=\sum _{\mathbf {Z} }Q(\mathbf {Z} )\left[\log {\frac {Q(\mathbf {Z} )}{P(\mathbf {Z} ,\mathbf {X} )}}+\log P(\mathbf {X} )\right]=\sum _{\mathbf {Z} }Q(\mathbf {Z} )\left[\log Q(\mathbf {Z} )-\log P(\mathbf {Z} ,\mathbf {X} )\right]+\sum _{\mathbf {Z} }Q(\mathbf {Z} )\left[\log P(\mathbf {X} )\right]}$

Поскольку является константой по отношению к распределению, и поскольку является распределением, мы имеем${\displaystyle P(\mathbf {X} )}$${\displaystyle \mathbf {Z} }$${\displaystyle \sum _{\mathbf {Z} }Q(\mathbf {Z} )=1}$${\displaystyle Q(\mathbf {Z} )}$

${\displaystyle D_{\mathrm {KL} }(Q\parallel P)=\sum _{\mathbf {Z} }Q(\mathbf {Z} )\left[\log Q(\mathbf {Z} )-\log P(\mathbf {Z} ,\mathbf {X} )\right]+\log P(\mathbf {X} )}$

которое, согласно определению математического ожидания (для дискретной случайной величины ), можно записать следующим образом

${\displaystyle D_{\mathrm {KL} }(Q\parallel P)=\mathbb {E} _{\mathbf {Q} }\left[\log Q(\mathbf {Z} )-\log P(\mathbf {Z} ,\mathbf {X} )\right]+\log P(\mathbf {X} )}$

который может быть преобразован в

${\displaystyle \log P(\mathbf {X} )=D_{\mathrm {KL} }(Q\parallel P)-\mathbb {E} _{\mathbf {Q} }\left[\log Q(\mathbf {Z} )-\log P(\mathbf {Z} ,\mathbf {X} )\right]=D_{\mathrm {KL} }(Q\parallel P)+{\mathcal {L}}(Q)}$

Поскольку свидетельство журнала фиксировано относительно , максимизация последнего члена минимизирует отклонение KL от . При соответствующем выборе , становится послушным , чтобы вычислить и максимизировать. Следовательно, у нас есть как аналитическое приближение для апостериорного , так и нижняя граница для свидетельства (поскольку KL-дивергенция неотрицательна).${\displaystyle \log P(\mathbf {X} )}$${\displaystyle Q}$${\displaystyle {\mathcal {L}}(Q)}$${\displaystyle Q}$${\displaystyle P}$${\displaystyle Q}$${\displaystyle {\mathcal {L}}(Q)}$${\displaystyle Q}$${\displaystyle P(\mathbf {Z} \mid \mathbf {X} )}$${\displaystyle {\mathcal {L}}(Q)}$${\displaystyle \log P(\mathbf {X} )}$

Нижняя граница известна как (отрицательная) вариационная свободная энергия по аналогии с термодинамической свободной энергией , поскольку она также может быть выражена в виде отрицательной энергии плюс энтропии в . Этот термин также известен как Evidence Lower BOund , сокращенно ELBO , чтобы подчеркнуть, что это нижняя граница доказательства данных.${\displaystyle {\mathcal {L}}(Q)}$${\displaystyle \operatorname {E} _{Q}[\log P(\mathbf {Z} ,\mathbf {X} )]}$${\displaystyle Q}$${\displaystyle {\mathcal {L}}(Q)}$

Доказательства [ править ]

С помощью обобщенной теоремы Пифагора о расходимости Брегмана , частным случаем которой является KL-расходимость, можно показать, что: ^{[1] [2]}

${\displaystyle D_{\mathrm {KL} }(Q\parallel P)\geq D_{\mathrm {KL} }(Q\parallel Q^{*})+D_{\mathrm {KL} }(Q^{*}\parallel P),\forall Q^{*}\in {\mathcal {C}}}$

где - выпуклое множество и равенство выполняется, если:${\displaystyle {\mathcal {C}}}$

${\displaystyle Q=Q^{*}\triangleq \arg \min _{Q\in {\mathcal {C}}}D_{\mathrm {KL} }(Q\parallel P).}$

В этом случае глобальный минимизатор с может быть найден следующим образом: ^[1]${\displaystyle Q^{*}(\mathbf {Z} )=q^{*}(\mathbf {Z} _{1}\mid \mathbf {Z} _{2})q^{*}(\mathbf {Z} _{2})=q^{*}(\mathbf {Z} _{2}\mid \mathbf {Z} _{1})q^{*}(\mathbf {Z} _{1}),}$${\displaystyle \mathbf {Z} =\{\mathbf {Z_{1}} ,\mathbf {Z_{2}} \},}$

${\displaystyle q^{*}(\mathbf {Z} _{2})={\frac {P(\mathbf {X} )}{\zeta (\mathbf {X} )}}{\frac {P(\mathbf {Z} _{2}\mid \mathbf {X} )}{\exp(D_{\mathrm {KL} }(q^{*}(\mathbf {Z} _{1}\mid \mathbf {Z} _{2})\parallel P(\mathbf {Z} _{1}\mid \mathbf {Z} _{2},\mathbf {X} )))}}={\frac {1}{\zeta (\mathbf {X} )}}\exp \mathbb {E} _{q^{*}(\mathbf {Z} _{1}\mid \mathbf {Z} _{2})}\left(\log {\frac {P(\mathbf {Z} ,\mathbf {X} )}{q^{*}(\mathbf {Z} _{1}\mid \mathbf {Z} _{2})}}\right),}$

в котором нормирующая постоянная равна:

${\displaystyle \zeta (\mathbf {X} )=P(\mathbf {X} )\int _{\mathbf {Z} _{2}}{\frac {P(\mathbf {Z} _{2}\mid \mathbf {X} )}{\exp(D_{\mathrm {KL} }(q^{*}(\mathbf {Z} _{1}\mid \mathbf {Z} _{2})\parallel P(\mathbf {Z} _{1}\mid \mathbf {Z} _{2},\mathbf {X} )))}}=\int _{\mathbf {Z} _{2}}\exp \mathbb {E} _{q^{*}(\mathbf {Z} _{1}\mid \mathbf {Z} _{2})}\left(\log {\frac {P(\mathbf {Z} ,\mathbf {X} )}{q^{*}(\mathbf {Z} _{1}\mid \mathbf {Z} _{2})}}\right).}$

На практике этот термин часто называют доказательной нижней границей ( ELBO ), поскольку , как показано выше , ^[1] .${\displaystyle \zeta (\mathbf {X} )}$${\displaystyle P(\mathbf {X} )\geq \zeta (\mathbf {X} )=\exp({\mathcal {L}}(Q^{*}))}$

Меняя ролями и, мы можем итеративно вычислять приближенные и истинные маргиналы и соответственно. Хотя эта итерационная схема гарантирует монотонную сходимость, ^[1] сходимость является только локальным минимизатором .${\displaystyle \mathbf {Z} _{1}}$${\displaystyle \mathbf {Z} _{2},}$${\displaystyle q^{*}(\mathbf {Z} _{1})}$${\displaystyle q^{*}(\mathbf {Z} _{2})}$${\displaystyle P(\mathbf {Z} _{1}\mid \mathbf {X} )}$${\displaystyle P(\mathbf {Z} _{2}\mid \mathbf {X} ),}$${\displaystyle Q^{*}}$${\displaystyle D_{\mathrm {KL} }(Q\parallel P)}$

Если ограниченное пространство ограничено независимым пространством, то есть вышеупомянутая итерационная схема станет так называемым приближением среднего поля, как показано ниже.${\displaystyle {\mathcal {C}}}$${\displaystyle q^{*}(\mathbf {Z} _{1}\mid \mathbf {Z} _{2})=q^{*}(\mathbf {Z_{1}} ),}$${\displaystyle Q^{*}(\mathbf {Z} )=q^{*}(\mathbf {Z} _{1})q^{*}(\mathbf {Z} _{2}),}$

Приближение среднего поля [ править ]

Обычно предполагается, что вариационное распределение факторизуется по некоторому разделению скрытых переменных, то есть по некоторому разделению скрытых переменных на :${\displaystyle Q(\mathbf {Z} )}$${\displaystyle \mathbf {Z} }$${\displaystyle \mathbf {Z} _{1}\dots \mathbf {Z} _{M}}$

${\displaystyle Q(\mathbf {Z} )=\prod _{i=1}^{M}q_{i}(\mathbf {Z} _{i}\mid \mathbf {X} )}$

Используя вариационное исчисление (отсюда и название «вариационный байесовский»), можно показать, что «лучшее» распределение для каждого из факторов (в терминах распределения, минимизирующего расхождение KL, как описано выше) может быть выражено как:${\displaystyle q_{j}^{*}}$${\displaystyle q_{j}}$

${\displaystyle q_{j}^{*}(\mathbf {Z} _{j}\mid \mathbf {X} )={\frac {e^{\operatorname {E} _{i\neq j}[\ln p(\mathbf {Z} ,\mathbf {X} )]}}{\int e^{\operatorname {E} _{i\neq j}[\ln p(\mathbf {Z} ,\mathbf {X} )]}\,d\mathbf {Z} _{j}}}}$

где - математическое ожидание логарифма совместной вероятности данных и скрытых переменных, взятого по всем переменным, не входящим в раздел.${\displaystyle \operatorname {E} _{i\neq j}[\ln p(\mathbf {Z} ,\mathbf {X} )]}$

На практике мы обычно работаем в терминах логарифмов, то есть:

${\displaystyle \ln q_{j}^{*}(\mathbf {Z} _{j}\mid \mathbf {X} )=\operatorname {E} _{i\neq j}[\ln p(\mathbf {Z} ,\mathbf {X} )]+{\text{constant}}}$

Константа в приведенном выше выражении связана с нормирующей константой (знаменатель в приведенном выше выражении для ) и обычно восстанавливается путем проверки, так как остальная часть выражения обычно может быть распознана как известный тип распределения (например, Гауссово , гамма , так далее.).${\displaystyle q_{j}^{*}}$

Используя свойства ожиданий, выражение обычно может быть упрощено в функцию фиксированных гиперпараметров этих априорных распределений более скрытых переменных и ожидания (а иногда и более высоких моментов , такие как дисперсия ) скрытых переменных не в текущем разделе (т.е. скрытые переменные не включены в ). Это создает циклические зависимости между параметрами распределений по переменным в одном разделе и ожиданиями переменных в других разделах. Это, естественно, предполагает итерационный алгоритм, очень похожий на EM (максимальное ожидание${\displaystyle \operatorname {E} _{i\neq j}[\ln p(\mathbf {Z} ,\mathbf {X} )]}$${\displaystyle \mathbf {Z} _{j}}$алгоритм), в котором ожидания (и, возможно, более высокие моменты) скрытых переменных инициализируются некоторым образом (возможно, случайным образом), а затем параметры каждого распределения вычисляются по очереди с использованием текущих значений ожиданий, после чего математическое ожидание вновь вычисленного распределения устанавливается соответствующим образом в соответствии с вычисленными параметрами. Гарантированная сходимость такого алгоритма . ^[3]

Другими словами, для каждого из разделов переменных, упрощая выражение для распределения по переменным раздела и исследуя функциональную зависимость распределения от рассматриваемых переменных, обычно можно определить семейство распределения (которое, в свою очередь, определяет значение константы). Формула для параметров распределения будет выражена в терминах гиперпараметров предыдущих распределений (которые являются известными константами), а также в терминах ожиданий функций переменных в других разделах. Обычно эти ожидания могут быть упрощены в функции ожидания самих переменных (то есть средства ); иногда ожидания квадратов переменных (которые могут быть связаны с дисперсиейпеременных), или ожидания более высоких степеней (то есть более высоких моментов ) также появляются. В большинстве случаев распределения других переменных будут из известных семейств, и формулы для соответствующих ожиданий можно найти. Однако эти формулы зависят от параметров этих распределений, которые, в свою очередь, зависят от ожиданий в отношении других переменных. В результате формулы для параметров распределений каждой переменной могут быть выражены в виде серии уравнений с взаимными нелинейными зависимостями между переменными. Обычно решить эту систему уравнений напрямую невозможно. Однако, как описано выше, зависимости предлагают простой итерационный алгоритм, который в большинстве случаев гарантированно сходится. Пример сделает этот процесс более понятным.

Базовый пример [ править ]

Рассмотрим простую неиерархическую байесовскую модель, состоящую из набора iid- наблюдений из гауссовского распределения с неизвестным средним значением и дисперсией . ^[4] Далее мы подробно проработаем эту модель, чтобы проиллюстрировать работу вариационного метода Байеса.

Для математического удобства в следующем примере мы работаем с точки зрения точности, т. Е. Обратной величиной дисперсии (или в многомерной гауссовой системе, обратной ковариационной матрице ), а не самой дисперсией. (С теоретической точки зрения точность и дисперсия эквивалентны, поскольку между ними существует взаимно однозначное соответствие .)

Математическая модель [ править ]

Мы помещаем сопряженные априорные распределения на неизвестное среднее значение и точность , т. Е. Среднее значение также следует гауссовскому распределению, а точность соответствует гамма-распределению . Другими словами:${\displaystyle \mu }$${\displaystyle \tau }$

${\displaystyle {\begin{aligned}\tau &\sim \operatorname {Gamma} (a_{0},b_{0})\\\mu &\sim {\mathcal {N}}(\mu _{0},(\lambda _{0}\tau )^{-1})\\\{x_{1},\dots ,x_{N}\}&\sim {\mathcal {N}}(\mu ,\tau ^{-1})\\N&={\text{number of data points}}\end{aligned}}}$

В гиперпараметрах и в предыдущих распределениях являются фиксированными, заданными значениями. Они могут быть установлены на небольшие положительные числа, чтобы получить широкие априорные распределения, указывающие на незнание априорных распределений и .${\displaystyle \mu _{0},\lambda _{0},a_{0}}$${\displaystyle b_{0}}$${\displaystyle \mu }$${\displaystyle \tau }$

Нам даны точки данных, и наша цель - вывести апостериорное распределение параметров и${\displaystyle N}$${\displaystyle \mathbf {X} =\{x_{1},\ldots ,x_{N}\}}$ ${\displaystyle q(\mu ,\tau )=p(\mu ,\tau \mid x_{1},\ldots ,x_{N})}$${\displaystyle \mu }$${\displaystyle \tau .}$

Совместная вероятность [ править ]

Совместная вероятность всех переменных можно переписать в виде

${\displaystyle p(\mathbf {X} ,\mu ,\tau )=p(\mathbf {X} \mid \mu ,\tau )p(\mu \mid \tau )p(\tau )}$

где отдельные факторы

${\displaystyle {\begin{aligned}p(\mathbf {X} \mid \mu ,\tau )&=\prod _{n=1}^{N}{\mathcal {N}}(x_{n}\mid \mu ,\tau ^{-1})\\p(\mu \mid \tau )&={\mathcal {N}}\left(\mu \mid \mu _{0},(\lambda _{0}\tau )^{-1}\right)\\p(\tau )&=\operatorname {Gamma} (\tau \mid a_{0},b_{0})\end{aligned}}}$

где

${\displaystyle {\begin{aligned}{\mathcal {N}}(x\mid \mu ,\sigma ^{2})&={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{\frac {-(x-\mu )^{2}}{2\sigma ^{2}}}\\\operatorname {Gamma} (\tau \mid a,b)&={\frac {1}{\Gamma (a)}}b^{a}\tau ^{a-1}e^{-b\tau }\end{aligned}}}$

Факторизованное приближение [ править ]

Предположим, что , т.е. что апостериорное распределение разлагается на независимые факторы для и . Такое предположение лежит в основе вариационного байесовского метода. Истинное апостериорное распределение фактически не учитывается таким образом (фактически, в этом простом случае оно известно как гауссово-гамма-распределение ), и, следовательно, полученный результат будет приближенным.${\displaystyle q(\mu ,\tau )=q(\mu )q(\tau )}$${\displaystyle \mu }$${\displaystyle \tau }$

Вывод q (μ) [ править ]

Затем

${\displaystyle {\begin{aligned}\ln q_{\mu }^{*}(\mu )&=\operatorname {E} _{\tau }\left[\ln p(\mathbf {X} \mid \mu ,\tau )+\ln p(\mu \mid \tau )+\ln p(\tau )\right]+C\\&=\operatorname {E} _{\tau }\left[\ln p(\mathbf {X} \mid \mu ,\tau )\right]+\operatorname {E} _{\tau }\left[\ln p(\mu \mid \tau )\right]+\operatorname {E} _{\tau }\left[\ln p(\tau )\right]+C\\&=\operatorname {E} _{\tau }\left[\ln \prod _{n=1}^{N}{\mathcal {N}}\left(x_{n}\mid \mu ,\tau ^{-1}\right)\right]+\operatorname {E} _{\tau }\left[\ln {\mathcal {N}}\left(\mu \mid \mu _{0},(\lambda _{0}\tau )^{-1}\right)\right]+C_{2}\\&=\operatorname {E} _{\tau }\left[\ln \prod _{n=1}^{N}{\sqrt {\frac {\tau }{2\pi }}}e^{-{\frac {(x_{n}-\mu )^{2}\tau }{2}}}\right]+\operatorname {E} _{\tau }\left[\ln {\sqrt {\frac {\lambda _{0}\tau }{2\pi }}}e^{-{\frac {(\mu -\mu _{0})^{2}\lambda _{0}\tau }{2}}}\right]+C_{2}\\&=\operatorname {E} _{\tau }\left[\sum _{n=1}^{N}\left({\frac {1}{2}}(\ln \tau -\ln 2\pi )-{\frac {(x_{n}-\mu )^{2}\tau }{2}}\right)\right]+\operatorname {E} _{\tau }\left[{\frac {1}{2}}(\ln \lambda _{0}+\ln \tau -\ln 2\pi )-{\frac {(\mu -\mu _{0})^{2}\lambda _{0}\tau }{2}}\right]+C_{2}\\&=\operatorname {E} _{\tau }\left[\sum _{n=1}^{N}-{\frac {(x_{n}-\mu )^{2}\tau }{2}}\right]+\operatorname {E} _{\tau }\left[-{\frac {(\mu -\mu _{0})^{2}\lambda _{0}\tau }{2}}\right]+\operatorname {E} _{\tau }\left[\sum _{n=1}^{N}{\frac {1}{2}}(\ln \tau -\ln 2\pi )\right]+\operatorname {E} _{\tau }\left[{\frac {1}{2}}(\ln \lambda _{0}+\ln \tau -\ln 2\pi )\right]+C_{2}\\&=\operatorname {E} _{\tau }\left[\sum _{n=1}^{N}-{\frac {(x_{n}-\mu )^{2}\tau }{2}}\right]+\operatorname {E} _{\tau }\left[-{\frac {(\mu -\mu _{0})^{2}\lambda _{0}\tau }{2}}\right]+C_{3}\\&=-{\frac {\operatorname {E} _{\tau }[\tau ]}{2}}\left\{\sum _{n=1}^{N}(x_{n}-\mu )^{2}+\lambda _{0}(\mu -\mu _{0})^{2}\right\}+C_{3}\end{aligned}}}$

В приведенном выше выводе , и относятся к значениям , которые являются постоянными по отношению к . Обратите внимание, что термин не является функцией и будет иметь одно и то же значение независимо от значения . Следовательно, в строке 3 мы можем преобразовать его в постоянный член в конце. То же самое делаем в строке 7.${\displaystyle C}$${\displaystyle C_{2}}$${\displaystyle C_{3}}$${\displaystyle \mu }$${\displaystyle \operatorname {E} _{\tau }[\ln p(\tau )]}$${\displaystyle \mu }$${\displaystyle \mu }$

Последняя строка - это просто квадратичный многочлен от . Поскольку это логарифм , мы можем видеть, что само распределение является гауссовым .${\displaystyle \mu }$${\displaystyle q_{\mu }^{*}(\mu )}$${\displaystyle q_{\mu }^{*}(\mu )}$

С некоторым количеством нудной математики (расширение площадей внутри фигурных скобок, отделяя и группируя члены с и и завершая квадрат за кадром ), можно получить параметры распределения Гаусса:${\displaystyle \mu }$${\displaystyle \mu ^{2}}$${\displaystyle \mu }$

${\displaystyle {\begin{aligned}\ln q_{\mu }^{*}(\mu )&=-{\frac {\operatorname {E} _{\tau }[\tau ]}{2}}\left\{\sum _{n=1}^{N}(x_{n}-\mu )^{2}+\lambda _{0}(\mu -\mu _{0})^{2}\right\}+C_{3}\\&=-{\frac {\operatorname {E} _{\tau }[\tau ]}{2}}\left\{\sum _{n=1}^{N}(x_{n}^{2}-2x_{n}\mu +\mu ^{2})+\lambda _{0}(\mu ^{2}-2\mu _{0}\mu +\mu _{0}^{2})\right\}+C_{3}\\&=-{\frac {\operatorname {E} _{\tau }[\tau ]}{2}}\left\{\left(\sum _{n=1}^{N}x_{n}^{2}\right)-2\left(\sum _{n=1}^{N}x_{n}\right)\mu +\left(\sum _{n=1}^{N}\mu ^{2}\right)+\lambda _{0}\mu ^{2}-2\lambda _{0}\mu _{0}\mu +\lambda _{0}\mu _{0}^{2}\right\}+C_{3}\\&=-{\frac {\operatorname {E} _{\tau }[\tau ]}{2}}\left\{(\lambda _{0}+N)\mu ^{2}-2\left(\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}\right)\mu +\left(\sum _{n=1}^{N}x_{n}^{2}\right)+\lambda _{0}\mu _{0}^{2}\right\}+C_{3}\\&=-{\frac {\operatorname {E} _{\tau }[\tau ]}{2}}\left\{(\lambda _{0}+N)\mu ^{2}-2\left(\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}\right)\mu \right\}+C_{4}\\&=-{\frac {\operatorname {E} _{\tau }[\tau ]}{2}}\left\{(\lambda _{0}+N)\mu ^{2}-2\left({\frac {\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}}{\lambda _{0}+N}}\right)(\lambda _{0}+N)\mu \right\}+C_{4}\\&=-{\frac {\operatorname {E} _{\tau }[\tau ]}{2}}\left\{(\lambda _{0}+N)\left(\mu ^{2}-2\left({\frac {\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}}{\lambda _{0}+N}}\right)\mu \right)\right\}+C_{4}\\&=-{\frac {\operatorname {E} _{\tau }[\tau ]}{2}}\left\{(\lambda _{0}+N)\left(\mu ^{2}-2\left({\frac {\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}}{\lambda _{0}+N}}\right)\mu +\left({\frac {\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}}{\lambda _{0}+N}}\right)^{2}-\left({\frac {\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}}{\lambda _{0}+N}}\right)^{2}\right)\right\}+C_{4}\\&=-{\frac {\operatorname {E} _{\tau }[\tau ]}{2}}\left\{(\lambda _{0}+N)\left(\mu ^{2}-2\left({\frac {\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}}{\lambda _{0}+N}}\right)\mu +\left({\frac {\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}}{\lambda _{0}+N}}\right)^{2}\right)\right\}+C_{5}\\&=-{\frac {\operatorname {E} _{\tau }[\tau ]}{2}}\left\{(\lambda _{0}+N)\left(\mu -{\frac {\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}}{\lambda _{0}+N}}\right)^{2}\right\}+C_{5}\\&=-{\frac {1}{2}}(\lambda _{0}+N)\operatorname {E} _{\tau }[\tau ]\left(\mu -{\frac {\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}}{\lambda _{0}+N}}\right)^{2}+C_{5}\end{aligned}}}$

Обратите внимание, что все вышеперечисленные шаги можно сократить, используя формулу суммы двух квадратиков .

Другими словами:

${\displaystyle {\begin{aligned}q_{\mu }^{*}(\mu )&\sim {\mathcal {N}}(\mu \mid \mu _{N},\lambda _{N}^{-1})\\\mu _{N}&={\frac {\lambda _{0}\mu _{0}+N{\bar {x}}}{\lambda _{0}+N}}\\\lambda _{N}&=(\lambda _{0}+N)\operatorname {E} _{\tau }[\tau ]\\{\bar {x}}&={\frac {1}{N}}\sum _{n=1}^{N}x_{n}\end{aligned}}}$

Вывод q (τ) [ править ]

Вывод аналогичен приведенному выше, хотя для краткости мы опускаем некоторые детали.${\displaystyle q_{\tau }^{*}(\tau )}$

${\displaystyle {\begin{aligned}\ln q_{\tau }^{*}(\tau )&=\operatorname {E} _{\mu }[\ln p(\mathbf {X} \mid \mu ,\tau )+\ln p(\mu \mid \tau )]+\ln p(\tau )+{\text{constant}}\\&=(a_{0}-1)\ln \tau -b_{0}\tau +{\frac {1}{2}}\ln \tau +{\frac {N}{2}}\ln \tau -{\frac {\tau }{2}}\operatorname {E} _{\mu }\left[\sum _{n=1}^{N}(x_{n}-\mu )^{2}+\lambda _{0}(\mu -\mu _{0})^{2}\right]+{\text{constant}}\end{aligned}}}$

Возводя в степень обе стороны, мы видим, что это гамма-распределение . Конкретно:${\displaystyle q_{\tau }^{*}(\tau )}$

${\displaystyle {\begin{aligned}q_{\tau }^{*}(\tau )&\sim \operatorname {Gamma} (\tau \mid a_{N},b_{N})\\a_{N}&=a_{0}+{\frac {N+1}{2}}\\b_{N}&=b_{0}+{\frac {1}{2}}\operatorname {E} _{\mu }\left[\sum _{n=1}^{N}(x_{n}-\mu )^{2}+\lambda _{0}(\mu -\mu _{0})^{2}\right]\end{aligned}}}$

Алгоритм вычисления параметров [ править ]

Подведем итоги выводов из предыдущих разделов:

${\displaystyle {\begin{aligned}q_{\mu }^{*}(\mu )&\sim {\mathcal {N}}(\mu \mid \mu _{N},\lambda _{N}^{-1})\\\mu _{N}&={\frac {\lambda _{0}\mu _{0}+N{\bar {x}}}{\lambda _{0}+N}}\\\lambda _{N}&=(\lambda _{0}+N)\operatorname {E} _{\tau }[\tau ]\\{\bar {x}}&={\frac {1}{N}}\sum _{n=1}^{N}x_{n}\end{aligned}}}$

и

${\displaystyle {\begin{aligned}q_{\tau }^{*}(\tau )&\sim \operatorname {Gamma} (\tau \mid a_{N},b_{N})\\a_{N}&=a_{0}+{\frac {N+1}{2}}\\b_{N}&=b_{0}+{\frac {1}{2}}\operatorname {E} _{\mu }\left[\sum _{n=1}^{N}(x_{n}-\mu )^{2}+\lambda _{0}(\mu -\mu _{0})^{2}\right]\end{aligned}}}$

В каждом случае параметры распределения по одной из переменных зависят от ожиданий, взятых в отношении другой переменной. Мы можем расширить ожидания, используя стандартные формулы для ожиданий моментов гауссовского и гамма-распределений:

${\displaystyle {\begin{aligned}\operatorname {E} [\tau \mid a_{N},b_{N}]&={\frac {a_{N}}{b_{N}}}\\\operatorname {E} \left[\mu \mid \mu _{N},\lambda _{N}^{-1}\right]&=\mu _{N}\\\operatorname {E} \left[X^{2}\right]&=\operatorname {Var} (X)+(\operatorname {E} [X])^{2}\\\operatorname {E} \left[\mu ^{2}\mid \mu _{N},\lambda _{N}^{-1}\right]&=\lambda _{N}^{-1}+\mu _{N}^{2}\end{aligned}}}$

Применение этих формул к приведенным выше уравнениям в большинстве случаев тривиально, но уравнение для требует больше работы:${\displaystyle b_{N}}$

${\displaystyle {\begin{aligned}b_{N}&=b_{0}+{\frac {1}{2}}\operatorname {E} _{\mu }\left[\sum _{n=1}^{N}(x_{n}-\mu )^{2}+\lambda _{0}(\mu -\mu _{0})^{2}\right]\\&=b_{0}+{\frac {1}{2}}\operatorname {E} _{\mu }\left[(\lambda _{0}+N)\mu ^{2}-2\left(\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}\right)\mu +\left(\sum _{n=1}^{N}x_{n}^{2}\right)+\lambda _{0}\mu _{0}^{2}\right]\\&=b_{0}+{\frac {1}{2}}\left[(\lambda _{0}+N)\operatorname {E} _{\mu }[\mu ^{2}]-2\left(\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}\right)\operatorname {E} _{\mu }[\mu ]+\left(\sum _{n=1}^{N}x_{n}^{2}\right)+\lambda _{0}\mu _{0}^{2}\right]\\&=b_{0}+{\frac {1}{2}}\left[(\lambda _{0}+N)\left(\lambda _{N}^{-1}+\mu _{N}^{2}\right)-2\left(\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}\right)\mu _{N}+\left(\sum _{n=1}^{N}x_{n}^{2}\right)+\lambda _{0}\mu _{0}^{2}\right]\\\end{aligned}}}$

Затем мы можем записать уравнения параметров следующим образом, без каких-либо ожиданий:

${\displaystyle {\begin{aligned}\mu _{N}&={\frac {\lambda _{0}\mu _{0}+N{\bar {x}}}{\lambda _{0}+N}}\\\lambda _{N}&=(\lambda _{0}+N){\frac {a_{N}}{b_{N}}}\\{\bar {x}}&={\frac {1}{N}}\sum _{n=1}^{N}x_{n}\\a_{N}&=a_{0}+{\frac {N+1}{2}}\\b_{N}&=b_{0}+{\frac {1}{2}}\left[(\lambda _{0}+N)\left(\lambda _{N}^{-1}+\mu _{N}^{2}\right)-2\left(\lambda _{0}\mu _{0}+\sum _{n=1}^{N}x_{n}\right)\mu _{N}+\left(\sum _{n=1}^{N}x_{n}^{2}\right)+\lambda _{0}\mu _{0}^{2}\right]\end{aligned}}}$

Обратите внимание, что есть круговые зависимости между формулами для и . Это, естественно, предполагает алгоритм, подобный EM :${\displaystyle \lambda _{N}}$${\displaystyle b_{N}}$

1. Вычислить и использовать эти значения для вычисления и${\displaystyle \sum _{n=1}^{N}x_{n}}$${\displaystyle \sum _{n=1}^{N}x_{n}^{2}.}$${\displaystyle \mu _{N}}$${\displaystyle a_{N}.}$
2. Инициализировать произвольным значением.${\displaystyle \lambda _{N}}$
3. Для вычисления используйте текущее значение вместе с известными значениями других параметров .${\displaystyle \lambda _{N},}$${\displaystyle b_{N}}$
4. Для вычисления используйте текущее значение вместе с известными значениями других параметров .${\displaystyle b_{N},}$${\displaystyle \lambda _{N}}$
5. Повторяйте последние два шага до схождения (то есть до тех пор, пока ни одно из значений не изменится больше, чем на небольшую величину).

Затем у нас есть значения гиперпараметров аппроксимирующих распределений апостериорных параметров, которые мы можем использовать для вычисления любых необходимых нам свойств апостериорных параметров - например, его среднего значения и дисперсии, 95% области с самой высокой плотностью (наименьший интервал, который включает 95 % от общей вероятности) и т. д.

Можно показать, что этот алгоритм гарантированно сходится к локальному максимуму.

Также обратите внимание, что апостериорные распределения имеют ту же форму, что и соответствующие апостериорные распределения. Мы этого не предполагали; единственное предположение, которое мы сделали, заключалось в том, что распределения факторизуются, и форма распределений следует естественным образом. Оказывается (см. Ниже), что тот факт, что апостериорные распределения имеют ту же форму, что и априорные, не является совпадением, а является общим результатом, когда априорные распределения являются членами экспоненциального семейства , что имеет место для большинства стандартные дистрибутивы.

Дальнейшее обсуждение [ править ]

Пошаговый рецепт [ править ]

В приведенном выше примере показан метод, с помощью которого получается вариационно-байесовское приближение апостериорной плотности вероятности в данной байесовской сети :

1. Опишите сеть с помощью графической модели , указав наблюдаемые переменные (данные) и ненаблюдаемые переменные ( параметры и скрытые переменные ) и их условные распределения вероятностей . Затем вариационный Байес построит аппроксимацию апостериорной вероятности . Аппроксимация имеет основное свойство - факторизованное распределение, то есть произведение двух или более независимых распределений по непересекающимся подмножествам ненаблюдаемых переменных.${\displaystyle \mathbf {X} }$ ${\displaystyle {\boldsymbol {\Theta }}}$ ${\displaystyle \mathbf {Z} }$${\displaystyle p(\mathbf {Z} ,{\boldsymbol {\Theta }}\mid \mathbf {X} )}$
2. Разделите ненаблюдаемые переменные на два или более подмножества, по которым будут выведены независимые факторы. Универсальной процедуры для этого не существует; создание слишком большого количества подмножеств дает плохое приближение, в то время как создание слишком малого числа делает всю вариационную байесовскую процедуру неразрешимой. Как правило, первое разделение предназначено для разделения параметров и скрытых переменных; часто этого достаточно для получения приемлемого результата. Предположим, что разделы называются .${\displaystyle \mathbf {Z} _{1},\ldots ,\mathbf {Z} _{M}}$
3. Для данного раздела запишите формулу наилучшего аппроксимирующего распределения, используя основное уравнение .${\displaystyle \mathbf {Z} _{j}}$${\displaystyle q_{j}^{*}(\mathbf {Z} _{j}\mid \mathbf {X} )}$${\displaystyle \ln q_{j}^{*}(\mathbf {Z} _{j}\mid \mathbf {X} )=\operatorname {E} _{i\neq j}[\ln p(\mathbf {Z} ,\mathbf {X} )]+{\text{constant}}}$
4. Заполните формулу совместного распределения вероятностей, используя графическую модель. Любые условные распределения компонентов, в которых не используются никакие переменные, можно игнорировать; они будут сложены в постоянный член.${\displaystyle \mathbf {Z} _{j}}$
5. Упростите формулу и примените оператор математического ожидания, следуя приведенному выше примеру. В идеале это должно упростить ожидание основных функций переменных, не входящих в (например, первые или вторые необработанные моменты , математическое ожидание и т. Д.). Для того чтобы вариационная процедура Байеса работала хорошо, эти ожидания обычно должны быть выражены аналитически как функции параметров и / или гиперпараметров распределений этих переменных. Во всех случаях эти ожидаемые члены являются константами по отношению к переменным в текущем разделе.${\displaystyle \mathbf {Z} _{j}}$
6. Функциональная форма формулы по отношению к переменным в текущем разделе указывает тип распределения. В частности, возведение в степень формулы генерирует функцию плотности вероятности (PDF) распределения (или, по крайней мере, что-то пропорциональное ей, с неизвестной константой нормализации.). Чтобы общий метод был управляемым, должна быть возможность распознать функциональную форму как принадлежащую известному распределению. Для преобразования формулы в форму, которая соответствует PDF известного распределения, могут потребоваться значительные математические манипуляции. Когда это может быть сделано, нормировочная константа может быть восстановлена ​​по определению, а уравнения для параметров известного распределения могут быть получены путем извлечения соответствующих частей формулы.
7. Когда все ожидания могут быть заменены аналитически функциями переменных, не входящих в текущее разделение, и PDF преобразован в форму, позволяющую идентифицировать с известным распределением, результатом является набор уравнений, выражающих значения оптимальных параметров как функции параметры переменных в других разделах.
8. Когда эту процедуру можно применить ко всем разделам, результатом будет набор взаимосвязанных уравнений, определяющих оптимальные значения всех параметров.
9. Ожидания Максимизация процедура типа (ЭМ) затем применяется, выбирая начальное значение для каждого параметра и итерации через ряд шагов, где на каждом шаге цикла через уравнений, обновление каждый параметр в свою очередь. Это гарантированно сойдет.

Самые важные моменты [ править ]

Из-за всех задействованных математических манипуляций легко потерять общую картину. Важные вещи:

1. Идея вариационного Байеса состоит в том, чтобы построить аналитическое приближение к апостериорной вероятности набора ненаблюдаемых переменных (параметров и скрытых переменных) с учетом данных. Это означает, что форма решения аналогична другим методам байесовского вывода , таким как выборка Гиббса, т. Е. Распределение, которое стремится описать все, что известно о переменных. Как и в других байесовских методах - но в отличие, например, от методов максимизации ожидания (EM) или других методов максимального правдоподобия - оба типа ненаблюдаемых переменных (т.е. параметры и скрытые переменные) обрабатываются одинаково, то есть как случайные переменные.. Затем оценки переменных могут быть получены стандартными байесовскими способами, например, вычислением среднего значения распределения для получения одноточечной оценки или вычислением вероятного интервала , области наивысшей плотности и т. Д.
2. «Аналитическое приближение» означает, что можно записать формулу для апостериорного распределения. Формула обычно состоит из произведения хорошо известных распределений вероятностей, каждое из которых факторизуется по набору ненаблюдаемых переменных (т. Е. Оно условно не зависит от других переменных с учетом наблюдаемых данных). Эта формула не является истинным апостериорным распределением, а является приближением к нему; в частности, оно обычно будет довольно близко согласовываться в самые низкие моменты ненаблюдаемых переменных, например, среднее значение и дисперсия .
3. Результатом всех математических манипуляций является (1) идентичность распределений вероятностей, составляющих факторы, и (2) взаимозависимые формулы для параметров этих распределений. Фактические значения этих параметров вычисляются численно с помощью чередующейся итерационной процедуры, очень похожей на EM.

По сравнению с максимизацией ожидания (EM) [ править ]

Вариационный байесовский метод (VB) часто сравнивают с максимизацией ожидания (EM). Фактическая численная процедура очень похожа, поскольку обе являются чередующимися итерационными процедурами, которые последовательно сходятся к оптимальным значениям параметров. Начальные шаги для получения соответствующих процедур также отдаленно похожи, оба начинаются с формул для плотностей вероятностей и оба требуют значительного количества математических манипуляций.

Однако есть ряд отличий. Самое важное - это то , что вычисляется.

• EM вычисляет точечные оценки апостериорного распределения тех случайных величин, которые могут быть отнесены к категории «параметров», но только оценки фактических апостериорных распределений скрытых переменных (по крайней мере, в «мягкой EM», и часто только тогда, когда скрытые переменные дискретны. ). Вычисленные точечные оценки представляют собой режимы этих параметров; другой информации нет.
• VB, с другой стороны, вычисляет оценки фактического апостериорного распределения всех переменных, как параметров, так и скрытых переменных. Когда необходимо получить точечные оценки, обычно используется среднее значение, а не режим, как это обычно бывает при байесовском выводе. При этом параметры, вычисленные в VB, не имеют такого же значения, как в EM. EM вычисляет оптимальные значения параметров самой байесовской сети. VB вычисляет оптимальные значения параметров распределений, используемых для аппроксимации параметров и скрытых переменных байесовской сети. Например, типичная модель гауссовой смесибудут иметь параметры для среднего и дисперсии каждого из компонентов смеси. EM будет напрямую оценивать оптимальные значения этих параметров. Однако VB сначала подгоняет распределение к этим параметрам - обычно в форме априорного распределения , например, обратного гамма-распределения с нормальным масштабированием - и затем вычисляет значения для параметров этого априорного распределения, то есть по существу гиперпараметры . В этом случае VB будет вычислять оптимальные оценки четырех параметров нормализованного обратного гамма-распределения, которое описывает совместное распределение среднего и дисперсии компонента.

Более сложный пример [ править ]

Представьте себе байесовскую гауссовскую модель смеси, описанную следующим образом: ^[4]

${\displaystyle {\begin{aligned}\mathbf {\pi } &\sim \operatorname {SymDir} (K,\alpha _{0})\\\mathbf {\Lambda } _{i=1\dots K}&\sim {\mathcal {W}}(\mathbf {W} _{0},\nu _{0})\\\mathbf {\mu } _{i=1\dots K}&\sim {\mathcal {N}}(\mathbf {\mu } _{0},(\beta _{0}\mathbf {\Lambda } _{i})^{-1})\\\mathbf {z} [i=1\dots N]&\sim \operatorname {Mult} (1,\mathbf {\pi } )\\\mathbf {x} _{i=1\dots N}&\sim {\mathcal {N}}(\mathbf {\mu } _{z_{i}},{\mathbf {\Lambda } _{z_{i}}}^{-1})\\K&={\text{number of mixing components}}\\N&={\text{number of data points}}\end{aligned}}}$

Примечание:

• SymDir () - это симметричное распределение размерности Дирихле с гиперпараметром для каждого компонента, установленным на . Распределение Дирихля является сопряженным перед от категориального распределения или полиномиального распределения .${\displaystyle K}$${\displaystyle \alpha _{0}}$
• ${\displaystyle {\mathcal {W}}()}$- это распределение Уишарта , которое является сопряженным априорным значением матрицы точности (обратной ковариационной матрицы ) для многомерного распределения Гаусса .
• Mult () - это полиномиальное распределение для одного наблюдения (эквивалентное категориальному распределению ). Пространство состояний является представлением "один из K", то есть -мерным вектором, в котором один из элементов равен 1 (определяя идентичность наблюдения), а все остальные элементы равны 0.${\displaystyle K}$
• ${\displaystyle {\mathcal {N}}()}$является распределением Гаусса , в данном случае многомерным распределением Гаусса .

Интерпретация вышеуказанных переменных следующая:

• ${\displaystyle \mathbf {X} =\{\mathbf {x} _{1},\dots ,\mathbf {x} _{N}\}}$представляет собой набор точек данных, каждая из которых представляет собой -мерный вектор, распределенный согласно многомерному распределению Гаусса .${\displaystyle N}$${\displaystyle D}$
• ${\displaystyle \mathbf {Z} =\{\mathbf {z} _{1},\dots ,\mathbf {z} _{N}\}}$представляет собой набор скрытых переменных, по одной на точку данных, определяющих, к какому компоненту смеси принадлежит соответствующая точка данных, с использованием векторного представления «один из K» с компонентами для , как описано выше.${\displaystyle z_{nk}}$${\displaystyle k=1\dots K}$
• ${\displaystyle \mathbf {\pi } }$- пропорции смешивания компонентов смеси.${\displaystyle K}$
• ${\displaystyle \mathbf {\mu } _{i=1\dots K}}$и укажите параметры ( среднее значение и точность ), связанные с каждым компонентом смеси.${\displaystyle \mathbf {\Lambda } _{i=1\dots K}}$

Совместную вероятность всех переменных можно переписать как

${\displaystyle p(\mathbf {X} ,\mathbf {Z} ,\mathbf {\pi } ,\mathbf {\mu } ,\mathbf {\Lambda } )=p(\mathbf {X} \mid \mathbf {Z} ,\mathbf {\mu } ,\mathbf {\Lambda } )p(\mathbf {Z} \mid \mathbf {\pi } )p(\mathbf {\pi } )p(\mathbf {\mu } \mid \mathbf {\Lambda } )p(\mathbf {\Lambda } )}$

где отдельные факторы

${\displaystyle {\begin{aligned}p(\mathbf {X} \mid \mathbf {Z} ,\mathbf {\mu } ,\mathbf {\Lambda } )&=\prod _{n=1}^{N}\prod _{k=1}^{K}{\mathcal {N}}(\mathbf {x} _{n}\mid \mathbf {\mu } _{k},\mathbf {\Lambda } _{k}^{-1})^{z_{nk}}\\p(\mathbf {Z} \mid \mathbf {\pi } )&=\prod _{n=1}^{N}\prod _{k=1}^{K}\pi _{k}^{z_{nk}}\\p(\mathbf {\pi } )&={\frac {\Gamma (K\alpha _{0})}{\Gamma (\alpha _{0})^{K}}}\prod _{k=1}^{K}\pi _{k}^{\alpha _{0}-1}\\p(\mathbf {\mu } \mid \mathbf {\Lambda } )&=\prod _{k=1}^{K}{\mathcal {N}}(\mathbf {\mu } _{k}\mid \mathbf {\mu } _{0},(\beta _{0}\mathbf {\Lambda } _{k})^{-1})\\p(\mathbf {\Lambda } )&=\prod _{k=1}^{K}{\mathcal {W}}(\mathbf {\Lambda } _{k}\mid \mathbf {W} _{0},\nu _{0})\end{aligned}}}$

где

${\displaystyle {\begin{aligned}{\mathcal {N}}(\mathbf {x} \mid \mathbf {\mu } ,\mathbf {\Sigma } )&={\frac {1}{(2\pi )^{D/2}}}{\frac {1}{|\mathbf {\Sigma } |^{1/2}}}\exp \left\{-{\frac {1}{2}}(\mathbf {x} -\mathbf {\mu } )^{\rm {T}}\mathbf {\Sigma } ^{-1}(\mathbf {x} -\mathbf {\mu } )\right\}\\{\mathcal {W}}(\mathbf {\Lambda } \mid \mathbf {W} ,\nu )&=B(\mathbf {W} ,\nu )|\mathbf {\Lambda } |^{(\nu -D-1)/2}\exp \left(-{\frac {1}{2}}\operatorname {Tr} (\mathbf {W} ^{-1}\mathbf {\Lambda } )\right)\\B(\mathbf {W} ,\nu )&=|\mathbf {W} |^{-\nu /2}\left\{2^{\nu D/2}\pi ^{D(D-1)/4}\prod _{i=1}^{D}\Gamma \left({\frac {\nu +1-i}{2}}\right)\right\}^{-1}\\D&={\text{dimensionality of each data point}}\end{aligned}}}$

Предположим, что .${\displaystyle q(\mathbf {Z} ,\mathbf {\pi } ,\mathbf {\mu } ,\mathbf {\Lambda } )=q(\mathbf {Z} )q(\mathbf {\pi } ,\mathbf {\mu } ,\mathbf {\Lambda } )}$

Затем

${\displaystyle {\begin{aligned}\ln q^{*}(\mathbf {Z} )&=\operatorname {E} _{\mathbf {\pi } ,\mathbf {\mu } ,\mathbf {\Lambda } }[\ln p(\mathbf {X} ,\mathbf {Z} ,\mathbf {\pi } ,\mathbf {\mu } ,\mathbf {\Lambda } )]+{\text{constant}}\\&=\operatorname {E} _{\mathbf {\pi } }[\ln p(\mathbf {Z} \mid \mathbf {\pi } )]+\operatorname {E} _{\mathbf {\mu } ,\mathbf {\Lambda } }[\ln p(\mathbf {X} \mid \mathbf {Z} ,\mathbf {\mu } ,\mathbf {\Lambda } )]+{\text{constant}}\\&=\sum _{n=1}^{N}\sum _{k=1}^{K}z_{nk}\ln \rho _{nk}+{\text{constant}}\end{aligned}}}$

где мы определили

${\displaystyle \ln \rho _{nk}=\operatorname {E} [\ln \pi _{k}]+{\frac {1}{2}}\operatorname {E} [\ln |\mathbf {\Lambda } _{k}|]-{\frac {D}{2}}\ln(2\pi )-{\frac {1}{2}}\operatorname {E} _{\mathbf {\mu } _{k},\mathbf {\Lambda } _{k}}[(\mathbf {x} _{n}-\mathbf {\mu } _{k})^{\rm {T}}\mathbf {\Lambda } _{k}(\mathbf {x} _{n}-\mathbf {\mu } _{k})]}$

Возведение в степень обеих частей формулы доходности${\displaystyle \ln q^{*}(\mathbf {Z} )}$

${\displaystyle q^{*}(\mathbf {Z} )\propto \prod _{n=1}^{N}\prod _{k=1}^{K}\rho _{nk}^{z_{nk}}}$

Требование, чтобы это было нормализовано, требует, чтобы сумма до 1 по всем значениям , давая${\displaystyle \rho _{nk}}$${\displaystyle k}$

${\displaystyle q^{*}(\mathbf {Z} )=\prod _{n=1}^{N}\prod _{k=1}^{K}r_{nk}^{z_{nk}}}$