Модель смеси

В статистике , А модель смеси является вероятностной моделью для представления наличия субпопуляций в пределах общей популяции, не требуя , чтобы наблюдаемый набор данных должен идентифицировать субпопуляцию , к которой принадлежит индивиду наблюдение. Формально модель смеси соответствует распределению смеси, которое представляет собой распределение вероятностей наблюдений в генеральной совокупности. Однако, в то время как проблемы, связанные со «смешанными распределениями», связаны с выводом свойств генеральной совокупности из характеристик подгрупп, «смешанные модели» используются для статистических выводов. о свойствах субпопуляций даны только наблюдения за объединенной популяцией, без информации об идентичности субпопуляции.

Смешанные модели не следует путать с моделями для композиционных данных , т. Е. Данных, сумма компонентов которых ограничена постоянным значением (1, 100% и т. Д.). Однако композиционные модели можно рассматривать как смешанные модели, в которых члены совокупности отбираются случайным образом. И наоборот, смешанные модели можно рассматривать как композиционные модели, в которых общее количество читающих по размеру нормализовано к 1.

Структура [ править ]

Общая модель смеси [ править ]

Типичная конечномерная модель смеси представляет собой иерархическую модель, состоящую из следующих компонентов:

• Наблюдаемые N случайных величин, каждая из которых распределена согласно смеси K компонентов, причем компоненты принадлежат к одному и тому же параметрическому семейству распределений (например, все нормальные , все Zipfian и т. Д.), Но с разными параметрами
• N случайных латентных переменных, определяющих идентичность компонента смеси каждого наблюдения, каждая из которых распределена согласно K -мерному категориальному распределению
• Набор из K весов смеси, которые представляют собой вероятности, сумма которых равна 1.
• Набор из K параметров, каждый из которых определяет параметр соответствующего компонента смеси. Во многих случаях каждый «параметр» на самом деле представляет собой набор параметров. Например, если компоненты смеси являются гауссовскими распределениями , для каждого компонента будет среднее значение и дисперсия . Если компоненты смеси являются категориальными распределениями (например, когда каждое наблюдение является маркером из конечного алфавита размера V ), будет вектор вероятностей V, суммирующийся с 1.

Кроме того, в байесовской настройке веса и параметры смеси сами будут случайными величинами, а по переменным будут помещены предварительные распределения . В таком случае веса обычно рассматриваются как K -мерный случайный вектор, полученный из распределения Дирихле ( сопряженный априор категориального распределения), и параметры будут распределяться согласно их соответствующим сопряженным априорным значениям.

Математически базовая параметрическая модель смеси может быть описана следующим образом:

${\displaystyle {\begin{array}{lcl}K&=&{\text{number of mixture components}}\\N&=&{\text{number of observations}}\\\theta _{i=1\dots K}&=&{\text{parameter of distribution of observation associated with component }}i\\\phi _{i=1\dots K}&=&{\text{mixture weight, i.e., prior probability of a particular component }}i\\{\boldsymbol {\phi }}&=&K{\text{-dimensional vector composed of all the individual }}\phi _{1\dots K}{\text{; must sum to 1}}\\z_{i=1\dots N}&=&{\text{component of observation }}i\\x_{i=1\dots N}&=&{\text{observation }}i\\F(x|\theta )&=&{\text{probability distribution of an observation, parametrized on }}\theta \\z_{i=1\dots N}&\sim &\operatorname {Categorical} ({\boldsymbol {\phi }})\\x_{i=1\dots N}|z_{i=1\dots N}&\sim &F(\theta _{z_{i}})\end{array}}}$

В байесовской настройке все параметры связаны со случайными величинами следующим образом:

${\displaystyle {\begin{array}{lcl}K,N&=&{\text{as above}}\\\theta _{i=1\dots K},\phi _{i=1\dots K},{\boldsymbol {\phi }}&=&{\text{as above}}\\z_{i=1\dots N},x_{i=1\dots N},F(x|\theta )&=&{\text{as above}}\\\alpha &=&{\text{shared hyperparameter for component parameters}}\\\beta &=&{\text{shared hyperparameter for mixture weights}}\\H(\theta |\alpha )&=&{\text{prior probability distribution of component parameters, parametrized on }}\alpha \\\theta _{i=1\dots K}&\sim &H(\theta |\alpha )\\{\boldsymbol {\phi }}&\sim &\operatorname {Symmetric-Dirichlet} _{K}(\beta )\\z_{i=1\dots N}|{\boldsymbol {\phi }}&\sim &\operatorname {Categorical} ({\boldsymbol {\phi }})\\x_{i=1\dots N}|z_{i=1\dots N},\theta _{i=1\dots K}&\sim &F(\theta _{z_{i}})\end{array}}}$

Эта характеристика использует F и H для описания произвольных распределений по наблюдениям и параметрам соответственно. Как правило , Н будет конъюгат до из F . Два наиболее распространенных варианта F - гауссовский, также известный как « нормальный » (для вещественных наблюдений) и категориальный (для дискретных наблюдений). Другими распространенными возможностями распределения компонентов смеси являются:

• Биномиальное распределение для количества «положительных событий» (например, успехов, голосов «да» и т. Д.) При фиксированном общем количестве случаев.
• Мультиномиальное распределение , аналогичное биномиальному распределению, но для подсчета многовариантных случаев (например, да / нет / возможно в опросе)
• Отрицательное биномиальное распределение для наблюдений биномиального типа, но где интересующее количество - это количество неудач до того, как произойдет заданное количество успехов
• Распределение Пуассона для числа появлений события в заданный период времени для события, которое характеризуется фиксированной частотой появления
• Экспоненциальное распределение для времени до следующего события для события, которое характеризуется фиксированной частотой появления
• Логнормальное распределение для положительных вещественных чисел, которые, как предполагается, растут экспоненциально, например доходов или цен.
• Многомерное нормальное распределение (также известное как многомерное распределение Гаусса ) для векторов коррелированных результатов, которые индивидуально распределены по Гауссу
• Многомерное t-распределение Стьюдента (также известное как многомерное t-распределение ) для векторов коррелированных результатов с тяжелыми хвостами ^[1]
• Вектор значений, распределенных по Бернулли , соответствующий, например, черно-белому изображению, где каждое значение представляет пиксель; см. пример распознавания рукописного ввода ниже

Конкретные примеры [ править ]

Модель гауссовой смеси [ править ]

Типичная небайесовская модель гауссовской смеси выглядит так:

${\displaystyle {\begin{array}{lcl}K,N&=&{\text{as above}}\\\phi _{i=1\dots K},{\boldsymbol {\phi }}&=&{\text{as above}}\\z_{i=1\dots N},x_{i=1\dots N}&=&{\text{as above}}\\\theta _{i=1\dots K}&=&\{\mu _{i=1\dots K},\sigma _{i=1\dots K}^{2}\}\\\mu _{i=1\dots K}&=&{\text{mean of component }}i\\\sigma _{i=1\dots K}^{2}&=&{\text{variance of component }}i\\z_{i=1\dots N}&\sim &\operatorname {Categorical} ({\boldsymbol {\phi }})\\x_{i=1\dots N}&\sim &{\mathcal {N}}(\mu _{z_{i}},\sigma _{z_{i}}^{2})\end{array}}}$

Байесовская версия модели гауссовой смеси выглядит следующим образом:

${\displaystyle {\begin{array}{lcl}K,N&=&{\text{as above}}\\\phi _{i=1\dots K},{\boldsymbol {\phi }}&=&{\text{as above}}\\z_{i=1\dots N},x_{i=1\dots N}&=&{\text{as above}}\\\theta _{i=1\dots K}&=&\{\mu _{i=1\dots K},\sigma _{i=1\dots K}^{2}\}\\\mu _{i=1\dots K}&=&{\text{mean of component }}i\\\sigma _{i=1\dots K}^{2}&=&{\text{variance of component }}i\\\mu _{0},\lambda ,\nu ,\sigma _{0}^{2}&=&{\text{shared hyperparameters}}\\\mu _{i=1\dots K}&\sim &{\mathcal {N}}(\mu _{0},\lambda \sigma _{i}^{2})\\\sigma _{i=1\dots K}^{2}&\sim &\operatorname {Inverse-Gamma} (\nu ,\sigma _{0}^{2})\\{\boldsymbol {\phi }}&\sim &\operatorname {Symmetric-Dirichlet} _{K}(\beta )\\z_{i=1\dots N}&\sim &\operatorname {Categorical} ({\boldsymbol {\phi }})\\x_{i=1\dots N}&\sim &{\mathcal {N}}(\mu _{z_{i}},\sigma _{z_{i}}^{2})\end{array}}}$

Модель многомерной смеси Гаусса [ править ]

Модель байесовской гауссовской смеси обычно расширяется, чтобы соответствовать вектору неизвестных параметров (выделенных жирным шрифтом) или многомерным нормальным распределениям. В многомерном распределении (то есть при моделировании вектора с N случайными величинами) можно смоделировать вектор параметров (например, несколько наблюдений сигнала или участков в изображении), используя предварительное распределение гауссовой модели смеси на векторе оценок, заданных формулой${\displaystyle {\boldsymbol {x}}}$

${\displaystyle p({\boldsymbol {\theta }})=\sum _{i=1}^{K}\phi _{i}{\mathcal {N}}({\boldsymbol {\mu _{i},\Sigma _{i}}})}$

где i- ^я компонента вектора характеризуется нормальными распределениями с весами , средними и ковариационными матрицами . Чтобы включить это априорное значение в байесовскую оценку, априорное значение умножается на известное распределение данных, обусловленное параметрами, которые необходимо оценить. С такой постановкой задней распределение является также смесь модели гауссов вида ${\displaystyle \phi _{i}}$${\displaystyle {\boldsymbol {\mu _{i}}}}$${\displaystyle {\boldsymbol {\Sigma _{i}}}}$${\displaystyle p({\boldsymbol {x|\theta }})}$${\displaystyle {\boldsymbol {x}}}$${\displaystyle {\boldsymbol {\theta }}}$ ${\displaystyle p({\boldsymbol {\theta |x}})}$

${\displaystyle p({\boldsymbol {\theta |x}})=\sum _{i=1}^{K}{\tilde {\phi _{i}}}{\mathcal {N}}({\boldsymbol {{\tilde {\mu _{i}}},{\tilde {\Sigma _{i}}}}})}$

с новыми параметрами и которые обновляются с помощью алгоритма EM . ^[2] Хотя обновление параметров на основе ЭМ хорошо известно, предоставление исходных оценок для этих параметров в настоящее время является областью активных исследований. Обратите внимание, что эта формулировка дает решение в замкнутой форме для полного апостериорного распределения. Оценки случайной величины могут быть получены с помощью одного из нескольких оценщиков, таких как среднее или максимальное значение апостериорного распределения.${\displaystyle {\tilde {\phi _{i}}},{\boldsymbol {\tilde {\mu _{i}}}}}$${\displaystyle {\boldsymbol {\tilde {\Sigma _{i}}}}}$${\displaystyle {\boldsymbol {\theta }}}$

Такие распределения полезны, например, для предположения патч-форм изображений и кластеров. В случае представления изображения каждый гауссиан может быть наклонен, расширен и деформирован в соответствии с ковариационными матрицами . Одно распределение Гаусса из набора соответствует каждому фрагменту (обычно размером 8x8 пикселей) на изображении. Примечательно, что любое распределение точек вокруг кластера (см. K -средние ) может быть точно задано достаточным количеством гауссовских компонентов, но едва ли требуется более K = 20 компонентов для точного моделирования данного распределения изображения или кластера данных.${\displaystyle {\boldsymbol {\Sigma _{i}}}}$

Категориальная модель смеси [ править ]

Типичная модель небайесовской смеси с категориальными наблюдениями выглядит так:

• ${\displaystyle K,N:}$ как указано выше
• ${\displaystyle \phi _{i=1\dots K},{\boldsymbol {\phi }}:}$ как указано выше
• ${\displaystyle z_{i=1\dots N},x_{i=1\dots N}:}$ как указано выше
• ${\displaystyle V:}$ измерение категориальных наблюдений, например, размер словарного запаса
• ${\displaystyle \theta _{i=1\dots K,j=1\dots V}:}$вероятность для компонента объекта наблюдения${\displaystyle i}$${\displaystyle j}$
• ${\displaystyle {\boldsymbol {\theta }}_{i=1\dots K}:}$вектор размерности, составленный из, должен суммироваться до 1${\displaystyle V,}$${\displaystyle \theta _{i,1\dots V};}$

Случайные величины:

${\displaystyle {\begin{array}{lcl}z_{i=1\dots N}&\sim &\operatorname {Categorical} ({\boldsymbol {\phi }})\\x_{i=1\dots N}&\sim &{\text{Categorical}}({\boldsymbol {\theta }}_{z_{i}})\end{array}}}$

Типичная байесовская модель смеси с категориальными наблюдениями выглядит так:

• ${\displaystyle K,N:}$ как указано выше
• ${\displaystyle \phi _{i=1\dots K},{\boldsymbol {\phi }}:}$ как указано выше
• ${\displaystyle z_{i=1\dots N},x_{i=1\dots N}:}$ как указано выше
• ${\displaystyle V:}$ измерение категориальных наблюдений, например, размер словарного запаса
• ${\displaystyle \theta _{i=1\dots K,j=1\dots V}:}$вероятность для компонента объекта наблюдения${\displaystyle i}$${\displaystyle j}$
• ${\displaystyle {\boldsymbol {\theta }}_{i=1\dots K}:}$вектор размерности, составленный из, должен суммироваться до 1${\displaystyle V,}$${\displaystyle \theta _{i,1\dots V};}$
• ${\displaystyle \alpha :}$общий гиперпараметр концентрации для каждого компонента${\displaystyle {\boldsymbol {\theta }}}$
• ${\displaystyle \beta :}$ гиперпараметр концентрации ${\displaystyle {\boldsymbol {\phi }}}$

Случайные величины:

${\displaystyle {\begin{array}{lcl}{\boldsymbol {\phi }}&\sim &\operatorname {Symmetric-Dirichlet} _{K}(\beta )\\{\boldsymbol {\theta }}_{i=1\dots K}&\sim &{\text{Symmetric-Dirichlet}}_{V}(\alpha )\\z_{i=1\dots N}&\sim &\operatorname {Categorical} ({\boldsymbol {\phi }})\\x_{i=1\dots N}&\sim &{\text{Categorical}}({\boldsymbol {\theta }}_{z_{i}})\end{array}}}$

Примеры [ править ]

Финансовая модель [ править ]

Финансовая отдача в нормальных ситуациях и во время кризиса часто бывает разной. Смешанная модель ^[3] для возвратных данных кажется разумной. Иногда используется модель скачкообразной диффузии или смесь двух нормальных распределений. См. Финансовую экономику # Проблемы и критика для получения дополнительной информации.

Цены на жилье [ править ]

Предположим, что мы наблюдаем цены на N разных домов. Разные типы домов в разных кварталах будут иметь совершенно разные цены, но цена конкретного типа дома в конкретном районе (например, дома с тремя спальнями в умеренно престижном районе) будет иметь тенденцию довольно близко группироваться вокруг среднего значения. Одна из возможных моделей таких цен состоит в предположении, что цены точно описываются смешанной моделью с K различными компонентами, каждый из которых распределен как нормальное распределение с неизвестным средним значением и дисперсией, причем каждый компонент определяет конкретную комбинацию типа дома / района. Подгонка этой модели к наблюдаемым ценам, например, с использованием алгоритма максимизации ожидания, будет стремиться сгруппировать цены по типу дома / району и выявить разброс цен в каждом типе / районе. (Обратите внимание, что для таких значений, как цены или доходы, которые гарантированно положительны и которые имеют тенденцию к экспоненциальному росту , логнормальное распределение может оказаться лучшей моделью, чем нормальное распределение.)

Темы в документе [ править ]

Предположим, что документ состоит из N различных слов из общего словаря размера V , где каждое слово соответствует одной из K возможных тем. Распределение таких слов можно было бы смоделировать как смесь K различных V -мерных категориальных распределений . Подобную модель обычно называют тематической моделью . Обратите внимание, что максимизация ожидания, применяемая к такой модели, обычно не дает реалистичных результатов из-за (среди прочего) чрезмерного количества параметров.. Для получения хороших результатов обычно необходимы некоторые дополнительные предположения. Обычно к модели добавляются два вида дополнительных компонентов:

1. Априорное распределение помещает поверх параметров , описывающих распределения темы, используя распределение Дирихля с параметром концентрации , который установлен значительно ниже 1, с тем чтобы стимулировать разреженные распределения (там , где лишь небольшое количество слов значительно ненулевые вероятности).
2. Некоторое дополнительное ограничение накладывается на тематические идентичности слов, чтобы воспользоваться преимуществом естественной кластеризации.

• Например, цепь Маркова может быть помещена на идентичности темы (т. Е. На скрытые переменные, определяющие компонент смеси каждого наблюдения), что соответствует тому факту, что близлежащие слова принадлежат схожим темам. (Это приводит к скрытой марковской модели , в частности, к той, в которой предварительное распределение размещается по переходам между состояниями, что способствует переходам, которые остаются в том же состоянии.)
• Другой возможностью является скрытая модель распределения Дирихле , которая разделяет слова на D различных документов и предполагает, что в каждом документе с любой частотой встречается лишь небольшое количество тем.

Распознавание рукописного ввода [ править ]

Следующий пример основан на примере из книги Кристофера М. Бишопа , « Распознавание образов и машинное обучение» . ^[4]

Представьте, что нам дано черно-белое изображение размером N × N, которое, как известно, представляет собой сканирование написанной от руки цифры от 0 до 9, но мы не знаем, какая цифра написана. Мы можем создать модель смеси с различными компонентами, где каждый компонент представляет собой вектор размера из распределений Бернулли ( по одному на пиксель). Такую модель можно обучить с помощью алгоритма максимизации ожидания.${\displaystyle K=10}$${\displaystyle N^{2}}$на немаркированном наборе рукописных цифр и эффективно группирует изображения в соответствии с записываемой цифрой. Затем ту же модель можно использовать для распознавания цифры другого изображения, просто сохраняя параметры постоянными, вычисляя вероятность нового изображения для каждой возможной цифры (тривиальное вычисление) и возвращая цифру, которая сгенерировала наибольшую вероятность.

Оценка точности снаряда (также известная как круговая вероятность ошибки, CEP) [ править ]

Смесительные модели применяются в задаче наведения нескольких снарядов на цель (например, в приложениях для защиты в воздухе, на суше или на море), где физические и / или статистические характеристики снарядов различаются в пределах нескольких снарядов. Примером могут быть выстрелы из нескольких типов боеприпасов или выстрелы из нескольких мест, направленные по одной цели. Комбинацию типов снарядов можно охарактеризовать как модель смеси Гаусса. ^[5] Кроме того, хорошо известной мерой точности для группы снарядов является круговая вероятная ошибка (CEP), которая представляет собой число R, такое, что в среднем половина группы снарядов попадает в круг радиуса Rо целевой точке. Модель смесь может быть использована для определения (или оценки) значение R . Модель смеси правильно захватывает различные типы снарядов.

Прямые и косвенные приложения [ править ]

Приведенный выше финансовый пример представляет собой одно прямое применение смешанной модели, ситуации, в которой мы предполагаем наличие базового механизма, так что каждое наблюдение принадлежит одному из некоторого количества различных источников или категорий. Однако этот основной механизм может быть или не наблюдаться. В этой форме смеси каждый из источников описывается функцией плотности вероятности компонента, а его вес смеси представляет собой вероятность того, что наблюдение исходит от этого компонента.

При косвенном применении модели смеси мы не предполагаем наличия такого механизма. Модель смеси используется просто из-за ее математической гибкости. Например, смесь двух нормальных распределений с разными средними значениями может привести к плотности с двумя модами , которая не моделируется стандартными параметрическими распределениями. Другой пример - возможность смешанных распределений для моделирования более толстых хвостов, чем основные гауссовы, чтобы быть кандидатом для моделирования более экстремальных явлений. В сочетании с динамической последовательностью этот подход был применен к оценке производных финансовых инструментов при наличии улыбки волатильности в контексте локальной волатильности.модели. Это определяет наше приложение.

Профилактическое обслуживание [ править ]

Кластеризация на основе смешанной модели также преимущественно используется для определения состояния машины при профилактическом обслуживании . Графики плотности используются для анализа плотности объектов большого размера. Если наблюдаются многомодельные плотности, то предполагается, что конечный набор плотностей формируется конечным набором нормальных смесей. Многомерная модель гауссовой смеси используется для кластеризации данных признаков в k групп, где k представляет каждое состояние машины. Состояние машины может быть нормальным, отключенным или неисправным. ^[6] Каждый сформированный кластер можно диагностировать с помощью таких методов, как спектральный анализ. В последние годы это также широко использовалось в других областях, таких как раннее обнаружение неисправностей. ^[7]

Сегментация нечетких изображений [ править ]

В обработке изображений и компьютерном зрении традиционные модели сегментации изображений часто присваивают одному пикселю только один эксклюзивный узор. При нечеткой или мягкой сегментации любой шаблон может иметь определенное «право собственности» на любой отдельный пиксель. Если шаблоны являются гауссовскими, нечеткая сегментация естественным образом приводит к гауссовым смесям. В сочетании с другими аналитическими или геометрическими инструментами (например, фазовые переходы через диффузионные границы) такие пространственно регуляризованные модели смеси могут привести к более реалистичным и вычислительно эффективным методам сегментации. ^[8]

Регистрация набора точек [ править ]

Вероятностные модели смеси, такие как модели смеси Гаусса (GMM), используются для решения проблем регистрации набора точек в области обработки изображений и компьютерного зрения. Для попарной регистрации набора точек один набор точек рассматривается как центроиды моделей смеси, а другой набор точек рассматривается как точки данных (наблюдения). К современным методам относятся, например, когерентный дрейф точки (CPD) ^[9] и модели смеси t-распределения Стьюдента (TMM). ^[10] Результаты недавних исследований демонстрируют превосходство моделей гибридных смесей ^[11] (например, сочетание t-распределения Стьюдента и распределения Ватсона /Распределение Бингема для моделирования пространственных положений и ориентации осей отдельно) по сравнению с CPD и TMM с точки зрения присущей устойчивости, точности и дискриминирующей способности.

Опознаваемость [ править ]

Идентифицируемость означает наличие уникальной характеристики для любой из моделей рассматриваемого класса (семейства). Процедуры оценки могут быть плохо определены, и асимптотическая теория может не работать, если модель не идентифицируема.

Пример [ править ]

Пусть J - класс всех биномиальных распределений с n = 2 . Тогда смесь двух членов J будет иметь

${\displaystyle p_{0}=\pi (1-\theta _{1})^{2}+(1-\pi )(1-\theta _{2})^{2}}$

${\displaystyle p_{1}=2\pi \theta _{1}(1-\theta _{1})+2(1-\pi )\theta _{2}(1-\theta _{2})}$

и p ₂ = 1 - p ₀ - p ₁ . Ясно, что при заданных p ₀ и p ₁ невозможно однозначно определить вышеуказанную модель смеси, поскольку необходимо определить три параметра ( π , θ ₁ , θ ₂ ).

Определение [ править ]

Рассмотрим смесь параметрических распределений одного класса. Позволять

${\displaystyle J=\{f(\cdot ;\theta ):\theta \in \Omega \}}$

быть классом всех компонентных распределений. Тогда выпуклая оболочка К из J определяет класс всех конечных смеси распределений в J :

${\displaystyle K=\left\{p(\cdot ):p(\cdot )=\sum _{i=1}^{n}a_{i}f_{i}(\cdot ;\theta _{i}),a_{i}>0,\sum _{i=1}^{n}a_{i}=1,f_{i}(\cdot ;\theta _{i})\in J\ \forall i,n\right\}}$

K называется идентифицируемым, если все его элементы уникальны, то есть для двух членов p и p ′ в K , являющихся смесью k распределений и k ′ распределений соответственно в J , мы имеем p = p ′ тогда и только тогда, когда, во-первых, k = k ′, а во-вторых, мы можем переупорядочить суммирование так, чтобы a _i = a _i ′ и ƒ _i = ƒ _i ′ для всех i .

Оценка параметров и идентификация системы [ править ]

Параметрические модели смеси часто используются, когда мы знаем распределение Y и можем производить выборку из X , но мы хотели бы определить значения a _i и θ _i . Такие ситуации могут возникать в исследованиях, в которых мы выбираем группу, состоящую из нескольких отдельных субпопуляций.

Принято думать о моделировании смеси вероятностей как о проблеме с отсутствующими данными. Один из способов понять это - предположить, что рассматриваемые точки данных имеют «членство» в одном из распределений, которые мы используем для моделирования данных. Когда мы начинаем, это членство неизвестно или отсутствует. Задача оценки состоит в том, чтобы разработать соответствующие параметры для функций модели, которые мы выбираем, с подключением к точкам данных, представленным как их членство в отдельных распределениях модели.

Было предложено множество подходов к проблеме разложения смеси, многие из которых сосредоточены на методах максимального правдоподобия, таких как максимизация ожидания (EM) или максимальная апостериорная оценка (MAP). Как правило, эти методы рассматривают отдельно вопросы идентификации системы и оценки параметров; Методы определения количества и функциональной формы компонентов в смеси отличаются от методов оценки соответствующих значений параметров. Некоторыми заметными отклонениями являются графические методы, описанные в Tarter and Lock ^[12], и недавние методы минимальной длины сообщения (MML), такие как Figueiredo и Jain ^[13]и до некоторой степени процедуры анализа шаблонов моментального сопоставления, предложенные McWilliam и Loh (2009). ^[14]

Максимизация ожиданий (EM) [ править ]

Максимизация ожидания (EM) - это, по-видимому, самый популярный метод, используемый для определения параметров смеси с заранее заданным числом компонентов. Это особый способ реализации оценки максимального правдоподобия для этой проблемы. EM особенно привлекательна для конечных нормальных смесей, где возможны выражения в замкнутой форме, например, в следующем итерационном алгоритме Демпстера и др. (1977) ^[15]

${\displaystyle w_{s}^{(j+1)}={\frac {1}{N}}\sum _{t=1}^{N}h_{s}^{(j)}(t)}$

${\displaystyle \mu _{s}^{(j+1)}={\frac {\sum _{t=1}^{N}h_{s}^{(j)}(t)x^{(t)}}{\sum _{t=1}^{N}h_{s}^{(j)}(t)}}}$

${\displaystyle \Sigma _{s}^{(j+1)}={\frac {\sum _{t=1}^{N}h_{s}^{(j)}(t)[x^{(t)}-\mu _{s}^{(j+1)}][x^{(t)}-\mu _{s}^{(j+1)}]^{\top }}{\sum _{t=1}^{N}h_{s}^{(j)}(t)}}}$

с апостериорными вероятностями

${\displaystyle h_{s}^{(j)}(t)={\frac {w_{s}^{(j)}p_{s}(x^{(t)};\mu _{s}^{(j)},\Sigma _{s}^{(j)})}{\sum _{i=1}^{n}w_{i}^{(j)}p_{i}(x^{(t)};\mu _{i}^{(j)},\Sigma _{i}^{(j)})}}.}$

Таким образом, на основе текущей оценки параметров, условная вероятность для данного наблюдения x ^{( t )} , генерируемого из состояния s , определяется для каждого t = 1,…, N  ; N - размер выборки. Затем параметры обновляются таким образом, чтобы новые веса компонентов соответствовали средней условной вероятности, а среднее значение и ковариация каждого компонента были средневзвешенными значениями среднего и ковариационного значения для каждого компонента.

Демпстер ^[15] также показал, что каждая последующая итерация ЭМ не будет уменьшать вероятность, а это свойство не присуще другим методам максимизации на основе градиента. Более того, EM естественным образом включает в себя ограничения на вектор вероятности, и для достаточно больших размеров выборки повторяется положительная определенность ковариации. Это ключевое преимущество, поскольку методы с явными ограничениями требуют дополнительных вычислительных затрат для проверки и поддержания соответствующих значений. Теоретически EM является алгоритмом первого порядка и поэтому медленно сходится к решению с фиксированной точкой. Реднер и Уокер (1984) ^{[ требуется полная ссылка ]}утверждают, что аргументируют это в пользу суперлинейных методов Ньютона и квазиньютона второго порядка и сообщают о медленной сходимости в ЭМ на основе их эмпирических тестов. Они действительно признают, что сходимость в вероятности была быстрой, даже если сходимости в самих значениях параметров не было. Относительные преимущества EM и других алгоритмов по сравнению с конвергенцией обсуждались в другой литературе. ^[16]

Другие распространенные возражения против использования ЭМ заключаются в том, что он имеет склонность к ложному определению локальных максимумов, а также к отображению чувствительности к начальным значениям. ^{[17] [18]} Эти проблемы можно решить, оценивая ЭМ в нескольких начальных точках в пространстве параметров, но это требует больших затрат вычислительных ресурсов и других подходов, таких как метод ЭМ отжига Удэа и Накано (1998) (в котором начальные компоненты по существу вынуждены перекрываться, обеспечивая менее разнородную основу для первоначальных предположений), может быть предпочтительнее.

Фигейредо и Джайн ^[13] отмечают, что сходимость к «бессмысленным» значениям параметров, полученным на границе (где нарушение условий регулярности, например, Ghosh and Sen (1985)), часто наблюдается, когда количество компонентов модели превышает оптимальное / истинное. На этой основе они предлагают единый подход к оценке и идентификации, при котором начальное n выбирается так, чтобы оно значительно превышало ожидаемое оптимальное значение. Их процедура оптимизации построена на основе критерия минимальной длины сообщения (MML), который эффективно исключает компонент-кандидат, если для его поддержки недостаточно информации. Таким образом, можно систематизировать сокращения n и рассматривать оценку и идентификацию совместно.

Алгоритм Expectation-максимизация может быть использован для вычисления параметров параметрического распределения модельной смеси (в а _я и θ _я ). Это итеративный алгоритм с двумя шагами: шаг ожидания и шагом максимизации . Практические примеры EM и Mixture Modeling включены в демонстрации SOCR .

Шаг ожидания [ править ]

С начальными предположениями о параметрах нашей модели смеси, «частичное членство» каждой точки данных в каждом распределении составляющих вычисляется путем вычисления значений ожидания для переменных членства каждой точки данных. То есть для каждой точки данных x _j и распределения Y _i значение членства y _{i , j} равно:

${\displaystyle y_{i,j}={\frac {a_{i}f_{Y}(x_{j};\theta _{i})}{f_{X}(x_{j})}}.}$

Шаг максимизации [ править ]

Имея ожидаемые значения для членства в группе, оценки подключаемых модулей повторно вычисляются для параметров распределения.

Коэффициенты смешивания a _i представляют собой средние значения значений принадлежности по N точкам данных.

${\displaystyle a_{i}={\frac {1}{N}}\sum _{j=1}^{N}y_{i,j}}$

Параметры модели компонента θ _i также вычисляются путем максимизации ожидания с использованием точек данных x _j , которые были взвешены с использованием значений принадлежности. Например, если θ - среднее μ

${\displaystyle \mu _{i}={\frac {\sum _{j}y_{i,j}x_{j}}{\sum _{j}y_{i,j}}}.}$

С новыми оценками для в _I а θ _я ' s, шаг ожидания повторяется пересчитывать новые значения членства. Вся процедура повторяется до схождения параметров модели.

Цепь Маркова Монте-Карло [ править ]

В качестве альтернативы алгоритму EM параметры модели смеси могут быть выведены с использованием апостериорной выборки, как указано в теореме Байеса . Это все еще рассматривается как проблема неполных данных, когда принадлежность точек данных является недостающими данными. Можно использовать двухэтапную итеративную процедуру, известную как выборка Гиббса .

Предыдущий пример смеси двух гауссовых распределений может продемонстрировать, как работает метод. Как и прежде, делаются первоначальные предположения о параметрах модели смеси. Вместо вычисления частичного членства для каждого элементарного распределения значение членства для каждой точки данных берется из распределения Бернулли (то есть оно будет присвоено либо первому, либо второму гауссову). Параметр Бернулли θ определяется для каждой точки данных на основе одного из составляющих распределений. ^{[ расплывчато ]} Чертежи из распределения создают ассоциации членства для каждой точки данных. Затем можно использовать дополнительные модули оценки, как на этапе M программы EM, для создания нового набора параметров модели смеси, и повторить этап биномиального рисования.

Соответствие моментов [ править ]

Метод согласования моментов является одним из старейших методов для определения параметров смеси , уходящих к оригинальной работе Карла Пирсона 1894. В этом подходе параметры смеси определена таким образом, что композиционное распределение имеет моменты соответствия некоторое заданное значения. Во многих случаях получение решений моментных уравнений может представлять нетривиальные алгебраические или вычислительные проблемы. Более того, численный анализ Дэя ^[19] показал, что такие методы могут быть неэффективными по сравнению с ЭМ. Тем не менее, интерес к этому методу возобновился, например, Craigmile, Titterington (1998) и Wang. ^[20]

McWilliam и Loh (2009) рассматривают характеристику гиперкубовидной нормальной смешанной связки в системах большой размерности, для которых EM была бы недопустимой с вычислительной точки зрения. Здесь процедура анализа паттернов используется для генерации многомерных хвостовых зависимостей, согласующихся с набором одномерных и (в некотором смысле) двумерных моментов. Затем эффективность этого метода оценивается с использованием данных логарифма доходности капитала со статистикой теста Колмогорова – Смирнова, предполагающей хорошее описательное соответствие.

Спектральный метод [ править ]

Некоторые задачи оценки модели смеси могут быть решены с помощью спектральных методов . В частности, это становится полезным, если точки данных x _i являются точками в многомерном реальном пространстве , а скрытые распределения известны как логарифмически вогнутые (например, распределение Гаусса или экспоненциальное распределение ).

Спектральные методы обучения смешанным моделям основаны на использовании сингулярного разложения матрицы, содержащей точки данных. Идея состоит в том, чтобы рассмотреть верхние k особых векторов, где k - количество распределений, которые необходимо изучить. Проекция каждой точки данных на линейное подпространство, охватываемое этими векторами, группирует точки, происходящие из одного распределения, очень близко друг к другу, в то время как точки из разных распределений остаются далеко друг от друга.

Отличительной особенностью спектрального метода является то, что он позволяет доказать, что если распределения удовлетворяют определенному условию разделения (например, не слишком близко), то оцененная смесь будет очень близка к истинной с большой вероятностью.

Графические методы [ править ]

Тартер и Лок ^[12] описывают графический подход к идентификации смеси, в котором функция ядра применяется к эмпирическому графику частот, чтобы уменьшить внутрикомпонентную дисперсию. Таким образом можно легче идентифицировать компоненты, имеющие разные средства. Хотя этот λ- метод не требует предварительного знания количества или функциональной формы компонентов, его успех зависит от выбора параметров ядра, которые до некоторой степени неявно включают предположения о структуре компонента.

Другие методы [ править ]

Некоторые из них, вероятно, могут даже изучить смеси распределений с тяжелыми хвостами, включая распределения с бесконечной дисперсией (см. Ссылки на статьи ниже). В этой настройке методы на основе EM не будут работать, так как шаг ожидания будет отличаться из-за наличия выбросов .

Симуляция [ править ]

Чтобы смоделировать выборку размера N, которая является смесью распределений F _i , от i = 1 до n , с вероятностями p _i (сумма =  p _i  = 1):

1. Сгенерируйте N случайных чисел из категориального распределения размера n и вероятностей p _i для i = 1 = до  n . Они говорят вам, из какого F _i будет происходить каждое из N значений. Обозначим через m _i количество случайных чисел, отнесенных к i- ^й категории.
2. Для каждого i сгенерируйте m _i случайных чисел из распределения F _i .

Расширения [ править ]

В байесовской настройке к графической модели могут быть добавлены дополнительные уровни, определяющие модель смеси. Например, в общей скрытой модели распределения тем Дирихле наблюдения представляют собой наборы слов, взятых из D разных документов, а компоненты смеси K представляют темы, которые используются в разных документах. Каждый документ имеет различный набор весов смеси, которые определяют преобладающие в этом документе темы. Все наборы весов смеси имеют общие гиперпараметры .

Очень распространенным расширением является соединение скрытых переменных, определяющих идентичности компонентов смеси, в цепь Маркова вместо того, чтобы предполагать, что они являются независимыми одинаково распределенными случайными величинами. Результирующая модель называется скрытой марковской моделью и является одной из наиболее распространенных последовательных иерархических моделей. Были разработаны многочисленные расширения скрытых марковских моделей; см. получившуюся статью для получения дополнительной информации.

История [ править ]

Распределение смеси и проблема разложения смеси, то есть идентификация составляющих ее компонентов и их параметров, цитировались в литературе еще в 1846 году (Quetelet in McLachlan, ^[17] 2000), хотя обычно упоминается работа Карла Пирсона (1894 г.) ^[21] как первого автора, который явно обратился к проблеме разложения при характеристике ненормальных атрибутов отношения лба к длине тела в популяциях самок берегового краба. Мотивация для этой работы была предоставлена ​​зоологом Уолтером Фрэнком Рафаэлем Велдоном, который предположил в 1893 году (в Tarter and Lock ^[12]), что асимметрия гистограммы этих соотношений может сигнализировать об эволюционной дивергенции. Подход Пирсона заключался в подгонке одномерной смеси двух нормалей к данным путем выбора пяти параметров смеси таким образом, чтобы эмпирические моменты совпадали с модельными.

Хотя его работа была успешной в идентификации двух потенциально различных субпопуляций и в демонстрации гибкости смесей в качестве инструмента согласования моментов, формулировка требовала решения полинома 9-й степени (нонического), что в то время представляло собой значительную вычислительную проблему.

Последующие работы были сосредоточены на решении этих проблем, но только с появлением современного компьютера и популяризацией методов параметризации методом максимального правдоподобия (MLE) исследования стали действительно популярными . ^[22] С того времени было проведено огромное количество исследований по этой теме, охватывающей такие области, как исследования рыболовства , сельское хозяйство , ботаника , экономика , медицина , генетика , психология , палеонтология , электрофорез , финансы , геология и зоология . ^[23]

См. Также [ править ]

Смесь [ править ]

• Плотность смеси
• Смесь (вероятность)
• Гибкая модель смеси (FMM)

Иерархические модели [ править ]

• Графическая модель
• Иерархическая байесовская модель

Обнаружение выбросов [ править ]

• RANSAC

Ссылки [ править ]

Дальнейшее чтение [ править ]

Книги по моделям смесей [ править ]

• Everitt, BS; Рука, DJ (1981). Распределения конечной смеси . Чепмен и Холл. ISBN 978-0-412-22420-1.
• Линдси, Б.Г. (1995). Смесительные модели: теория, геометрия и приложения . Серия региональных конференций NSF-CBMS по вероятности и статистике. 5 . Хейворд: Институт математической статистики.
• Марин, JM; Менгерсен, К .; Роберт, КП (2011). «Байесовское моделирование и вывод на смесях распределений» (PDF) . In Dey, D .; Рао, CR (ред.). Основные байесовские модели . Справочник по статистике: байесовское мышление - моделирование и вычисления. 25 . Эльзевир. ISBN 9780444537324.
• McLachlan, GJ; Пил, Д. (2000). Модели конечной смеси . Вайли. ISBN 978-0-471-00626-8.
• Нажмите, WH; Теукольский С.А.; Феттерлинг, штат Вашингтон; Фланнери, ВР (2007). «Раздел 16.1. Модели гауссовской смеси и кластеризация k-средних» . Числовые рецепты: искусство научных вычислений (3-е изд.). Нью-Йорк: Издательство Кембриджского университета. ISBN 978-0-521-88068-8.
• Titterington, D .; Smith, A .; Маков У. (1985). Статистический анализ распределений конечной смеси . Вайли. ISBN 978-0-471-90763-3.

Применение моделей гауссовой смеси [ править ]

1. Рейнольдс, DA; Роуз, RC (январь 1995 г.). «Надежная независимая от текста идентификация говорящего с использованием моделей говорящего на смеси Гаусса». IEEE Transactions по обработке речи и звука . 3 (1): 72–83. DOI : 10.1109 / 89.365379 .
2. Permuter, H .; Francos, J .; Джермин, IH (2003). Модели гауссовой смеси текстуры и цвета для поиска в базе данных . Международная конференция IEEE по акустике, речи и обработке сигналов , 2003. Труды (ICASSP '03). DOI : 10.1109 / ICASSP.2003.1199538 .
   • Пермутер, Хаим; Франко, Джозеф; Джермин, Ян (2006). «Исследование гауссовских моделей смеси цветов и свойств текстуры для классификации и сегментации изображений» (PDF) . Распознавание образов . 39 (4): 695–706. DOI : 10.1016 / j.patcog.2005.10.028 .
3. Лемке, Вольфганг (2005). Моделирование и оценка структуры терминов в рамках пространства состояний . Springer Verlag. ISBN 978-3-540-28342-3.
4. Бриго, Дамиано ; Меркурио, Фабио (2001). Смещенные и смешанные диффузии для аналитически поддающихся обработке моделей улыбки . Математические финансы - Конгресс бакалавриата 2000. Труды. Springer Verlag.
5. Бриго, Дамиано; Меркурио, Фабио (июнь 2002 г.). «Логнормальная динамика смеси и калибровка волатильности рынка улыбается». Международный журнал теоретических и прикладных финансов . 5 (4): 427. CiteSeerX  10.1.1.210.4165 . DOI : 10.1142 / S0219024902001511 .
6. Сполл, JC; Марьяк, JL (1992). «Возможная байесовская оценка квантилей точности снаряда на основе не-iid данных». Журнал Американской статистической ассоциации . 87 (419): 676–681. DOI : 10.1080 / 01621459.1992.10475269 . JSTOR  2290205 .
7. Александр, Кэрол (декабрь 2004 г.). «Нормальная диффузия смеси с неопределенной летучестью: моделирование краткосрочных и долгосрочных эффектов улыбки» (PDF) . Журнал "Банковское дело и финансы" . 28 (12): 2957–80. DOI : 10.1016 / j.jbankfin.2003.10.017 .
8. Стилиану, Яннис; Пантазис, Яннис; Кальдереро, Фелипе; Ларрой, Педро; Северин, Франсуа; Шимке, Саша; Бонал, Роландо; Матта, Федерико; Валсамакис, Афанасиос (2005). Мультимодальная биометрическая проверка на основе GMM (PDF) .
9. Chen, J .; Adebomi, 0.E .; Olusayo, OS; Кулеша, В. (2010). Оценка плотности гипотезы вероятности гауссовой смеси для отслеживания нескольких целей . Международная конференция IEEE по системам и методам обработки изображений , 2010 г. doi : 10.1109 / IST.2010.5548541 .

Внешние ссылки [ править ]

• Нильсен, Франк (23 марта 2012 г.). «K-MLE: быстрый алгоритм для изучения моделей статистической смеси».k -MLE: быстрый алгоритм для изучения моделей статистической смеси . 2012 Международная конференция IEEE по акустике, обработке речи и сигналов (ICASSP) . С. 869–872. arXiv : 1203.5181 . Bibcode : 2012arXiv1203.5181N . DOI : 10.1109 / ICASSP.2012.6288022 . ISBN 978-1-4673-0046-9. S2CID  935615 .
• В SoCR демонстрации ЭМ , а смесь моделирования
• Страница моделирования смеси (и программа Snob для минимальной длины сообщения ( MML ), применяемая к моделям конечной смеси), поддерживаемая DL Dowe.
• PyMix - Python Mixture Package, алгоритмы и структуры данных для широкого спектра приложений интеллектуального анализа данных на основе смешанных моделей в Python
• sklearn.mixture - пакет Python для изучения моделей гауссовской смеси (и выборки из них), ранее упакованный с SciPy, а теперь упакованный как SciKit
• GMM.m код Matlab для реализации GMM
• GPUmix C ++ реализация байесовских моделей смеси с использованием EM и MCMC со 100-кратным ускорением с использованием GPGPU.
• [3] Код Matlab для реализации GMM с использованием алгоритма EM.
• [4] jMEF: Java-библиотека с открытым исходным кодом для изучения и обработки смесей экспоненциальных семейств (с использованием двойственности с расходимостями Брегмана). Включает оболочку Matlab.
• Очень быстрая и чистая реализация C из Ожидание Максимизация алгоритма (EM) для оценки гауссовой смеси Модели (ГММ).
• mclust - это пакет R для моделирования смеси.
• dpgmm Реализация модели гауссовской смеси процесса Дирихле на чистом Python (вариационная).
• Гауссовая смесь Модель Блог пост на гауссовой смесь Модели обученной через Максимизацию Ожидания, с реализацией в Python.