Распределение смеси

В вероятности и статистики , A распределение смеси является распределение вероятностей из случайной величины , которое получено из коллекции других случайных величин следующим образом : во- первых, случайная величина выбирается случайно из коллекции в соответствии с заданными вероятностей отбора, а затем реализуется значение выбранной случайной величины. Базовые случайные величины могут быть случайными действительными числами или случайными векторами (каждый из которых имеет одинаковую размерность), и в этом случае смешанное распределение является многомерным распределением .

В случаях, когда каждая из лежащих в основе случайных величин является непрерывной , итоговая переменная также будет непрерывной, а ее функция плотности вероятности иногда называется плотностью смеси . Интегральная функция распределения (и функция плотности вероятности , если она существует) может быть выражено в виде комбинации выпуклой (т.е. взвешенной суммы, с неотрицательными весами , что сумма в 1) других функций распределения и функции плотности. Отдельные распределения, которые объединяются для формирования распределения смеси, называются компонентами смеси , а вероятности (или веса), связанные с каждым компонентом, называютсямассы смеси . Количество компонентов в распределении смеси часто ограничивается конечным числом , хотя в некоторых случаях количество компонентов может быть бесконечным . Более общие случаи (т. Е. Бесчисленное множество распределений компонентов), а также счетный случай рассматриваются под названием составных распределений .

Необходимо проводить различие между случайной величиной , функция распределения или плотность которой является суммой набора компонентов (т. Е. Смешанным распределением), и случайной величиной, значение которой является суммой значений двух или более основных случайных величин, в в этом случае распределение задается оператором свертки . Например, сумма двух совместно нормально распределенных случайных величин, каждая с разными средними значениями, по-прежнему будет иметь нормальное распределение. С другой стороны, плотность смеси, созданная как смесь двух нормальных распределений с разными средними значениями, будет иметь два пика при условии, что два средних значения достаточно далеко друг от друга, показывая, что это распределение радикально отличается от нормального распределения.

Смешанные распределения возникают во многих контекстах в литературе и возникают естественным образом, когда статистическая совокупность содержит две или более субпопуляции . Они также иногда используются как средство представления ненормальных распределений. Анализ данных, касающихся статистических моделей, включающих распределения смесей, обсуждается под названием « модели смесей» , в то время как в данной статье основное внимание уделяется простым вероятностным и статистическим свойствам распределений смесей и их соотношению со свойствами лежащих в основе распределений.

Конечные и счетные смеси [ править ]

Плотность смеси трех нормальных распределений ( μ  = 5, 10, 15, σ  = 2) с равными весами. Каждый компонент показан как взвешенная плотность (каждый интегрируется с точностью до 1/3).

Дан конечный набор функций плотности вероятности p ₁ ( x ),…, p _n ( x ) или соответствующих кумулятивных функций распределения P ₁ ( x ),…, P _n ( x ) и весов w ₁ ,…, w _n, таких что w _i ≥ 0 и ∑ w _i = 1, распределение смеси можно представить, записав либо плотность, f , либо функцию распределения, F, в виде суммы (которая в обоих случаях представляет собой выпуклую комбинацию):

${\ Displaystyle F (x) = \ sum _ {i = 1} ^ {n} \, w_ {i} \, P_ {i} (x),}$

${\ displaystyle f (x) = \ sum _ {i = 1} ^ {n} \, w_ {i} \, p_ {i} (x).}$

Этот тип смеси, являющейся конечной суммой, называется конечной смесью, и в приложениях безоговорочная ссылка на «плотность смеси» обычно означает конечную смесь. Случай счетно бесконечного множества компонентов формально покрывается разрешением .${\ Displaystyle п = \ infty \!}$

Бесчисленные смеси [ править ]

Если набор распределений компонентов неисчислим , результат часто называют составным распределением вероятностей . Построение таких распределений имеет формальное сходство с построением распределений смесей: либо бесконечные суммирования, либо интегралы заменяют конечные суммирования, используемые для конечных смесей.

Рассмотрим функцию плотности вероятности p ( x ; a ) для переменной x , параметризованной a . То есть, для каждого значения в некотором множестве А , р ( х ; а ) представляет собой функцию плотности вероятности относительно х . Учитывая функцию плотности вероятности w (что означает, что w неотрицательна и интегрируется с 1), функция

${\ Displaystyle е (х) = \ int _ {A} \, w (a) \, p (x; a) \, da}$

снова является функцией плотности вероятности для x . Аналогичный интеграл можно записать для интегральной функции распределения. Обратите внимание, что формулы здесь сводятся к случаю конечной или бесконечной смеси, если плотности w разрешено быть обобщенной функцией, представляющей «производную» кумулятивной функции распределения дискретного распределения .

Смеси в параметрическом семействе [ править ]

Компоненты смеси часто не являются произвольными распределениями вероятностей, а вместо этого являются членами параметрического семейства (например, нормального распределения) с разными значениями параметра или параметров. В таких случаях, предполагая, что она существует, плотность может быть записана в виде суммы как:

${\ displaystyle f (x; a_ {1}, \ ldots, a_ {n}) = \ sum _ {i = 1} ^ {n} \, w_ {i} \, p (x; a_ {i}) }$

для одного параметра, или

${\displaystyle f(x;a_{1},\ldots ,a_{n},b_{1},\ldots ,b_{n})=\sum _{i=1}^{n}\,w_{i}\,p(x;a_{i},b_{i})}$

для двух параметров и так далее.

Свойства [ править ]

Выпуклость [ править ]

Общая линейная комбинация функций плотности вероятности не обязательно является плотностью вероятности, поскольку она может быть отрицательной или может интегрироваться с чем-то отличным от 1. Однако выпуклая комбинация функций плотности вероятности сохраняет оба этих свойства (неотрицательность и интеграцию 1), и, таким образом, плотности смеси сами являются функциями плотности вероятности.

Моменты [ править ]

Пусть X ₁ , ..., X _n обозначают случайные величины из n распределений компонентов, и пусть X обозначает случайную величину из распределения смеси. Тогда для любой функции H (·), для которой существует, и предполагая, что существуют плотности компонентов p _i ( x ),${\displaystyle \operatorname {E} [H(X_{i})]}$

${\displaystyle {\begin{aligned}\operatorname {E} [H(X)]&=\int _{-\infty }^{\infty }H(x)\sum _{i=1}^{n}w_{i}p_{i}(x)\,dx\\&=\sum _{i=1}^{n}w_{i}\int _{-\infty }^{\infty }p_{i}(x)H(x)\,dx=\sum _{i=1}^{n}w_{i}\operatorname {E} [H(X_{i})].\end{aligned}}}$

J - й момента около нуля (т.е. выбора Н ( х ) = х ^J ) является просто взвешенным средним J - й минуты компонентов. Моменты относительно среднего H ( x ) = ( x - μ ) ^j связаны с биномиальным расширением: ^[1]

${\displaystyle {\begin{aligned}\operatorname {E} [(X-\mu )^{j}]&=\sum _{i=1}^{n}w_{i}\operatorname {E} [(X-\mu _{i}+\mu _{i}-\mu )^{j}]\\&=\sum _{i=1}^{n}w_{i}\sum _{k=0}^{j}\left({\begin{array}{c}j\\k\end{array}}\right)(\mu _{i}-\mu )^{j-k}\operatorname {E} [(X-\mu _{i})^{k}],\end{aligned}}}$

где μ _i обозначает среднее значение i- го компонента.

В случае смеси одномерных распределений с весами w _i , средними μ _i и дисперсиями σ _i ² общее среднее значение и дисперсия будут:

${\displaystyle \operatorname {E} [X]=\mu =\sum _{i=1}^{n}w_{i}\mu _{i},}$

${\displaystyle {\begin{aligned}\operatorname {E} [(X-\mu )^{2}]&=\sigma ^{2}\\&=\operatorname {E} [X^{2}]-\mu ^{2}&(\mathrm {standard} \ \mathrm {variance} \ \mathrm {reformulation} )\\&=\left(\sum _{i=1}^{n}w_{i}(\operatorname {E} [X_{i}^{2}])\right)-\mu ^{2}\\&=\left(\sum _{i=1}^{n}w_{i}(\sigma _{i}^{2}+\mu _{i}^{2})\right)-\mu ^{2}&(\mathrm {from} \ \sigma _{i}^{2}=\operatorname {E} [X_{i}^{2}]-\mu _{i}^{2},\mathrm {therefore} \ ,\operatorname {E} [X_{i}^{2}]=\sigma _{i}^{2}+\mu _{i}^{2})\\&=\sum _{i=1}^{n}w_{i}(\sigma _{i}^{2}+\mu _{i}^{2}-\mu ^{2}).\end{aligned}}}$

Эти отношения подчеркивают потенциал смешанных распределений для отображения нетривиальных моментов высшего порядка, таких как асимметрия и эксцесс ( толстые хвосты ) и многомодальность, даже при отсутствии таких функций внутри самих компонентов. Маррон и Ванд (1992) дают иллюстративное описание гибкости этой структуры. ^[2]

Режимы [ править ]

Вопрос о мультимодальности прост для некоторых случаев, например для смесей экспоненциальных распределений : все такие смеси унимодальны . ^[3] Однако для случая смесей нормальных распределений это сложный вопрос. Условия для количества мод в многомерной нормальной смеси исследуются Рэем и Линдси ^[4], расширяя более раннюю работу по одномерным ^{[5] [6]} и многомерным распределениям (Carreira-Perpinan and Williams, 2003 ^[7] ).

Здесь проблема оценки режимов n- компонентной смеси в D- мерном пространстве сводится к выявлению критических точек (локальных минимумов, максимумов и седловых точек) на многообразии, называемом поверхностью гребня, которое является изображением функция линии гребня

${\displaystyle x^{*}(\alpha )=\left[\sum _{i=1}^{n}\alpha _{i}\Sigma _{i}^{-1}\right]^{-1}\times \left[\sum _{i=1}^{n}\alpha _{i}\Sigma _{i}^{-1}\mu _{i}\right],}$

где α принадлежит n - 1 мерному единичному симплексу, а Σ _i ∈ R ^{D × D} , μ _i ∈ R ^D соответствуют ковариации и среднему значению i- ^го компонента. Ray и Lindsay ^[4] рассматривают случай, когда n - 1 < D, демонстрируя взаимно однозначное соответствие режимов смеси и режимов на функции возвышения h ( α ) = q ( x * ( α ))${\displaystyle {\mathcal {S}}_{n}=\{\alpha \in \mathbb {R} ^{n}:\alpha _{i}\in [0,1],\sum _{i=1}^{n}\alpha _{i}=1\}}$ таким образом, можно идентифицировать режимы путем решения относительно α и определения значения x * ( α ).${\displaystyle {\frac {dh(\alpha )}{d\alpha }}=0}$

Используя графические инструменты, демонстрируется потенциальная мультимодальность смесей n = {2, 3 }; в частности, показано, что количество режимов может превышать n и что режимы могут не совпадать со средствами компонента. Для двух компонентов они разрабатывают графический инструмент для анализа, вместо этого решая вышеупомянутый дифференциал относительно w ₁ и выражая решения как функцию Π ( α ), α ∈ [0, 1], так что количество и расположение мод для заданное значение w ₁ соответствует количеству пересечений графика на прямой Π ( α ) = w ₁. Это, в свою очередь, может быть связано с количеством колебаний графика и, следовательно, с решениями, приводящими к явному решению для двухкомпонентной гомоскедастической смеси, задаваемой формулой${\displaystyle {\frac {d\Pi (\alpha )}{d\alpha }}=0}$

${\displaystyle 1-\alpha (1-\alpha )d_{M}(\mu _{1},\mu _{2},\Sigma )^{2}}$

где d _M ( μ ₁ , μ ₂ , Σ) = ( μ ₂ - μ ₁ ) ^T Σ ⁻¹ ( μ ₂ - μ ₁ ) - расстояние Махаланобиса .

Поскольку приведенное выше является квадратичным, в этом случае существует не более двух режимов независимо от размера или веса.

Примеры [ править ]

Два нормальных распределения [ править ]

Простые примеры могут быть даны смесью двух нормальных распределений. (Подробнее см. Мультимодальное распределение # Смесь двух нормальных распределений .)

При равной (50/50) смеси двух нормальных распределений с одинаковым стандартным отклонением и разными средними значениями ( гомоскедастический ) общее распределение будет демонстрировать низкий эксцесс по сравнению с одним нормальным распределением - средние значения субпопуляций ложатся на плечи общее распространение. Если они достаточно разделены, а именно двойным (общим) стандартным отклонением, то они образуют бимодальное распределение , в противном случае оно просто имеет широкий пик. ^[8] Вариация общей популяции также будет больше, чем вариация двух субпопуляций (из-за разброса от разных средств), и, таким образом, демонстрирует избыточную дисперсию по сравнению с нормальным распределением с фиксированной вариацией.${\displaystyle \left|\mu _{1}-\mu _{2}\right|>2\sigma ,}$${\displaystyle \sigma ,}$ хотя он не будет чрезмерно диспергирован относительно нормального распределения с вариацией, равной вариации всего населения.

В качестве альтернативы, учитывая две субпопуляции с одним и тем же средним значением и разными стандартными отклонениями, общая популяция будет демонстрировать высокий эксцесс, с более резким пиком и более тяжелыми хвостами (и, соответственно, более мелкими плечами), чем в одном распределении.

• Одномерное распределение смеси, показывающее бимодальное распределение

• Многомерное распределение смеси, показывающее четыре режима

Нормальное распределение и распределение Коши [ править ]

Следующий пример заимствован из Хэмпела ^[9], который верит в Джона Тьюки .

Рассмотрим распределение смеси, определяемое формулой

F ( x ) = (1-10 ⁻¹⁰ ) ( стандартная норма ) + l0 ⁻¹⁰ ( стандартная норма Коши ) .

Среднее значение iid наблюдений из F ( x ) ведет себя «нормально», за исключением непомерно больших выборок, хотя среднее значение F ( x ) даже не существует.

Приложения [ править ]

Плотности смеси - это сложные плотности, которые можно выразить в терминах более простых плотностей (компонентов смеси), и они используются как потому, что они обеспечивают хорошую модель для определенных наборов данных (где разные подмножества данных демонстрируют разные характеристики и их лучше всего моделировать отдельно), так и потому что они могут быть более математически понятными, потому что отдельные компоненты смеси могут быть более легко изучены, чем общая плотность смеси.

Плотность смеси можно использовать для моделирования статистической совокупности с субпопуляциями , где компоненты смеси - это плотности субпопуляций, а веса - это доли каждой субпопуляции в общей популяции.

Плотность смеси также может использоваться для моделирования экспериментальной ошибки или загрязнения - предполагается, что большинство образцов измеряют желаемое явление,

Параметрическая статистика, предполагающая отсутствие ошибок, часто терпит неудачу при такой плотности смеси - например, статистика, предполагающая нормальность, часто терпит неудачу при наличии даже нескольких выбросов - и вместо этого используется надежная статистика .

В метаанализе отдельных исследований неоднородность исследований приводит к тому, что распределение результатов является смешанным , что приводит к чрезмерному разбросу результатов относительно предсказанной ошибки. Например, в статистическом обследовании , то погрешность (определяется размером выборки) предсказывает ошибку выборки и , следовательно , дисперсию результатов на повторных обследованиях. Наличие неоднородности исследования (исследования имеют разную систематическую ошибку выборки ) увеличивает разброс относительно предела погрешности.

См. Также [ править ]

• Составное распределение
• Выпуклая комбинация
• Алгоритм ожидания-максимизации (EM)
• Не путать со списком сверток вероятностных распределений
• Распространение продукции

Смесь [ править ]

• Смесь (вероятность)
• Модель смеси

Иерархические модели [ править ]

• Графическая модель
• Иерархическая байесовская модель

Примечания [ править ]

Ссылки [ править ]

• Фрювирт-Шнаттер, Сильвия (2006), Конечная смесь и модели марковского переключения , Springer, ISBN 978-1-4419-2194-9
• Линдси, Брюс Г. (1995), Модели смесей: теория, геометрия и приложения , Серия региональных конференций NSF-CBMS по вероятности и статистике, 5 , Хейворд, Калифорния, США: Институт математической статистики, ISBN 0-940600-32-3, JSTOR  4153184
• Зайдель, Вильфрид (2010), «Модели смесей», в Lovric, M. (ed.), International Encyclopedia of Statistical Science , Heidelberg: Springer, pp. 827–829, arXiv : 0909.0389 , doi : 10.1007 / 978-3- 642-04898-2 , ISBN 978-3-642-04898-2