Составное распределение вероятностей

В вероятности и статистике , А распределение соединения вероятности (также известное как распределение смеси или контагиозное распределение ) является распределением вероятностей , что результаты при условии , что случайная величина распределена в соответствии с некоторым параметризованномом распределения, причем (некоторые) параметрами этого распределения сами являются случайными величинами. Если параметр является масштабным параметром , полученная смесь также называется масштабной смесью .

Составное распределение («безусловное распределение») является результатом маргинализации (интегрирования) по скрытой случайной величине (ам), представляющей параметр (ы) параметризованного распределения («условное распределение»).

Определение [ править ]

Распределение вероятностей соединения является распределением вероятности того, что результаты при условии , что случайная величина распределена по некоторому параметризованному распределения с неизвестным параметром , который снова распределяется в соответствии с каким - либо другим распределением . Получившееся распределение называется распределением, полученным в результате сложения с . Распределение параметра также называется распределением смешивания или скрытым распределением . Технически безусловное распределение является результатом маргинализации более ${\ displaystyle X}$ ${\ displaystyle F}$ ${\ displaystyle \ theta}$ ${\ displaystyle G}$ ${\ displaystyle H}$ ${\ displaystyle F}$ ${\ displaystyle G}$ ${\ displaystyle G}$ ${\ displaystyle H}$ ${\ displaystyle G}$ , т. е. от интегрирования неизвестного параметра (ов) . Его функция плотности вероятности определяется как: ${\ displaystyle \ theta}$

{\ displaystyle p_ {H} (x) = {\ displaystyle \ int \ limits p_ {F} (x | \ theta) \, p_ {G} (\ theta) \ operatorname {d} \! \ theta}}

Та же формула применяется аналогично, если некоторые или все переменные являются векторами.

Из приведенных выше формул, можно увидеть , что распределение соединения по существу является частным случаем маргинального распределения : совместное распределение по и задается , и соединение его результаты , как маргинальное распределение: . Если область дискретна, то распределение снова является частным случаем смешанного распределения . ${\ displaystyle x}$ ${\ displaystyle \ theta}$ ${\ Displaystyle п (х, \ тета) = п (х | \ тета) р (\ тета)}$ ${\ displaystyle {\ textstyle p (x) = \ int p (x, \ theta) \ operatorname {d} \! \ theta}}$ ${\ displaystyle \ theta}$

Свойства [ править ]

Составное распределение во многом напоминает исходное распределение, которое его сгенерировало, но обычно имеет большую дисперсию и часто также тяжелые хвосты . Поддержка из такой же , как поддержка со стороны , и часто форма во многом аналогична , как хорошо. Параметры включают любые параметры из или , которые не были исключены. ${\ displaystyle H}$ ${\ displaystyle F}$ ${\ displaystyle H}$ ${\ displaystyle F}$ ${\ displaystyle H}$ ${\ displaystyle G}$ ${\ displaystyle F}$

Первые два момента составного распределения даются

{\ displaystyle \ operatorname {E} _ {H} [X] = \ operatorname {E} _ {G} {\ bigl [} \ operatorname {E} _ {F} [X | \ theta] {\ bigr]} }

а также

\operatorname {Var} _{H}(X)=\operatorname {E} _{G}{\bigl [}\operatorname {Var} _{F}(X|\theta ){\bigr ]}+\operatorname {Var} _{G}{\bigl (}\operatorname {E} _{F}[X|\theta ]{\bigr )}

( Закон полной дисперсии ).

Приложения [ править ]

Тестирование [ править ]

Распределения общей статистики теста получаются в виде составных распределений в соответствии с их нулевой гипотезой, например, в t-критерии Стьюдента (где статистические результаты теста представлены как соотношение нормальной и случайной величины хи-квадрат ) или в F-тесте (где статистика теста - это отношение двух случайных величин хи-квадрат ).

Моделирование сверхдисперсии [ править ]

Составные распределения полезны для моделирования результатов, демонстрирующих чрезмерную дисперсию , т. Е. Большую вариативность, чем можно было бы ожидать в рамках определенной модели. Например, данные подсчета обычно моделируются с использованием распределения Пуассона , дисперсия которого равна его среднему значению. Распределение может быть обобщено с учетом изменчивости его параметра скорости , реализованного через гамма-распределение , что приводит к маргинальному отрицательному биномиальному распределению . Это распределение похоже по форме на распределение Пуассона, но допускает большие отклонения. Точно так же биномиальное распределение можно обобщить, чтобы учесть дополнительную изменчивость, добавив к немубета-распределение для параметра вероятности успеха, что приводит к бета-биномиальному распределению .

Байесовский вывод [ править ]

Помимо повсеместных маргинальных распределений, которые можно рассматривать как частные случаи составных распределений, в байесовском выводе составные распределения возникают, когда в приведенных выше обозначениях F представляет собой распределение будущих наблюдений, а G - апостериорное распределение параметров F , учитывая информация в наборе наблюдаемых данных. Это дает апостериорное прогнозирующее распределение . Соответственно, для предварительного предиктивного распределения , F является распределением новой точки данных в то время как G является априорным распределением параметров.

Свертка [ править ]

Свертка распределений вероятностей (для получения распределения вероятностей сумм случайных величин) также может рассматриваться как частный случай сложения; здесь распределение суммы по существу является результатом рассмотрения одного слагаемого как параметра случайного расположения для другого слагаемого. ^[1]

Вычисление [ править ]

Составные распределения, полученные из экспоненциальных семейных распределений, часто имеют замкнутую форму. Если аналитическое интегрирование невозможно, могут потребоваться численные методы.

Распределения соединений можно относительно легко исследовать с помощью методов Монте-Карло , т. Е. Путем генерации случайных выборок. Часто легко сгенерировать случайные числа из распределений, а затем использовать их для выполнения свернутой выборки Гиббса для генерации выборок . $p(\theta )$ $p(x|\theta )$ $p(x)$

Составное распределение обычно также может быть аппроксимировано в достаточной степени распределением смеси с использованием конечного числа компонентов смеси, что позволяет получить приблизительную плотность, функцию распределения и т. Д. ^[1]

Оценка параметров ( оценка максимального правдоподобия или максимальная апостериорная оценка) в рамках модели составного распределения иногда может быть упрощена за счет использования EM-алгоритма . ^[2]

Примеры [ править ]

Смеси в масштабе Гаусса: ^[3]
- Составление нормального распределения с дисперсией, распределенной в соответствии с обратным гамма-распределением (или, что эквивалентно, с точностью, распределенной как гамма-распределение ), дает нестандартное t-распределение Стьюдента . ^[4] Это распределение имеет ту же симметричную форму, что и нормальное распределение с той же центральной точкой, но имеет большую дисперсию и тяжелые хвосты .
- Составление гауссова распределения с дисперсией, распределенной согласно экспоненциальному распределению (или со стандартным отклонением согласно распределению Рэлея ), дает распределение Лапласа .
- Составление гауссова распределения с дисперсией, распределенной согласно экспоненциальному распределению , параметр скорости которого сам распределяется согласно гамма-распределению, дает нормально-экспоненциально-гамма-распределение . (Это включает в себя два этапа сложения. Затем сама дисперсия следует распределению Ломакса ; см. Ниже.)
- Составление гауссова распределения со стандартным отклонением, распределенным согласно (стандартному) обратному равномерному распределению, дает распределение с косой чертой .
другие гауссовские смеси:
- Соединение гауссова распределения со средним, распределенным согласно другому гауссовскому распределению, снова дает гауссово распределение .
- Составление гауссова распределения со средним, распределенным согласно смещенному экспоненциальному распределению, дает экспоненциально модифицированное гауссово распределение .

Компаундировании распределение Бернулли с вероятностью успеха распределенной в соответствии с распределением , который имеет определенные урожаи ожидаемого значения распределение Бернулли с вероятностью успеха . Интересным следствием является то, что дисперсия не влияет на дисперсию полученного распределения соединения. $p$ $X$ $E[X]$ $X$
Соединение биномиального распределения с вероятностью успеха, распределенной согласно бета-распределению, дает бета-биномиальное распределение . Он имеет три параметра: параметр (количество выборок) из биномиального распределения и параметров формы и из бета-распределения. ^[5]^[6] $n$ $\alpha$ $\beta$
Составление полиномиального распределения с вектором вероятности, распределенным согласно распределению Дирихле, дает полиномиальное распределение Дирихле .
Смешивать с распределением Пуассона с параметром скорости распределенного в соответствии с гамма - распределением дает отрицательное биномиальное распределение . ^[7]^[8]
Сочетание экспоненциального распределения с его параметром скорости, распределенным согласно гамма-распределению, дает распределение Ломакса . ^[9]
Объединение гамма-распределения с параметром обратного масштаба, распределенным в соответствии с другим гамма-распределением, дает трехпараметрическое бета-простое распределение . ^[10]
Составление полунормального распределения с его масштабным параметром, распределенным согласно распределению Рэлея, дает экспоненциальное распределение . Это сразу следует из распределения Лапласа, полученного как смесь нормального масштаба; см. выше. Здесь также можно поменять ролями условного и смешивающего распределений; следовательно, сложение распределения Рэлея с его масштабным параметром, распределенным согласно полунормальному распределению, также дает экспоненциальное распределение .
Гамма (к = 2, θ) - распределенная случайная величина, параметр масштаба θ опять равномерно распределены незначительно дает экспоненциальное распределение .

См. Также [ править ]

Распределение смеси
Маржинальное распределение
Условное распространение , Совместное распространение
Составное распределение Пуассона , Составной процесс Пуассона
Свертка
Чрезмерная дисперсия
EM-алгоритм

Ссылки [ править ]

^ a b Röver, C .; Friede, T. (2017). «Дискретное приближение распределения смеси через ограниченную расходимость» . Журнал вычислительной и графической статистики . 26 (1): 217–222. arXiv : 1602.04060 . DOI : 10.1080 / 10618600.2016.1276840 .
^ Гельман, А .; Карлин, JB; Stern, H .; Рубин, ДБ (1997). «9.5 Нахождение маргинальных апостериорных мод с использованием ЭМ и связанных алгоритмов ». Байесовский анализ данных (1-е изд.). Бока-Ратон: Chapman & Hall / CRC. п. 276.
^ Gneiting, Т. (1997). «Смеси нормального масштаба и двойные плотности вероятности». Журнал статистических вычислений и моделирования . 59 (4): 375–384. DOI : 10.1080 / 00949659708811867 .
^ Настроение, AM; Graybill, FA; Бос, округ Колумбия (1974). Введение в теорию статистики (3-е изд.). Нью-Йорк: Макгроу-Хилл.
^ Джонсон, Нидерланды; Кемп, AW; Коц, С. (2005). «6.2.2». Одномерные дискретные распределения (3-е изд.). Нью-Йорк: Вили. п. 253.
^ Гельман, А .; Карлин, JB; Stern, H .; Дансон, ДБ; Vehtari, A .; Рубин, ДБ (2014). Байесовский анализ данных (3-е изд.). Бока-Ратон: Chapman & Hall / CRC.
^ Лоулесс, JF (1987). «Отрицательная биномиальная и смешанная регрессия Пуассона». Канадский статистический журнал . 15 (3): 209–225. DOI : 10.2307 / 3314912 . JSTOR 3314912 .
^ Teich, MC; Диамент, П. (1989). «Умноженные стохастические представления для K распределений и их преобразования Пуассона». Журнал Оптического общества Америки A . 6 (1): 80–91. Bibcode : 1989JOSAA ... 6 ... 80T . CiteSeerX 10.1.1.64.596 . DOI : 10.1364 / JOSAA.6.000080 .
^ Джонсон, Нидерланды; Kotz, S .; Балакришнан, Н. (1994). «20 распределений Парето ». Непрерывные одномерные распределения . 1 (2-е изд.). Нью-Йорк: Вили. п. 573.
^ Дубей, SD (1970). «Составное гамма-, бета- и F-распределения». Метрика . 16 : 27–31. DOI : 10.1007 / BF02613934 .

Дальнейшее чтение [ править ]

Линдси, Б.Г. (1995), Модели смесей: теория, геометрия и приложения , Серия региональных конференций NSF-CBMS по вероятности и статистике, 5 , Хейворд, Калифорния, США: Институт математической статистики, стр. I – 163, ISBN 978-0-940600-32-4, JSTOR 4153184
Зайдель, В. (2010), «Модели смесей», в Lovric, M. (ed.), International Encyclopedia of Statistical Science , Heidelberg: Springer, pp. 827–829, doi : 10.1007 / 978-3-642-04898 -2_368 , ISBN 978-3-642-04898-2
Настроение, AM; Graybill, FA; Boes, DC (1974), «III.4.3 Заражающие распределения и усеченные распределения », Введение в теорию статистики (3-е изд.), Нью-Йорк: McGraw-Hill, ISBN 978-0-07-042864-5
Джонсон, Нидерланды; Кемп, AW; Коц, С. (2005), "8 смесей распределений ", Одномерные дискретные распределения , Нью-Йорк: Wiley, ISBN 978-0-471-27246-5

[RoeverFriede2017-1] Röver, C .; Friede, T. (2017). «Дискретное приближение распределения смеси через ограниченную расходимость» . Журнал вычислительной и графической статистики . 26 (1): 217–222. arXiv : 1602.04060 . DOI : 10.1080 / 10618600.2016.1276840 .

[2] Гельман, А .; Карлин, JB; Stern, H .; Рубин, ДБ (1997). «9.5 Нахождение маргинальных апостериорных мод с использованием ЭМ и связанных алгоритмов ». Байесовский анализ данных (1-е изд.). Бока-Ратон: Chapman & Hall / CRC. п. 276.

[Gneiting1997-3] Gneiting, Т. (1997). «Смеси нормального масштаба и двойные плотности вероятности». Журнал статистических вычислений и моделирования . 59 (4): 375–384. DOI : 10.1080 / 00949659708811867 .

[4] Настроение, AM; Graybill, FA; Бос, округ Колумбия (1974). Введение в теорию статистики (3-е изд.). Нью-Йорк: Макгроу-Хилл.

[5] Джонсон, Нидерланды; Кемп, AW; Коц, С. (2005). «6.2.2». Одномерные дискретные распределения (3-е изд.). Нью-Йорк: Вили. п. 253.

[6] Гельман, А .; Карлин, JB; Stern, H .; Дансон, ДБ; Vehtari, A .; Рубин, ДБ (2014). Байесовский анализ данных (3-е изд.). Бока-Ратон: Chapman & Hall / CRC.

[7] Лоулесс, JF (1987). «Отрицательная биномиальная и смешанная регрессия Пуассона». Канадский статистический журнал . 15 (3): 209–225. DOI : 10.2307 / 3314912 . JSTOR 3314912 .

[8] Teich, MC; Диамент, П. (1989). «Умноженные стохастические представления для K распределений и их преобразования Пуассона». Журнал Оптического общества Америки A . 6 (1): 80–91. Bibcode : 1989JOSAA ... 6 ... 80T . CiteSeerX 10.1.1.64.596 . DOI : 10.1364 / JOSAA.6.000080 .

[9] Джонсон, Нидерланды; Kotz, S .; Балакришнан, Н. (1994). «20 распределений Парето ». Непрерывные одномерные распределения . 1 (2-е изд.). Нью-Йорк: Вили. п. 573.

[10] Дубей, SD (1970). «Составное гамма-, бета- и F-распределения». Метрика . 16 : 27–31. DOI : 10.1007 / BF02613934 .