Бета-биномиальное распределение

Вероятностная функция масс
Кумулятивная функция распределения
Параметры	n ∈ N 0 - количество испытаний ( реальных ) ( реальных ) ${\ displaystyle \ alpha> 0}$ ${\ displaystyle \ beta> 0}$
Служба поддержки	k ∈ {0,…, n  }
PMF	${\ displaystyle {\ binom {n} {k}} {\ frac {\ mathrm {B} (k + \ alpha, n-k + \ beta)} {\ mathrm {B} (\ alpha, \ beta)}} \ !}$
CDF	${\displaystyle {\begin{cases}0,&k<0\\{\binom {n}{k}}{\tfrac {\mathrm {B} (k+\alpha ,n-k+\beta )}{\mathrm {B} (\alpha ,\beta )}}{}_{3}\!F_{2}({\boldsymbol {a}},{\boldsymbol {b}},k),&0\leq k<n\\1,&k\geq n\end{cases}}}$ где 3 F 2 ( a , b , k) - обобщенная гипергеометрическая функция ${\displaystyle {}_{3}\!F_{2}(1,-k,n\!-\!k\!+\!\beta ;n\!-\!k\!-\!1,1\!-\!k\!-\!\alpha ;1)\!}$
Иметь в виду	${\displaystyle {\frac {n\alpha }{\alpha +\beta }}\!}$
Дисперсия	${\displaystyle {\frac {n\alpha \beta (\alpha +\beta +n)}{(\alpha +\beta )^{2}(\alpha +\beta +1)}}\!}$
Асимметрия	${\displaystyle {\tfrac {(\alpha +\beta +2n)(\beta -\alpha )}{(\alpha +\beta +2)}}{\sqrt {\tfrac {1+\alpha +\beta }{n\alpha \beta (n+\alpha +\beta )}}}\!}$
Бывший. эксцесс	См. Текст
MGF	${\displaystyle _{2}F_{1}(-n,\alpha ;\alpha +\beta ;1-e^{t})\!}$ ${\displaystyle {\text{for }}t<\log _{e}(2)}$
CF	${\displaystyle _{2}F_{1}(-n,\alpha ;\alpha +\beta ;1-e^{it})\!}$
PGF	${\displaystyle {\frac {_{2}F_{1}(-n,\alpha ;-\beta -n+1;z)}{_{2}F_{1}(-n,\alpha ;-\beta -n+1;1)}}}$

В теории вероятностей и статистике , то бета-биномиальное распределение представляет собой семейство дискретных вероятностных распределений на конечные поддержки неотрицательных целых чисел , возникающих , когда вероятность успеха в каждом из фиксированных или известного числа испытаний Бернулли либо неизвестна , либо случайным образом . Бета-биномиальное распределение - это биномиальное распределение, в котором вероятность успеха в каждом из n испытаний не фиксируется, а выбирается случайным образом из бета-распределения . Он часто используется в байесовской статистике , эмпирических байесовских методах иклассическая статистика для выявления избыточной дисперсии в распределенных данных биномиального типа.

Оно сводится к распределению Бернулли как частному случаю, когда n  = 1. При α  =  β  = 1 это дискретное равномерное распределение от 0 до  n . Он также произвольно хорошо аппроксимирует биномиальное распределение для больших значений α и  β . Точно так же оно содержит отрицательное биномиальное распределение в пределе больших β и n . Бета-биномиальное распределение является одномерной версией полиномиального распределения Дирихле, поскольку биномиальное и бета-распределения являются одномерными версиями полиномиального распределения.и Дирихле соответственно.

Мотивация и вывод [ править ]

Как составной дистрибутив [ править ]

Бета распределение является сопряженным распределение в биномиальное распределение . Этот факт приводит к аналитически поддающемуся анализу составному распределению, при котором можно думать о параметре в биномиальном распределении, как о случайно взятом из бета-распределения. А именно, если${\displaystyle p}$

${\displaystyle X\sim \operatorname {Bin} (n,p)}$

тогда

${\displaystyle P(X=k\mid p,n)=L(p\mid k)={n \choose k}p^{k}(1-p)^{n-k}}$

где Bin ( n , p ) обозначает биномиальное распределение , а p - случайная величина с бета-распределением .

${\displaystyle {\begin{aligned}\pi (p\mid \alpha ,\beta )&=\mathrm {Beta} (\alpha ,\beta )\\[5pt]&={\frac {p^{\alpha -1}(1-p)^{\beta -1}}{\mathrm {B} (\alpha ,\beta )}}\quad {\text{for }}0\leq p\leq 1,\end{aligned}}}$

тогда составное распределение дается выражением

${\displaystyle {\begin{aligned}f(k\mid n,\alpha ,\beta )&=\int _{0}^{1}L(p\mid k)\pi (p\mid \alpha ,\beta )\,dp\\[6pt]&={n \choose k}{\frac {1}{\mathrm {B} (\alpha ,\beta )}}\int _{0}^{1}p^{k+\alpha -1}(1-p)^{n-k+\beta -1}\,dp\\[6pt]&={n \choose k}{\frac {\mathrm {B} (k+\alpha ,n-k+\beta )}{\mathrm {B} (\alpha ,\beta )}}.\end{aligned}}}$

Используя свойства бета-функции , это можно альтернативно записать

${\displaystyle f(k\mid n,\alpha ,\beta )={\frac {\Gamma (n+1)}{\Gamma (k+1)\Gamma (n-k+1)}}{\frac {\Gamma (k+\alpha )\Gamma (n-k+\beta )}{\Gamma (n+\alpha +\beta )}}{\frac {\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}}.}$

Бета-бином как модель урны [ править ]

Бета-биномиальное распределение также может быть мотивировано моделью урны для положительных целочисленных значений α и β , известной как модель урны Полиа . В частности, представьте урну, содержащую α красных шаров и β черных шаров, в которой делаются случайные розыгрыши. Если наблюдается красный шар, то в урну возвращаются два красных шара. Аналогичным образом, если выпадает черный шар, в урну возвращаются два черных шара. Если это повторить n раз, то вероятность наблюдения k красных шаров следует бета-биномиальному распределению с параметрами n , α и  β .

Если случайные розыгрыши выполняются с простой заменой (в урну не добавляются шары, превышающие наблюдаемый шар), то распределение следует биномиальному распределению, а если случайные розыгрыши выполняются без замены, распределение следует гипергеометрическому распределению .

Моменты и свойства [ править ]

Первые три сырые моменты являются

${\displaystyle {\begin{aligned}\mu _{1}&={\frac {n\alpha }{\alpha +\beta }}\\[8pt]\mu _{2}&={\frac {n\alpha [n(1+\alpha )+\beta ]}{(\alpha +\beta )(1+\alpha +\beta )}}\\[8pt]\mu _{3}&={\frac {n\alpha [n^{2}(1+\alpha )(2+\alpha )+3n(1+\alpha )\beta +\beta (\beta -\alpha )]}{(\alpha +\beta )(1+\alpha +\beta )(2+\alpha +\beta )}}\end{aligned}}}$

и эксцесса является

${\displaystyle \beta _{2}={\frac {(\alpha +\beta )^{2}(1+\alpha +\beta )}{n\alpha \beta (\alpha +\beta +2)(\alpha +\beta +3)(\alpha +\beta +n)}}\left[(\alpha +\beta )(\alpha +\beta -1+6n)+3\alpha \beta (n-2)+6n^{2}-{\frac {3\alpha \beta n(6-n)}{\alpha +\beta }}-{\frac {18\alpha \beta n^{2}}{(\alpha +\beta )^{2}}}\right].}$

Позволить мы отмечаем, намекая, что среднее можно записать в виде${\displaystyle \pi ={\frac {\alpha }{\alpha +\beta }}\!}$

${\displaystyle \mu ={\frac {n\alpha }{\alpha +\beta }}=n\pi \!}$

и дисперсия как

${\displaystyle \sigma ^{2}={\frac {n\alpha \beta (\alpha +\beta +n)}{(\alpha +\beta )^{2}(\alpha +\beta +1)}}=n\pi (1-\pi ){\frac {\alpha +\beta +n}{\alpha +\beta +1}}=n\pi (1-\pi )[1+(n-1)\rho ]\!}$

где . Этот параметр известен как «внутриклассовая» или «внутрикластерная» корреляция. Именно эта положительная корреляция приводит к чрезмерной дисперсии.${\displaystyle \rho ={\tfrac {1}{\alpha +\beta +1}}\!}$${\displaystyle \rho \!}$

Точечные оценки [ править ]

Метод моментов [ править ]

Метод моментов оценок можно получить, отметив , первый и второй моменты бета-биномиального , а именно

${\displaystyle {\begin{aligned}\mu _{1}&={\frac {n\alpha }{\alpha +\beta }}\\[6pt]\mu _{2}&={\frac {n\alpha [n(1+\alpha )+\beta ]}{(\alpha +\beta )(1+\alpha +\beta )}}\end{aligned}}}$

и установив эти исходные моменты равными первому и второму исходным моментам выборки соответственно

${\displaystyle {\begin{aligned}{\widehat {\mu }}_{1}&:=m_{1}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}\\[6pt]{\widehat {\mu }}_{2}&:=m_{2}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}^{2}\end{aligned}}}$

и решая относительно α и β, получаем

${\displaystyle {\begin{aligned}{\widehat {\alpha }}&={\frac {nm_{1}-m_{2}}{n({\frac {m_{2}}{m_{1}}}-m_{1}-1)+m_{1}}}\\[5pt]{\widehat {\beta }}&={\frac {(n-m_{1})(n-{\frac {m_{2}}{m_{1}}})}{n({\frac {m_{2}}{m_{1}}}-m_{1}-1)+m_{1}}}.\end{aligned}}}$

Эти оценки могут быть бессмысленными отрицательными, что свидетельствует о том, что данные либо не диспергированы, либо недостаточно диспергированы относительно биномиального распределения. В этом случае альтернативными кандидатами являются биномиальное и гипергеометрическое распределение соответственно.

Оценка максимального правдоподобия [ править ]

Хотя оценки максимального правдоподобия в закрытой форме непрактичны, учитывая, что PDF-файл состоит из общих функций (гамма-функция и / или бета-функции), их можно легко найти с помощью прямой численной оптимизации. Оценки максимального правдоподобия на основе эмпирических данных могут быть вычислены с использованием общих методов аппроксимации полиномиальных распределений Полиа, методы для которых описаны в (Minka 2003). Пакет R VGAM с помощью функции vglm с помощью функции максимального правдоподобия облегчает подгонку моделей типа glm с ответами, распределенными согласно бета-биномиальному распределению. Не требуется, чтобы n было фиксированным на протяжении всех наблюдений.

Пример [ править ]

Следующие данные показывают количество детей мужского пола среди первых 12 детей в семье размером 13 в 6115 семей, взятых из больничных записей в Саксонии XIX века (Sokal and Rohlf, стр. 59 из Lindsey). 13-й ребенок игнорируется, чтобы смягчить эффект неслучайной остановки семей при достижении желаемого пола.

Первые два примерных момента:

${\displaystyle {\begin{aligned}m_{1}&=6.23\\m_{2}&=42.31\\n&=12\end{aligned}}}$

и поэтому метод оценок моментов

${\displaystyle {\begin{aligned}{\widehat {\alpha }}&=34.1350\\{\widehat {\beta }}&=31.6085.\end{aligned}}}$

В максимальной вероятностные оценки могут быть найдены численно

${\displaystyle {\begin{aligned}{\widehat {\alpha }}_{\mathrm {mle} }&=34.09558\\{\widehat {\beta }}_{\mathrm {mle} }&=31.5715\end{aligned}}}$

а максимальное логарифмическое правдоподобие равно

${\displaystyle \log {\mathcal {L}}=-12492.9}$

из которого находим AIC

${\displaystyle {\mathit {AIC}}=24989.74.}$

AIC для конкурирующей биномиальной модели составляет AIC = 25070,34, и, таким образом, мы видим, что бета-биномиальная модель обеспечивает лучшее соответствие данным, т.е. есть свидетельства чрезмерной дисперсии. Трайверс и Уиллард теоретически обосновывают неоднородность (также известную как « взрывоопасность ») гендерной предрасположенности потомства млекопитающих (то есть чрезмерной дисперсии).

Превосходная посадка особенно заметна среди хвостов.

Дальнейшие байесовские соображения [ править ]

Распределения удобно повторно параметризовать так, чтобы ожидаемое среднее априорное значение было единственным параметром: Пусть

${\displaystyle {\begin{aligned}\pi (\theta \mid \mu ,M)&=\operatorname {Beta} (M\mu ,M(1-\mu ))\\[6pt]&={\frac {\Gamma (M)}{\Gamma (M\mu )\Gamma (M(1-\mu ))}}\theta ^{M\mu -1}(1-\theta )^{M(1-\mu )-1}\end{aligned}}}$

где

${\displaystyle {\begin{aligned}\mu &={\frac {\alpha }{\alpha +\beta }}\\[6pt]M&=\alpha +\beta \end{aligned}}}$

чтобы

${\displaystyle {\begin{aligned}\operatorname {E} (\theta \mid \mu ,M)&=\mu \\[6pt]\operatorname {Var} (\theta \mid \mu ,M)&={\frac {\mu (1-\mu )}{M+1}}.\end{aligned}}}$

Апостериорное распределение ρ ( & thetas ;  |  к ) также бета - распределения:

${\displaystyle {\begin{aligned}\rho (\theta \mid k)&\propto \ell (k\mid \theta )\pi (\theta \mid \mu ,M)\\[6pt]&=\operatorname {Beta} (k+M\mu ,n-k+M(1-\mu ))\\[6pt]&={\frac {\Gamma (M)}{\Gamma (M\mu )\Gamma (M(1-\mu ))}}{n \choose k}\theta ^{k+M\mu -1}(1-\theta )^{n-k+M(1-\mu )-1}\end{aligned}}}$

А также

${\displaystyle \operatorname {E} (\theta \mid k)={\frac {k+M\mu }{n+M}}.}$

в то время как маргинальное распределение m ( k | μ , M ) задается формулой

${\displaystyle {\begin{aligned}m(k\mid \mu ,M)&=\int _{0}^{1}\ell (k\mid \theta )\pi (\theta \mid \mu ,M)\,d\theta \\[6pt]&={\frac {\Gamma (M)}{\Gamma (M\mu )\Gamma (M(1-\mu ))}}{n \choose k}\int _{0}^{1}\theta ^{k+M\mu -1}(1-\theta )^{n-k+M(1-\mu )-1}\,d\theta \\[6pt]&={\frac {\Gamma (M)}{\Gamma (M\mu )\Gamma (M(1-\mu ))}}{n \choose k}{\frac {\Gamma (k+M\mu )\Gamma (n-k+M(1-\mu ))}{\Gamma (n+M)}}.\end{aligned}}}$

Подставляя обратно M и μ, через и получается:${\displaystyle \alpha }$${\displaystyle \beta }$

${\displaystyle m(k\mid \alpha ,\beta )={\frac {\Gamma (n+1)}{\Gamma (k+1)\Gamma (n-k+1)}}{\frac {\Gamma (k+\alpha )\Gamma (n-k+\beta )}{\Gamma (n+\alpha +\beta )}}{\frac {\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}}.}$

которое является ожидаемым бета-биномиальным распределением с параметрами и . ${\displaystyle n,\alpha }$${\displaystyle \beta }$

Мы также можем использовать метод повторных ожиданий, чтобы найти ожидаемое значение предельных моментов. Запишем нашу модель в виде двухэтапной модели составной выборки. Пусть k _i будет количеством успешных попыток из n _i для события i :

${\displaystyle {\begin{aligned}k_{i}&\sim \operatorname {Bin} (n_{i},\theta _{i})\\[6pt]\theta _{i}&\sim \operatorname {Beta} (\mu ,M),\ \mathrm {i.i.d.} \end{aligned}}}$

Мы можем найти повторные оценки моментов для среднего и дисперсии, используя моменты для распределений в двухступенчатой ​​модели:

${\displaystyle \operatorname {E} \left({\frac {k}{n}}\right)=\operatorname {E} \left[\operatorname {E} \left(\left.{\frac {k}{n}}\right|\theta \right)\right]=\operatorname {E} (\theta )=\mu }$

${\displaystyle {\begin{aligned}\operatorname {var} \left({\frac {k}{n}}\right)&=\operatorname {E} \left[\operatorname {var} \left(\left.{\frac {k}{n}}\right|\theta \right)\right]+\operatorname {var} \left[\operatorname {E} \left(\left.{\frac {k}{n}}\right|\theta \right)\right]\\[6pt]&=\operatorname {E} \left[\left(\left.{\frac {1}{n}}\right)\theta (1-\theta )\right|\mu ,M\right]+\operatorname {var} \left(\theta \mid \mu ,M\right)\\[6pt]&={\frac {1}{n}}\left(\mu (1-\mu )\right)+{\frac {n-1}{n}}{\frac {(\mu (1-\mu ))}{M+1}}\\[6pt]&={\frac {\mu (1-\mu )}{n}}\left(1+{\frac {n-1}{M+1}}\right).\end{aligned}}}$

(Здесь мы использовали закон полного ожидания и закон полной дисперсии .)

Нам нужны точечные оценки для и . Расчетное среднее значение рассчитывается по выборке.${\displaystyle \mu }$${\displaystyle M}$${\displaystyle {\widehat {\mu }}}$

${\displaystyle {\widehat {\mu }}={\frac {\sum _{i=1}^{N}k_{i}}{\sum _{i=1}^{N}n_{i}}}.}$

Оценка гиперпараметра M получается с использованием моментных оценок дисперсии двухэтапной модели:

${\displaystyle s^{2}={\frac {1}{N}}\sum _{i=1}^{N}\operatorname {var} \left({\frac {k_{i}}{n_{i}}}\right)={\frac {1}{N}}\sum _{i=1}^{N}{\frac {{\widehat {\mu }}(1-{\widehat {\mu }})}{n_{i}}}\left[1+{\frac {n_{i}-1}{{\widehat {M}}+1}}\right]}$

Решение:

${\displaystyle {\widehat {M}}={\frac {{\widehat {\mu }}(1-{\widehat {\mu }})-s^{2}}{s^{2}-{\frac {{\widehat {\mu }}(1-{\widehat {\mu }})}{N}}\sum _{i=1}^{N}1/n_{i}}},}$

где

${\displaystyle s^{2}={\frac {N\sum _{i=1}^{N}n_{i}({\widehat {\theta _{i}}}-{\widehat {\mu }})^{2}}{(N-1)\sum _{i=1}^{N}n_{i}}}.}$

Поскольку теперь у нас есть точечные оценки параметров, и для основного распределения мы хотели бы найти точечную оценку вероятности успеха для события i . Это средневзвешенное значение оценки события и . Учитывая наши точечные оценки для предыдущего, мы можем теперь подставить эти значения, чтобы найти точечную оценку для апостериорного${\displaystyle {\widehat {\mu }}}$${\displaystyle {\widehat {M}}}$${\displaystyle {\tilde {\theta }}_{i}}$${\displaystyle {\widehat {\theta _{i}}}=k_{i}/n_{i}}$${\displaystyle {\widehat {\mu }}}$

${\displaystyle {\tilde {\theta _{i}}}=\operatorname {E} (\theta \mid k_{i})={\frac {k_{i}+{\widehat {M}}{\widehat {\mu }}}{n_{i}+{\widehat {M}}}}={\frac {\widehat {M}}{n_{i}+{\widehat {M}}}}{\widehat {\mu }}+{\frac {n_{i}}{n_{i}+{\widehat {M}}}}{\frac {k_{i}}{n_{i}}}.}$

Коэффициенты усадки [ править ]

Мы можем записать апостериорную оценку как средневзвешенную:

${\displaystyle {\tilde {\theta }}_{i}={\widehat {B}}_{i}\,{\widehat {\mu }}+(1-{\widehat {B}}_{i}){\widehat {\theta }}_{i}}$

где называется коэффициентом усадки .${\displaystyle {\widehat {B}}_{i}}$

${\displaystyle {\widehat {B_{i}}}={\frac {\widehat {M}}{{\widehat {M}}+n_{i}}}}$

Связанные дистрибутивы [ править ]

• ${\displaystyle BB(1,1,n)\sim U(0,n)\,}$где - дискретное равномерное распределение .${\displaystyle U(a,b)\,}$

См. Также [ править ]

• Дирихле-полиномиальное распределение

Ссылки [ править ]

• Минка, Томас П. (2003). Оценка распределения Дирихле . Технический отчет Microsoft.

Внешние ссылки [ править ]

• Использование бета-биномиального распределения для оценки производительности устройства биометрической идентификации
• Fastfit содержит код Matlab для подгонки бета-биномиальных распределений (в форме двумерных распределений Полиа) к данным.
• Интерактивная графика: одномерные отношения распределения
• Бета-биномиальные функции в пакете VGAM R
• Бета-биномиальное распределение в Java-библиотеке Sandia National Labs Cognitive Foundry