Гипергеометрическое распределение

Гипергеометрический

Вероятностная функция масс
Кумулятивная функция распределения
Параметры	${\displaystyle {\begin{aligned}N&\in \left\{0,1,2,\dots \right\}\\K&\in \left\{0,1,2,\dots ,N\right\}\\n&\in \left\{0,1,2,\dots ,N\right\}\end{aligned}}\,}$
Поддерживать	${\displaystyle \scriptstyle {k\,\in \,\left\{\max {(0,\,n+K-N)},\,\dots ,\,\min {(n,\,K)}\right\}}\,}$
PMF	${\displaystyle {{{K \choose k}{{N-K} \choose {n-k}}} \over {N \choose n}}}$
CDF	${\displaystyle 1-{{{n \choose {k+1}}{{N-n} \choose {K-k-1}}} \over {N \choose K}}\,_{3}F_{2}\!\!\left[{\begin{array}{c}1,\ k+1-K,\ k+1-n\\k+2,\ N+k+2-K-n\end{array}};1\right],}$где - обобщенная гипергеометрическая функция${\displaystyle \,_{p}F_{q}}$
Иметь в виду	${\displaystyle n{K \over N}}$
Режим	${\displaystyle \left\lceil {\frac {(n+1)(K+1)}{N+2}}\right\rceil -1,\left\lfloor {\frac {(n+1)(K+1)}{N+2}}\right\rfloor }$
Дисперсия	${\displaystyle n{K \over N}{(N-K) \over N}{N-n \over N-1}}$
Асимметрия	${\displaystyle {\frac {(N-2K)(N-1)^{\frac {1}{2}}(N-2n)}{[nK(N-K)(N-n)]^{\frac {1}{2}}(N-2)}}}$
Бывший. эксцесс	${\displaystyle \left.{\frac {1}{nK(N-K)(N-n)(N-2)(N-3)}}\cdot \right.}$${\displaystyle {\Big [}(N-1)N^{2}{\Big (}N(N+1)-6K(N-K)-6n(N-n){\Big )}+{}}$ ${\displaystyle {}+6nK(N-K)(N-n)(5N-6){\Big ]}}$
MGF	${\displaystyle {\frac {{N-K \choose n}\scriptstyle {\,_{2}F_{1}(-n,-K;N-K-n+1;e^{t})}}{N \choose n}}\,\!}$
CF	${\displaystyle {\frac {{N-K \choose n}\scriptstyle {\,_{2}F_{1}(-n,-K;N-K-n+1;e^{it})}}{N \choose n}}}$

В теории вероятностей и статистике , то гипергеометрическое распределение является дискретным распределением вероятностей , которая описывает вероятность успеха (случайный втягивает , для которого объект обращается имеет определенную функцию) в розыгрышах, без замены, из конечного населения в размере , который содержит именно объекты с эта особенность, при которой каждый розыгрыш является либо успехом, либо неудачей. Напротив, биномиальное распределение описывает вероятность успеха при ничьих с заменой.${\displaystyle k}$${\displaystyle n}$${\displaystyle N}$${\displaystyle K}$${\displaystyle k}$${\displaystyle n}$

Определения [ править ]

Вероятностная функция масс [ править ]

Следующие условия характеризуют гипергеометрическое распределение:

• Результат каждой жеребьевки (элементы выборки) можно разделить на одну из двух взаимоисключающих категорий (например, прошел / не прошел или занятый / безработный).
• Вероятность успеха меняется при каждом розыгрыше, поскольку каждый розыгрыш уменьшает популяцию ( выборка без замены из конечной совокупности).

Случайная величина следует гипергеометрическому распределению , если его вероятность функция масс (PMF) дается формулой ^[1]${\displaystyle X}$

${\displaystyle p_{X}(k)=\Pr(X=k)={\frac {{\binom {K}{k}}{\binom {N-K}{n-k}}}{\binom {N}{n}}},}$

куда

• ${\displaystyle N}$ это численность населения,
• ${\displaystyle K}$ - количество успешных состояний в популяции,
• ${\displaystyle n}$ количество розыгрышей (т. е. количество розыгрышей в каждом испытании),
• ${\displaystyle k}$ количество наблюдаемых успехов,
• ${\textstyle \textstyle {a \choose b}}$- биномиальный коэффициент .

PMF является положительным , когда .${\displaystyle \max(0,n+K-N)\leq k\leq \min(K,n)}$

Случайная величина , распределенная hypergeometrically с параметрами , и записывается и имеет функцию массовой вероятности выше.${\displaystyle N}$${\displaystyle K}$${\displaystyle n}$${\textstyle X\sim \operatorname {Hypergeometric} (N,K,n)}$ ${\textstyle p_{X}(k)}$

Комбинаторные тождества [ править ]

При необходимости у нас есть

$${\displaystyle \sum _{0\leq k\leq min(n,K)}{{K \choose k}{N-K \choose n-k} \over {N \choose n}}=1,}$$

который по существу следует из тождества Вандермонда в из комбинаторики .

Также обратите внимание, что

${\displaystyle {{K \choose k}{N-K \choose n-k} \over {N \choose n}}={{{n \choose k}{{N-n} \choose {K-k}}} \over {N \choose K}};}$

Это тождество можно показать, выразив биномиальные коэффициенты через факториалы и переставив последние, но это также следует из симметрии задачи. Действительно, рассмотрим два раунда розыгрыша без замены. В первом раунде из нейтральных мраморов взяты из урны без замены и окрашены в зеленый цвет. Затем снова кладут цветные шарики. Во втором туре шарики рисуются без замены и окрашиваются в красный цвет. Тогда количество шариков с обоими цветами на них (то есть количество шариков, нарисованных дважды) имеет гипергеометрическое распределение. Симметрия в и проистекает из того факта, что два раунда независимы, и можно было бы начать с рисования шариков и их окраски в красный цвет.${\displaystyle K}$${\displaystyle N}$${\displaystyle n}$${\displaystyle K}$${\displaystyle n}$${\displaystyle n}$

Свойства [ править ]

Рабочий пример [ править ]

Классическое применение гипергеометрического распределения - выборка без замены . Представьте себе урну с двумя цветами мрамора : красным и зеленым. Определите рисование зеленого шарика как успех, а рисование красного шарика как неудачу (аналогично биномиальному распределению). Если переменная N описывает количество всех шариков в урне (см. Таблицу непредвиденных обстоятельств ниже), а K описывает количество зеленых шариков , то N  -  K соответствует количеству красных шариков . В этом примере X - случайная величина , результат которой равенk - количество зеленых шариков, фактически нарисованных в эксперименте. Эта ситуация иллюстрируется следующей таблицей непредвиденных обстоятельств :

Теперь предположим (например), что в урне 5 зеленых и 45 красных шариков. Стоя рядом с урной, вы закрываете глаза и рисуете 10 шариков без замены. Какова вероятность того, что ровно 4 из 10 будут зелеными? Обратите внимание, что, хотя мы смотрим на успех / неудачу, данные не точно моделируются биномиальным распределением , потому что вероятность успеха в каждом испытании не одинакова, поскольку размер оставшейся популяции изменяется по мере удаления каждого шарика.

Эта проблема представлена ​​в следующей таблице непредвиденных обстоятельств:

Вероятность выпадения ровно k зеленых шариков можно рассчитать по формуле

${\displaystyle P(X=k)=f(k;N,K,n)={{{K \choose k}{{N-K} \choose {n-k}}} \over {N \choose n}}.}$

Следовательно, в этом примере вычислить

${\displaystyle P(X=4)=f(4;50,5,10)={{{5 \choose 4}{{45} \choose {6}}} \over {50 \choose 10}}={5\cdot 8145060 \over 10272278170}=0.003964583\dots .}$

Интуитивно мы могли бы ожидать, что еще более маловероятно, что все 5 зеленых шариков окажутся среди 10 нарисованных.

${\displaystyle P(X=5)=f(5;50,5,10)={{{5 \choose 5}{{45} \choose {5}}} \over {50 \choose 10}}={1\cdot 1221759 \over 10272278170}=0.0001189375\dots ,}$

Как и ожидалось, вероятность вытащить 5 зеленых шариков примерно в 35 раз меньше, чем вероятность вытягивания 4.

Симметрии [ править ]

Меняем ролями зеленый и красный шарики:

${\displaystyle f(k;N,K,n)=f(n-k;N,N-K,n)}$

Обмен ролями нарисованного и не нарисованного шарика:

${\displaystyle f(k;N,K,n)=f(K-k;N,K,N-n)}$

Меняем ролями зеленый и нарисованный мрамор:

${\displaystyle f(k;N,K,n)=f(k;N,n,K)}$

Эти симметрии порождают группу диэдра .${\displaystyle D_{4}}$

Порядок розыгрышей [ править ]

Вероятность рисования любого набора зеленых и красных шариков (гипергеометрическое распределение) зависит только от количества зеленых и красных шариков, а не от порядка, в котором они появляются; т.е. это обменный дистрибутив. В результате вероятность вытащить зеленый шарик при розыгрыше равна ^[2]${\displaystyle i^{\text{th}}}$

${\displaystyle P(G_{i})={\frac {K}{N}}.}$

Это ожидаемая вероятность, то есть она основана на незнании результатов предыдущих розыгрышей.

Границы хвоста [ править ]

Пусть и . Тогда для мы можем получить следующие оценки: ^[3]${\displaystyle X\sim \operatorname {Hypergeometric} (K,N,n)}$${\displaystyle p=K/N}$${\displaystyle 0<t<nK/N}$

${\displaystyle {\begin{aligned}\Pr[X\leq (p-t)n]&\leq e^{-n{\text{D}}(p-t\parallel p)}\leq e^{-2t^{2}n}\\\Pr[X\geq (p+t)n]&\leq e^{-n{\text{D}}(p+t\parallel p)}\leq e^{-2t^{2}n}\\\end{aligned}}\!}$

куда

${\displaystyle D(a\parallel b)=a\log {\frac {a}{b}}+(1-a)\log {\frac {1-a}{1-b}}}$

это расхождение Кульбака-Лейблера, и оно используется . ^[4]${\displaystyle D(a\parallel b)\geq 2(a-b)^{2}}$

Если n больше, чем N / 2, может быть полезно применить симметрию для «инвертирования» границ, что даст вам следующее: ^{[4] [5]}

${\displaystyle {\begin{aligned}\Pr[X\leq (p-t)n]&\leq e^{-(N-n){\text{D}}(p+{\tfrac {tn}{N-n}}||p)}\leq e^{-2t^{2}n{\tfrac {n}{N-n}}}\\\\\Pr[X\geq (p+t)n]&\leq e^{-(N-n){\text{D}}(p-{\tfrac {tn}{N-n}}||p)}\leq e^{-2t^{2}n{\tfrac {n}{N-n}}}\\\end{aligned}}\!}$

Статистический вывод [ править ]

Гипергеометрический тест [ править ]

Гипергеометрический тест использует гипергеометрическое распределение для измерения статистической значимости нарисовав образец , состоящий из определенного количества успехов (из общего числа дро) из популяции размера , содержащих успехов. В тесте на избыточное представление успехов в выборке гипергеометрическое значение p вычисляется как вероятность случайного получения или большего количества успехов из совокупности в общем количестве розыгрышей. В тесте на недопредставленность p-значение - это вероятность случайного рисования или меньшего количества успехов.${\displaystyle k}$${\displaystyle n}$${\displaystyle N}$${\displaystyle K}$${\displaystyle k}$${\displaystyle n}$${\displaystyle k}$

Тест, основанный на гипергеометрическом распределении (гипергеометрический тест), идентичен соответствующей односторонней версии точного теста Фишера . ^[6] Соответственно, p-значение двустороннего точного критерия Фишера может быть вычислено как сумма двух соответствующих гипергеометрических тестов (для получения дополнительной информации см. ^[7] ).

Тест часто используется для определения того, какие подгруппы чрезмерно или недостаточно представлены в выборке. Этот тест имеет широкий спектр применения. Например, маркетинговая группа может использовать тест, чтобы понять свою клиентскую базу, протестировав набор известных клиентов на предмет чрезмерного представительства различных демографических подгрупп (например, женщин, людей до 30 лет).

Связанные дистрибутивы [ править ]

Пусть и .${\displaystyle X\sim \operatorname {Hypergeometric} (N,K,n)}$${\displaystyle p=K/N}$

• Если то имеет распределение Бернулли с параметром .${\displaystyle n=1}$${\displaystyle X}$${\displaystyle p}$
• Пусть имеет биномиальное распределение с параметрами и ; это моделирует количество успехов в аналогичной задаче выборки с заменой. Если и большие по сравнению с , и не близки к 0 или 1, то и имеют схожие распределения, т . Е ..${\displaystyle Y}$${\displaystyle n}$${\displaystyle p}$${\displaystyle N}$${\displaystyle K}$${\displaystyle n}$${\displaystyle p}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle P(X\leq k)\approx P(Y\leq k)}$
• Если большой, и большой по сравнению с , и не близок к 0 или 1, то${\displaystyle n}$${\displaystyle N}$${\displaystyle K}$${\displaystyle n}$${\displaystyle p}$

${\displaystyle P(X\leq k)\approx \Phi \left({\frac {k-np}{\sqrt {np(1-p)}}}\right)}$

где - стандартная функция нормального распределения${\displaystyle \Phi }$

• Если вероятности рисования зеленого или красного шарика не равны (например, потому что зеленые шарики больше / легче для понимания, чем красные шарики), то имеет нецентральное гипергеометрическое распределение.${\displaystyle X}$
• Бета-биномиальное распределение является сопряженным перед для гипергеометрического распределения.

В следующей таблице описаны четыре распределения, связанных с количеством успехов в последовательности розыгрышей:

Многомерное гипергеометрическое распределение [ править ]

Многомерное гипергеометрическое распределение

Параметры	${\displaystyle c\in \mathbb {N} _{+}=\lbrace 1,2,\ldots \rbrace }$ ${\displaystyle (K_{1},\ldots ,K_{c})\in \mathbb {N} ^{c}}$ ${\displaystyle N=\sum _{i=1}^{c}K_{i}}$ ${\displaystyle n\in \lbrace 0,\ldots ,N\rbrace }$
Поддерживать	${\displaystyle \left\{\mathbf {k} \in \mathbb {Z} _{0+}^{c}\,:\,\forall i\ k_{i}\leq K_{i},\sum _{i=1}^{c}k_{i}=n\right\}}$
PMF	${\displaystyle {\frac {\prod _{i=1}^{c}{\binom {K_{i}}{k_{i}}}}{\binom {N}{n}}}}$
Иметь в виду	${\displaystyle \operatorname {E} (X_{i})=n{\frac {K_{i}}{N}}}$
Дисперсия	${\displaystyle \operatorname {Var} (X_{i})=n{\frac {N-n}{N-1}}\;{\frac {K_{i}}{N}}\left(1-{\frac {K_{i}}{N}}\right)}$ ${\displaystyle \operatorname {Cov} (X_{i},X_{j})=-n{\frac {N-n}{N-1}}\;{\frac {K_{i}}{N}}{\frac {K_{j}}{N}}}$

Модель урны с зелеными и красными шариками может быть расширена на случай, когда имеется более двух цветов шариков. Если в урне находится K _i шариков цвета i, и вы берете n шариков наугад без замены, то количество шариков каждого цвета в выборке ( k ₁ , k ₂ , ..., k _c ) имеет многомерный гипергеометрическое распределение. Это имеет такое же отношение к полиномиальному распределению что гипергеометрическое распределение имеет к биномиальному распределению - полиномиальное распределение является распределением "с заменой", а многомерное гипергеометрическое распределение является распределением "без замены".

Свойства этого распределения приведены в соседней таблице, где c - количество разных цветов, а - общее количество шариков.${\displaystyle N=\sum _{i=1}^{c}K_{i}}$

Пример [ править ]

Предположим, в урне 5 черных, 10 белых и 15 красных шариков. Если шесть шариков выбраны без замены, вероятность того, что будут выбраны ровно два шарика каждого цвета, равна

${\displaystyle P(2{\text{ black}},2{\text{ white}},2{\text{ red}})={{{5 \choose 2}{10 \choose 2}{15 \choose 2}} \over {30 \choose 6}}=0.079575596816976}$

Возникновение и применение [ править ]

Заявление о проверке выборов [ править ]

При аудите выборов обычно проверяется выборка участков с машинным подсчетом, чтобы увидеть, соответствует ли ручной или машинный пересчет первоначальному подсчету. Несоответствия приводят либо к отчету, либо к большему пересчету. Частота выборки обычно определяется законом, а не статистическим дизайном, поэтому для законодательно определенного размера выборки n , какова вероятность пропустить проблему, которая присутствует на K участках, например, взлом или ошибку? Это вероятность того, что k  = 0. Ошибки часто неясны, и хакер может свести к минимуму обнаружение, затронув только несколько участков, что все равно повлияет на закрытые выборы, поэтому вероятный сценарий состоит в том, что K будет порядка 5% от N . Аудитами обычно охвачено от 1% до 10% участков (часто 3%),^{[8] [9] [10],} поэтому у них есть высокий шанс пропустить проблему. Например, если проблема присутствует в 5 из 100 участков, 3% выборка имеет 86% вероятность того, что k  = 0, поэтому проблема не будет замечена, и только 14% вероятность того, что проблема появится в выборке (положительный k ) :

${\displaystyle {\begin{aligned}\Pr(X=0)&={\frac {{\binom {\text{Hack}}{0}}{\binom {N-{\text{Hack}}}{n-0}}}{\binom {N}{n}}}={\frac {\binom {N-{\text{Hack}}}{n}}{\binom {N}{n}}}={\frac {\frac {(N-{\text{Hack}})!}{n!(N-{\text{Hack}}-n)!}}{\frac {N!}{n!(N-n)!}}}={\frac {\frac {(N-{\text{Hack}})!}{(N-{\text{Hack}}-n)!}}{\frac {N!}{(N-n)!}}}\\[8pt]&={\frac {\binom {100-5}{3}}{\binom {100}{3}}}={\frac {\frac {(100-5)!}{(100-5-3)!}}{\frac {100!}{(100-3)!}}}={\frac {\frac {95!}{92!}}{\frac {100!}{97!}}}={\frac {95\times 94\times 93}{100\times 99\times 98}}=86\%\end{aligned}}}$

Для выборки потребуется 45 участков, чтобы иметь вероятность менее 5%, что k  = 0 в выборке, и, таким образом, иметь вероятность обнаружения проблемы более 95%:

${\displaystyle P(X=0)={\frac {\binom {100-5}{45}}{\binom {100}{45}}}={\frac {\frac {95!}{50!}}{\frac {100!}{55!}}}={\frac {95\times 94\times \cdots \times 51}{100\times 99\times \cdots \times 56}}={\frac {55\times 54\times 53\times 52\times 51}{100\times 99\times 98\times 97\times 96}}=4.6\%}$

Приложение к покеру Техасский холдем [ править ]

В холдеме игроки в покер собирают лучшую руку, которую они могут, комбинируя две карты в руке с 5 картами (общими картами), которые в конечном итоге оказываются на столе. В колоде 52 по 13 штук каждой масти. В этом примере предположим, что у игрока в руке 2 трефы, а на столе показаны 3 карты, 2 из которых также трефы. Игрок хотел бы знать вероятность того, что одна из следующих двух карт, которые будут показаны, будет клубом для завершения флеша .
(Обратите внимание, что вероятность, рассчитанная в этом примере, предполагает, что информация о картах в руках других игроков неизвестна; тем не менее, опытные игроки в покер могут учитывать, как другие игроки делают свои ставки (чек, колл, рейз или фолд) при рассмотрении вероятность для каждого сценария. Строго говоря, описанный здесь подход к вычислению вероятностей успеха является точным в сценарии, когда за столом находится только один игрок; в многопользовательской игре эта вероятность может быть несколько скорректирована в зависимости от ставок оппонентов. .)

Показано 4 клуба, так что 9 клубов все еще не показаны. Показано 5 карт (2 в руке и 3 на столе), так что они все еще невидимы.${\displaystyle 52-5=47}$

Вероятность того, что одна из следующих двух перевернутых карт - это клюшка, может быть рассчитана с использованием гипергеометрических данных с помощью и . (около 31,64%)${\displaystyle k=1,n=2,K=9}$${\displaystyle N=47}$

Вероятность того, что обе следующие две повернутые карты являются трефами, можно рассчитать с помощью гипергеометрических значений с помощью и . (около 3,33%)${\displaystyle k=2,n=2,K=9}$${\displaystyle N=47}$

Вероятность того, что ни одна из следующих двух повернутых карт не трефовая, может быть рассчитана с использованием гипергеометрических значений с помощью и . (около 65,03%)${\displaystyle k=0,n=2,K=9}$${\displaystyle N=47}$

См. Также [ править ]

• Нецентральные гипергеометрические распределения
• Отрицательное гипергеометрическое распределение
• Полиномиальное распределение
• Выборка (статистика)
• Обобщенная гипергеометрическая функция
• Проблема сборщика купонов
• Геометрическое распределение
• Кено
• Леди дегустация чая

Ссылки [ править ]

Цитаты [ править ]

Эта статья включает в себя список общих ссылок , но он остается в значительной степени непроверенным, поскольку в нем отсутствует достаточное количество соответствующих встроенных ссылок . Пожалуйста, помогите улучшить эту статью, добавив более точные цитаты. ( Август 2011 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Источники [ править ]

Внешние ссылки [ править ]

• Гипергеометрическое распределение и биномиальное приближение гипергеометрической случайной величины Криса Баучера, Wolfram Demonstrations Project .
• Вайсштейн, Эрик В. "Гипергеометрическое распределение" . MathWorld .