Мультиномиальное распределение

Полиномиальный

Параметры	${\ displaystyle n> 0}$количество испытаний ( целое число ) вероятности событий ( ) ${\ displaystyle p_ {1}, \ ldots, p_ {k}}$${\ displaystyle \ Sigma p_ {i} = 1}$
Поддерживать	${\ displaystyle x_ {i} \ in \ {0, \ dots, n \}, \, \, \, \, i \ in \ {1, \ dots, k \}, \, {\ textrm {with} } \ sum _ {i} x_ {i} = n}$ ${\ displaystyle \!}$
PMF	${\ displaystyle {\ frac {n!} {x_ {1}! \ cdots x_ {k}!}} p_ {1} ^ {x_ {1}} \ cdots p_ {k} ^ {x_ {k}}}$
Иметь в виду	${\ displaystyle \ operatorname {E} (X_ {i}) = np_ {i}}$
Дисперсия	${\ displaystyle \ operatorname {Var} (X_ {i}) = np_ {i} (1-p_ {i})}$ ${\ displaystyle \ operatorname {Cov} (X_ {i}, X_ {j}) = - np_ {i} p_ {j} ~~ (i \ neq j)}$
Энтропия	${\ displaystyle - \ log (n!) - n \ sum _ {i = 1} ^ {k} p_ {i} \ log (p_ {i}) + \ sum _ {i = 1} ^ {k} \ сумма _ {x_ {i} = 0} ^ {n} {\ binom {n} {x_ {i}}} p_ {i} ^ {x_ {i}} (1-p_ {i}) ^ {n- x_ {i}} \ log (x_ {i}!)}$
MGF	${\displaystyle {\biggl (}\sum _{i=1}^{k}p_{i}e^{t_{i}}{\biggr )}^{n}}$
CF	${\displaystyle \left(\sum _{j=1}^{k}p_{j}e^{it_{j}}\right)^{n}}$ куда ${\displaystyle i^{2}=-1}$
PGF	${\displaystyle {\biggl (}\sum _{i=1}^{k}p_{i}z_{i}{\biggr )}^{n}{\text{ for }}(z_{1},\ldots ,z_{k})\in \mathbb {C} ^{k}}$

В теории вероятностей , то мультиномиальная распределение является обобщением биномиального распределения . Например, он моделирует вероятность подсчета для каждой стороны k- стороннего кубика, брошенного n раз. Для n независимых испытаний, каждое из которых приводит к успеху ровно для одной из k категорий, причем каждая категория имеет заданную фиксированную вероятность успеха, полиномиальное распределение дает вероятность любой конкретной комбинации количества успехов для различных категорий.

Когда k равно 2, а n равно 1, полиномиальное распределение является распределением Бернулли . Когда k равно 2, а n больше 1, это биномиальное распределение . Когда k больше 2, а n равно 1, это категориальное распределение .

Распределение Бернулли моделирует результат одного испытания Бернулли . Другими словами, он моделирует, приведет ли один раз подбрасывание (возможно, смещенной ) монеты либо к успеху (получение головы), либо к неудаче (получение хвоста). Биномиальное распределение обобщает это количество головок от выполнения п независимых щелчков (Бернулли) одной и той же монеты. Мультиномиальное распределение моделирует результат n экспериментов, где результат каждого испытания имеет категориальное распределение , например, n раз бросание k- стороннего кубика .

Пусть k - фиксированное конечное число. Математически у нас есть k возможных взаимоисключающих исходов с соответствующими вероятностями p ₁ , ..., p _k и n независимых испытаний. Поскольку k исходов являются взаимоисключающими и один должен произойти, мы имеем p _i  ≥ 0 для i  = 1, ...,  k и . Тогда, если случайные величины X _i указывают, сколько раз результат номер i наблюдался за n испытаний, вектор X  = ( X ₁ , ..., ${\displaystyle \sum _{i=1}^{k}p_{i}=1}$X _k ) следует полиномиальному распределению с параметрами n и p , где p  = ( p ₁ , ...,  p _k ). Хотя испытания независимы, их результаты X зависят, потому что они должны быть суммированы до n.

В некоторых областях, таких как обработка естественного языка , категориальные и полиномиальные распределения являются синонимами, и обычно говорят о полиномиальном распределении, когда фактически имеется в виду категориальное распределение . Это связано с тем, что иногда удобно выразить результат категориального распределения как вектор «1 из K» (вектор с одним элементом, содержащим 1, а все остальные элементы содержат 0), а не как целое число. в ассортименте ; в этой форме категориальное распределение эквивалентно полиномиальному распределению по одному испытанию.${\displaystyle 1\dots K}$

Спецификация [ править ]

Функция вероятности массы [ править ]

Предположим, кто-то проводит эксперимент по извлечению n шаров k разных цветов из мешка, заменяя извлеченные шары после каждого розыгрыша. Шары одного цвета эквивалентны. Обозначим переменную, которая представляет собой количество извлеченных шаров цвета i ( i = 1, ..., k ), как X _i , и обозначим как p _i вероятность того, что данное извлечение будет цвета i . Функция массы вероятности этого полиномиального распределения:

${\displaystyle {\begin{aligned}f(x_{1},\ldots ,x_{k};n,p_{1},\ldots ,p_{k})&{}=\Pr(X_{1}=x_{1}{\text{ and }}\dots {\text{ and }}X_{k}=x_{k})\\&{}={\begin{cases}{\displaystyle {n! \over x_{1}!\cdots x_{k}!}p_{1}^{x_{1}}\times \cdots \times p_{k}^{x_{k}}},\quad &{\text{when }}\sum _{i=1}^{k}x_{i}=n\\\\0&{\text{otherwise,}}\end{cases}}\end{aligned}}}$

для целых неотрицательных чисел x ₁ , ..., x _k .

Функция массы вероятности может быть выражена с помощью гамма-функции как:

${\displaystyle f(x_{1},\dots ,x_{k};p_{1},\ldots ,p_{k})={\frac {\Gamma (\sum _{i}x_{i}+1)}{\prod _{i}\Gamma (x_{i}+1)}}\prod _{i=1}^{k}p_{i}^{x_{i}}.}$

Эта форма показывает свое сходство с распределением Дирихле , которое является его сопряженным априорным .

Визуализация [ править ]

Как срезы обобщенного треугольника Паскаля [ править ]

Точно так же, как можно интерпретировать биномиальное распределение как (нормализованные) одномерные (1D) срезы треугольника Паскаля , можно также интерпретировать полиномиальное распределение как 2D (треугольные) срезы пирамиды Паскаля или 3D / 4D / + (пирамида- shape) срезы многомерных аналогов треугольника Паскаля. Это показывает интерпретацию диапазона распределения: дискретизированные равноматериальные «пирамиды» в произвольной размерности, то есть симплекс с сеткой. ^{[ необходима цитата ]}

Как полиномиальные коэффициенты [ править ]

Точно так же, как можно интерпретировать биномиальное распределение как полиномиальные коэффициенты при расширении, можно интерпретировать полиномиальное распределение как коэффициенты при расширении. (Обратите внимание, что, как и в случае биномиального распределения, коэффициенты должны в сумме равняться 1.) Отсюда происходит название « полиномиальное распределение».${\displaystyle (p+(1-p))^{n}}$${\displaystyle (p_{1}+p_{2}+p_{3}+\cdots +p_{k})^{n}}$

Свойства [ править ]

Ожидается , сколько раз исход я наблюдали в течение п испытаний является

${\displaystyle \operatorname {E} (X_{i})=np_{i}.\,}$

Ковариационная матрица выглядит следующим образом . Каждая диагональная запись представляет собой дисперсию биномиально распределенной случайной величины и, следовательно, является

${\displaystyle \operatorname {Var} (X_{i})=np_{i}(1-p_{i}).\,}$

Недиагональные записи - это ковариации :

${\displaystyle \operatorname {Cov} (X_{i},X_{j})=-np_{i}p_{j}\,}$

для i , j различны.

Все ковариации отрицательны, потому что при фиксированном n увеличение одного компонента полиномиального вектора требует уменьшения другого компонента.

Когда эти выражения объединяются в матрицу с элементами i, j, результатом является положительно-полуопределенная ковариационная матрица k × k ранга k  - 1. В особом случае, когда k  =  n и где все p _i равны, ковариация матрица - это центрирующая матрица .${\displaystyle \operatorname {cov} (X_{i},X_{j}),}$

Элементы соответствующей корреляционной матрицы :

${\displaystyle \rho (X_{i},X_{i})=1.}$

${\displaystyle \rho (X_{i},X_{j})={\frac {\operatorname {Cov} (X_{i},X_{j})}{\sqrt {\operatorname {Var} (X_{i})\operatorname {Var} (X_{j})}}}={\frac {-p_{i}p_{j}}{\sqrt {p_{i}(1-p_{i})p_{j}(1-p_{j})}}}=-{\sqrt {\frac {p_{i}p_{j}}{(1-p_{i})(1-p_{j})}}}.}$

Обратите внимание, что размер выборки выпадает из этого выражения.

Каждый из k компонентов в отдельности имеет биномиальное распределение с параметрами n и p _i для соответствующего значения нижнего индекса i .

Поддержка из полиномиального распределения является множество

${\displaystyle \{(n_{1},\dots ,n_{k})\in \mathbb {N} ^{k}\mid n_{1}+\cdots +n_{k}=n\}.\,}$

Количество его элементов

${\displaystyle {n+k-1 \choose k-1}.}$

Обозначение матрицы [ править ]

В матричных обозначениях

${\displaystyle \operatorname {E} (\mathbf {X} )=n\mathbf {p} ,\,}$

и

${\displaystyle \operatorname {Var} (\mathbf {X} )=n\lbrace \operatorname {diag} (\mathbf {p} )-\mathbf {p} \mathbf {p} ^{\rm {T}}\rbrace ,\,}$

где p ^T = вектор-строка, транспонированная вектор-столбец p .

Пример [ править ]

Предположим, что на трехсторонних выборах в большой стране кандидат A получил 20% голосов, кандидат B получил 30% голосов, а кандидат C получил 50% голосов. Если шесть избирателей выбираются случайным образом, какова вероятность того, что в выборке будет ровно один сторонник кандидата A, два сторонника кандидата B и три сторонника кандидата C?

Примечание. Поскольку мы предполагаем, что число голосующих велико, разумно и допустимо считать вероятности неизменными после того, как избиратель будет выбран для выборки. Технически говоря, это выборка без замены, поэтому правильным распределением является многомерное гипергеометрическое распределение , но распределения сходятся по мере роста населения.

${\displaystyle \Pr(A=1,B=2,C=3)={\frac {6!}{1!2!3!}}(0.2^{1})(0.3^{2})(0.5^{3})=0.135}$

Выборка из полиномиального распределения [ править ]

Во-первых, измените порядок параметров таким образом, чтобы они были отсортированы в порядке убывания (это только для ускорения вычислений и не является строго необходимым). Теперь для каждого испытания возьмите вспомогательную переменную X из равномерного (0, 1) распределения. Результирующий результат - компонент${\displaystyle p_{1},\ldots ,p_{k}}$

${\displaystyle j=\min \left\{j'\in \{1,\dots ,k\}:\left(\sum _{i=1}^{j'}p_{i}\right)-X\geq 0\right\}.}$

{ X _j = 1, X _k = 0 для k  ≠  j } - это одно наблюдение из полиномиального распределения с и n  = 1. Сумма независимых повторений этого эксперимента представляет собой наблюдение из полиномиального распределения с n, равным количеству такие повторы.${\displaystyle p_{1},\ldots ,p_{k}}$

Для моделирования из полиномиального распределения [ править ]

Для моделирования из полиномиального распределения могут использоваться различные методы. Очень простое решение - использовать однородный генератор псевдослучайных чисел на (0,1). Сначала мы разделим интервал (0,1) на  k подинтервалов, длина которых равна вероятностям k категорий. Затем мы генерируем n независимых псевдослучайных чисел, чтобы определить, в каком из k интервалов они встречаются, и подсчитать количество появлений в каждом интервале.

Пример

Если у нас есть:

Затем с помощью такого программного обеспечения, как Excel, мы можем использовать следующий рецепт:

После этого мы будем использовать такие функции, как SumIf, для накопления наблюдаемых результатов по категориям и для вычисления оценочной ковариационной матрицы для каждой моделируемой выборки.

Другой способ - использовать дискретный генератор случайных чисел. В этом случае категории должны быть помечены или перемаркированы числовыми значениями.

В обоих случаях результатом является полиномиальное распределение с k категориями. Это эквивалентно непрерывному случайному распределению для моделирования k независимых стандартизованных нормальных распределений или мультинормальному распределению N (0, I), имеющему k компонентов, одинаково распределенных и статистически независимых.

Поскольку количество всех категорий должно быть суммировано с количеством испытаний, количество категорий всегда имеет отрицательную корреляцию. ^[1]

Тесты эквивалентности для полиномиальных распределений [ править ]

Цель проверки эквивалентности - установить соответствие между теоретическим полиномиальным распределением и наблюдаемой частотой счета. Теоретическое распределение может быть полностью заданным полиномиальным распределением или параметрическим семейством полиномиальных распределений.

Позвольте обозначить теоретическое мультиномиальное распределение и позвольте быть истинным основным распределением. Распределения и считаются эквивалентными, если для параметра расстояния и допуска . Задача проверки эквивалентности - против . Истинное основное распределение неизвестно. Вместо этого наблюдаются частоты подсчета , где - размер выборки. Для отклонения используется тест эквивалентности . Если можно отклонить, то эквивалентность между и отображается на заданном уровне значимости. Тест эквивалентности евклидова расстояния можно найти в учебнике Веллека (2010). ^[2]${\displaystyle q}$${\displaystyle p}$${\displaystyle p}$${\displaystyle q}$${\displaystyle d(p,q)<\varepsilon }$${\displaystyle d}$${\displaystyle \varepsilon >0}$${\displaystyle H_{0}=\{d(p,q)\geq \varepsilon \}}$${\displaystyle H_{1}=\{d(p,q)<\varepsilon \}}$${\displaystyle p}$${\displaystyle p_{n}}$${\displaystyle n}$${\displaystyle p_{n}}$${\displaystyle H_{0}}$${\displaystyle H_{0}}$${\displaystyle p}$${\displaystyle q}$Тест эквивалентности для общей дистанции вариации разработан в Ostrovski (2017). ^[3] Точный критерий эквивалентности для конкретного кумулятивного расстояния предложен в Frey (2009). ^[4]

Расстояние между истинным основным распределением и семейством полиномиальных распределений определяется как . Тогда задача проверки эквивалентности задается выражениями и . Расстояние обычно вычисляется с помощью численной оптимизации. Тесты для этого случая недавно были разработаны Островским (2018). ^[5]${\displaystyle p}$${\displaystyle {\mathcal {M}}}$${\displaystyle d(p,{\mathcal {M}})=\min _{h\in {\mathcal {M}}}d(p,h)}$${\displaystyle H_{0}=\{d(p,{\mathcal {M}})\geq \varepsilon \}}$${\displaystyle H_{1}=\{d(p,{\mathcal {M}})<\varepsilon \}}$${\displaystyle d(p,{\mathcal {M}})}$

Связанные дистрибутивы [ править ]

• Когда k = 2, полиномиальное распределение является биномиальным распределением .
• Категориальное распределение , распределение каждого испытания; для k = 2 это распределение Бернулли .
• Распределение Дирихле является сопряженным априорным числом многочлена в байесовской статистике .
• Полиномиальное распределение Дирихле .
• Бета-биномиальная модель .
• Отрицательное полиномиальное распределение
• Принцип Харди – Вайнберга (это трехчленное распределение с вероятностями )${\displaystyle (\theta ^{2},2\theta (1-\theta ),(1-\theta )^{2})}$

Ссылки [ править ]

Цитаты [ править ]

Источники [ править ]