Совместное распределение вероятностей

Часть серии по статистике
Теория вероятности
Вероятность Аксиомы вероятности Детерминизм Индетерминизм Случайность
Вероятностное пространство Образец пространства Мероприятие Коллективно исчерпывающие события Элементарное мероприятие Взаимная эксклюзивность Исход Синглтон Эксперимент Бернулли суд Распределение вероятностей Распределение Бернулли Биномиальное распределение Нормальное распределение Вероятностная мера Случайная переменная Процесс Бернулли Непрерывный или дискретный Ожидаемое значение Цепь Маркова Наблюдаемое значение Случайная прогулка Стохастический процесс
Дополнительное мероприятие Совместная вероятность Предельная вероятность Условная возможность
Независимость Условная независимость Закон полной вероятности Закон больших чисел Теорема Байеса Неравенство Буля
Диаграмма Венна Древовидная диаграмма
v т е

Для заданных случайных величин , которые определены в вероятностном пространстве , совместное распределение вероятностей для представляет собой распределение вероятностей, которое дает вероятность того, что каждая из них попадает в любой конкретный диапазон или дискретный набор значений, указанных для этой переменной. В случае только двух случайных величин это называется двумерным распределением , но эта концепция обобщается на любое количество случайных величин, давая многомерное распределение .${\ Displaystyle X, Y, \ ldots}$${\ Displaystyle X, Y, \ ldots}$${\ Displaystyle X, Y, \ ldots}$

Совместное распределение вероятностей может быть выражено либо в терминах совместной кумулятивной функции распределения, либо в терминах совместной функции плотности вероятности (в случае непрерывных переменных ) или совместной функции массы вероятности (в случае дискретных переменных). Их, в свою очередь, можно использовать для нахождения двух других типов распределений: предельное распределение, дающее вероятности для любой одной из переменных без ссылки на какие-либо конкретные диапазоны значений для других переменных, и условное распределение вероятностей, дающее вероятности для любой из переменных. подмножество переменных, обусловленных конкретными значениями остальных переменных.

Примеры [ править ]

Рисует из урны [ править ]

Предположим, что каждая из двух урн содержит вдвое больше красных шаров, чем синих шаров, и не содержит других, и предположим, что из каждой урны случайным образом выбирается один шар, причем два розыгрыша не зависят друг от друга. Позвольте и быть дискретными случайными величинами, связанными с результатами розыгрыша из первой и второй урны соответственно. Вероятность вытащить красный шар из любой из урн - 2/3, а вероятность вытащить синий шар - 1/3. Совместное распределение вероятностей представлено в следующей таблице:${\ displaystyle A}$${\displaystyle B}$

Каждая из четырех внутренних ячеек показывает вероятность конкретной комбинации результатов двух ничьих; эти вероятности являются совместным распределением. В любой одной ячейке вероятность возникновения конкретной комбинации (поскольку ничьи независимы) является произведением вероятности указанного результата для A и вероятности указанного результата для B. Сумма вероятностей в этих четырех ячейках равна 1, как это всегда верно для вероятностных распределений.

Более того, последняя строка и последний столбец дают предельное распределение вероятностей для A и предельное распределение вероятностей для B соответственно. Например, для A первая из этих ячеек дает сумму вероятностей того, что A будет красным, независимо от того, какая вероятность для B в столбце над ячейкой возникает, как 2/3. Таким образом, предельное распределение вероятностей дает безусловные вероятности на полях таблицы.${\displaystyle A}$${\displaystyle A}$${\displaystyle B}$

Подбрасывание монет [ править ]

Рассмотрим подбрасывание двух честных монет ; пусть и будут дискретными случайными величинами, связанными с результатами первого и второго подбрасывания монеты соответственно. Каждый подбрасывание монеты представляет собой испытание Бернулли и имеет распределение Бернулли . Если на монете отображается «орел», то соответствующая случайная величина принимает значение 1, в противном случае - значение 0. Вероятность каждого из этих исходов равна 1/2, поэтому маргинальные (безусловные) функции плотности равны${\displaystyle A}$${\displaystyle B}$

${\displaystyle P(A)=1/2\quad {\text{for}}\quad A\in \{0,1\};}$

${\displaystyle P(B)=1/2\quad {\text{for}}\quad B\in \{0,1\}.}$

Совместная функция массы вероятностей и определяет вероятности для каждой пары исходов. Все возможные исходы${\displaystyle A}$${\displaystyle B}$

${\displaystyle (A=0,B=0),(A=0,B=1),(A=1,B=0),(A=1,B=1).}$

Поскольку каждый исход одинаково вероятен, совместная функция массы вероятности принимает вид

${\displaystyle P(A,B)=1/4\quad {\text{for}}\quad A,B\in \{0,1\}.}$

Поскольку подбрасывания монеты независимы, совместная функция массы вероятности является произведением маргиналов:

${\displaystyle P(A,B)=P(A)P(B)\quad {\text{for}}\quad A,B\in \{0,1\}.}$

Бросок кости [ править ]

Рассмотрим бросок правильного кубика и пусть, если число четное (например, 2, 4 или 6), и в противном случае. Кроме того, пусть, если число простое (например, 2, 3 или 5), и в противном случае.${\displaystyle A=1}$${\displaystyle A=0}$${\displaystyle B=1}$${\displaystyle B=0}$

Тогда совместное распределение и , выраженное как функция массы вероятности, имеет вид${\displaystyle A}$${\displaystyle B}$

${\displaystyle \mathrm {P} (A=0,B=0)=P\{1\}={\frac {1}{6}},\quad \quad \mathrm {P} (A=1,B=0)=P\{4,6\}={\frac {2}{6}},}$

${\displaystyle \mathrm {P} (A=0,B=1)=P\{3,5\}={\frac {2}{6}},\quad \quad \mathrm {P} (A=1,B=1)=P\{2\}={\frac {1}{6}}.}$

Сумма этих вероятностей обязательно равна 1, поскольку вероятность того, что какая-то комбинация и произойдет, равна 1.${\displaystyle A}$${\displaystyle B}$

Пример из реальной жизни [ править ]

Рассмотрим производство, которое заполняет пластиковые бутылки стиральным порошком. Измеряется вес каждой бутылки (Y) и объем содержащегося в ней стирального порошка (X).

Распределение предельной вероятности [ править ]

Если в случайном эксперименте определяется более одной случайной величины, важно различать совместное распределение вероятностей X и Y и распределение вероятностей каждой переменной в отдельности. Индивидуальное распределение вероятностей случайной величины называется ее предельным распределением вероятностей. В общем, предельное распределение вероятностей X может быть определено из совместного распределения вероятностей X и других случайных величин.

Если совместная функция плотности вероятности случайных величин X и Y равна , функция предельной плотности вероятности X и Y, которая определяет предельное распределение , определяется как:${\displaystyle f_{X,Y}(x,y)}$

${\displaystyle f_{X}(x)=\int f_{X,Y}(x,y)\;dy}$ , ${\displaystyle f_{Y}(y)=\int f_{X,Y}(x,y)\;dx}$

где первый интеграл берется по всем точкам в диапазоне (X, Y), для которых X = x, а второй интеграл по всем точкам в диапазоне (X, Y), для которых Y = y. ^[1]

Совместная кумулятивная функция распределения [ править ]

Для пары случайных величин совместная кумулятивная функция распределения (CDF) задается формулой ^{[2] : p. 89}${\displaystyle X,Y}$${\displaystyle F_{XY}}$

${\displaystyle F_{X,Y}(x,y)=\operatorname {P} (X\leq x,Y\leq y)}$

( Уравнение 1 )

где правая часть представляет собой вероятность того, что случайная величина принимает значение, меньшее или равное, и которое принимает значение, меньшее или равное .${\displaystyle X}$${\displaystyle x}$ ${\displaystyle Y}$${\displaystyle y}$

Для случайных величин совместный CDF имеет вид${\displaystyle N}$${\displaystyle X_{1},\ldots ,X_{N}}$${\displaystyle F_{X_{1},\ldots ,X_{N}}}$

${\displaystyle F_{X_{1},\ldots ,X_{N}}(x_{1},\ldots ,x_{N})=\operatorname {P} (X_{1}\leq x_{1},\ldots ,X_{N}\leq x_{N})}$

( Уравнение 2 )

Интерпретация случайных величин как случайного вектора дает более короткую запись:${\displaystyle N}$ ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{N})^{T}}$

${\displaystyle F_{\mathbf {X} }(\mathbf {x} )=\operatorname {P} (X_{1}\leq x_{1},\ldots ,X_{N}\leq x_{N})}$

Совместная функция плотности или функция массы [ править ]

Дискретный случай [ править ]

Совместная функция масс вероятности двух дискретных случайных величин равна:${\displaystyle X,Y}$

${\displaystyle p_{X,Y}(x,y)=\mathrm {P} (X=x\ \mathrm {and} \ Y=y)}$

( Уравнение 3 )

или написано в терминах условных распределений

${\displaystyle p_{X,Y}(x,y)=\mathrm {P} (Y=y\mid X=x)\cdot \mathrm {P} (X=x)=\mathrm {P} (X=x\mid Y=y)\cdot \mathrm {P} (Y=y)}$

где есть вероятность того, из учитывая , что .${\displaystyle \mathrm {P} (Y=y\mid X=x)}$${\displaystyle Y=y}$${\displaystyle X=x}$

Обобщением предыдущего случая с двумя переменными является совместное распределение вероятностей дискретных случайных величин :${\displaystyle n\,}$${\displaystyle X_{1},X_{2},\dots ,X_{n}}$

${\displaystyle p_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})=\mathrm {P} (X_{1}=x_{1}{\text{ and }}\dots {\text{ and }}X_{n}=x_{n})}$

( Уравнение 4 )

или эквивалентно

${\displaystyle {\begin{aligned}p_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})&=\mathrm {P} (X_{1}=x_{1})\cdot \mathrm {P} (X_{2}=x_{2}\mid X_{1}=x_{1})\\&\cdot \mathrm {P} (X_{3}=x_{3}\mid X_{1}=x_{1},X_{2}=x_{2})\\&\dots \\&\cdot P(X_{n}=x_{n}\mid X_{1}=x_{1},X_{2}=x_{2},\dots ,X_{n-1}=x_{n-1}).\end{aligned}}}$.

Это тождество известно как цепное правило вероятности .

Поскольку это вероятности, в случае двух переменных

${\displaystyle \sum _{i}\sum _{j}\mathrm {P} (X=x_{i}\ \mathrm {and} \ Y=y_{j})=1,\,}$

который обобщается для дискретных случайных величин на${\displaystyle n\,}$${\displaystyle X_{1},X_{2},\dots ,X_{n}}$

${\displaystyle \sum _{i}\sum _{j}\dots \sum _{k}\mathrm {P} (X_{1}=x_{1i},X_{2}=x_{2j},\dots ,X_{n}=x_{nk})=1.\;}$

Непрерывный случай [ править ]

Совместная вероятность того, функция плотности для двух непрерывных случайных величин определяется как производная совместной интегральной функции распределения (см Eq.1 ):${\displaystyle f_{X,Y}(x,y)}$

${\displaystyle f_{X,Y}(x,y)={\frac {\partial ^{2}F_{X,Y}(x,y)}{\partial x\partial y}}}$

( Уравнение 5 )

Это равно:

${\displaystyle f_{X,Y}(x,y)=f_{Y\mid X}(y\mid x)f_{X}(x)=f_{X\mid Y}(x\mid y)f_{Y}(y)}$

где и являются условными распределениями из даны и даны соответственно, и и являются маргинальными распределениями для и соответственно.${\displaystyle f_{Y\mid X}(y\mid x)}$${\displaystyle f_{X\mid Y}(x\mid y)}$${\displaystyle Y}$${\displaystyle X=x}$${\displaystyle X}$${\displaystyle Y=y}$${\displaystyle f_{X}(x)}$${\displaystyle f_{Y}(y)}$${\displaystyle X}$${\displaystyle Y}$

Определение естественным образом распространяется на более чем две случайные величины:

${\displaystyle f_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})={\frac {\partial ^{n}F_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})}{\partial x_{1}\ldots \partial x_{n}}}}$

( Уравнение 6 )

Опять же, поскольку это вероятностные распределения, мы имеем

${\displaystyle \int _{x}\int _{y}f_{X,Y}(x,y)\;dy\;dx=1}$

соответственно

${\displaystyle \int _{x_{1}}\ldots \int _{x_{n}}f_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})\;dx_{n}\ldots \;dx_{1}=1}$

Смешанный случай [ править ]

«Плотность смешанных стыков» может быть определена, если одна или несколько случайных величин являются непрерывными, а другие случайные величины - дискретными. С одной переменной каждого типа

${\displaystyle {\begin{aligned}f_{X,Y}(x,y)=f_{X\mid Y}(x\mid y)\mathrm {P} (Y=y)=\mathrm {P} (Y=y\mid X=x)f_{X}(x).\end{aligned}}}$

Один пример ситуации, в которой кто-то может пожелать найти кумулятивное распределение одной случайной переменной, которая является непрерывной, и другой случайной переменной, которая является дискретной, возникает, когда кто-то желает использовать логистическую регрессию для прогнозирования вероятности двоичного результата Y, обусловленного ценность непрерывно распределенного результата . Один должны использовать «смешанную» совместную плотность при нахождении кумулятивного распределения этого двоичного результата , так как входные переменных были изначально определены таким образом , чтобы никто не мог коллективно назначить его либо функцию плотности вероятности или функцию вероятности массы. Формально - функция плотности вероятности относительно меры произведения${\displaystyle X}$${\displaystyle (X,Y)}$${\displaystyle f_{X,Y}(x,y)}$${\displaystyle (X,Y)}$на соответствующих опорах из и . Затем любое из этих двух разложений можно использовать для восстановления совместной кумулятивной функции распределения:${\displaystyle X}$${\displaystyle Y}$

${\displaystyle {\begin{aligned}F_{X,Y}(x,y)&=\sum \limits _{t\leq y}\int _{s=-\infty }^{x}f_{X,Y}(s,t)\;ds.\end{aligned}}}$

Определение обобщается на смесь произвольного числа дискретных и непрерывных случайных величин.

Дополнительные свойства [ править ]

Совместное распределение для независимых переменных [ править ]

В целом два случайных величин и являются независимыми , если и только если совместной кумулятивной функцией распределения удовлетворяет${\displaystyle X}$${\displaystyle Y}$

${\displaystyle F_{X,Y}(x,y)=F_{X}(x)\cdot F_{Y}(y)}$

Две дискретные случайные величины и независимы тогда и только тогда, когда совместная функция массы вероятности удовлетворяет${\displaystyle X}$${\displaystyle Y}$

${\displaystyle P(X=x\ {\mbox{and}}\ Y=y)=P(X=x)\cdot P(Y=y)}$

для всех и .${\displaystyle x}$${\displaystyle y}$

По мере того как количество независимых случайных событий растет, соответствующее значение совместной вероятности быстро уменьшается до нуля в соответствии с отрицательным экспоненциальным законом.

Точно так же две абсолютно непрерывные случайные величины независимы тогда и только тогда, когда

${\displaystyle f_{X,Y}(x,y)=f_{X}(x)\cdot f_{Y}(y)}$

для всех и . Это означает, что получение любой информации о значении одной или нескольких случайных величин приводит к условному распределению любой другой переменной, которое идентично ее безусловному (маргинальному) распределению; таким образом, никакая переменная не предоставляет никакой информации ни о какой другой переменной.${\displaystyle x}$${\displaystyle y}$

Совместное распределение для условно зависимых переменных [ править ]

Если подмножество переменных является условно - зависимым дано другим подмножеством из этих переменных, то функция вероятности массы совместного распределения . равно . Следовательно, это может быть эффективно представлено низкоразмерными распределениями вероятностей и . Такие отношения условной независимости могут быть представлены байесовской сетью или функциями копулы .${\displaystyle A}$${\displaystyle X_{1},\cdots ,X_{n}}$${\displaystyle B}$${\displaystyle \mathrm {P} (X_{1},\ldots ,X_{n})}$${\displaystyle \mathrm {P} (X_{1},\ldots ,X_{n})}$${\displaystyle P(B)\cdot P(A\mid B)}$${\displaystyle P(B)}$${\displaystyle P(A\mid B)}$

Ковариация [ править ]

Когда две или несколько случайных величин определены в вероятностном пространстве, полезно описать, как они изменяются вместе; то есть полезно измерить взаимосвязь между переменными. Распространенной мерой связи между двумя случайными величинами является ковариация. Ковариация - это мера линейной связи между случайными величинами. Если связь между случайными величинами нелинейна, ковариация может не зависеть от этой связи.

Ковариация между случайной величиной X и Y, обозначенная как cov (X, Y), равна:

${\displaystyle \sigma _{XY}=E[(X-\mu _{x})(Y-\mu _{y})]=E(XY)-\mu _{x}\mu _{y}}$^[3]

Корреляция [ править ]

Существует еще одна мера взаимосвязи между двумя случайными величинами, которую часто легче интерпретировать, чем ковариацию.

Корреляция просто масштабирует ковариацию на произведение стандартного отклонения каждой переменной. Следовательно, корреляция - это безразмерная величина, которую можно использовать для сравнения линейных отношений между парами переменных в разных единицах измерения. Если точки в совместном распределении вероятностей X и Y, которые получают положительную вероятность, имеют тенденцию падать вдоль линии положительного (или отрицательного) наклона, ρ _XY близок к +1 (или -1). Если ρ _XY равно +1 или -1, можно показать, что точки в совместном распределении вероятностей, которые получают положительную вероятность, падают точно вдоль прямой линии. Две случайные величины с ненулевой корреляцией называются коррелированными. Подобно ковариации, корреляция - это мера линейной связи между случайными величинами.

Корреляция между случайной величиной X и Y, обозначенная как

${\displaystyle \rho _{XY}={\frac {cov(X,Y)}{\sqrt {V(X)V(Y)}}}={\frac {\sigma _{XY}}{\sigma _{X}\sigma _{Y}}}}$

Важные именованные дистрибутивы [ править ]

Именованные совместные распределения, которые часто возникают в статистике, включают многомерное нормальное распределение , многомерное стабильное распределение , полиномиальное распределение , отрицательное полиномиальное распределение , многомерное гипергеометрическое распределение и эллиптическое распределение .

См. Также [ править ]

• Байесовское программирование
• Дерево Чау – Лю
• Условная возможность
• Копула (теория вероятностей)
• Теорема дезинтеграции
• Многовариантная статистика
• Статистическая интерференция
• Попарно независимое распределение

Ссылки [ править ]

Внешние ссылки [ править ]

• "Совместное распространение" , Энциклопедия математики , EMS Press , 2001 [1994]
• "Многомерное распределение" , Математическая энциклопедия , EMS Press , 2001 [1994]
• Современное введение в вероятность и статистику: понимание, почему и как . Деккинг, Мишель, 1946-. Лондон: Спрингер. 2005. ISBN 978-1-85233-896-1 . OCLC  262680588. 
• «Совместная непрерывная функция плотности» . PlanetMath .
• Mathworld: совместная функция распределения