Условная независимость

Часть серии по статистике
Теория вероятности
Аксиомы вероятности
Вероятностное пространство Образец пространства Элементарное мероприятие Мероприятие Случайная переменная Вероятностная мера
Дополнительное мероприятие Совместная вероятность Предельная вероятность Условная возможность
Независимость Условная независимость Закон полной вероятности Закон больших чисел Теорема Байеса Неравенство Буля
Диаграмма Венна Древовидная диаграмма
v т е

В теории вероятностей , условная независимость описывает ситуации , в которой наблюдение не имеет никакого значения или избыточное при оценке уверенности в гипотезе. Условная независимость обычно формулируется в терминах условной вероятности , как особый случай, когда вероятность гипотезы с учетом неинформативного наблюдения равна вероятности без нее. Если это гипотеза, и и является наблюдение, условная независимость может быть сформулирована как равенство:${\ displaystyle A}$${\ displaystyle B}$${\ displaystyle C}$

${\ Displaystyle P (A | B, C) = P (A | C)}$

где - вероятность того, что оба и . Поскольку вероятность заданного равна вероятности заданного и , это равенство выражает то, что ничего не вносит в достоверность . В этом случае, и , как говорят, условно независимы дано , написанное символически как: .${\ Displaystyle P (A | B, C)}$${\ displaystyle A}$${\ displaystyle B}$${\ displaystyle C}$${\ displaystyle A}$${\ displaystyle C}$${\ displaystyle A}$${\ displaystyle B}$${\ displaystyle C}$${\ displaystyle B}$${\ displaystyle A}$${\ displaystyle A}$${\ displaystyle B}$${\ displaystyle C}$${\ Displaystyle (А \ перп \! \! \! \ перп В | С)}$

Концепция условной независимости важна для основанных на графах теорий статистического вывода, поскольку она устанавливает математическую связь между набором условных утверждений и графоидом .

Условная независимость событий [ править ]

Определение [ править ]

Пусть конечное множество случайных величин , и пусть , и быть непересекающиеся подмножества из .${\ displaystyle V}$${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle Z}$${\ displaystyle V}$

${\ displaystyle X}$` ` и называются условно независимыми, заданными тогда и только тогда, когда и:${\ displaystyle Y}$${\ displaystyle Z}$${\ displaystyle Z}$${\ Displaystyle P (Z)> 0}$

${\ Displaystyle Р (Икс \ середина Y, Z) = Р (Х \ середина Z)}$

Это свойство обычно записывается в виде: .${\ Displaystyle (Х \ перп \! \! \! \ перп У \ середина Z)}$

Эквивалентно условную независимость можно сформулировать как:

${\ Displaystyle P (X, Y | Z) = P (X | Z) P (X | Z)}$

где есть совместная вероятность из и дал . Эта альтернативная формулировка утверждает, что и являются независимыми событиями , если дано .${\ Displaystyle P (X, Y | Z)}$${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle Z}$${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle Z}$

Доказательство эквивалентного определения [ править ]

${\ Displaystyle P (X, Y \ mid Z) = P (X \ mid Z) P (Y \ mid Z)}$

iff      (определение условной вероятности)${\ displaystyle {\ frac {P (X, Y, Z)} {P (Z)}} = ({\ frac {P (X, Z)} {P (Z)}}) ({\ frac {P (Y, Z)} {P (Z)}})}$

если и только тогда       (умножить обе стороны на )${\ Displaystyle P (X, Y, Z) = {\ гидроразрыва {P (X, Z) P (Y, Z)} {P (Z)}}}$${\ Displaystyle P (Z)}$

если и только если       (разделите обе стороны на )${\displaystyle {\frac {P(X,Y,Z)}{P(Y,Z)}}={\frac {P(X,Z)}{P(Z)}}}$${\displaystyle P(Y,Z)}$

iff       (определение условной вероятности)${\displaystyle P(X\mid Y,Z)=P(X\mid Z)}$${\displaystyle \therefore }$

Примеры [ править ]

Обсуждение на StackExchange содержит несколько полезных примеров. Смотри ниже. ^[1]

Цветные коробки [ править ]

Каждая ячейка представляет собой возможный результат. События , и представлены областями, заштрихованными красным , синим и желтым цветом соответственно. Перекрытие между событиями и заштриховано фиолетовым . ${\displaystyle \color {red}R}$${\displaystyle \color {blue}B}$${\displaystyle \color {gold}Y}$${\displaystyle \color {red}R}$${\displaystyle \color {blue}B}$

Вероятности этих событий обозначены заштрихованными областями по отношению к общей площади. В обоих примерах и являются условно независимыми, поскольку:${\displaystyle \color {red}R}$${\displaystyle \color {blue}B}$${\displaystyle \color {gold}Y}$

${\displaystyle \Pr({\color {red}R},{\color {blue}B}\mid {\color {gold}Y})=\Pr({\color {red}R}\mid {\color {gold}Y})\Pr({\color {blue}B}\mid {\color {gold}Y})}$^[2]

но не является условно независимым, поскольку:${\displaystyle \left[{\text{not }}{\color {gold}Y}\right]}$

${\displaystyle \Pr({\color {red}R},{\color {blue}B}\mid {\text{not }}{\color {gold}Y})\not =\Pr({\color {red}R}\mid {\text{not }}{\color {gold}Y})\Pr({\color {blue}B}\mid {\text{not }}{\color {gold}Y})}$

Погода и задержки [ править ]

Пусть два события будут вероятностями того, что люди A и B вернутся домой к обеду, а третье событие - это факт, что на город обрушилась снежная буря. Хотя и A, и B имеют более низкую вероятность прийти домой к обеду, более низкие вероятности все равно будут независимы друг от друга. То есть знание того, что А опаздывает, не говорит вам, опоздает ли Б. (Они могут жить в разных районах, путешествовать на разные расстояния и использовать разные виды транспорта.) Однако, если у вас есть информация о том, что они живут в одном районе, пользуются одним и тем же транспортом и работают в одном месте, тогда оба события НЕ являются условно независимыми.

Игра в кости [ править ]

Условная независимость зависит от характера третьего события. Если вы бросаете два кубика, можно предположить, что эти два кубика ведут себя независимо друг от друга. Просмотр результатов одного кубика не скажет вам о результате второго кубика. (То есть два кубика независимы.) Однако, если результат 1-го кубика равен 3, и кто-то сообщает вам о третьем событии - что сумма двух результатов четная, - то эта дополнительная единица информации ограничивает варианты 2-го результата на нечетное число. Другими словами, два события могут быть независимыми, но НЕ условно независимыми.

Рост и словарный запас [ править ]

Рост и словарный запас зависят от того, что очень маленькие люди, как правило, дети, известные своим базовым словарным запасом. Но зная, что двум людям 19 лет (т.е. возраст зависит от возраста), нет причин думать, что словарный запас одного человека больше, если нам говорят, что они выше.

Условная независимость случайных величин [ править ]

Две случайные величины и условно независимы при заданной третьей случайной величине тогда и только тогда, когда они независимы в заданном условном распределении вероятностей . То есть, и являются условно независимыми, заданными тогда и только тогда, когда при любом значении распределение вероятностей одинаково для всех значений, а распределение вероятностей одинаково для всех значений . Формально:${\displaystyle X}$${\displaystyle Y}$${\displaystyle Z}$${\displaystyle Z}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle Z}$${\displaystyle Z}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle Y}$${\displaystyle X}$

${\displaystyle (X\perp \!\!\!\perp Y)\mid Z\quad \iff \quad F_{X,Y\,\mid \,Z\,=\,z}(x,y)=F_{X\,\mid \,Z\,=\,z}(x)\cdot F_{Y\,\mid \,Z\,=\,z}(y)\quad {\text{for all }}x,y,z}$

( Уравнение 2 )

где условная функция распределения из и дали .${\displaystyle F_{X,Y\,\mid \,Z\,=\,z}(x,y)=\Pr(X\leq x,Y\leq y\mid Z=z)}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle Z}$

Два события и условно независимы для σ-алгебры, если${\displaystyle R}$${\displaystyle B}$ ${\displaystyle \Sigma }$

${\displaystyle \Pr(R,B\mid \Sigma )=\Pr(R\mid \Sigma )\Pr(B\mid \Sigma ){\text{ a.s.}}}$

где обозначает условное математическое ожидание в функции индикатора события , с учетом сигма алгебра . То есть,${\displaystyle \Pr(A\mid \Sigma )}$${\displaystyle A}$${\displaystyle \chi _{A}}$${\displaystyle \Sigma }$

${\displaystyle \Pr(A\mid \Sigma ):=\operatorname {E} [\chi _{A}\mid \Sigma ].}$

Две случайные величины и условно независимы для данной σ-алгебры, если приведенное выше уравнение выполняется для всех in и in .${\displaystyle X}$${\displaystyle Y}$${\displaystyle \Sigma }$${\displaystyle R}$${\displaystyle \sigma (X)}$${\displaystyle B}$${\displaystyle \sigma (Y)}$

Две случайные величины и условно независимы при заданной случайной величине, если они независимы при заданном σ ( W ): σ-алгебре, порожденной . Обычно это пишут:${\displaystyle X}$${\displaystyle Y}$${\displaystyle W}$${\displaystyle W}$

${\displaystyle X\perp \!\!\!\perp Y\mid W}$ или же

${\displaystyle X\perp Y\mid W}$

Это читается как « не зависит от , дано »; Обусловленность применяется ко всему утверждению: «( не зависит от ) данного ».${\displaystyle X}$${\displaystyle Y}$${\displaystyle W}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle W}$

${\displaystyle (X\perp \!\!\!\perp Y)\mid W}$

Если предполагается счетный набор значений, это эквивалентно условной независимости X и Y для событий формы . Условная независимость более двух событий или более двух случайных величин определяется аналогично.${\displaystyle W}$${\displaystyle [W=w]}$

Следующие два примера показывают, что ни подразумевает, ни подразумевается . Во-первых, предположим, что это 0 с вероятностью 0,5 и 1 в противном случае. Когда W  = 0, примем и независимыми, каждый из которых имеет значение 0 с вероятностью 0,99 и значение 1 в противном случае. Когда , и снова независимы, но на этот раз они принимают значение 1 с вероятностью 0,99. Тогда . Но и зависимы, потому что Pr ( X  = 0) <Pr ( X  = 0 | Y  = 0). Это потому, что Pr ( X  = 0) = 0,5, но если Y  = 0, то очень вероятно, что W  = 0 и, следовательно, X${\displaystyle X\perp \!\!\!\perp Y}$ ${\displaystyle (X\perp \!\!\!\perp Y)\mid W}$${\displaystyle W}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle W=1}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle (X\perp \!\!\!\perp Y)\mid W}$${\displaystyle X}$${\displaystyle Y}$ = 0, поэтому Pr ( X  = 0 | Y  = 0)> 0,5. Для второго примера предположим , что каждое принимает значения 0 и 1 с вероятностью 0,5. Позвольте быть продуктом . Тогда, когда Pr ( X  = 0) = 2/3, но Pr ( X  = 0 | Y  = 0) = 1/2, значит , неверно. Это также пример «Объяснения прочь». См. Учебник Кевина Мерфи ^[3], где и возьмите значения «умный» и «спортивный».${\displaystyle X\perp \!\!\!\perp Y}$${\displaystyle W}$${\displaystyle X\cdot Y}$${\displaystyle W=0}$${\displaystyle (X\perp \!\!\!\perp Y)\mid W}$${\displaystyle X}$${\displaystyle Y}$

Условная независимость случайных векторов [ править ]

Два случайных вектора и являются условно независимыми при заданном третьем случайном векторе тогда и только тогда, когда они независимы в своем условном кумулятивном распределении . Формально:${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{l})^{\mathrm {T} }}$${\displaystyle \mathbf {Y} =(Y_{1},\ldots ,Y_{m})^{\mathrm {T} }}$${\displaystyle \mathbf {Z} =(Z_{1},\ldots ,Z_{n})^{\mathrm {T} }}$${\displaystyle \mathbf {Z} }$

${\displaystyle (\mathbf {X} \perp \!\!\!\perp \mathbf {Y} )\mid \mathbf {Z} \quad \iff \quad F_{\mathbf {X} ,\mathbf {Y} |\mathbf {Z} =\mathbf {z} }(\mathbf {x} ,\mathbf {y} )=F_{\mathbf {X} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {x} )\cdot F_{\mathbf {Y} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {y} )\quad {\text{for all }}\mathbf {x} ,\mathbf {y} ,\mathbf {z} }$

( Уравнение 3 )

где , и условные кумулятивные распределения определяются следующим образом.${\displaystyle \mathbf {x} =(x_{1},\ldots ,x_{l})^{\mathrm {T} }}$${\displaystyle \mathbf {y} =(y_{1},\ldots ,y_{m})^{\mathrm {T} }}$${\displaystyle \mathbf {z} =(z_{1},\ldots ,z_{n})^{\mathrm {T} }}$

${\displaystyle {\begin{aligned}F_{\mathbf {X} ,\mathbf {Y} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {x} ,\mathbf {y} )&=\Pr(X_{1}\leq x_{1},\ldots ,X_{l}\leq x_{l},Y_{1}\leq y_{1},\ldots ,Y_{m}\leq y_{m}\mid Z_{1}=z_{1},\ldots ,Z_{n}=z_{n})\\[6pt]F_{\mathbf {X} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {x} )&=\Pr(X_{1}\leq x_{1},\ldots ,X_{l}\leq x_{l}\mid Z_{1}=z_{1},\ldots ,Z_{n}=z_{n})\\[6pt]F_{\mathbf {Y} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {y} )&=\Pr(Y_{1}\leq y_{1},\ldots ,Y_{m}\leq y_{m}\mid Z_{1}=z_{1},\ldots ,Z_{n}=z_{n})\end{aligned}}}$

Используется в байесовском выводе [ править ]

Пусть p будет долей избирателей, которые проголосуют «за» на предстоящем референдуме . При опросе общественного мнения случайным образом выбираются n избирателей из числа населения. Для i  = 1, ...,  n пусть X _i = 1 или 0, соответственно, будет или нет i- й выбранный избиратель голосовать «за».

При частотном подходе к статистическому выводу нельзя приписывать p какое-либо распределение вероятностей (если только вероятности нельзя каким-либо образом интерпретировать как относительные частоты возникновения некоторого события или как доли некоторой совокупности), и можно было бы сказать, что X ₁ , ... , X _n - независимые случайные величины.

Напротив, в байесовском подходе к статистическому выводу можно было бы назначить распределение вероятностей для p независимо от отсутствия какой-либо такой «частотной» интерпретации, и можно было бы истолковать вероятности как степени уверенности в том, что p находится в любом интервале до которому присвоена вероятность. В этой модели случайные величины X ₁ , ...,  X _n не являются независимыми, но они условно независимы при заданном значении p . В частности, если большое количество Xs равны 1, что означало бы высокую условную вероятность, учитывая это наблюдение, что p близко к 1, и, таким образом, высокую условную вероятность, учитывая это наблюдение, что следующий X, который будет наблюдаться, будет равен 1 .

Правила условной независимости [ править ]

Набор правил, управляющих заявлениями об условной независимости, был выведен из основного определения. ^{[4] [5]}

Эти правила были названы Перлом и Пасом « Аксиомами графоида » ^[6], потому что они выполняются в графах, где это интерпретируется как означающее: «Все пути от X до A перехватываются множеством B ». ^[7]${\displaystyle X\perp \!\!\!\perp A\mid B}$

Симметрия [ править ]

${\displaystyle X\perp \!\!\!\perp Y\quad \Rightarrow \quad Y\perp \!\!\!\perp X}$

Разложение [ править ]

${\displaystyle X\perp \!\!\!\perp A,B\quad \Rightarrow \quad {\text{ and }}{\begin{cases}X\perp \!\!\!\perp A\\X\perp \!\!\!\perp B\end{cases}}}$

Доказательство

• ${\displaystyle p_{X,A,B}(x,a,b)=p_{X}(x)p_{A,B}(a,b)}$      (значение )${\displaystyle X\perp \!\!\!\perp A,B}$
• ${\displaystyle \int _{B}\!p_{X,A,B}(x,a,b)\,db=\int _{B}\!p_{X}(x)p_{A,B}(a,b)\,db}$      (игнорируйте переменную B , интегрировав ее)
• ${\displaystyle p_{X,A}(x,a)=p_{X}(x)p_{A}(a)}$     

Аналогично доказывается независимость X и B .

Слабый союз [ править ]

${\displaystyle X\perp \!\!\!\perp A,B\quad \Rightarrow \quad {\text{ and }}{\begin{cases}X\perp \!\!\!\perp A\mid B\\X\perp \!\!\!\perp B\mid A\end{cases}}}$

Доказательство

• По определению .${\displaystyle \Pr(X)=\Pr(X\mid A,B)}$
• Благодаря свойству разложения , .${\displaystyle X\perp \!\!\!\perp B}$${\displaystyle \Pr(X)=\Pr(X\mid B)}$
• Объединение двух приведенных выше равенств дает , что устанавливает .${\displaystyle \Pr(X\mid B)=\Pr(X\mid A,B)}$${\displaystyle X\perp \!\!\!\perp A\mid B}$

Второе условие доказывается аналогично.

Сокращение [ править ]

${\displaystyle \left.{\begin{aligned}X\perp \!\!\!\perp A\mid B\\X\perp \!\!\!\perp B\end{aligned}}\right\}{\text{ and }}\quad \Rightarrow \quad X\perp \!\!\!\perp A,B}$

Доказательство

Это свойство можно доказать, заметив , каждое равенство которых утверждается с помощью и , соответственно.${\displaystyle \Pr(X\mid A,B)=\Pr(X\mid B)=\Pr(X)}$${\displaystyle X\perp \!\!\!\perp A\mid B}$${\displaystyle X\perp \!\!\!\perp B}$

Пересечение [ править ]

Для строго положительных вероятностных распределений ^[5] также имеет место следующее:

${\displaystyle \left.{\begin{aligned}X\perp \!\!\!\perp Y\mid Z,W\\X\perp \!\!\!\perp W\mid Z,Y\end{aligned}}\right\}{\text{ and }}\quad \Rightarrow \quad X\perp \!\!\!\perp W,Y\mid Z}$

Доказательство

По определению:

${\displaystyle P(X|Z,W,Y)=P(X|Z,W)\land P(X|Z,W,Y)=P(X|Z,Y)\implies P(X|Z,Y)=P(X|Z,W)}$

Используя это равенство вместе с Законом полной вероятности, применяемым к :${\displaystyle P(X|Z)}$

${\displaystyle P(X|Z)=\sum _{w\in W}P(X|Z,W=w)P(W=w|Z)}$

знак равно ${\displaystyle \sum _{w\in W}P(X|Y,Z)P(W=w|Z)}$

знак равно ${\displaystyle P(X|Z,Y)\sum _{w\in W}P(W=w|Z)}$

знак равно ${\displaystyle P(X|Z,Y)}$

Поскольку и , отсюда следует, что .${\displaystyle P(X|Z,W,Y)=P(X|Z,Y)}$${\displaystyle P(X|Z,Y)=P(X|Z)}$${\displaystyle P(X|Z,W,Y)=P(X|Z)\iff X\perp \!\!\!\perp Y,W|Z}$

Техническое примечание: поскольку эти последствия имеют место для любого вероятностного пространства, они все равно будут иметь место, если учесть , вложенную вселенную кондиционирования все на другой переменной, скажем  K . Например, это тоже означало бы .${\displaystyle X\perp \!\!\!\perp Y\Rightarrow Y\perp \!\!\!\perp X}$${\displaystyle X\perp \!\!\!\perp Y\mid K\Rightarrow Y\perp \!\!\!\perp X\mid K}$

См. Также [ править ]

• Графоид
• Условная зависимость
• теорема де Финетти
• Условное ожидание

Ссылки [ править ]

Внешние ссылки [ править ]

• СМИ, связанные с условной независимостью на Викискладе?