Условная независимость

Часть серии по статистике
Теория вероятности
Аксиомы вероятности
Вероятностное пространство Образец пространства Элементарное мероприятие Мероприятие Случайная переменная Вероятностная мера
Дополнительное мероприятие Совместная вероятность Предельная вероятность Условная возможность
Независимость Условная независимость Закон полной вероятности Закон больших чисел Теорема Байеса Неравенство Буля
Диаграмма Венна Древовидная диаграмма
v т е

В теории вероятностей два случайных события и являются условно независимыми дали третье событие точно , если возникновение и возникновение являются независимыми событиями в их распределения условной вероятности данные . Другими словами, и являются условно независимыми, заданными тогда и только тогда, когда при данных знаниях, которые происходят, знание того, происходит ли это, не дает информации о вероятности возникновения, а знание того, происходит ли это, не дает информации о вероятности возникновения.${\ displaystyle A}$${\ displaystyle B}$${\ displaystyle C}$${\ displaystyle A}$ ${\ displaystyle B}$${\ displaystyle C}$${\ displaystyle A}$${\ displaystyle B}$${\ displaystyle C}$${\ displaystyle C}$${\ displaystyle A}$${\ displaystyle B}$${\ displaystyle B}$${\ displaystyle A}$

Концепция условной независимости может быть расширена от случайных событий до случайных величин и случайных векторов.

Условная независимость событий [ править ]

Определение [ править ]

В стандартных обозначениях теории вероятностей и условно независимы даны тогда и только тогда, когда . Условная независимость от и данного обозначается . Формально:${\ displaystyle A}$${\ displaystyle B}$${\ displaystyle C}$${\ Displaystyle \ Pr (A \ cap B \ mid C) = \ Pr (A \ mid C) \ Pr (B \ mid C)}$${\ displaystyle A}$${\ displaystyle B}$${\ displaystyle C}$${\ Displaystyle (А \ перп \! \! \! \ перп В) \ середина С}$

${\ Displaystyle (А \ перп \! \! \! \ перп В) \ середина С \ четырехъядерный \ iff \ четырехъядерный \ Pr (А \ крышка В \ середина С) = \ Pr (А \ середина С) \ Pr (В \ mid C)}$

( Уравнение 1 )

или эквивалентно,

${\ Displaystyle (А \ перп \! \! \! \ перп В) \ середина С \ четырехъядерный \ iff \ четырехъядерный \ Pr (А \ середина В \ крышка С) = \ Пр (А \ середина С) \ четырехугольник {\ текст {или}} \ quad \ Pr (B \ mid C) = 0.}$

Примеры [ править ]

Обсуждение на StackExchange содержит несколько полезных примеров. Смотри ниже. ^[1]

Цветные коробки [ править ]

Каждая ячейка представляет собой возможный результат. События , и представлены областями, заштрихованными красным , синим и желтым цветом соответственно. Перекрытие между событиями и заштриховано фиолетовым . ${\ displaystyle \ color {красный} R}$${\ displaystyle \ color {синий} B}$${\ displaystyle \ color {золото} Y}$${\ displaystyle \ color {красный} R}$${\ displaystyle \ color {синий} B}$

Вероятности этих событий обозначены заштрихованными областями по отношению к общей площади. В обоих примерах и являются условно независимыми, поскольку:${\ displaystyle \ color {красный} R}$${\ displaystyle \ color {синий} B}$${\ displaystyle \ color {золото} Y}$

${\displaystyle \Pr({\color {red}R}\cap {\color {blue}B}\mid {\color {gold}Y})=\Pr({\color {red}R}\mid {\color {gold}Y})\Pr({\color {blue}B}\mid {\color {gold}Y})}$^[2]

но не является условно независимым, поскольку:${\displaystyle \left[{\text{not }}{\color {gold}Y}\right]}$

${\displaystyle \Pr({\color {red}R}\cap {\color {blue}B}\mid {\text{not }}{\color {gold}Y})\not =\Pr({\color {red}R}\mid {\text{not }}{\color {gold}Y})\Pr({\color {blue}B}\mid {\text{not }}{\color {gold}Y})}$

Погода и задержки [ править ]

Пусть два события будут вероятностями того, что люди A и B вернутся домой к обеду, а третье событие - это факт, что на город обрушилась снежная буря. Хотя и A, и B имеют более низкую вероятность прийти домой к обеду, более низкие вероятности все равно будут независимы друг от друга. То есть знание того, что А опаздывает, не говорит вам, опоздает ли Б. (Они могут жить в разных районах, путешествовать на разные расстояния и использовать разные виды транспорта.) Однако, если у вас есть информация о том, что они живут в одном районе, пользуются одним и тем же транспортом и работают в одном месте, тогда оба события НЕ являются условно независимыми.

Игра в кости [ править ]

Условная независимость зависит от характера третьего события. Если вы бросаете два кубика, можно предположить, что эти два кубика ведут себя независимо друг от друга. Просмотр результатов одного кубика не скажет вам о результате второго кубика. (То есть два кубика независимы.) Однако, если результат 1-го кубика равен 3, и кто-то сообщает вам о третьем событии - что сумма двух результатов четная, - то эта дополнительная единица информации ограничивает варианты 2-го результата на нечетное число. Другими словами, два события могут быть независимыми, но НЕ условно независимыми.

Рост и словарный запас [ править ]

Рост и словарный запас зависят от того, что очень маленькие люди, как правило, дети, известные своим базовым словарным запасом. Но зная, что двум людям 19 лет (т.е. возраст зависит от возраста), нет причин думать, что словарный запас одного человека больше, если нам говорят, что они выше.

Условная независимость случайных величин [ править ]

Две случайные величины и являются условно независимыми при заданной третьей случайной величине тогда и только тогда, когда они независимы в своем заданном условном распределении вероятностей . То есть, и являются условно независимыми, заданными тогда и только тогда, когда при любом значении распределение вероятностей одинаково для всех значений, а распределение вероятностей одинаково для всех значений . Формально:${\displaystyle X}$${\displaystyle Y}$${\displaystyle Z}$${\displaystyle Z}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle Z}$${\displaystyle Z}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle Y}$${\displaystyle X}$

${\displaystyle (X\perp \!\!\!\perp Y)\mid Z\quad \iff \quad F_{X,Y\,\mid \,Z\,=\,z}(x,y)=F_{X\,\mid \,Z\,=\,z}(x)\cdot F_{Y\,\mid \,Z\,=\,z}(y)\quad {\text{for all }}x,y,z}$

( Уравнение 2 )

где условная функция распределения из и дали .${\displaystyle F_{X,Y\,\mid \,Z\,=\,z}(x,y)=\Pr(X\leq x,Y\leq y\mid Z=z)}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle Z}$

Два события и условно независимы для σ-алгебры, если${\displaystyle R}$${\displaystyle B}$ ${\displaystyle \Sigma }$

${\displaystyle \Pr(R\cap B\mid \Sigma )=\Pr(R\mid \Sigma )\Pr(B\mid \Sigma ){\text{ a.s.}}}$

где обозначает условное математическое ожидание в функции индикатора события , с учетом сигма алгебра . То есть,${\displaystyle \Pr(A\mid \Sigma )}$${\displaystyle A}$${\displaystyle \chi _{A}}$${\displaystyle \Sigma }$

${\displaystyle \Pr(A\mid \Sigma ):=\operatorname {E} [\chi _{A}\mid \Sigma ].}$

Две случайные величины и условно независимы для данной σ-алгебры, если приведенное выше уравнение выполняется для всех in и in .${\displaystyle X}$${\displaystyle Y}$${\displaystyle \Sigma }$${\displaystyle R}$${\displaystyle \sigma (X)}$${\displaystyle B}$${\displaystyle \sigma (Y)}$

Две случайные величины и условно независимы при заданной случайной величине, если они независимы при заданном σ ( W ): σ-алгебре, порожденной . Обычно это пишут:${\displaystyle X}$${\displaystyle Y}$${\displaystyle W}$${\displaystyle W}$

${\displaystyle X\perp \!\!\!\perp Y\mid W}$ или же

${\displaystyle X\perp Y\mid W}$

Это читается как « не зависит от , дано »; обуславливание применяется ко всему утверждению: «( не зависит от ) данного ».${\displaystyle X}$${\displaystyle Y}$${\displaystyle W}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle W}$

${\displaystyle (X\perp \!\!\!\perp Y)\mid W}$

Если предполагается счетный набор значений, это эквивалентно условной независимости X и Y для событий формы . Условная независимость более двух событий или более двух случайных величин определяется аналогично.${\displaystyle W}$${\displaystyle [W=w]}$

Следующие два примера показывают, что ни подразумевает, ни подразумевается . Во-первых, предположим, что это 0 с вероятностью 0,5 и 1 в противном случае. Когда W  = 0, примем и независимыми, каждый из которых имеет значение 0 с вероятностью 0,99 и значение 1 в противном случае. Когда , и снова независимы, но на этот раз они принимают значение 1 с вероятностью 0,99. Тогда . Но и зависимы, потому что Pr ( X  = 0) <Pr ( X  = 0 | Y  = 0). Это потому, что Pr ( X  = 0) = 0,5, но если Y  = 0, то очень вероятно, что W  = 0 и, следовательно, X${\displaystyle X\perp \!\!\!\perp Y}$ ${\displaystyle (X\perp \!\!\!\perp Y)\mid W}$${\displaystyle W}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle W=1}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle (X\perp \!\!\!\perp Y)\mid W}$${\displaystyle X}$${\displaystyle Y}$ = 0, поэтому Pr ( X  = 0 | Y  = 0)> 0,5. Для второго примера предположим , что каждое принимает значения 0 и 1 с вероятностью 0,5. Позвольте быть продуктом . Тогда, когда Pr ( X  = 0) = 2/3, но Pr ( X  = 0 | Y  = 0) = 1/2, значит , неверно. Это также пример «Объяснения прочь». См. Учебник Кевина Мерфи ^[3], где и возьмите значения «умный» и «спортивный».${\displaystyle X\perp \!\!\!\perp Y}$${\displaystyle W}$${\displaystyle X\cdot Y}$${\displaystyle W=0}$${\displaystyle (X\perp \!\!\!\perp Y)\mid W}$${\displaystyle X}$${\displaystyle Y}$

Условная независимость случайных векторов [ править ]

Два случайных вектора и являются условно независимыми при заданном третьем случайном векторе тогда и только тогда, когда они независимы в своем условном кумулятивном распределении . Формально:${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{l})^{\mathrm {T} }}$${\displaystyle \mathbf {Y} =(Y_{1},\ldots ,Y_{m})^{\mathrm {T} }}$${\displaystyle \mathbf {Z} =(Z_{1},\ldots ,Z_{n})^{\mathrm {T} }}$${\displaystyle \mathbf {Z} }$

${\displaystyle (\mathbf {X} \perp \!\!\!\perp \mathbf {Y} )\mid \mathbf {Z} \quad \iff \quad F_{\mathbf {X} ,\mathbf {Y} |\mathbf {Z} =\mathbf {z} }(\mathbf {x} ,\mathbf {y} )=F_{\mathbf {X} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {x} )\cdot F_{\mathbf {Y} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {y} )\quad {\text{for all }}\mathbf {x} ,\mathbf {y} ,\mathbf {z} }$

( Уравнение 3 )

где , и условные кумулятивные распределения определяются следующим образом.${\displaystyle \mathbf {x} =(x_{1},\ldots ,x_{l})^{\mathrm {T} }}$${\displaystyle \mathbf {y} =(y_{1},\ldots ,y_{m})^{\mathrm {T} }}$${\displaystyle \mathbf {z} =(z_{1},\ldots ,z_{n})^{\mathrm {T} }}$

${\displaystyle {\begin{aligned}F_{\mathbf {X} ,\mathbf {Y} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {x} ,\mathbf {y} )&=\Pr(X_{1}\leq x_{1},\ldots ,X_{l}\leq x_{l},Y_{1}\leq y_{1},\ldots ,Y_{m}\leq y_{m}\mid Z_{1}=z_{1},\ldots ,Z_{n}=z_{n})\\[6pt]F_{\mathbf {X} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {x} )&=\Pr(X_{1}\leq x_{1},\ldots ,X_{l}\leq x_{l}\mid Z_{1}=z_{1},\ldots ,Z_{n}=z_{n})\\[6pt]F_{\mathbf {Y} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {y} )&=\Pr(Y_{1}\leq y_{1},\ldots ,Y_{m}\leq y_{m}\mid Z_{1}=z_{1},\ldots ,Z_{n}=z_{n})\end{aligned}}}$

Используется в байесовском выводе [ править ]

Пусть p будет долей избирателей, которые проголосуют «за» на предстоящем референдуме . При опросе общественного мнения случайным образом выбираются n избирателей из числа населения. Для i  = 1, ...,  n пусть X _i = 1 или 0, соответственно, будет или нет i- й выбранный избиратель голосовать «за».

При частотном подходе к статистическому выводу нельзя приписывать p какое-либо распределение вероятностей (если только вероятности нельзя каким-либо образом интерпретировать как относительные частоты возникновения некоторого события или как доли некоторой совокупности), и можно было бы сказать, что X ₁ , ... , X _n - независимые случайные величины.

Напротив, в байесовском подходе к статистическому выводу можно было бы назначить распределение вероятностей для p независимо от отсутствия какой-либо такой «частотной» интерпретации, и можно было бы истолковать вероятности как степени уверенности в том, что p находится в любом интервале до которому присвоена вероятность. В этой модели случайные величины X ₁ , ...,  X _n не являются независимыми, но они условно независимы при заданном значении p . В частности, если большое количество Xs равны 1, что означало бы высокую условную вероятность, учитывая это наблюдение, что p близко к 1, и, таким образом, высокую условную вероятность, учитывая это наблюдение, что следующий X, который будет наблюдаться, будет равен 1 .

Правила условной независимости [ править ]

Набор правил, управляющих заявлениями об условной независимости, был выведен из основного определения. ^{[4] [5]}

Примечание: поскольку эти последствия имеют место для любого вероятностного пространства, они все равно будут иметь место, если учесть , вложенную вселенную кондиционирования все на другой переменной, скажем  K . Например, это тоже означало бы .${\displaystyle X\perp \!\!\!\perp Y\Rightarrow Y\perp \!\!\!\perp X}$${\displaystyle X\perp \!\!\!\perp Y\mid K\Rightarrow Y\perp \!\!\!\perp X\mid K}$

Примечание: ниже запятую можно читать как «И».

Симметрия [ править ]

${\displaystyle X\perp \!\!\!\perp Y\quad \Rightarrow \quad Y\perp \!\!\!\perp X}$

Разложение [ править ]

Фактическая точность этого раздела оспаривается . Соответствующее обсуждение можно найти на Обсуждение: Условная независимость . Пожалуйста, помогите обеспечить надежный источник спорных заявлений . ( Декабрь 2018 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

${\displaystyle X\perp \!\!\!\perp A,B\quad \Rightarrow \quad {\text{ and }}{\begin{cases}X\perp \!\!\!\perp A\\X\perp \!\!\!\perp B\end{cases}}}$

Доказательство:

• ${\displaystyle p_{X,A,B}(x,a,b)=p_{X}(x)p_{A,B}(a,b)}$      (значение )${\displaystyle X\perp \!\!\!\perp A,B}$
• ${\displaystyle \int _{B}\!p_{X,A,B}(x,a,b)\,db=\int _{B}\!p_{X}(x)p_{A,B}(a,b)\,db}$      (игнорируйте переменную B , интегрировав ее)
• ${\displaystyle p_{X,A}(x,a)=p_{X}(x)p_{A}(a)}$     

Аналогично доказывается независимость X и B .

Слабый союз [ править ]

${\displaystyle X\perp \!\!\!\perp A,B\quad \Rightarrow \quad {\text{ and }}{\begin{cases}X\perp \!\!\!\perp A\mid B\\X\perp \!\!\!\perp B\mid A\end{cases}}}$

Доказательство:

• По определению .${\displaystyle \Pr(X)=\Pr(X\mid A,B)}$
• Благодаря свойству разложения , .${\displaystyle X\perp \!\!\!\perp B}$${\displaystyle \Pr(X)=\Pr(X\mid B)}$
• Объединение двух приведенных выше равенств дает , что устанавливает .${\displaystyle \Pr(X\mid B)=\Pr(X\mid A,B)}$${\displaystyle X\perp \!\!\!\perp A\mid B}$

Второе условие доказывается аналогично.

Сокращение [ править ]

${\displaystyle \left.{\begin{aligned}X\perp \!\!\!\perp A\mid B\\X\perp \!\!\!\perp B\end{aligned}}\right\}{\text{ and }}\quad \Rightarrow \quad X\perp \!\!\!\perp A,B}$

Доказательство:

Это свойство можно доказать, заметив , каждое равенство которых утверждается с помощью и , соответственно.${\displaystyle \Pr(X\mid A,B)=\Pr(X\mid B)=\Pr(X)}$${\displaystyle X\perp \!\!\!\perp A\mid B}$${\displaystyle X\perp \!\!\!\perp B}$

Разложение-сжатие-слабое-объединение [ править ]

Соединив вышеперечисленные три вместе, мы имеем:

${\displaystyle \left.{\begin{aligned}X\perp \!\!\!\perp A\mid B\\X\perp \!\!\!\perp B\end{aligned}}\right\}{\text{ and }}\quad \iff \quad X\perp \!\!\!\perp A,B\quad \Rightarrow \quad {\text{ and }}{\begin{cases}X\perp \!\!\!\perp A\mid B\\X\perp \!\!\!\perp B\\X\perp \!\!\!\perp B\mid A\\X\perp \!\!\!\perp A\\\end{cases}}}$^{[ необходима цитата ]}

Пересечение [ править ]

Для строго положительных вероятностных распределений ^[5] также имеет место следующее:

${\displaystyle \left.{\begin{aligned}X\perp \!\!\!\perp A\mid C,B\\X\perp \!\!\!\perp B\mid C,A\end{aligned}}\right\}{\text{ and }}\quad \Rightarrow \quad X\perp \!\!\!\perp B,A\mid C}$

Вышеупомянутые пять правил были названы Перлом и Паз « Аксиомами графоида » ^[6], потому что они выполняются в графах, если их интерпретировать так: «Все пути от X до A перехватываются множеством B ». ^[7]${\displaystyle X\perp \!\!\!\perp A\mid B}$

См. Также [ править ]

• Графоид
• Условная зависимость
• теорема де Финетти
• Условное ожидание

Ссылки [ править ]

Внешние ссылки [ править ]

• СМИ, связанные с условной независимостью на Викискладе?