Закон полной дисперсии

В теории вероятностей , то закон общей дисперсии ^[1] или формула разложения дисперсии или условной дисперсия формул или закона повторных дисперсий также известный как права Евы , ^[2] утверждает , что если X и Y являются случайными величинами на то же вероятностном пространстве , и дисперсия из Y конечна, то

${\ displaystyle \ operatorname {Var} (Y) = \ operatorname {E} [\ operatorname {Var} (Y \ mid X)] + \ operatorname {Var} (\ operatorname {E} [Y \ mid X]). }$

На языке, который, возможно, лучше известен статистикам, чем теоретикам вероятности, эти два термина являются «необъяснимым» и «объясненным» компонентами дисперсии соответственно (ср. Долю необъяснимой дисперсии , объясненную вариацию ). В актуарной науке , в частности в теории достоверности , первый компонент называется ожидаемым значением дисперсии процесса ( EVPV ), а второй - дисперсией гипотетических средних ( VHM ). ^[3] Эти два компонента также являются источником термина «закон Евы», от инициалов EV VE, означающих «ожидание дисперсии» и «дисперсия ожидания».

Существует общая формула разложения дисперсии для c  ≥ 2 компонентов (см. Ниже). ^[4] Например, с двумя обусловливающими случайными величинами:

${\ displaystyle \ operatorname {Var} [Y] = \ operatorname {E} [\ operatorname {Var} (Y \ mid X_ {1}, X_ {2})] + \ operatorname {E} [\ operatorname {Var} (\ operatorname {E} [Y \ mid X_ {1}, X_ {2}] \ mid X_ {1})] + \ operatorname {Var} (\ operatorname {E} [Y \ mid X_ {1}]) ,}$

что следует из закона полной условной дисперсии: ^[4]

${\ displaystyle \ operatorname {Var} (Y \ mid X_ {1}) = \ operatorname {E} \ left [\ operatorname {Var} (Y \ mid X_ {1}, X_ {2}) \ mid X_ {1 } \ right] + \ operatorname {Var} \ left (\ operatorname {E} \ left [Y \ mid X_ {1}, X_ {2} \ right] \ mid X_ {1} \ right).}$

Обратите внимание , что условное математическое ожидание E ( Y | X ) является случайной величиной в своем собственном праве, значение которого зависит от величины X . Обратите внимание, что условное ожидаемое значение Y для события X  =  x является функцией x (именно здесь становится важным соблюдение общепринятых и строго чувствительных к регистру обозначений теории вероятностей!). Если мы пишем E (  Y  |  X  =  x ) =  g ( x ), то случайная величина E ( Y | X )это просто g ( X ). Подобные комментарии относятся к условной дисперсии .

Один особый случай (аналогичный закону полного ожидания ) гласит, что если это раздел всего пространства результатов, т.е. эти события являются взаимоисключающими и исчерпывающими, то${\ Displaystyle A_ {1}, \ ldots, A_ {n}}$

${\displaystyle {\begin{aligned}\operatorname {Var} (X)={}&\sum _{i=1}^{n}\operatorname {Var} (X\mid A_{i})\Pr(A_{i})+\sum _{i=1}^{n}\operatorname {E} [X\mid A_{i}]^{2}(1-\Pr(A_{i}))\Pr(A_{i})\\[4pt]&{}-2\sum _{i=2}^{n}\sum _{j=1}^{i-1}\operatorname {E} [X\mid A_{i}]\Pr(A_{i})\operatorname {E} [X\mid A_{j}]\Pr(A_{j}).\end{aligned}}}$

В этой формуле первый компонент - это математическое ожидание условной дисперсии; два других компонента - это дисперсия условного ожидания.

Доказательство [ править ]

Закон полной дисперсии можно доказать с помощью закона полного ожидания . ^[5] Во-первых,

${\displaystyle \operatorname {Var} [Y]=\operatorname {E} [Y^{2}]-\operatorname {E} [Y]^{2}}$

из определения дисперсии. Опять же, исходя из определения дисперсии и применения закона полного ожидания, мы имеем

${\displaystyle \operatorname {E} [Y^{2}]=\operatorname {E} \left[\operatorname {Var} [Y\mid X]+[\operatorname {E} [Y\mid X]]^{2}\right]}$

Теперь мы перепишем условный второй момент Y в терминах его дисперсии и первого момента и применим закон полного математического ожидания с правой стороны:

${\displaystyle \operatorname {E} [Y^{2}]-\operatorname {E} [Y]^{2}=\operatorname {E} \left[\operatorname {Var} [Y\mid X]+[\operatorname {E} [Y\mid X]]^{2}\right]-[\operatorname {E} [\operatorname {E} [Y\mid X]]]^{2}}$

Поскольку ожидание суммы - это сумма ожиданий, теперь можно перегруппировать условия:

${\displaystyle =\left(\operatorname {E} [\operatorname {Var} [Y\mid X]]\right)+\left(\operatorname {E} [\operatorname {E} [Y\mid X]^{2}]-\operatorname {E} [\operatorname {E} [Y\mid X]]^{2}\right)}$

Наконец, мы распознаем члены во втором наборе круглых скобок как дисперсию условного ожидания E [ Y  | X ]:

${\displaystyle =\operatorname {E} [\operatorname {Var} [Y\mid X]]+\operatorname {Var} [\operatorname {E} [Y\mid X]]}$

Разложение общей дисперсии применимо к динамическим системам [ править ]

Следующая формула показывает, как применить общую теоретико-мерную формулу разложения дисперсии ^[4] к стохастическим динамическим системам. Пусть Y ( t ) будет значением системной переменной в момент времени t . Предположим, у нас есть внутренние истории ( естественные фильтрации ) , каждая из которых соответствует истории (траектории) различного набора системных переменных. Коллекции не обязательно должны быть непересекающимися. Дисперсия Y ( t ) для всех моментов времени t может быть разложена  на c  ≥ 2 компонентов следующим образом:${\displaystyle H_{1t},H_{2t},\ldots ,H_{c-1,t}}$

${\displaystyle {\begin{aligned}\operatorname {Var} [Y(t)]={}&\operatorname {E} (\operatorname {Var} [Y(t)\mid H_{1t},H_{2t},\ldots ,H_{c-1,t}])\\[4pt]&{}+\sum _{j=2}^{c-1}\operatorname {E} (\operatorname {Var} [\operatorname {E} [Y(t)\mid H_{1t},H_{2t},\ldots ,H_{jt}]\mid H_{1t},H_{2t},\ldots ,H_{j-1,t}])\\[4pt]&{}+\operatorname {Var} (\operatorname {E} [Y(t)\mid H_{1t}]).\end{aligned}}}$

Разложение не уникально. Это зависит от порядка кондиционирования при последовательном разложении.

Квадрат корреляции и объясненная (или информационная) вариация [ править ]

В случаях, когда ( Y ,  X ) таковы, что условное ожидаемое значение является линейным; т.е. в случаях, когда

${\displaystyle \operatorname {E} (Y\mid X)=aX+b,}$

из билинейности ковариантности следует, что

${\displaystyle a={\operatorname {Cov} (Y,X) \over \operatorname {Var} (X)}}$

а также

${\displaystyle b=\operatorname {E} (Y)-{\operatorname {Cov} (Y,X) \over \operatorname {Var} (X)}\operatorname {E} (X)}$

и объясненный компонент дисперсии, деленный на общую дисперсию, представляет собой просто квадрат корреляции между Y и X ; т.е. в таких случаях

${\displaystyle {\operatorname {Var} (\operatorname {E} (Y\mid X)) \over \operatorname {Var} (Y)}=\operatorname {Corr} (X,Y)^{2}.}$

Один из примеров такой ситуации - когда ( X , Y ) имеют двумерное нормальное (гауссово) распределение.

В более общем смысле, когда условное ожидание E ( Y | X ) является нелинейной функцией от  X

${\displaystyle \iota _{Y\mid X}={\operatorname {Var} (\operatorname {E} (Y\mid X)) \over \operatorname {Var} (Y)}=\operatorname {Corr} (\operatorname {E} (Y\mid X),Y)^{2},}$ ^[4]

который можно оценить как квадрат R из нелинейной регрессии Y по X , используя данные, полученные из совместного распределения ( X , Y ). Когда E ( Y | X ) имеет гауссово распределение (и является обратимой функцией от X ) или Y сам имеет (маргинальное) гауссово распределение, этот объясненный компонент вариации устанавливает нижнюю границу взаимной информации : ^[4]

${\displaystyle \operatorname {I} (Y;X)\geq \ln([1-\iota _{Y\mid X}]^{-1/2}).}$

Высшие моменты [ править ]

Аналогичный закон для третьего центрального момента μ ₃ говорит

${\displaystyle \mu _{3}(Y)=\operatorname {E} (\mu _{3}(Y\mid X))+\mu _{3}(\operatorname {E} (Y\mid X))+3\operatorname {cov} (\operatorname {E} (Y\mid X),\operatorname {var} (Y\mid X)).}$

Для более высоких кумулянтов существует обобщение. См. Закон общей совокупности .

См. Также [ править ]

• Закон полной ковариации , обобщение
• Закон распространения ошибок

Ссылки [ править ]

• Блицштейн, Джо. «Стат 110 Окончательный обзор (Закон Евы)» (PDF) . stat110.net . Гарвардский университет, статистический факультет . Проверено 9 июля 2014 .
• Биллингсли, Патрик (1995). Вероятность и мера . Нью-Йорк, Нью-Йорк: ISBN John Wiley & Sons, Inc. 0-471-00710-2. (Проблема 34.10 (b))