Ковариация

Знак ковариации двух случайных величин X и Y

В теории вероятностей и статистике , ковариация является мерой совместной изменчивости двух случайных величин . ^[1] Если большие значения одной переменной в основном соответствуют большим значениям другой переменной, и то же самое верно для меньших значений (то есть переменные имеют тенденцию показывать аналогичное поведение), ковариация положительная. ^[2] В противоположном случае, когда большие значения одной переменной в основном соответствуют меньшим значениям другой (т. Е. Переменные имеют тенденцию показывать противоположное поведение), ковариация отрицательная. Знак ковариации, следовательно, показывает тенденцию в линейной зависимостимежду переменными. Величину ковариации непросто интерпретировать, поскольку она не нормирована и, следовательно, зависит от величин переменных. Нормированная версия ковариации , то коэффициент корреляции , однако, показывает , по его величине сила линейной зависимости.

Необходимо различать (1) ковариацию двух случайных величин, которая является параметром совокупности, который можно рассматривать как свойство совместного распределения вероятностей , и (2) ковариацию выборки , которая помимо того, что служит дескриптором выборки, также служит оценочным значением параметра совокупности.

Определение [ править ]

В течение двух совместно распределенных реальных -значных случайных величин и с конечными вторыми моментами , ковариация определяется как ожидаемое значение (или среднее) продукта их отклонений от их индивидуальных ожидаемых значений: ^{[3] [4] : р. 119}${\ displaystyle X}$${\ displaystyle Y}$

${\ displaystyle \ operatorname {cov} (X, Y) = \ operatorname {E} {{\ big [} (X- \ operatorname {E} [X]) (Y- \ operatorname {E} [Y]) { \большой ]}}}$

( Уравнение 1 )

где это ожидаемое значение из , также известное как средние . Ковариация также иногда обозначается или по аналогии с дисперсией . Используя свойство линейности ожиданий, это можно упростить до ожидаемой стоимости их продукта за вычетом произведения их ожидаемых значений:${\ displaystyle \ operatorname {E} [X]}$${\ displaystyle X}$${\ displaystyle X}$${\ displaystyle \ sigma _ {XY}}$${\ Displaystyle \ sigma (X, Y)}$

${\displaystyle {\begin{aligned}\operatorname {cov} (X,Y)&=\operatorname {E} \left[\left(X-\operatorname {E} \left[X\right]\right)\left(Y-\operatorname {E} \left[Y\right]\right)\right]\\&=\operatorname {E} \left[XY-X\operatorname {E} \left[Y\right]-\operatorname {E} \left[X\right]Y+\operatorname {E} \left[X\right]\operatorname {E} \left[Y\right]\right]\\&=\operatorname {E} \left[XY\right]-\operatorname {E} \left[X\right]\operatorname {E} \left[Y\right]-\operatorname {E} \left[X\right]\operatorname {E} \left[Y\right]+\operatorname {E} \left[X\right]\operatorname {E} \left[Y\right]\\&=\operatorname {E} \left[XY\right]-\operatorname {E} \left[X\right]\operatorname {E} \left[Y\right],\end{aligned}}}$

но это уравнение подвержено катастрофической отмене (см. ниже раздел о численных вычислениях ).

В единицы измерения ковариации являются те времена те . Напротив, коэффициенты корреляции , которые зависят от ковариации, являются безразмерной мерой линейной зависимости. (Фактически, коэффициенты корреляции можно просто понимать как нормализованную версию ковариации.)${\displaystyle \operatorname {cov} (X,Y)}$${\displaystyle X}$${\displaystyle Y}$

Определение сложных случайных величин [ править ]

Ковариация между двумя комплексными случайными величинами определяется как ^{[4] : p. 119}${\displaystyle Z,W}$

${\displaystyle \operatorname {cov} (Z,W)=\operatorname {E} \left[(Z-\operatorname {E} [Z]){\overline {(W-\operatorname {E} [W])}}\right]=\operatorname {E} \left[Z{\overline {W}}\right]-\operatorname {E} [Z]\operatorname {E} \left[{\overline {W}}\right]}$

Обратите внимание на комплексное сопряжение второго множителя в определении.

Дискретные случайные величины [ править ]

Если пара случайных величин может принимать значения для с равными вероятностями , то ковариация может быть эквивалентно записана в терминах средних и как${\displaystyle (X,Y)}$${\displaystyle (x_{i},y_{i})}$${\displaystyle i=1,\ldots ,n}$${\displaystyle p_{i}=1/n}$${\displaystyle \operatorname {E} [X]}$${\displaystyle \operatorname {E} [Y]}$

${\displaystyle \operatorname {cov} (X,Y)={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-E(X))(y_{i}-E(Y)).}$

Это также может быть выражено эквивалентно, без прямой ссылки на средства, как ^[5]

${\displaystyle \operatorname {cov} (X,Y)={\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}{\frac {1}{2}}(x_{i}-x_{j})(y_{i}-y_{j})={\frac {1}{n^{2}}}\sum _{i}\sum _{j>i}(x_{i}-x_{j})(y_{i}-y_{j}).}$

В более общем смысле, если есть возможные реализации , а именно, но с возможно неравными вероятностями для , то ковариация${\displaystyle n}$${\displaystyle (X,Y)}$${\displaystyle (x_{i},y_{i})}$${\displaystyle p_{i}}$${\displaystyle i=1,\ldots ,n}$

${\displaystyle \operatorname {cov} (X,Y)=\sum _{i=1}^{n}p_{i}(x_{i}-E(X))(y_{i}-E(Y)).}$

Пример [ править ]

Предположу , что и имеет следующую функцию совместных вероятностей масс , ^[6] , в котором шесть центральной клетка дает дискретные совместные вероятности из шести гипотетических реализаций :${\displaystyle X}$${\displaystyle Y}$${\displaystyle f(x,y)}$${\displaystyle (x,y)\in S=\left\{(5,8),(6,8),(7,8),(5,9),(6,9),(7,9)\right\}}$

${\displaystyle f(x,y)}$		Икс				${\displaystyle f_{Y}(y)}$
		5	6	7
у	8	0	0,4	0,1		0,5
	9	0,3	0	0,2		0,5
${\displaystyle f_{X}(x)}$		0,3	0,4	0,3	1

${\displaystyle X}$может принимать три значения (5, 6 и 7), а может принимать два (8 и 9). Их средства есть и . Потом,${\displaystyle Y}$${\displaystyle \mu _{X}=5(0.3)+6(0.4)+7(0.1+0.2)=6}$${\displaystyle \mu _{Y}=8(0.4+0.1)+9(0.3+0.2)=8.5}$

${\displaystyle {\begin{aligned}\operatorname {cov} (X,Y)={}&\sigma _{XY}=\sum _{(x,y)\in S}f(x,y)\left(x-\mu _{X}\right)\left(y-\mu _{Y}\right)\\[4pt]={}&(0)(5-6)(8-8.5)+(0.4)(6-6)(8-8.5)+(0.1)(7-6)(8-8.5)+{}\\[4pt]&(0.3)(5-6)(9-8.5)+(0)(6-6)(9-8.5)+(0.2)(7-6)(9-8.5)\\[4pt]={}&{-0.1}\;.\end{aligned}}}$

Свойства [ править ]

Ковариация сама с собой [ править ]

Дисперсия является частным случаем ковариации , в котором две переменные являются идентичными (то есть, в котором одна переменная всегда принимает такое же значение , как и другие): ^{[4] : р. 121}

${\displaystyle \operatorname {cov} (X,X)=\operatorname {var} (X)\equiv \sigma ^{2}(X)\equiv \sigma _{X}^{2}.}$

Ковариация линейных комбинаций [ править ]

Если , , и являются вещественные случайные величины и имеют вещественные константы, то следующие факты являются следствием определения ковариации:${\displaystyle X}$${\displaystyle Y}$${\displaystyle W}$${\displaystyle V}$${\displaystyle a,b,c,d}$

${\displaystyle {\begin{aligned}\operatorname {cov} (X,a)&=0\\\operatorname {cov} (X,X)&=\operatorname {var} (X)\\\operatorname {cov} (X,Y)&=\operatorname {cov} (Y,X)\\\operatorname {cov} (aX,bY)&=ab\,\operatorname {cov} (X,Y)\\\operatorname {cov} (X+a,Y+b)&=\operatorname {cov} (X,Y)\\\operatorname {cov} (aX+bY,cW+dV)&=ac\,\operatorname {cov} (X,W)+ad\,\operatorname {cov} (X,V)+bc\,\operatorname {cov} (Y,W)+bd\,\operatorname {cov} (Y,V)\end{aligned}}}$

Для последовательности случайных величин с действительными значениями и констант мы имеем${\displaystyle X_{1},\ldots ,X_{n}}$${\displaystyle a_{1},\ldots ,a_{n}}$

${\displaystyle \operatorname {var} \left(\sum _{i=1}^{n}a_{i}X_{i}\right)=\sum _{i=1}^{n}a_{i}^{2}\sigma ^{2}(X_{i})+2\sum _{i,j\,:\,i<j}a_{i}a_{j}\operatorname {cov} (X_{i},X_{j})=\sum _{i,j}{a_{i}a_{j}\operatorname {cov} (X_{i},X_{j})}}$

Ковариационная идентичность Хёффдинга [ править ]

Полезным тождеством для вычисления ковариации между двумя случайными величинами является тождество ковариации Хёффдинга: ^[7]${\displaystyle X,Y}$

${\displaystyle \operatorname {cov} (X,Y)=\int _{\mathbb {R} }\int _{\mathbb {R} }\left(F_{(X,Y)}(x,y)-F_{X}(x)F_{Y}(y)\right)\,dx\,dy}$

где есть совместная функция распределения случайного вектора и являются маргинальными .${\displaystyle F_{(X,Y)}(x,y)}$${\displaystyle (X,Y)}$${\displaystyle F_{X}(x),F_{Y}(y)}$

Некоррелированность и независимость [ править ]

Случайные переменные, ковариация которых равна нулю, называются некоррелированными . ^{[4] : с. 121} Точно так же компоненты случайных векторов, ковариационная матрица которых равна нулю в каждой записи за пределами главной диагонали, также называются некоррелированными.

Если и являются независимыми случайными величинами , то их ковариация равна нулю. ^{[4] : с. 123 [8]} Это следует потому, что при независимости${\displaystyle X}$${\displaystyle Y}$

${\displaystyle \operatorname {E} [XY]=\operatorname {E} [X]\cdot \operatorname {E} [Y].}$

Обратное, однако, в целом неверно. Например, пусть будет равномерно распределен и пусть . Понятно, и не независимы, но${\displaystyle X}$${\displaystyle [-1,1]}$${\displaystyle Y=X^{2}}$${\displaystyle X}$${\displaystyle Y}$

${\displaystyle {\begin{aligned}\operatorname {cov} (X,Y)&=\operatorname {cov} \left(X,X^{2}\right)\\&=\operatorname {E} \left[X\cdot X^{2}\right]-\operatorname {E} [X]\cdot \operatorname {E} \left[X^{2}\right]\\&=\operatorname {E} \left[X^{3}\right]-\operatorname {E} [X]\operatorname {E} \left[X^{2}\right]\\&=0-0\cdot \operatorname {E} [X^{2}]\\&=0.\end{aligned}}}$

В этом случае связь между и является нелинейной, а корреляция и ковариация - это меры линейной зависимости между двумя случайными величинами. Этот пример показывает, что если две случайные величины не коррелированы, это, как правило, не означает, что они независимы. Однако, если две переменные совместно нормально распределены (но не если они просто индивидуально нормально распределены ), некоррелированность действительно подразумевает независимость.${\displaystyle Y}$${\displaystyle X}$

Отношение к внутренним продуктам [ править ]

Многие свойства ковариации можно элегантно выделить, заметив, что она удовлетворяет свойствам, аналогичным свойствам внутреннего продукта :

1. билинейной : для констант и и случайных величин ,${\displaystyle a}$${\displaystyle b}$${\displaystyle X,Y,Z}$${\displaystyle \operatorname {cov} (aX+bY,Z)=a\operatorname {cov} (X,Z)+b\operatorname {cov} (Y,Z)}$
2. симметричный: ${\displaystyle \operatorname {cov} (X,Y)=\operatorname {cov} (Y,X)}$
3. положительный полуопределенный : для всех случайных величин , и означает, что он почти наверняка постоянен .${\displaystyle \sigma ^{2}(X)=\operatorname {cov} (X,X)\geq 0}$${\displaystyle X}$${\displaystyle \operatorname {cov} (X,X)=0}$${\displaystyle X}$

Фактически, эти свойства подразумевают, что ковариация определяет внутренний продукт над векторным пространством факторных, полученный путем взятия подпространства случайных величин с конечным вторым моментом и идентификации любых двух, которые отличаются константой. (Это отождествление превращает положительную полуопределенность, приведенную выше, в положительную определенность.) Это фактор-векторное пространство изоморфно подпространству случайных величин с конечным вторым моментом и средним нулем; в этом подпространстве ковариация - это в точности L 2 скалярное произведение действительных функций в пространстве выборок.

В результате для случайных величин с конечной дисперсией выполняется неравенство

${\displaystyle |\operatorname {cov} (X,Y)|\leq {\sqrt {\sigma ^{2}(X)\sigma ^{2}(Y)}}}$

выполняется через неравенство Коши – Шварца .

Доказательство: если , то тривиально. В противном случае пусть случайная величина${\displaystyle \sigma ^{2}(Y)=0}$

${\displaystyle Z=X-{\frac {\operatorname {cov} (X,Y)}{\sigma ^{2}(Y)}}Y.}$

Тогда у нас есть

${\displaystyle {\begin{aligned}0\leq \sigma ^{2}(Z)&=\operatorname {cov} \left(X-{\frac {\operatorname {cov} (X,Y)}{\sigma ^{2}(Y)}}Y,\;X-{\frac {\operatorname {cov} (X,Y)}{\sigma ^{2}(Y)}}Y\right)\\[12pt]&=\sigma ^{2}(X)-{\frac {(\operatorname {cov} (X,Y))^{2}}{\sigma ^{2}(Y)}}.\end{aligned}}}$

Вычисление выборочной ковариации [ править ]

Выборочные ковариации между переменными, основанные на наблюдениях за каждой из них, взятые из ненаблюдаемой в противном случае совокупности, представлены матрицей с записями${\displaystyle K}$${\displaystyle N}$${\displaystyle K\times K}$ ${\displaystyle \textstyle {\overline {\mathbf {q} }}=\left[q_{jk}\right]}$

${\displaystyle q_{jk}={\frac {1}{N-1}}\sum _{i=1}^{N}\left(X_{ij}-{\bar {X}}_{j}\right)\left(X_{ik}-{\bar {X}}_{k}\right),}$

что является оценкой ковариации между переменной и переменной .${\displaystyle j}$${\displaystyle k}$

Выборочные средние и матрица ковариации образца являются несмещенными оценками из среднего и в ковариационной матрице из случайного вектора , вектора, J я элемента является одним из случайных величин. Причина, по которой матрица ковариаций выборки имеет в знаменателе, а не по существу, состоит в том, что среднее значение генеральной совокупности неизвестно и заменено средним значением выборки . Если известно среднее значение генеральной совокупности , аналогичная несмещенная оценка дается выражением${\displaystyle \textstyle \mathbf {X} }$${\displaystyle (j=1,\,\ldots ,\,K)}$${\displaystyle \textstyle N-1}$${\displaystyle \textstyle N}$${\displaystyle \operatorname {E} (\mathbf {X} )}$${\displaystyle \mathbf {\bar {X}} }$${\displaystyle \operatorname {E} (\mathbf {X} )}$

${\displaystyle q_{jk}={\frac {1}{N}}\sum _{i=1}^{N}\left(X_{ij}-\operatorname {E} \left(X_{j}\right)\right)\left(X_{ik}-\operatorname {E} \left(X_{k}\right)\right)}$.

Обобщения [ править ]

Матрица автоковариации реальных случайных векторов [ править ]

Для вектора из совместно распределенных случайных величин с конечными вторыми моментами, его авто- ковариационной матрицы (также известный как матрица дисперсии-ковариации или просто ковариационной матрицы ) (также обозначаемой ) определяется как ^{[9] : p.335}${\displaystyle \mathbf {X} ={\begin{bmatrix}X_{1}&X_{2}&\dots &X_{m}\end{bmatrix}}^{\mathrm {T} }}$${\displaystyle m}$${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$${\displaystyle \Sigma (\mathbf {X} )}$

${\displaystyle {\begin{aligned}\operatorname {K} _{\mathbf {XX} }=\operatorname {cov} (\mathbf {X} ,\mathbf {X} )&=\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\mathrm {T} }\right]\\&=\operatorname {E} \left[\mathbf {XX} ^{\mathrm {T} }\right]-\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {X} ]^{\mathrm {T} }.\end{aligned}}}$

Пусть будет случайным вектором с ковариационной матрицей Σ , и пусть A будет матрицей, которая может действовать слева. Ковариационная матрица произведения матрица-вектор AX :${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {X} }$

${\displaystyle \Sigma (\mathbf {AX} )=\operatorname {E} \left[\mathbf {AXX} ^{\mathrm {T} }\mathbf {A} ^{\mathrm {T} }\right]-\operatorname {E} [\mathbf {AX} ]\operatorname {E} \left[\mathbf {X} ^{\mathrm {T} }\mathbf {A} ^{\mathrm {T} }\right]=\mathbf {A} \Sigma \mathbf {A} ^{\mathrm {T} }.}$

Это прямой результат линейности ожидания и полезен при применении линейного преобразования , такого как преобразование отбеливания , к вектору.

Матрица кросс-ковариации реальных случайных векторов [ править ]

Для реальных случайных векторов и , то кросс-ковариационная матрица равна ^{[9] : p.336}${\displaystyle \mathbf {X} \in \mathbb {R} ^{m}}$${\displaystyle \mathbf {Y} \in \mathbb {R} ^{n}}$${\displaystyle m\times n}$

${\displaystyle {\begin{aligned}\operatorname {K} _{\mathbf {X} \mathbf {Y} }=\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )&=\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {Y} -\operatorname {E} [\mathbf {Y} ])^{\mathrm {T} }\right]\\&=\operatorname {E} \left[\mathbf {X} \mathbf {Y} ^{\mathrm {T} }\right]-\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {Y} ]^{\mathrm {T} }\end{aligned}}}$

( Уравнение 2 )

где - транспонирование вектора (или матрицы) .${\displaystyle \mathbf {Y} ^{\mathrm {T} }}$${\displaystyle \mathbf {Y} }$

-Й элемент этой матрицы равен ковариации между я -му скалярной составляющей , и J -го скалярного компонента . В частности, это транспонированная из .${\displaystyle (i,j)}$${\displaystyle \operatorname {cov} (X_{i},Y_{j})}$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {Y} }$${\displaystyle \operatorname {cov} (\mathbf {Y} ,\mathbf {X} )}$${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )}$

Числовые вычисления [ править ]

Когда , уравнение подвержено катастрофической отмене, если и не вычисляются точно, и поэтому его следует избегать в компьютерных программах, когда данные не были центрированы ранее. ^{[10] В} этом случае следует отдавать предпочтение численно стабильным алгоритмам . ^[11]${\displaystyle \operatorname {E} [XY]\approx \operatorname {E} [X]\operatorname {E} [Y]}$${\displaystyle \operatorname {cov} (X,Y)=\operatorname {E} \left[XY\right]-\operatorname {E} \left[X\right]\operatorname {E} \left[Y\right]}$${\displaystyle \operatorname {E} \left[XY\right]}$${\displaystyle \operatorname {E} \left[X\right]\operatorname {E} \left[Y\right]}$

Комментарии [ редактировать ]

Ковариацию иногда называют мерой «линейной зависимости» между двумя случайными величинами. Это не означает то же самое, что и в контексте линейной алгебры (см. Линейную зависимость ). Когда ковариация нормализована, получается коэффициент корреляции Пирсона , который дает степень согласия для наилучшей возможной линейной функции, описывающей связь между переменными. В этом смысле ковариация - это линейная мера зависимости.

Приложения [ править ]

В генетике и молекулярной биологии [ править ]

Ковариация - важная мера в биологии . Некоторые последовательности ДНК более консервативны среди видов, чем другие, и поэтому для изучения вторичных и третичных структур белков или структур РНК сравнивают последовательности у близкородственных видов. Если изменения последовательности обнаружены или вообще не обнаружены изменения в некодирующей РНК (например, микроРНК), последовательности необходимы для общих структурных мотивов, таких как петля РНК. В генетике ковариация служит основой для вычисления матрицы генетических родств (GRM) (также известной как матрица родства), позволяя делать выводы о структуре популяции на основе выборки без известных близких родственников, а также делать выводы об оценке наследуемости сложных признаков.

В теории эволюции и естественного отбора , то уравнение Цена описывает , как генетический признак изменения частоты с течением времени. Уравнение использует ковариацию между признаком и приспособленностью , чтобы дать математическое описание эволюции и естественного отбора. Это дает возможность понять влияние передачи генов и естественного отбора на долю генов в каждом новом поколении популяции. ^{[12] [13]} Уравнение Прайса было выведено Джорджем Р. Прайсом , чтобы заново вывести работу У. Д. Гамильтона о родственном отборе .Примеры уравнения Прайса были построены для различных эволюционных случаев.

В финансовой экономике [ править ]

Ковариации играют ключевую роль в финансовой экономике , особенно в современной теории портфелей и в модели ценообразования капитальных активов . Ковариации доходности различных активов используются для определения, при определенных допущениях, относительных объемов различных активов, которые инвесторы должны (в нормативном анализе ) или, по прогнозам (в положительном анализе ), предпочитают держать в контексте диверсификации .

При усвоении метеорологических и океанографических данных [ править ]

Ковариационная матрица важна для оценки начальных условий, необходимых для работы моделей прогноза погоды, процедуры, известной как ассимиляция данных . «Ковариационная матрица ошибок прогноза» обычно строится между возмущениями вокруг среднего состояния (климатологического или ансамблевого). «Ковариационная матрица ошибок наблюдения» построена для представления величины объединенных ошибок наблюдений (по диагонали) и коррелированных ошибок между измерениями (по диагонали). Это пример его широкого применения для фильтрации Калмана и более общей оценки состояния для систем с изменяющимся временем.

В микрометеорологии [ править ]

Метод вихревой ковариации - это ключевой метод измерения атмосферы, в котором ковариация между мгновенным отклонением вертикальной скорости ветра от среднего значения и мгновенным отклонением концентрации газа является основой для расчета вертикальных турбулентных потоков.

В обработке сигналов [ править ]

Ковариационная матрица используется для регистрации спектральной изменчивости сигнала. ^[14]

В статистике и обработке изображений [ править ]

Ковариационная матрица используется в анализе главных компонентов, чтобы уменьшить размерность признаков при предварительной обработке данных.

См. Также [ править ]

Ссылки [ править ]