Ковариационная матрица

Часть серии по статистике
Корреляция и ковариация
Корреляция и ковариация случайных векторов Матрица автокорреляции Матрица взаимной корреляции Матрица автоковариации Матрица кросс-ковариации
Корреляция и ковариация случайных процессов Автокорреляционная функция Функция взаимной корреляции Автоковариационная функция Кросс-ковариационная функция
Корреляция и ковариация детерминированных сигналов Автокорреляционная функция Функция взаимной корреляции Автоковариационная функция Кросс-ковариационная функция
v т е

Двумерный функция плотности вероятности гауссова с центром в точке (0, 0), с ковариационной матрицей , заданной${\displaystyle {\begin{bmatrix}1&0.5\\0.5&1\end{bmatrix}}}$

Выборочные точки из двумерного распределения Гаусса со стандартным отклонением 3 примерно в нижнем левом верхнем правом направлении и 1 в ортогональном направлении. Поскольку компоненты x и y изменяются одновременно, дисперсии и не полностью описывают распределение. Требуется ковариационная матрица; направления стрелок соответствуют собственным векторам этой ковариационной матрицы, а их длины - квадратным корням из собственных значений .${\displaystyle x}$${\displaystyle y}$${\displaystyle 2\times 2}$

В теории вероятностей и статистики , A ковариационной матрицы (также известный как авто- ковариационной матрицы , дисперсии матрицы , дисперсии матрицы , или ковариационной матрицы ) представляет собой квадратную матрицу давая ковариации между каждой парой элементов данного случайного вектора . Любая ковариационная матрица является симметричной и положительно полуопределенной, а ее главная диагональ содержит дисперсии (т. Е. Ковариацию каждого элемента с самим собой).

Интуитивно ковариационная матрица обобщает понятие дисперсии на несколько измерений. В качестве примера, изменение в коллекции случайных точек в двумерном пространстве не может быть полностью охарактеризован одним числом, ни бы разницы в и направления содержат всю необходимую информацию; матрица будет необходимо , чтобы полностью охарактеризовать двумерный вариант.${\displaystyle x}$${\displaystyle y}$${\displaystyle 2\times 2}$

Ковариационная матрица случайного вектора обычно обозначается символом или .${\displaystyle \mathbf {X} }$${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$${\displaystyle \Sigma }$

Определение [ править ]

В этой статье жирного шрифт unsubscripted и используется для обозначения случайных векторов, и unboldfaced индексируется и используется для обозначения скалярных случайных величин.${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {Y} }$${\displaystyle X_{i}}$${\displaystyle Y_{i}}$

Если записи в векторе столбца

${\displaystyle \mathbf {X} =(X_{1},X_{2},...,X_{n})^{\mathrm {T} }}$

являются случайными величинами , каждый из которых с конечной дисперсией и ожидаемого значения , то матрица ковариации является матрица, запись является ковариационной ^{[1] : р. 177}${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$${\displaystyle (i,j)}$

${\displaystyle \operatorname {K} _{X_{i}X_{j}}=\operatorname {cov} [X_{i},X_{j}]=\operatorname {E} [(X_{i}-\operatorname {E} [X_{i}])(X_{j}-\operatorname {E} [X_{j}])]}$

где оператор обозначает ожидаемое значение (среднее) своего аргумента.${\displaystyle \operatorname {E} }$

Другими словами,

${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }={\begin{bmatrix}\mathrm {E} [(X_{1}-\operatorname {E} [X_{1}])(X_{1}-\operatorname {E} [X_{1}])]&\mathrm {E} [(X_{1}-\operatorname {E} [X_{1}])(X_{2}-\operatorname {E} [X_{2}])]&\cdots &\mathrm {E} [(X_{1}-\operatorname {E} [X_{1}])(X_{n}-\operatorname {E} [X_{n}])]\\\\\mathrm {E} [(X_{2}-\operatorname {E} [X_{2}])(X_{1}-\operatorname {E} [X_{1}])]&\mathrm {E} [(X_{2}-\operatorname {E} [X_{2}])(X_{2}-\operatorname {E} [X_{2}])]&\cdots &\mathrm {E} [(X_{2}-\operatorname {E} [X_{2}])(X_{n}-\operatorname {E} [X_{n}])]\\\\\vdots &\vdots &\ddots &\vdots \\\\\mathrm {E} [(X_{n}-\operatorname {E} [X_{n}])(X_{1}-\operatorname {E} [X_{1}])]&\mathrm {E} [(X_{n}-\operatorname {E} [X_{n}])(X_{2}-\operatorname {E} [X_{2}])]&\cdots &\mathrm {E} [(X_{n}-\operatorname {E} [X_{n}])(X_{n}-\operatorname {E} [X_{n}])]\end{bmatrix}}}$

Приведенное выше определение эквивалентно матричному равенству

${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {cov} [\mathbf {X} ,\mathbf {X} ]=\operatorname {E} [(\mathbf {X} -\mathbf {\mu _{X}} )(\mathbf {X} -\mathbf {\mu _{X}} )^{\rm {T}}]=\operatorname {E} [\mathbf {X} \mathbf {X} ^{T}]-\mathbf {\mu _{X}} \mathbf {\mu _{X}} ^{T}}$

( Уравнение 1 )

где .${\displaystyle \mathbf {\mu _{X}} =\operatorname {E} [\mathbf {X} ]}$

Обобщение дисперсии [ править ]

Эту форму ( уравнение 1 ) можно рассматривать как обобщение скалярной дисперсии на более высокие измерения. Помните, что для случайной величины со скалярным знаком${\displaystyle X}$

${\displaystyle \sigma _{X}^{2}=\operatorname {var} (X)=\operatorname {E} [(X-\operatorname {E} [X])^{2}]=\operatorname {E} [(X-\operatorname {E} [X])\cdot (X-\operatorname {E} [X])].}$

Действительно, элементы на диагонали автоковариационной матрицы - это дисперсии каждого элемента вектора .${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$${\displaystyle \mathbf {X} }$

Противоречивые номенклатуры и обозначения [ править ]

Номенклатуры различаются. Некоторые статистики, следуя вероятностник Феллер в своей двухтомной книге Введения в теорию вероятностей и ее применение , ^[2] называть матрицу с дисперсией случайного вектора , потому что это естественное обобщение на более высокие размерности 1-мерного дисперсия. Другие называют ее ковариационной матрицей , потому что это матрица ковариаций между скалярными компонентами вектора .${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {X} }$

${\displaystyle \operatorname {var} (\mathbf {X} )=\operatorname {cov} (\mathbf {X} )=\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\rm {T}}\right].}$

Обе формы вполне стандартные, и между ними нет никакой двусмысленности. Матрицу также часто называют матрицей дисперсии-ковариации , поскольку диагональные члены на самом деле являются дисперсиями.${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$

Для сравнения, обозначение матрицы кросс-ковариации между двумя векторами:

${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )=\operatorname {K} _{\mathbf {X} \mathbf {Y} }=\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {Y} -\operatorname {E} [\mathbf {Y} ])^{\rm {T}}\right].}$

Свойства [ править ]

Связь с автокорреляционной матрицей [ править ]

Матрица автоковариации связана с матрицей автокорреляции соотношением${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$ ${\displaystyle \operatorname {R} _{\mathbf {X} \mathbf {X} }}$

${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {E} [(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\rm {T}}]=\operatorname {R} _{\mathbf {X} \mathbf {X} }-\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {X} ]^{\rm {T}}}$

где автокорреляционная матрица определяется как .${\displaystyle \operatorname {R} _{\mathbf {X} \mathbf {X} }=\operatorname {E} [\mathbf {X} \mathbf {X} ^{\rm {T}}]}$

Связь с корреляционной матрицей [ править ]

Сущность, тесно связанная с ковариационной матрицей, - это матрица коэффициентов корреляции момента произведения Пирсона между каждой из случайных величин в случайном векторе , которая может быть записана как${\displaystyle \mathbf {X} }$

${\displaystyle \operatorname {corr} (\mathbf {X} )={\big (}\operatorname {diag} (\operatorname {K} _{\mathbf {X} \mathbf {X} }){\big )}^{-{\frac {1}{2}}}\,\operatorname {K} _{\mathbf {X} \mathbf {X} }\,{\big (}\operatorname {diag} (\operatorname {K} _{\mathbf {X} \mathbf {X} }){\big )}^{-{\frac {1}{2}}},}$

где - матрица диагональных элементов (т. е. диагональная матрица дисперсий для ).${\displaystyle \operatorname {diag} (\operatorname {K} _{\mathbf {X} \mathbf {X} })}$${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }}$${\displaystyle X_{i}}$${\displaystyle i=1,\dots ,n}$

Эквивалентно, корреляционная матрица может рассматриваться как ковариационная матрица стандартизованных случайных величин для .${\displaystyle X_{i}/\sigma (X_{i})}$${\displaystyle i=1,\dots ,n}$

${\displaystyle \operatorname {corr} (\mathbf {X} )={\begin{bmatrix}1&{\frac {\operatorname {E} [(X_{1}-\mu _{1})(X_{2}-\mu _{2})]}{\sigma (X_{1})\sigma (X_{2})}}&\cdots &{\frac {\operatorname {E} [(X_{1}-\mu _{1})(X_{n}-\mu _{n})]}{\sigma (X_{1})\sigma (X_{n})}}\\\\{\frac {\operatorname {E} [(X_{2}-\mu _{2})(X_{1}-\mu _{1})]}{\sigma (X_{2})\sigma (X_{1})}}&1&\cdots &{\frac {\operatorname {E} [(X_{2}-\mu _{2})(X_{n}-\mu _{n})]}{\sigma (X_{2})\sigma (X_{n})}}\\\\\vdots &\vdots &\ddots &\vdots \\\\{\frac {\operatorname {E} [(X_{n}-\mu _{n})(X_{1}-\mu _{1})]}{\sigma (X_{n})\sigma (X_{1})}}&{\frac {\operatorname {E} [(X_{n}-\mu _{n})(X_{2}-\mu _{2})]}{\sigma (X_{n})\sigma (X_{2})}}&\cdots &1\end{bmatrix}}.}$

Каждый элемент на главной диагонали корреляционной матрицы представляет собой корреляцию случайной величины с самим собой, которая всегда равна 1. Каждый недиагональный элемент находится в диапазоне от -1 до +1 включительно.

Обратная матрица ковариации [ править ]

Обратная матрица, если она существует, является матрицей обратной ковариации, также известной как матрица концентрации или матрица точности . ^[3]${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }^{-1}}$

Основные свойства [ править ]

Для и , где - -мерная случайная величина, применяются следующие основные свойства: ^[4]${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {var} (\mathbf {X} )=\operatorname {E} \left[\left(\mathbf {X} -\operatorname {E} [\mathbf {X} ]\right)\left(\mathbf {X} -\operatorname {E} [\mathbf {X} ]\right)^{\rm {T}}\right]}$${\displaystyle \mathbf {\mu _{X}} =\operatorname {E} [{\textbf {X}}]}$${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{n})^{\rm {T}}}$${\displaystyle n}$

1. ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {E} (\mathbf {XX^{\rm {T}}} )-\mathbf {\mu _{X}} \mathbf {\mu _{X}} ^{\rm {T}}}$
2. ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }\,}$является положительным полуопределенной , т.е.${\displaystyle \mathbf {a} ^{T}\operatorname {K} _{\mathbf {X} \mathbf {X} }\mathbf {a} \geq 0\quad {\text{for all }}\mathbf {a} \in \mathbb {R} ^{n}}$
3. ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }\,}$является симметричным , т.е.${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }^{\rm {T}}=\operatorname {K} _{\mathbf {X} \mathbf {X} }}$
4. Для любой постоянной (т.е. неслучайной) матрицы и постоянного вектора один имеет${\displaystyle m\times n}$${\displaystyle \mathbf {A} }$${\displaystyle m\times 1}$${\displaystyle \mathbf {a} }$${\displaystyle \operatorname {var} (\mathbf {AX} +\mathbf {a} )=\mathbf {A} \,\operatorname {var} (\mathbf {X} )\,\mathbf {A} ^{\rm {T}}}$
5. Если это еще один случайный вектор с той же размерности, что и , затем , где является кросс-ковариационная матрица из и .${\displaystyle \mathbf {Y} }$${\displaystyle \mathbf {X} }$${\displaystyle \operatorname {var} (\mathbf {X} +\mathbf {Y} )=\operatorname {var} (\mathbf {X} )+\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )+\operatorname {cov} (\mathbf {Y} ,\mathbf {X} )+\operatorname {var} (\mathbf {Y} )}$${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )}$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {Y} }$

Матрицы блоков [ править ]

Совместная средняя и совместная ковариационная матрица из и может быть записана в виде блока${\displaystyle \mathbf {\mu } }$ ${\displaystyle \mathbf {\Sigma } }$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {Y} }$

${\displaystyle \mathbf {\mu } ={\begin{bmatrix}\mathbf {\mu _{X}} \\\mathbf {\mu _{Y}} \end{bmatrix}},\qquad \mathbf {\Sigma } ={\begin{bmatrix}\operatorname {K} _{\mathbf {XX} }&\operatorname {K} _{\mathbf {XY} }\\\operatorname {K} _{\mathbf {YX} }&\operatorname {K} _{\mathbf {YY} }\end{bmatrix}}}$

где , и .${\displaystyle \operatorname {K} _{\mathbf {XX} }=\operatorname {var} (\mathbf {X} )}$${\displaystyle \operatorname {K} _{\mathbf {YY} }=\operatorname {var} (\mathbf {Y} )}$${\displaystyle \operatorname {K} _{\mathbf {XY} }=\operatorname {K} _{\mathbf {YX} }^{\rm {T}}=\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )}$

${\displaystyle \operatorname {K} _{\mathbf {XX} }}$и могут быть определены как матрицы дисперсии предельных распределений для и соответственно.${\displaystyle \operatorname {K} _{\mathbf {YY} }}$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {Y} }$

Если и будут совместно распределены нормально ,${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {Y} }$

${\displaystyle \mathbf {X} ,\mathbf {Y} \sim \ {\mathcal {N}}(\mathbf {\mu } ,\operatorname {K} ),}$

тогда условное распределение для данного дается выражением${\displaystyle \mathbf {Y} }$${\displaystyle \mathbf {X} }$

${\displaystyle \mathbf {Y} \mid \mathbf {X} \sim \ {\mathcal {N}}(\mathbf {\mu _{Y|X}} ,\operatorname {K} _{\mathbf {Y|X} }),}$^[5]

определяется условным средним

${\displaystyle \mathbf {\mu _{Y|X}} =\mathbf {\mu _{Y}} +\operatorname {K} _{\mathbf {YX} }\operatorname {K} _{\mathbf {XX} }^{-1}\left(\mathbf {X} -\mathbf {\mu _{X}} \right)}$

и условная дисперсия

${\displaystyle \operatorname {K} _{\mathbf {Y|X} }=\operatorname {K} _{\mathbf {YY} }-\operatorname {K} _{\mathbf {YX} }\operatorname {K} _{\mathbf {XX} }^{-1}\operatorname {K} _{\mathbf {XY} }.}$

Матрица известна как матрица коэффициентов регрессии , а в линейной алгебре - это дополнение Шура для in .${\displaystyle \operatorname {K} _{\mathbf {YX} }\operatorname {K} _{\mathbf {XX} }^{-1}}$${\displaystyle \operatorname {K} _{\mathbf {Y|X} }}$${\displaystyle \operatorname {K} _{\mathbf {XX} }}$${\displaystyle \mathbf {\Sigma } }$

Матрица коэффициентов регрессии часто может быть дана в транспонированной форме, подходящей для последующего умножения вектора-строки независимых переменных, а не предварительного умножения вектора-столбца . В таком виде они соответствуют коэффициентам , полученным путем переворачивания матрицу нормальных уравнений по обычным методом наименьших квадратов (МНК).${\displaystyle \operatorname {K} _{\mathbf {XX} }^{-1}\operatorname {K} _{\mathbf {XY} }}$${\displaystyle \mathbf {X} ^{\rm {T}}}$${\displaystyle \mathbf {X} }$

Матрица частичной ковариации [ править ]

Ковариационная матрица со всеми ненулевыми элементами говорит нам, что все отдельные случайные величины взаимосвязаны. Это означает, что переменные не только напрямую связаны, но и косвенно связаны через другие переменные. Часто такие косвенные корреляции общего режима тривиальны и неинтересны. Их можно подавить, вычислив частичную матрицу ковариации, то есть часть матрицы ковариации, которая показывает только интересную часть корреляций.

Если два вектора случайных величин и коррелируют через другой вектор , последние корреляции подавляются в матрице ^[6]${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {Y} }$${\displaystyle \mathbf {I} }$

${\displaystyle \operatorname {K} _{\mathbf {XY\mid I} }=\operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )=\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )-\operatorname {cov} (\mathbf {X} ,\mathbf {I} )\operatorname {cov} (\mathbf {I} ,\mathbf {I} )^{-1}\operatorname {cov} (\mathbf {I} ,\mathbf {Y} ).}$

Матрица частичной ковариации фактически представляет собой простую матрицу ковариации, как если бы неинтересные случайные величины оставались постоянными.${\displaystyle \operatorname {K} _{\mathbf {XY\mid I} }}$${\displaystyle \operatorname {K} _{\mathbf {XY} }}$${\displaystyle \mathbf {I} }$

Матрица ковариации как параметр распределения [ править ]

Если вектор - столбец из , возможно , коррелированных случайных величин совместно распределен нормально , или в более общем случае эллиптический распределен , то его функция плотности вероятности может быть выражена в терминах ковариационной матрицы следующим образом ^[6]${\displaystyle \mathbf {X} }$${\displaystyle n}$ ${\displaystyle \operatorname {f} (\mathbf {X} )}$${\displaystyle \mathbf {\Sigma } }$

${\displaystyle \operatorname {f} (\mathbf {X} )=(2\pi )^{-n/2}|\mathbf {\Sigma } |^{-1/2}\exp \left(-{\tfrac {1}{2}}\mathbf {(X-\mu )^{\rm {T}}\Sigma ^{-1}(X-\mu )} \right),}$

где и является определяющим фактором в .${\displaystyle \mathbf {\mu =\operatorname {E} [X]} }$${\displaystyle |\mathbf {\Sigma } |}$${\displaystyle \mathbf {\Sigma } }$

Матрица ковариации как линейный оператор [ править ]

Применительно к одному вектору, ковариационная матрица отображает линейную комбинацию C случайных величин X на вектор ковариации с этими переменными: . Обработанные в качестве билинейной формы , она дает ковариации между двумя линейными комбинациями: . Тогда дисперсия линейной комбинации - это ее ковариация с самой собой.${\displaystyle \mathbf {c} ^{\rm {T}}\Sigma =\operatorname {cov} (\mathbf {c} ^{\rm {T}}\mathbf {X} ,\mathbf {X} )}$${\displaystyle \mathbf {d} ^{\rm {T}}\Sigma \mathbf {c} =\operatorname {cov} (\mathbf {d} ^{\rm {T}}\mathbf {X} ,\mathbf {c} ^{\rm {T}}\mathbf {X} )}$${\displaystyle \mathbf {c} ^{\rm {T}}\Sigma \mathbf {c} }$

Точно так же (псевдо) обратная ковариационная матрица обеспечивает внутренний продукт , который индуцирует расстояние Махаланобиса , меру «маловероятности» c . ^{[ необходима цитата ]}${\displaystyle \langle c-\mu |\Sigma ^{+}|c-\mu \rangle }$

Какие матрицы являются ковариационными матрицами? [ редактировать ]

Из тождества чуть выше, пусть будет вещественным вектором, тогда${\displaystyle \mathbf {b} }$${\displaystyle (p\times 1)}$

${\displaystyle \operatorname {var} (\mathbf {b} ^{\rm {T}}\mathbf {X} )=\mathbf {b} ^{\rm {T}}\operatorname {var} (\mathbf {X} )\mathbf {b} ,\,}$

который всегда должен быть неотрицательным, поскольку это дисперсия случайной величины с действительным знаком, поэтому ковариационная матрица всегда является положительно-полуопределенной матрицей .

Приведенный выше аргумент можно расширить следующим образом:${\displaystyle {\begin{aligned}&w^{\rm {T}}\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\rm {T}}\right]w=\operatorname {E} \left[w^{\rm {T}}(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\rm {T}}w\right]\\[5pt]={}&\operatorname {E} {\big [}{\big (}w^{\rm {T}}(\mathbf {X} -\operatorname {E} [\mathbf {X} ]){\big )}^{2}{\big ]}\geq 0\quad {\text{since }}w^{\rm {T}}(\mathbf {X} -\operatorname {E} [\mathbf {X} ]){\text{ is a scalar}}.\end{aligned}}}$

И наоборот, каждая симметричная положительно полуопределенная матрица является ковариационной матрицей. Чтобы убедиться в этом, предположим, что это симметричная положительно-полуопределенная матрица. Из конечномерного случая спектральной теоремы следует, что имеет неотрицательный симметричный квадратный корень , который можно обозначить через M ^1/2 . Позвольте быть любой случайной величиной с вектором-столбцом, ковариационная матрица которой является единичной матрицей. потом${\displaystyle M}$${\displaystyle p\times p}$${\displaystyle M}$${\displaystyle \mathbf {X} }$${\displaystyle p\times 1}$${\displaystyle p\times p}$

${\displaystyle \operatorname {var} (\mathbf {M} ^{1/2}\mathbf {X} )=\mathbf {M} ^{1/2}\,\operatorname {var} (\mathbf {X} )\,\mathbf {M} ^{1/2}=\mathbf {M} .}$

Сложные случайные векторы [ править ]

Матрица ковариации [ править ]

Дисперсию из сложного скалярной случайной переменной с ожидаемым значением обычно определяется с использованием комплексного сопряжения :${\displaystyle \mu }$

${\displaystyle \operatorname {var} (Z)=\operatorname {E} \left[(Z-\mu _{Z}){\overline {(Z-\mu _{Z})}}\right],}$

где комплексное сопряжение комплексного числа обозначается ; таким образом, дисперсия сложной случайной величины является действительным числом.${\displaystyle z}$${\displaystyle {\overline {z}}}$

Если - вектор-столбец комплексных случайных величин, то сопряженное транспонирование формируется как транспонированием, так и сопряжением. В следующем выражении произведение вектора на сопряженное транспонирование приводит к квадратной матрице, называемой матрицей ковариации , в качестве математического ожидания: ^{[7] : p. 293}${\displaystyle \mathbf {Z} =(Z_{1},\ldots ,Z_{n})^{\mathrm {T} }}$

${\displaystyle \operatorname {K} _{\mathbf {Z} \mathbf {Z} }=\operatorname {cov} [\mathbf {Z} ,\mathbf {Z} ]=\operatorname {E} \left[(\mathbf {Z} -\mathbf {\mu _{Z}} )(\mathbf {Z} -\mathbf {\mu _{Z}} )^{\mathrm {H} }\right]}$,

где обозначает сопряженное транспонирование, которое применимо к скалярному случаю, поскольку транспонирование скаляра по-прежнему является скаляром. Матрица , полученная таким образом будет эрмитово положительным полуопределенной , ^[8] с вещественными числами в главной диагонали и комплексных чисел внедиагональными.${\displaystyle {}^{\mathrm {H} }}$

Матрица псевдоковариации [ править ]

Для сложных случайных векторов, другого типа второго центрального момента, матрица псевдоковариации (также называемая матрицей отношений) определяется следующим образом. В отличие от ковариационной матрицы, определенной выше, эрмитова транспозиция заменяется транспонированием в определении.

${\displaystyle \operatorname {J} _{\mathbf {Z} \mathbf {Z} }=\operatorname {cov} [\mathbf {Z} ,{\overline {\mathbf {Z} }}]=\operatorname {E} \left[(\mathbf {Z} -\mathbf {\mu _{Z}} )(\mathbf {Z} -\mathbf {\mu _{Z}} )^{\mathrm {T} }\right]}$

Свойства [ править ]

• Ковариационная матрица является эрмитовой матрицей , то есть . ^{[1] : стр. 179}${\displaystyle \operatorname {K} _{\mathbf {Z} \mathbf {Z} }^{\mathrm {H} }=\operatorname {K} _{\mathbf {Z} \mathbf {Z} }}$
• Диагональные элементы ковариационной матрицы действительны. ^{[1] : стр. 179}

Оценка [ править ]

Если и представляют собой центрированные матрицы данных размерности и, соответственно, то есть с n столбцами наблюдений p и q строк переменных, из которых были вычтены средние по строкам, тогда, если средние по строкам были оценены на основе данных, выборочные ковариационные матрицы и можно определить как${\displaystyle \mathbf {M} _{\mathbf {X} }}$${\displaystyle \mathbf {M} _{\mathbf {Y} }}$${\displaystyle p\times n}$${\displaystyle q\times n}$${\displaystyle \mathbf {Q} _{\mathbf {XX} }}$${\displaystyle \mathbf {Q} _{\mathbf {XY} }}$

${\displaystyle \mathbf {Q} _{\mathbf {XX} }={\frac {1}{n-1}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {X} }^{\rm {T}},\qquad \mathbf {Q} _{\mathbf {XY} }={\frac {1}{n-1}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {Y} }^{\rm {T}}}$

или, если средние строки были известны априори,

${\displaystyle \mathbf {Q} _{\mathbf {XX} }={\frac {1}{n}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {X} }^{\rm {T}},\qquad \mathbf {Q} _{\mathbf {XY} }={\frac {1}{n}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {Y} }^{\rm {T}}.}$

Эти эмпирические выборочные ковариационные матрицы являются наиболее простыми и наиболее часто используемыми оценщиками для ковариационных матриц, но существуют и другие оценщики, включая регуляризованные или усадочные оценщики, которые могут иметь лучшие свойства.

Приложения [ править ]

Ковариационная матрица - полезный инструмент во многих различных областях. Из него может быть получена матрица преобразования , называемая преобразованием отбеливания , которая позволяет полностью декоррелировать данные ^{[ необходима цитата ]} или, с другой точки зрения, найти оптимальную основу для представления данных в компактном виде ^{[ цитата требуется ]} (см. фактор Рэлея для формального доказательства и дополнительных свойств ковариационных матриц). Это называется анализом главных компонент (PCA) и преобразованием Карунена – Лоэва (KL-преобразованием).

Ковариационная матрица играет ключевую роль в финансовой экономике , особенно в теории портфелей и ее теореме разделения паевых инвестиционных фондов, а также в модели ценообразования капитальных активов . Матрица ковариаций доходности различных активов используется для определения, при определенных допущениях, относительных сумм различных активов, которые инвесторы должны (в нормативном анализе ) или, по прогнозам (в положительном анализе ), предпочитают держать в контексте диверсификация .

Отображение ковариации [ править ]

При ковариационном отображении значения матрицы или отображаются в виде двухмерной карты. Когда векторы и являются дискретными случайными функциями , карта показывает статистические отношения между различными областями случайных функций. Статистически независимые области функций отображаются на карте как равнины с нулевым уровнем, а положительные или отрицательные корреляции отображаются, соответственно, как холмы или долины.${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )}$${\displaystyle \operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )}$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {Y} }$

На практике векторы-столбцы и получаются экспериментально в виде строк выборок, например${\displaystyle \mathbf {X} ,\mathbf {Y} }$${\displaystyle \mathbf {I} }$${\displaystyle n}$

${\displaystyle [\mathbf {X} _{1},\mathbf {X} _{2},...\mathbf {X} _{n}]={\begin{bmatrix}X_{1}(t_{1})&X_{2}(t_{1})&\cdots &X_{n}(t_{1})\\\\X_{1}(t_{2})&X_{2}(t_{2})&\cdots &X_{n}(t_{2})\\\\\vdots &\vdots &\ddots &\vdots \\\\X_{1}(t_{m})&X_{2}(t_{m})&\cdots &X_{n}(t_{m})\end{bmatrix}},}$

где - i-е дискретное значение в выборке j случайной функции . Ожидаемые значения, необходимые в формуле ковариации, оцениваются с использованием выборочного среднего , например${\displaystyle X_{j}(t_{i})}$${\displaystyle X(t)}$

${\displaystyle \langle \mathbf {X} \rangle ={\frac {1}{n}}\sum _{j=1}^{n}\mathbf {X} _{j}}$

а ковариационная матрица оценивается выборочной ковариационной матрицей

${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )\approx \langle \mathbf {XY^{\rm {T}}} \rangle -\langle \mathbf {X} \rangle \langle \mathbf {Y} ^{\rm {T}}\rangle ,}$

где угловые скобки обозначают усреднение выборки, как и раньше, за исключением того, что необходимо сделать поправку Бесселя, чтобы избежать смещения . Используя эту оценку, частную матрицу ковариации можно рассчитать как

${\displaystyle \operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )=\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )-\operatorname {cov} (\mathbf {X} ,\mathbf {I} )\left(\operatorname {cov} (\mathbf {I} ,\mathbf {I} )\backslash \operatorname {cov} (\mathbf {I} ,\mathbf {Y} )\right),}$

где обратная косая черта обозначает левый оператор деления матрицы , который обходит требование инвертировать матрицу и доступен в некоторых вычислительных пакетах, таких как Matlab . ^[9]

На рис. 1 показано, как строится частичная ковариационная карта на примере эксперимента, проведенного на лазере на свободных электронах FLASH в Гамбурге. ^[10] Случайная функция - это времяпролетный спектр ионов от кулоновского взрыва молекул азота, многократно ионизированных лазерным импульсом. Поскольку за каждый лазерный импульс ионизируются всего несколько сотен молекул, однократные спектры сильно колеблются. Однако, как правило, сбор таких спектров и их усреднение дает гладкий спектр , который показан красным в нижней части рисунка 1. Средний спектр${\displaystyle X(t)}$${\displaystyle m=10^{4}}$${\displaystyle \mathbf {X} _{j}(t)}$${\displaystyle j}$${\displaystyle \langle \mathbf {X} (t)\rangle }$${\displaystyle \langle \mathbf {X} \rangle }$показывает несколько ионов азота в виде пиков, уширенных по их кинетической энергии, но для нахождения корреляций между стадиями ионизации и импульсами ионов необходимо вычислить ковариационную карту.

В примере на рис. 1 спектры и совпадают, за исключением того, что различается диапазон времени пролета . Панель a показывает , панель b показывает, а панель c показывает их различие (обратите внимание на изменение цветовой шкалы). К сожалению, эта карта перегружена неинтересными синфазными корреляциями, вызванными колебаниями интенсивности лазера от кадра к кадру. Чтобы подавить такие корреляции, интенсивность лазера записывается при каждом выстреле, вводится и рассчитывается как панели d и e.${\displaystyle \mathbf {X} _{j}(t)}$${\displaystyle \mathbf {Y} _{j}(t)}$${\displaystyle t}$${\displaystyle \langle \mathbf {XY^{\rm {T}}} \rangle }$${\displaystyle \langle \mathbf {X} \rangle \langle \mathbf {Y^{\rm {T}}} \rangle }$${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )}$${\displaystyle I_{j}}$${\displaystyle \mathbf {I} }$${\displaystyle \operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )}$Показать. Однако подавление неинтересных корреляций несовершенно, поскольку помимо интенсивности лазера существуют другие источники синфазных флуктуаций, и в принципе все эти источники следует контролировать в векторе . Однако на практике часто бывает достаточно сверхкомпенсировать частичную ковариационную поправку, как показано на панели f , где теперь четко видны интересные корреляции импульсов ионов в виде прямых линий, центрированных на стадиях ионизации атомарного азота.${\displaystyle \mathbf {I} }$

Двумерная инфракрасная спектроскопия [ править ]

Двумерная инфракрасная спектроскопия использует корреляционный анализ для получения двумерных спектров конденсированной фазы . Есть две версии этого анализа: синхронный и асинхронный . Математически первый выражается в терминах выборочной матрицы ковариаций, а метод эквивалентен ковариационному отображению. ^[11]

См. Также [ править ]

• Многовариантная статистика
• Матрица грамиана
• Разложение на собственные значения
• Квадратичная форма (статистика)
• Основные компоненты

Ссылки [ править ]

Дальнейшее чтение [ править ]

• "Матрица ковариаций" , Математическая энциклопедия , EMS Press , 2001 [1994]
• Вайсштейн, Эрик В. «Матрица ковариации» . MathWorld .
• ван Кампен, Н.Г. (1981). Случайные процессы в физике и химии . Нью-Йорк: Северная Голландия. ISBN 0-444-86200-5.