Многомерное нормальное распределение

Многомерный нормальный

Функция плотности вероятности Многие точки выборки из многомерного нормального распределения с и , показаны вместе с эллипсом 3-сигма, двумя маргинальными распределениями и двумя одномерными гистограммами.${\ displaystyle {\ boldsymbol {\ mu}} = \ left [{\ begin {smallmatrix} 0 \\ 0 \ end {smallmatrix}} \ right]}$${\ displaystyle {\ boldsymbol {\ Sigma}} = \ left [{\ begin {smallmatrix} 1 и 3/5 \\ 3/5 и 2 \ end {smallmatrix}} \ right]}$
Обозначение	${\ displaystyle {\ mathcal {N}} ({\ boldsymbol {\ mu}}, \, {\ boldsymbol {\ Sigma}})}$
Параметры	μ ∈ R k - расположение Σ ∈ R k  ×  k - ковариация ( положительная полуопределенная матрица )
Поддерживать	x ∈ μ + span ( Σ ) ⊆ R k
PDF	${\ displaystyle (2 \ pi) ^ {- {\ frac {k} {2}}} \ det ({\ boldsymbol {\ Sigma}}) ^ {- {\ frac {1} {2}}} \, e ^ {- {\ frac {1} {2}} (\ mathbf {x} - {\ boldsymbol {\ mu}}) ^ {\! {\ mathsf {T}}} {\ boldsymbol {\ Sigma}} ^ {- 1} (\ mathbf {x} - {\ boldsymbol {\ mu}})},}$ существует только тогда , когда Σ является положительно определенной
Иметь в виду	μ
Режим	μ
Дисперсия	Σ
Энтропия	${\ Displaystyle {\ frac {1} {2}} \ ln \ det \ left (2 \ pi \ mathrm {e} {\ boldsymbol {\ Sigma}} \ right)}$
MGF	${\displaystyle \exp \!{\Big (}{\boldsymbol {\mu }}^{\!{\mathsf {T}}}\mathbf {t} +{\tfrac {1}{2}}\mathbf {t} ^{\!{\mathsf {T}}}{\boldsymbol {\Sigma }}\mathbf {t} {\Big )}}$
CF	${\displaystyle \exp \!{\Big (}i{\boldsymbol {\mu }}^{\!{\mathsf {T}}}\mathbf {t} -{\tfrac {1}{2}}\mathbf {t} ^{\!{\mathsf {T}}}{\boldsymbol {\Sigma }}\mathbf {t} {\Big )}}$
Расхождение Кульбака-Лейблера	Смотри ниже

В теории вероятностей и статистике , в многомерном нормальном распределении , многофакторное распределение Гаусса , или совместного нормального распределении является обобщением одномерного ( одномерного ) нормального распределения для более высоких размерностей . Одно определение состоит в том, что случайный вектор называется нормально распределенным k -вариантом, если каждая линейная комбинация его k компонентов имеет одномерное нормальное распределение. Его важность определяется главным образом многомерной центральной предельной теоремой.. Многомерное нормальное распределение часто используется для описания, по крайней мере, приблизительно, любого набора (возможно) коррелированных действительных случайных величин, каждая из которых группируется вокруг среднего значения.

Определения [ править ]

Обозначения и параметризация [ править ]

Многомерное нормальное распределение k -мерного случайного вектора можно записать в следующих обозначениях:${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$

${\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),}$

или сделать это явно известно , что X является к - мерным,

${\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}_{k}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),}$

с k -мерным вектором среднего

${\displaystyle {\boldsymbol {\mu }}=\operatorname {E} [\mathbf {X} ]=(\operatorname {E} [X_{1}],\operatorname {E} [X_{2}],\ldots ,\operatorname {E} [X_{k}])^{\textbf {T}},}$

и ковариационная матрица${\displaystyle k\times k}$

${\displaystyle \Sigma _{i,j}:=\operatorname {E} [(X_{i}-\mu _{i})(X_{j}-\mu _{j})]=\operatorname {Cov} [X_{i},X_{j}]}$

таким образом, что обратной ковариационной матрицы называется точностью матрицы, обозначаемое .${\displaystyle 1\leq i,j\leq k.}$${\displaystyle {\boldsymbol {Q}}={\boldsymbol {\Sigma }}^{-1}}$

Стандартный нормальный случайный вектор [ править ]

Реальный случайный вектор называется стандартным нормальным случайным вектором, если все его компоненты независимы и каждый является нормально распределенной случайной величиной с нулевым средним значением единичной дисперсии, то есть если для всех . ^{[1] : стр. 454}${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$${\displaystyle X_{n}}$${\displaystyle X_{n}\sim \ {\mathcal {N}}(0,1)}$${\displaystyle n}$

Центрированный нормальный случайный вектор [ править ]

Реальный случайный вектор называется центрированным нормальным случайным вектором, если существует детерминированная матрица , имеющая такое же распределение, как где - стандартный нормальный случайный вектор с компонентами. ^{[1] : стр. 454}${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$${\displaystyle k\times \ell }$${\displaystyle {\boldsymbol {A}}}$${\displaystyle {\boldsymbol {A}}\mathbf {Z} }$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {Z} }$${\displaystyle \ell }$

Нормальный случайный вектор [ править ]

Реальный случайный вектор называется нормальным случайным вектором, если существует случайный -вектор , который является стандартным нормальным случайным вектором, -вектором и матрицей , такой что . ^{[2] : с. 454 [1] : с. 455}${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$${\displaystyle \ell }$${\displaystyle \mathbf {Z} }$${\displaystyle k}$${\displaystyle \mathbf {\mu } }$${\displaystyle k\times \ell }$${\displaystyle {\boldsymbol {A}}}$${\displaystyle \mathbf {X} ={\boldsymbol {A}}\mathbf {Z} +\mathbf {\mu } }$

Формально:

Здесь матрица ковариации является .${\displaystyle {\boldsymbol {\Sigma }}={\boldsymbol {A}}{\boldsymbol {A}}^{\mathrm {T} }}$

В вырожденном случае, когда ковариационная матрица сингулярна , соответствующее распределение не имеет плотности; подробности см. в разделе ниже . Этот случай часто встречается в статистике ; например, в распределении вектора остатков в обычной регрессии наименьших квадратов . Как правило, они не независимы; их можно рассматривать как результат применения матрицы к набору независимых гауссовских переменных .${\displaystyle X_{i}}$${\displaystyle {\boldsymbol {A}}}$${\displaystyle \mathbf {Z} }$

Эквивалентные определения [ править ]

Следующие определения эквивалентны определению, данному выше. Случайный вектор имеет многомерное нормальное распределение, если он удовлетворяет одному из следующих эквивалентных условий.${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{T}}$

• Каждая линейная комбинация его компонентов распределена нормально . То есть для любого постоянного вектора случайная величина имеет одномерное нормальное распределение, где одномерное нормальное распределение с нулевой дисперсией представляет собой точечную массу на своем среднем.${\displaystyle Y=a_{1}X_{1}+\cdots +a_{k}X_{k}}$${\displaystyle \mathbf {a} \in \mathbb {R} ^{k}}$${\displaystyle Y=\mathbf {a} ^{\mathrm {T} }\mathbf {X} }$
• Существует к -векторному и симметричный, неотрицательна матрице , такие , что характеристическая функция из IS${\displaystyle \mathbf {\mu } }$ ${\displaystyle k\times k}$${\displaystyle {\boldsymbol {\Sigma }}}$${\displaystyle \mathbf {X} }$

${\displaystyle \varphi _{\mathbf {X} }(\mathbf {u} )=\exp {\Big (}i\mathbf {u} ^{T}{\boldsymbol {\mu }}-{\tfrac {1}{2}}\mathbf {u} ^{T}{\boldsymbol {\Sigma }}\mathbf {u} {\Big )}.}$

Сферическое нормальное распределение можно охарактеризовать как уникальное распределение, в котором компоненты независимы в любой ортогональной системе координат. ^{[3] [4]}

Функция плотности [ править ]

Невырожденный случай [ править ]

Многомерное нормальное распределение называется «невырожденной» , когда симметричная матрица ковариации является положительно определенной . В этом случае распределение имеет плотность ^[5]${\displaystyle {\boldsymbol {\Sigma }}}$

где реальные к - мерный вектор - столбца и является определяющим фактором в . Вышеприведенное уравнение сводится к уравнению одномерного нормального распределения, если является матрицей (т.е. единственным действительным числом).${\displaystyle {\mathbf {x} }}$${\displaystyle |{\boldsymbol {\Sigma }}|\equiv \det {\boldsymbol {\Sigma }}}$${\displaystyle {\boldsymbol {\Sigma }}}$${\displaystyle {\boldsymbol {\Sigma }}}$${\displaystyle 1\times 1}$

Кругосимметричная версия комплексного нормального распределения имеет несколько иную форму.

Каждое геометрическое место изоплотности - геометрическое место точек в k -мерном пространстве, каждая из которых дает одно и то же конкретное значение плотности - является эллипсом или его многомерным обобщением; следовательно, многомерная нормаль является частным случаем эллиптических распределений .

Величина известна как расстояние Махаланобиса , которое представляет собой расстояние контрольной точки от среднего значения . Обратите внимание, что в случае, когда распределение сводится к одномерному нормальному распределению, а расстояние Махаланобиса сокращается до абсолютного значения стандартной оценки . См. Также « Интервал» ниже.${\displaystyle {\sqrt {({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})}}}$${\displaystyle {\mathbf {x} }}$${\displaystyle {\boldsymbol {\mu }}}$${\displaystyle k=1}$

Двумерный случай [ править ]

В 2-мерном неособом случае ( ) функция плотности вероятности вектора равна:${\displaystyle k={\text{rank}}\left(\Sigma \right)=2}$${\displaystyle {\text{[XY]′}}}$

${\displaystyle f(x,y)={\frac {1}{2\pi \sigma _{X}\sigma _{Y}{\sqrt {1-\rho ^{2}}}}}\mathrm {e} ^{-{\frac {1}{2(1-\rho ^{2})}}\left[({\frac {x-\mu _{X}}{\sigma _{X}}})^{2}-2\rho ({\frac {x-\mu _{X}}{\sigma _{X}}})({\frac {y-\mu _{Y}}{\sigma _{Y}}})+({\frac {y-\mu _{Y}}{\sigma _{Y}}})^{2}\right]}}$

где - соотношение между и и где и . В этом случае,${\displaystyle \rho }$${\displaystyle X}$${\displaystyle Y}$${\displaystyle \sigma _{X}>0}$${\displaystyle \sigma _{Y}>0}$

${\displaystyle {\boldsymbol {\mu }}={\begin{pmatrix}\mu _{X}\\\mu _{Y}\end{pmatrix}},\quad {\boldsymbol {\Sigma }}={\begin{pmatrix}\sigma _{X}^{2}&\rho \sigma _{X}\sigma _{Y}\\\rho \sigma _{X}\sigma _{Y}&\sigma _{Y}^{2}\end{pmatrix}}.}$

В двумерном случае первое эквивалентное условие для многомерной реконструкции нормальности можно сделать менее строгим, поскольку достаточно проверить, что счетное количество различных линейных комбинаций и являются нормальными, чтобы сделать вывод, что вектор является двумерным нормальным. ^[6]${\displaystyle X}$${\displaystyle Y}$${\displaystyle {\text{[XY]′}}}$

Двумерные локусы изоплотности, нанесенные на -плоскость, представляют собой эллипсы , главные оси которых определяются собственными векторами ковариационной матрицы (большой и малый полудиаметры эллипса равны квадратному корню из упорядоченных собственных значений).${\displaystyle x,y}$${\displaystyle {\boldsymbol {\Sigma }}}$

Двумерное нормальное распределение с центром в со стандартным отклонением 3 примерно в направлении и 1 в ортогональном направлении.${\displaystyle (1,3)}$${\displaystyle (0.878,0.478)}$

По мере увеличения абсолютного значения параметра корреляции эти локусы сжимаются к следующей линии:${\displaystyle \rho }$

${\displaystyle y(x)=\operatorname {sgn}(\rho ){\frac {\sigma _{Y}}{\sigma _{X}}}(x-\mu _{X})+\mu _{Y}.}$

Это связано с тем, что это выражение, с замененным (где sgn - функция знака ) на , является лучшим линейным несмещенным прогнозом для данного значения . ^[7]${\displaystyle sgn(\rho )}$${\displaystyle \rho }$${\displaystyle Y}$${\displaystyle X}$

Вырожденный случай [ править ]

Если ковариационная матрица не полного ранга, то многомерное нормальное распределение вырождено и не имеет плотности. Точнее, он не имеет плотности относительно k -мерной меры Лебега (которая является обычной мерой, предполагаемой в курсах вероятностей на уровне исчисления). Говорят, что только случайные векторы, распределения которых абсолютно непрерывны относительно меры, имеют плотности (относительно этой меры). Говоря о плотностях, но не имея дело с теоретико-мерными сложностями, может быть проще ограничить внимание подмножеством координат таких, чтобы ковариационная матрица для этого подмножества была положительно определенной; тогда другие координаты можно рассматривать как${\displaystyle {\boldsymbol {\Sigma }}}$${\displaystyle \operatorname {rank} ({\boldsymbol {\Sigma }})}$${\displaystyle \mathbf {x} }$аффинная функция этих выбранных координат. ^{[ необходима цитата ]}

Таким образом, чтобы иметь смысл говорить о плотностях в особых случаях, мы должны выбрать другую базовую меру. Используя теорему дезинтеграции мы можем определить ограничение меры Лебега на n - мерное аффинное подпространство , где поддерживаются гауссово распределение, то есть . По этой мере распределение имеет плотность следующего мотива:${\displaystyle \operatorname {rank} ({\boldsymbol {\Sigma }})}$${\displaystyle \mathbb {R} ^{k}}$${\displaystyle \{{\boldsymbol {\mu }}+{\boldsymbol {\Sigma ^{1/2}}}\mathbf {v} :\mathbf {v} \in \mathbb {R} ^{k}\}}$

${\displaystyle f(\mathbf {x} )=\left(\det \nolimits ^{*}(2\pi {\boldsymbol {\Sigma }})\right)^{-{\frac {1}{2}}}\,e^{-{\frac {1}{2}}(\mathbf {x} -{\boldsymbol {\mu }})^{\!{\mathsf {T}}}{\boldsymbol {\Sigma }}^{+}(\mathbf {x} -{\boldsymbol {\mu }})}}$

где - обобщенное обратное, а det * - псевдодетерминант . ^[8]${\displaystyle {\boldsymbol {\Sigma }}^{+}}$

Кумулятивная функция распределения [ править ]

Понятие кумулятивной функции распределения (cdf) в размерности 1 может быть расширено двумя способами на многомерный случай, основанный на прямоугольных и эллипсоидальных областях.

Первый способ - определить cdf случайного вектора как вероятность того, что все компоненты меньше или равны соответствующим значениям в векторе : ^[9]${\displaystyle F(\mathbf {x} )}$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {x} }$

${\displaystyle F(\mathbf {x} )=\mathbb {P} (\mathbf {X} \leq \mathbf {x} ),\quad {\text{where }}\mathbf {X} \sim {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}).}$

Хотя закрытой формы для нет , существует ряд алгоритмов, которые оценивают ее численно . ^{[9] [10]}${\displaystyle F(\mathbf {x} )}$

Другой способ - определить cdf как вероятность того, что образец находится внутри эллипсоида, определяемый его расстоянием Махаланобиса от гауссиана, что является прямым обобщением стандартного отклонения. ^[11] Для вычисления значений этой функции существуют замкнутые аналитические формулы ^[11] следующим образом.${\displaystyle F(r)}$ ${\displaystyle r}$

Интервал [ править ]

Интервал для многомерного нормального распределения дает область , состоящую из тех векторов х , удовлетворяющей

${\displaystyle ({\mathbf {x} }-{\boldsymbol {\mu }})^{T}{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})\leq \chi _{k}^{2}(p).}$

Вот это - мерный вектор, является известным -мерном средний вектор, является известной ковариационной матрицы и является квантиль функции для вероятности от распределения хи-квадрат с степенями свободы. ^[12] Когда выражение определяет внутреннюю часть эллипса, а распределение хи-квадрат упрощается до экспоненциального распределения со средним значением, равным двум (коэффициент равен половине).${\displaystyle {\mathbf {x} }}$${\displaystyle k}$${\displaystyle {\boldsymbol {\mu }}}$${\displaystyle k}$${\displaystyle {\boldsymbol {\Sigma }}}$${\displaystyle \chi _{k}^{2}(p)}$${\displaystyle p}$${\displaystyle k}$${\displaystyle k=2,}$

Дополнительная кумулятивная функция распределения (хвостовое распределение) [ править ]

Комплементарная интегральная функция распределения (CCDF) или хвост распределение определяются как . Когда , то ccdf можно записать как вероятность максимума зависимых гауссовских переменных: ^[13]${\displaystyle {\overline {F}}(\mathbf {x} )=1-\mathbb {P} (\mathbf {X} \leq \mathbf {x} )}$${\displaystyle \mathbf {X} \sim {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }})}$

${\displaystyle {\overline {F}}(\mathbf {x} )=\mathbb {P} (\cup _{i}\{X_{i}\geq x_{i}\})=\mathbb {P} (\max _{i}Y_{i}\geq 0),\quad {\text{where }}\mathbf {Y} \sim {\mathcal {N}}({\boldsymbol {\mu }}-\mathbf {x} ,\,{\boldsymbol {\Sigma }}).}$

Хотя простой закрытой формулы для вычисления ccdf не существует, максимум зависимых гауссовских переменных можно точно оценить с помощью метода Монте-Карло . ^{[13] [14]}

Свойства [ править ]

Вероятность в разных доменах [ править ]

Вверху: вероятность двумерной нормали в домене (синие области). Внизу: вероятность тривиальной нормали в тороидальной области. Они вычисляются численным методом лучей. Черные точки - это граничные точки области, вычисленной данным методом. ^[15]${\displaystyle x\sin y-y\cos x>1}$

Вероятностное содержание многомерной нормали в квадратичной области, определяемой формулой (где - матрица, - вектор и - скаляр), которая актуальна для байесовской классификации / теории принятия решений с использованием гауссовского дискриминантного анализа, задается обобщенной хи квадратное распределение . ^[15] Вероятностное содержание в любой общей области, определяемой (где - общая функция), может быть вычислено с использованием численного метода «лучей» ^[15] ( код Matlab ).${\displaystyle q({\boldsymbol {x}})={\boldsymbol {x}}'\mathbf {Q_{2}} {\boldsymbol {x}}+{\boldsymbol {q_{1}}}'{\boldsymbol {x}}+q_{0}>0}$${\displaystyle \mathbf {Q_{2}} }$${\displaystyle {\boldsymbol {q_{1}}}}$${\displaystyle q_{0}}$${\displaystyle f({\boldsymbol {x}})>0}$${\displaystyle f({\boldsymbol {x}})}$

Высшие моменты [ править ]

В к - го порядка моменты по х определяются

${\displaystyle \mu _{1,\ldots ,N}(\mathbf {x} )\ {\stackrel {\mathrm {def} }{=}}\ \mu _{r_{1},\ldots ,r_{N}}(\mathbf {x} )\ {\stackrel {\mathrm {def} }{=}}\operatorname {E} \left[\prod _{j=1}^{N}X_{j}^{r_{j}}\right]}$

где r ₁ + r ₂ + ⋯ + r _N = k .

В к центральным моментам го порядка являются следующими

${\displaystyle \mu _{1,\dots ,2\lambda }(\mathbf {x} -{\boldsymbol {\mu }})=\sum \left(\sigma _{ij}\sigma _{k\ell }\cdots \sigma _{XZ}\right)}$

где сумма берется по всем разбиениям множества на λ (неупорядоченных) пар. То есть для k- го (= 2 λ = 6) центрального момента суммируются произведения λ = 3 ковариаций (математическое ожидание μ принимается равным 0 в целях экономии):${\displaystyle \left\{1,\ldots ,2\lambda \right\}}$

${\displaystyle {\begin{aligned}&\operatorname {E} [X_{1}X_{2}X_{3}X_{4}X_{5}X_{6}]\\[8pt]={}&\operatorname {E} [X_{1}X_{2}]\operatorname {E} [X_{3}X_{4}]\operatorname {E} [X_{5}X_{6}]+\operatorname {E} [X_{1}X_{2}]\operatorname {E} [X_{3}X_{5}]\operatorname {E} [X_{4}X_{6}]+\operatorname {E} [X_{1}X_{2}]\operatorname {E} [X_{3}X_{6}]\operatorname {E} [X_{4}X_{5}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{3}]\operatorname {[} X_{2}X_{4}]\operatorname {E} [X_{5}X_{6}]+\operatorname {E} [X_{1}X_{3}]\operatorname {E} [X_{2}X_{5}]\operatorname {E} [X_{4}X_{6}]+\operatorname {E} [X_{1}X_{3}]\operatorname {E} [X_{2}X_{6}]\operatorname {E} [X_{4}X_{5}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{4}]\operatorname {E} [X_{2}X_{3}]\operatorname {E} [X_{5}X_{6}]+\operatorname {E} [X_{1}X_{4}]\operatorname {E} [X_{2}X_{5}]\operatorname {E} [X_{3}X_{6}]+\operatorname {E} [X_{1}X_{4}]\operatorname {E} [X_{2}X_{6}]\operatorname {E} [X_{3}X_{5}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{5}]\operatorname {E} [X_{2}X_{3}]\operatorname {E} [X_{4}X_{6}]+\operatorname {E} [X_{1}X_{5}]\operatorname {E} [X_{2}X_{4}]\operatorname {E} [X_{3}X_{6}]+\operatorname {E} [X_{1}X_{5}]\operatorname {E} [X_{2}X_{6}]\operatorname {E} [X_{3}X_{4}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{6}]\operatorname {E} [X_{2}X_{3}]\operatorname {E} [X_{4}X_{5}]+\operatorname {E} [X_{1}X_{6}]\operatorname {E} [X_{2}X_{4}]\operatorname {E} [X_{3}X_{5}]+\operatorname {E} [X_{1}X_{6}]\operatorname {E} [X_{2}X_{5}]\operatorname {E} [X_{3}X_{4}].\end{aligned}}}$

Это дает слагаемые в сумме (15 в приведенном выше случае), каждое из которых является произведением λ (в данном случае 3) ковариаций. Для моментов четвертого порядка (четыре переменные) есть три члена. Для моментов шестого порядка имеется 3 × 5 = 15 членов, а для моментов восьмого порядка - 3 × 5 × 7 = 105 членов.${\displaystyle {\tfrac {(2\lambda -1)!}{2^{\lambda -1}(\lambda -1)!}}}$

Затем определяются ковариации путем замены членов списка соответствующими членами списка, состоящего из r ₁ единиц, затем r ₂ двоек и т. Д. Чтобы проиллюстрировать это, рассмотрим следующий случай центрального момента 4-го порядка:${\displaystyle [1,\ldots ,2\lambda ]}$

${\displaystyle {\begin{aligned}\operatorname {E} \left[X_{i}^{4}\right]&=3\sigma _{ii}^{2}\\[4pt]\operatorname {E} \left[X_{i}^{3}X_{j}\right]&=3\sigma _{ii}\sigma _{ij}\\[4pt]\operatorname {E} \left[X_{i}^{2}X_{j}^{2}\right]&=\sigma _{ii}\sigma _{jj}+2\sigma _{ij}^{2}\\[4pt]\operatorname {E} \left[X_{i}^{2}X_{j}X_{k}\right]&=\sigma _{ii}\sigma _{jk}+2\sigma _{ij}\sigma _{ik}\\[4pt]\operatorname {E} \left[X_{i}X_{j}X_{k}X_{n}\right]&=\sigma _{ij}\sigma _{kn}+\sigma _{ik}\sigma _{jn}+\sigma _{in}\sigma _{jk}.\end{aligned}}}$

где - ковариация X _i и X _j . С помощью описанного выше метода сначала находят общий случай для k- го момента с k различными переменными X , а затем соответствующим образом упрощают его. Например, для одного позволяет X _i = X _j и использовать тот факт, что .${\displaystyle \sigma _{ij}}$${\displaystyle E\left[X_{i}X_{j}X_{k}X_{n}\right]}$${\displaystyle \operatorname {E} [X_{i}^{2}X_{k}X_{n}]}$${\displaystyle \sigma _{ii}=\sigma _{i}^{2}}$

Функции вектора нормали [ править ]

a: Плотность вероятности функции одной нормальной переменной с и . b: Плотность вероятности функции вектора нормали со средним значением и ковариацией . c: Тепловая карта совместной плотности вероятности двух функций вектора нормали со средним значением и ковариацией . Они вычисляются с помощью численного метода сканирования лучей. ^[15]${\displaystyle \cos x^{2}}$${\displaystyle x}$${\displaystyle \mu =-2}$${\displaystyle \sigma =3}$${\displaystyle x^{y}}$${\displaystyle (x,y)}$${\displaystyle {\boldsymbol {\mu }}=(1,2)}$${\displaystyle \mathbf {\Sigma } ={\begin{bmatrix}.01&.016\\.016&.04\end{bmatrix}}}$${\displaystyle (x,y)}$${\displaystyle {\boldsymbol {\mu }}=(-2,5)}$${\displaystyle \mathbf {\Sigma } ={\begin{bmatrix}10&-7\\-7&10\end{bmatrix}}}$

Квадратичная форма нормального вектора , (где представляет собой матрицу, является вектором, и является скаляр), является обобщенный критерий хи-квадрат с переменной. ^[15]${\displaystyle {\boldsymbol {x}}}$${\displaystyle q({\boldsymbol {x}})={\boldsymbol {x}}'\mathbf {Q_{2}} {\boldsymbol {x}}+{\boldsymbol {q_{1}}}'{\boldsymbol {x}}+q_{0}}$${\displaystyle \mathbf {Q_{2}} }$${\displaystyle {\boldsymbol {q_{1}}}}$${\displaystyle q_{0}}$

Если это общая скалярная функция вектора нормали, ее функция плотности вероятности , кумулятивная функция распределения и обратная кумулятивная функция распределения могут быть вычислены с помощью численного метода сканирования лучей ( код Matlab ). ^[15]${\displaystyle f({\boldsymbol {x}})}$

Функция правдоподобия [ править ]

Если известны среднее значение и ковариационная матрица, логарифмическая вероятность наблюдаемого вектора - это просто логарифм функции плотности вероятности :${\displaystyle {\boldsymbol {x}}}$

${\displaystyle \ln L({\boldsymbol {x}})=-{\frac {1}{2}}\left[\ln(|{\boldsymbol {\Sigma }}|\,)+({\boldsymbol {x}}-{\boldsymbol {\mu }})^{\rm {T}}{\boldsymbol {\Sigma }}^{-1}({\boldsymbol {x}}-{\boldsymbol {\mu }})+k\ln(2\pi )\right]}$,

Циклически симметричная версия нецентрального комплексного случая, где - вектор комплексных чисел, была бы${\displaystyle {\boldsymbol {z}}}$

${\displaystyle \ln L({\boldsymbol {z}})=-\ln(|{\boldsymbol {\Sigma }}|\,)-({\boldsymbol {z}}-{\boldsymbol {\mu }})^{\dagger }{\boldsymbol {\Sigma }}^{-1}({\boldsymbol {z}}-{\boldsymbol {\mu }})-k\ln(\pi )}$

т.е. с сопряженным транспонированием (обозначенным ), заменяющим нормальное транспонирование (обозначенное ). Это немного отличается от реального случая, потому что циркулярно-симметричная версия комплексного нормального распределения имеет немного другую форму для нормировочной постоянной .${\displaystyle \dagger }$${\displaystyle {}^{\rm {T}}}$

Аналогичное обозначение используется для множественной линейной регрессии . ^[16]

Поскольку логарифм правдоподобия вектора нормали является квадратичной формой вектора нормали, он распределяется как обобщенная переменная хи-квадрат . ^[15]

Дифференциальная энтропия [ править ]

Дифференциальная энтропия многомерного нормального распределения ^[17]

${\displaystyle {\begin{aligned}h\left(f\right)&=-\int _{-\infty }^{\infty }\int _{-\infty }^{\infty }\cdots \int _{-\infty }^{\infty }f(\mathbf {x} )\ln f(\mathbf {x} )\,d\mathbf {x} ,\\&={\frac {1}{2}}\ln \left(\left|\left(2\pi e\right){\boldsymbol {\Sigma }}\right|\right)={\frac {1}{2}}\ln \left(\left(2\pi e\right)^{k}\left|{\boldsymbol {\Sigma }}\right|\right)={\frac {k}{2}}\ln \left(2\pi e\right)+{\frac {1}{2}}\ln \left(\left|{\boldsymbol {\Sigma }}\right|\right)={\frac {k}{2}}+{\frac {k}{2}}\ln \left(2\pi \right)+{\frac {1}{2}}\ln \left(\left|{\boldsymbol {\Sigma }}\right|\right)\\\end{aligned}}}$

где столбцы обозначают определитель матрицы, а k - размерность векторного пространства.

Расхождение Кульбака – Лейблера [ править ]

Кульбак-Либлер дивергенции от до , для невырожденных матриц Е ₁ и Е ₀ , является: ^[18]${\displaystyle {\mathcal {N}}_{1}({\boldsymbol {\mu }}_{1},{\boldsymbol {\Sigma }}_{1})}$${\displaystyle {\mathcal {N}}_{0}({\boldsymbol {\mu }}_{0},{\boldsymbol {\Sigma }}_{0})}$

${\displaystyle D_{\text{KL}}({\mathcal {N}}_{0}\|{\mathcal {N}}_{1})={1 \over 2}\left\{\operatorname {tr} \left({\boldsymbol {\Sigma }}_{1}^{-1}{\boldsymbol {\Sigma }}_{0}\right)+\left({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu }}_{0}\right)^{\rm {T}}{\boldsymbol {\Sigma }}_{1}^{-1}({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu }}_{0})-k+\ln {|{\boldsymbol {\Sigma }}_{1}| \over |{\boldsymbol {\Sigma }}_{0}|}\right\},}$

где - размерность векторного пространства.${\displaystyle k}$

Логарифм должен быть принят к базовым е , так как два члена следующих логарифм сами base- х логарифмы выражений , которые являются либо факторами функции плотности или иначе возникают естественным образом . Таким образом, уравнение дает результат, измеренный в нац . Разделив все выражение выше на log _e  2, получаем расхождение в битах .

Когда ,${\displaystyle {\boldsymbol {\mu }}_{1}={\boldsymbol {\mu }}_{0}}$

${\displaystyle D_{\text{KL}}({\mathcal {CN}}_{0}\|{\mathcal {CN}}_{1})={1 \over 2}\left\{\operatorname {tr} \left({\boldsymbol {\Sigma }}_{1}^{-1}{\boldsymbol {\Sigma }}_{0}\right)-k+\ln {|{\boldsymbol {\Sigma }}_{1}| \over |{\boldsymbol {\Sigma }}_{0}|}\right\}.}$

Взаимная информация [ править ]

Взаимный обмен информацией о распределении является частным случаем дивергенции Кульбаки-Лейблер , в котором есть полное многомерное распределение и является произведением 1-мерных маргинальных распределений. В обозначениях раздела о расхождении Кульбака – Лейблера в этой статье, - диагональная матрица с диагональными элементами , и . Результирующая формула для взаимной информации:${\displaystyle P}$${\displaystyle Q}$${\displaystyle {\boldsymbol {\Sigma }}_{1}}$${\displaystyle {\boldsymbol {\Sigma }}_{0}}$${\displaystyle {\boldsymbol {\mu }}_{1}={\boldsymbol {\mu }}_{0}}$

${\displaystyle I({\boldsymbol {X}})=-{1 \over 2}\ln |{\boldsymbol {\rho }}_{0}|,}$

где - корреляционная матрица, построенная из . ^{[ необходима цитата ]}${\displaystyle {\boldsymbol {\rho }}_{0}}$${\displaystyle {\boldsymbol {\Sigma }}_{0}}$

В двумерном случае выражение для взаимной информации:

${\displaystyle I(x;y)=-{1 \over 2}\ln(1-\rho ^{2}).}$

Совместная нормальность [ править ]

Обычно распределенные и независимые [ править ]

Если и являются нормально распределенными и независимыми , это означает, что они «совместно нормально распределены», т. Е. Пара должна иметь многомерное нормальное распределение. Однако пара совместно нормально распределенных переменных не обязательно должна быть независимой (будет так, только если некоррелирована ).${\displaystyle X}$${\displaystyle Y}$${\displaystyle (X,Y)}$${\displaystyle \rho =0}$

Две нормально распределенные случайные величины не обязательно должны быть одновременно двумерными нормальными [ править ]

Тот факт, что две случайные величины и обе имеют нормальное распределение, не означает, что пара имеет совместное нормальное распределение. Простым примером является тот, в котором X имеет нормальное распределение с ожидаемым значением 0 и дисперсией 1, и если и если , где . Подобные контрпримеры существуют для более чем двух случайных величин. В общем, они сводятся к смешанной модели . ^{[ необходима цитата ]}${\displaystyle X}$${\displaystyle Y}$${\displaystyle (X,Y)}$${\displaystyle Y=X}$${\displaystyle |X|>c}$${\displaystyle Y=-X}$${\displaystyle |X|<c}$${\displaystyle c>0}$

Корреляции и независимость [ править ]

Как правило, случайные величины могут быть некоррелированными, но статистически зависимыми. Но если случайный вектор имеет многомерное нормальное распределение, то любые две или более его компоненты, которые не коррелируют, независимы . Это означает, что любые два или более его компонентов, которые попарно независимы , независимы. Но, как было отмечено чуть выше, это не правда , что две случайные величины, которые ( по отдельности , незначительно) нормально распределенные и некоррелированных независимы.

Условные распределения [ править ]

Если N -мерный x разбивается следующим образом

${\displaystyle \mathbf {x} ={\begin{bmatrix}\mathbf {x} _{1}\\\mathbf {x} _{2}\end{bmatrix}}{\text{ with sizes }}{\begin{bmatrix}q\times 1\\(N-q)\times 1\end{bmatrix}}}$

и соответственно μ и Σ разбиваются следующим образом

${\displaystyle {\boldsymbol {\mu }}={\begin{bmatrix}{\boldsymbol {\mu }}_{1}\\{\boldsymbol {\mu }}_{2}\end{bmatrix}}{\text{ with sizes }}{\begin{bmatrix}q\times 1\\(N-q)\times 1\end{bmatrix}}}$

${\displaystyle {\boldsymbol {\Sigma }}={\begin{bmatrix}{\boldsymbol {\Sigma }}_{11}&{\boldsymbol {\Sigma }}_{12}\\{\boldsymbol {\Sigma }}_{21}&{\boldsymbol {\Sigma }}_{22}\end{bmatrix}}{\text{ with sizes }}{\begin{bmatrix}q\times q&q\times (N-q)\\(N-q)\times q&(N-q)\times (N-q)\end{bmatrix}}}$

то распределение x _1, условное для x ₂ = a, является многомерным нормальным ( x ₁  |  x ₂ = a ) ~ N ( μ , Σ ), где

${\displaystyle {\bar {\boldsymbol {\mu }}}={\boldsymbol {\mu }}_{1}+{\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}\left(\mathbf {a} -{\boldsymbol {\mu }}_{2}\right)}$

и ковариационная матрица

${\displaystyle {\overline {\boldsymbol {\Sigma }}}={\boldsymbol {\Sigma }}_{11}-{\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}{\boldsymbol {\Sigma }}_{21}.}$^[19]

Эта матрица является дополнением Шура к Σ ₂₂ в Σ . Это означает, что для вычисления условной ковариационной матрицы нужно инвертировать общую ковариационную матрицу, отбрасывать строки и столбцы, соответствующие переменным, на которые устанавливаются условия, а затем инвертировать обратно, чтобы получить условную ковариационную матрицу. Здесь есть обобщенный обратный из .${\displaystyle {\boldsymbol {\Sigma }}_{22}^{-1}}$${\displaystyle {\boldsymbol {\Sigma }}_{22}}$

Обратите внимание, что знание того, что x ₂ = a, изменяет дисперсию, хотя новая дисперсия не зависит от конкретного значения a ; возможно, что более удивительно, среднее значение сдвинуто на ; сравните это с ситуацией незнания значения a , и в этом случае x ₁ будет иметь распределение .${\displaystyle {\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}\left(\mathbf {a} -{\boldsymbol {\mu }}_{2}\right)}$${\displaystyle {\mathcal {N}}_{q}\left({\boldsymbol {\mu }}_{1},{\boldsymbol {\Sigma }}_{11}\right)}$

Интересный факт, полученный для доказательства этого результата, заключается в том, что случайные векторы и независимы.${\displaystyle \mathbf {x} _{2}}$${\displaystyle \mathbf {y} _{1}=\mathbf {x} _{1}-{\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}\mathbf {x} _{2}}$

Матрица Σ ₁₂ Σ ₂₂ ⁻¹ известна как матрица коэффициентов регрессии .

Двумерный случай [ править ]

В случае двумерный , где х разбиваются и , условное распределение дано в ^[20]${\displaystyle X_{1}}$${\displaystyle X_{2}}$${\displaystyle X_{1}}$${\displaystyle X_{2}}$

${\displaystyle X_{1}\mid X_{2}=a\ \sim \ {\mathcal {N}}\left(\mu _{1}+{\frac {\sigma _{1}}{\sigma _{2}}}\rho (a-\mu _{2}),\,(1-\rho ^{2})\sigma _{1}^{2}\right).}$

где - коэффициент корреляции между и .${\displaystyle \rho }$${\displaystyle X_{1}}$${\displaystyle X_{2}}$

Двумерное условное ожидание [ править ]

В общем случае [ править ]

${\displaystyle {\begin{pmatrix}X_{1}\\X_{2}\end{pmatrix}}\sim {\mathcal {N}}\left({\begin{pmatrix}\mu _{1}\\\mu _{2}\end{pmatrix}},{\begin{pmatrix}\sigma _{1}^{2}&\rho \sigma _{1}\sigma _{2}\\\rho \sigma _{1}\sigma _{2}&\sigma _{2}^{2}\end{pmatrix}}\right)}$

Условное ожидание X ₁ при X ₂ :

${\displaystyle \operatorname {E} (X_{1}\mid X_{2}=x_{2})=\mu _{1}+\rho {\frac {\sigma _{1}}{\sigma _{2}}}(x_{2}-\mu _{2})}$

Доказательство: результат получен путем использования математического ожидания условного распределения выше.${\displaystyle X_{1}\mid X_{2}}$

В центральном случае с единичными отклонениями [ править ]

${\displaystyle {\begin{pmatrix}X_{1}\\X_{2}\end{pmatrix}}\sim {\mathcal {N}}\left({\begin{pmatrix}0\\0\end{pmatrix}},{\begin{pmatrix}1&\rho \\\rho &1\end{pmatrix}}\right)}$

Условное ожидание X ₁ при X ₂ равно

${\displaystyle \operatorname {E} (X_{1}\mid X_{2}=x_{2})=\rho x_{2}}$

и условная дисперсия

${\displaystyle \operatorname {var} (X_{1}\mid X_{2}=x_{2})=1-\rho ^{2};}$

таким образом, условная дисперсия не зависит от x ₂ .

Условное ожидание X _{1 при} условии, что X ₂ меньше / больше, чем z : ^{[21] : 367}

${\displaystyle \operatorname {E} (X_{1}\mid X_{2}<z)=-\rho {\phi (z) \over \Phi (z)},}$

${\displaystyle \operatorname {E} (X_{1}\mid X_{2}>z)=\rho {\phi (z) \over (1-\Phi (z))},}$

где окончательное соотношение здесь называется обратным соотношением Миллса .

Доказательство: последние два результата получены с использованием результата , так что${\displaystyle \operatorname {E} (X_{1}\mid X_{2}=x_{2})=\rho x_{2}}$

${\displaystyle \operatorname {E} (X_{1}\mid X_{2}<z)=\rho E(X_{2}\mid X_{2}<z)}$а затем используя свойства математического ожидания усеченного нормального распределения .

Маржинальные распределения [ править ]

Чтобы получить маргинальное распределение по подмножеству многомерных нормальных случайных величин, нужно только отбросить нерелевантные переменные (переменные, которые нужно исключить) из среднего вектора и ковариационной матрицы. Доказательство этого следует из определений многомерных нормальных распределений и линейной алгебры. ^[22]

Пример

Пусть X = [ X ₁ , X ₂ , X ₃ ] - многомерные нормальные случайные величины с вектором среднего μ = [ μ ₁ , μ ₂ , μ ₃ ] и ковариационной матрицей Σ (стандартная параметризация для многомерных нормальных распределений). Тогда совместное распределение X ′ = [ X ₁ , X ₃ ] является многомерным нормальным со средним вектором μ ′ = [ μ ₁ , μ ₃ ].и ковариационная матрица .${\displaystyle {\boldsymbol {\Sigma }}'={\begin{bmatrix}{\boldsymbol {\Sigma }}_{11}&{\boldsymbol {\Sigma }}_{13}\\{\boldsymbol {\Sigma }}_{31}&{\boldsymbol {\Sigma }}_{33}\end{bmatrix}}}$

Аффинное преобразование [ править ]

Если Y = C + ОГО является аффинным преобразованием из где с представляет собой вектор констант и B является постоянной матрицей, то Y имеет многомерное нормальное распределение с ожидаемым значением гр + Bμ и дисперсией BΣB ^T т.е. . В частности, любое подмножество X _i имеет маргинальное распределение, которое также является многомерным нормальным. Чтобы убедиться в этом, рассмотрим следующий пример: чтобы извлечь подмножество ( X ₁ , X ₂ , X${\displaystyle \mathbf {X} \ \sim {\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }}),}$${\displaystyle M\times 1}$${\displaystyle M\times N}$${\displaystyle \mathbf {Y} \sim {\mathcal {N}}\left(\mathbf {c} +\mathbf {B} {\boldsymbol {\mu }},\mathbf {B} {\boldsymbol {\Sigma }}\mathbf {B} ^{\rm {T}}\right)}$₄ ) ^T , используйте

${\displaystyle \mathbf {B} ={\begin{bmatrix}1&0&0&0&0&\ldots &0\\0&1&0&0&0&\ldots &0\\0&0&0&1&0&\ldots &0\end{bmatrix}}}$

который напрямую извлекает нужные элементы.

Другое следствие состоит в том, что распределение Z = b · X , где b - постоянный вектор с тем же числом элементов, что и X, а точка указывает скалярное произведение , является одномерным гауссовым с . Этот результат следует из использования${\displaystyle Z\sim {\mathcal {N}}\left(\mathbf {b} \cdot {\boldsymbol {\mu }},\mathbf {b} ^{\rm {T}}{\boldsymbol {\Sigma }}\mathbf {b} \right)}$

${\displaystyle \mathbf {B} ={\begin{bmatrix}b_{1}&b_{2}&\ldots &b_{n}\end{bmatrix}}=\mathbf {b} ^{\rm {T}}.}$

Обратите внимание, как положительная определенность Σ означает, что дисперсия скалярного произведения должна быть положительной.

Аффинное преобразование X , такие как 2 X не является такой же , как сумма двух независимых реализаций из X .

Геометрическая интерпретация [ править ]

Контуры равноплотности неособого многомерного нормального распределения представляют собой эллипсоиды (т.е. линейные преобразования гиперсфер ) с центром в среднем. ^[23] Следовательно, многомерное нормальное распределение является примером класса эллиптических распределений . Направления главных осей эллипсоидов задаются собственными векторами ковариационной матрицы . Квадраты относительных длин главных осей задаются соответствующими собственными значениями.${\displaystyle {\boldsymbol {\Sigma }}}$

Если Σ = UΛU ^T = UΛ ^1/2 ( UΛ ^1/2 ) ^T - собственное разложение, где столбцы U являются единичными собственными векторами, а Λ - диагональная матрица собственных значений, то мы имеем

${\displaystyle \mathbf {X} \ \sim {\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})\iff \mathbf {X} \ \sim {\boldsymbol {\mu }}+\mathbf {U} {\boldsymbol {\Lambda }}^{1/2}{\mathcal {N}}(0,\mathbf {I} )\iff \mathbf {X} \ \sim {\boldsymbol {\mu }}+\mathbf {U} {\mathcal {N}}(0,{\boldsymbol {\Lambda }}).}$

Более того, U можно выбрать в качестве матрицы вращения , поскольку инвертирование оси не оказывает никакого влияния на N (0, Λ ), но инвертирование столбца изменяет знак определителя U. Распределение N ( μ , Σ ) фактически является N (0, I ), масштабируемым на Λ ^1/2 , повернутым на U и переведенным на μ .

Наоборот, любой выбор μ , матрицы U полного ранга и положительных диагональных элементов Λ _i дает неособое многомерное нормальное распределение. Если какой - либо Л _я равен нулю , а U является квадратной, в результате ковариационная матрица UΛU ^Т является сингулярным . Геометрически это означает, что каждый контурный эллипсоид бесконечно тонкий и имеет нулевой объем в n -мерном пространстве, так как по крайней мере одна из главных осей имеет нулевую длину; это вырожденный случай .

«Радиус вокруг истинного среднего значения в двумерной нормальной случайной величине, переписанный в полярных координатах (радиус и угол), следует распределению Хойта ». ^[24]

В одном измерении вероятность нахождения выборки нормального распределения в интервале составляет приблизительно 68,27%, но в более высоких измерениях вероятность нахождения выборки в области эллипса стандартного отклонения ниже. ^[25]${\displaystyle \mu \pm \sigma }$

Статистический вывод [ править ]

Оценка параметров [ править ]

Получение оценки максимального правдоподобия ковариационной матрицы многомерного нормального распределения несложно.

Короче говоря, функция плотности вероятности (PDF) многомерной нормали имеет вид

${\displaystyle f(\mathbf {x} )={\frac {1}{\sqrt {(2\pi )^{k}|{\boldsymbol {\Sigma }}|}}}\exp \left(-{1 \over 2}(\mathbf {x} -{\boldsymbol {\mu }})^{\rm {T}}{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})\right)}$

а оценка ML ковариационной матрицы по выборке из n наблюдений равна

${\displaystyle {\widehat {\boldsymbol {\Sigma }}}={1 \over n}\sum _{i=1}^{n}({\mathbf {x} }_{i}-{\overline {\mathbf {x} }})({\mathbf {x} }_{i}-{\overline {\mathbf {x} }})^{T}}$

которая является просто выборкой ковариационной матрицы . Это предвзятая оценка , ожидание которой

${\displaystyle E[{\widehat {\boldsymbol {\Sigma }}}]={\frac {n-1}{n}}{\boldsymbol {\Sigma }}.}$

Несмещенная ковариация выборки

${\displaystyle {\widehat {\boldsymbol {\Sigma }}}={1 \over n-1}\sum _{i=1}^{n}(\mathbf {x} _{i}-{\overline {\mathbf {x} }})(\mathbf {x} _{i}-{\overline {\mathbf {x} }})^{\rm {T}}.={1 \over n-1}[X'(I-{\frac {1}{n}}*J)X]}$ (матричная форма; I - матрица идентичности, J - матрица единиц)

Информационная матрица Фишера для оценки параметров многомерного нормального распределения имеет замкнутую форму выражения. Это можно использовать, например, для вычисления границы Крамера – Рао для оценки параметров в этой настройке. См. Дополнительную информацию в информации Fisher .

Байесовский вывод [ править ]

В статистических байесовском , то сопряженных до среднего вектора является еще одним многомерным нормальным распределением, и конъюгат до ковариационной матрицы является распределение обратного Уишарта . Предположим, что было сделано n наблюдений.${\displaystyle {\mathcal {W}}^{-1}}$

${\displaystyle \mathbf {X} =\{\mathbf {x} _{1},\dots ,\mathbf {x} _{n}\}\sim {\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})}$

и что был назначен сопряженный априор, где

${\displaystyle p({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})=p({\boldsymbol {\mu }}\mid {\boldsymbol {\Sigma }})\ p({\boldsymbol {\Sigma }}),}$

куда

${\displaystyle p({\boldsymbol {\mu }}\mid {\boldsymbol {\Sigma }})\sim {\mathcal {N}}({\boldsymbol {\mu }}_{0},m^{-1}{\boldsymbol {\Sigma }}),}$

и

${\displaystyle p({\boldsymbol {\Sigma }})\sim {\mathcal {W}}^{-1}({\boldsymbol {\Psi }},n_{0}).}$

Затем ^{[ необходима ссылка ]}

${\displaystyle {\begin{array}{rcl}p({\boldsymbol {\mu }}\mid {\boldsymbol {\Sigma }},\mathbf {X} )&\sim &{\mathcal {N}}\left({\frac {n{\bar {\mathbf {x} }}+m{\boldsymbol {\mu }}_{0}}{n+m}},{\frac {1}{n+m}}{\boldsymbol {\Sigma }}\right),\\p({\boldsymbol {\Sigma }}\mid \mathbf {X} )&\sim &{\mathcal {W}}^{-1}\left({\boldsymbol {\Psi }}+n\mathbf {S} +{\frac {nm}{n+m}}({\bar {\mathbf {x} }}-{\boldsymbol {\mu }}_{0})({\bar {\mathbf {x} }}-{\boldsymbol {\mu }}_{0})',n+n_{0}\right),\end{array}}}$

куда

${\displaystyle {\begin{aligned}{\bar {\mathbf {x} }}&={\frac {1}{n}}\sum _{i=1}^{n}\mathbf {x} _{i},\\\mathbf {S} &={\frac {1}{n}}\sum _{i=1}^{n}(\mathbf {x} _{i}-{\bar {\mathbf {x} }})(\mathbf {x} _{i}-{\bar {\mathbf {x} }})'.\end{aligned}}}$

Многомерные тесты нормальности [ править ]

Многофакторные тесты нормальности проверяют данный набор данных на сходство с многомерным нормальным распределением . Нулевая гипотеза является то , что набор данных аналогичен нормальному распределению, поэтому при достаточно малом р -значение означает отсутствие нормальных данных. Многофакторные тесты нормальности включают тест Кокса – Смолла ^[26] и адаптацию Смита и Джейна ^[27] теста Фридмана – Рафски, созданного Ларри Рафски и Джеромом Фридманом . ^[28]

Тест Мардиа ^[29] основан на многомерном расширении мер асимметрии и эксцесса . Для выборки { x ₁ , ..., x _n } k -мерных векторов мы вычисляем

${\displaystyle {\begin{aligned}&{\widehat {\boldsymbol {\Sigma }}}={1 \over n}\sum _{j=1}^{n}\left(\mathbf {x} _{j}-{\bar {\mathbf {x} }}\right)\left(\mathbf {x} _{j}-{\bar {\mathbf {x} }}\right)^{T}\\&A={1 \over 6n}\sum _{i=1}^{n}\sum _{j=1}^{n}\left[(\mathbf {x} _{i}-{\bar {\mathbf {x} }})^{T}\;{\widehat {\boldsymbol {\Sigma }}}^{-1}(\mathbf {x} _{j}-{\bar {\mathbf {x} }})\right]^{3}\\&B={\sqrt {\frac {n}{8k(k+2)}}}\left\{{1 \over n}\sum _{i=1}^{n}\left[(\mathbf {x} _{i}-{\bar {\mathbf {x} }})^{T}\;{\widehat {\boldsymbol {\Sigma }}}^{-1}(\mathbf {x} _{i}-{\bar {\mathbf {x} }})\right]^{2}-k(k+2)\right\}\end{aligned}}}$

При нулевой гипотезе многомерной нормальности статистика A будет иметь приблизительно распределение хи-квадрат с1/6⋅ k ( k + 1) ( k + 2) степеней свободы, и B будет приблизительно стандартным нормальным N (0,1).

Статистика эксцесса Мардии искажена и очень медленно сходится к предельному нормальному распределению. Для выборок среднего размера параметры асимптотического распределения статистики эксцесса изменяются ^[30] Для тестов малых выборок ( ) используются эмпирические критические значения. Таблицы критических значений для обеих статистик даны Ренчером ^[31] для k  = 2, 3, 4.${\displaystyle (50\leq n<400)}$${\displaystyle n<50}$

Тесты Мардиа аффинно-инвариантны, но непротиворечивы. Например, многомерный тест асимметрии несовместим с симметричными ненормальными альтернативами. ^[32]

Тест BHEP ^[33] вычисляет норму разницы между эмпирической характеристической функцией и теоретической характеристической функцией нормального распределения. Вычисление нормы выполняется в L 2 ( ц ) пространство квадратично интегрируемых функций по отношению к гауссовой весовой функции . Статистика теста${\displaystyle \scriptstyle \mu _{\beta }(\mathbf {t} )=(2\pi \beta ^{2})^{-k/2}e^{-|\mathbf {t} |^{2}/(2\beta ^{2})}}$