Матричное нормальное распределение

Матрица нормальная

Обозначение	${\ displaystyle {\ mathcal {MN}} _ {n, p} (\ mathbf {M}, \ mathbf {U}, \ mathbf {V})}$
Параметры	${\ displaystyle \ mathbf {M}}$ расположение ( действительная матрица ) масштаб ( положительно-определенная действительная матрица )${\ Displaystyle п \ раз р}$ ${\ displaystyle \ mathbf {U}}$ ${\ Displaystyle п \ раз п}$ ${\ displaystyle \ mathbf {V}}$ масштаб ( положительно-определенная вещественная матрица )${\ displaystyle p \ times p}$
Поддерживать	${\ Displaystyle \ mathbf {X} \ in \ mathbb {R} ^ {п \ раз p}}$
PDF	${\ displaystyle {\ frac {\ exp \ left (- {\ frac {1} {2}} \, \ mathrm {tr} \ left [\ mathbf {V} ^ {- 1} (\ mathbf {X} - \ mathbf {M}) ^ {T} \ mathbf {U} ^ {- 1} (\ mathbf {X} - \ mathbf {M}) \ right] \ right)} {(2 \ pi) ^ {np / 2} | \ mathbf {V} | ^ {n / 2} | \ mathbf {U} | ^ {p / 2}}}}$
Иметь в виду	${\ displaystyle \ mathbf {M}}$
Дисперсия	${\ displaystyle \ mathbf {U}}$(среди строк) и (среди столбцов)${\ displaystyle \ mathbf {V}}$

В статистике , то матрица нормального распределения или матрица распределения Gaussian является распределение вероятностей , что представляет собой обобщение многомерного нормального распределения для матричных случайных величин.

Определение [ править ]

Функция плотности вероятности для случайной матрицы X ( n  ×  p ), которая следует нормальному распределению матрицы, имеет вид:${\ displaystyle {\ mathcal {MN}} _ {n, p} (\ mathbf {M}, \ mathbf {U}, \ mathbf {V})}$

${\displaystyle p(\mathbf {X} \mid \mathbf {M} ,\mathbf {U} ,\mathbf {V} )={\frac {\exp \left(-{\frac {1}{2}}\,\mathrm {tr} \left[\mathbf {V} ^{-1}(\mathbf {X} -\mathbf {M} )^{T}\mathbf {U} ^{-1}(\mathbf {X} -\mathbf {M} )\right]\right)}{(2\pi )^{np/2}|\mathbf {V} |^{n/2}|\mathbf {U} |^{p/2}}}}$

где обозначает след, а M - это n  ×  p , U - это n  ×  n, а V - это p  ×  p .${\displaystyle \mathrm {tr} }$

Нормаль матрицы связана с многомерным нормальным распределением следующим образом:

${\displaystyle \mathbf {X} \sim {\mathcal {MN}}_{n\times p}(\mathbf {M} ,\mathbf {U} ,\mathbf {V} ),}$

если и только если

${\displaystyle \mathrm {vec} (\mathbf {X} )\sim {\mathcal {N}}_{np}(\mathrm {vec} (\mathbf {M} ),\mathbf {V} \otimes \mathbf {U} )}$

где обозначает произведение Кронекера и обозначает векторизации из .${\displaystyle \otimes }$${\displaystyle \mathrm {vec} (\mathbf {M} )}$${\displaystyle \mathbf {M} }$

Доказательство [ править ]

Эквивалентность между вышеуказанными матричными нормальными и многомерными нормальными функциями плотности может быть показана с использованием следующих свойств следа и произведения Кронекера . Начнем с аргумента экспоненты нормальной матрицы PDF:

${\displaystyle {\begin{aligned}&\;\;\;\;-{\frac {1}{2}}{\text{tr}}\left[\mathbf {V} ^{-1}(\mathbf {X} -\mathbf {M} )^{T}\mathbf {U} ^{-1}(\mathbf {X} -\mathbf {M} )\right]\\&=-{\frac {1}{2}}{\text{vec}}\left(\mathbf {X} -\mathbf {M} \right)^{T}{\text{vec}}\left(\mathbf {U} ^{-1}(\mathbf {X} -\mathbf {M} )\mathbf {V} ^{-1}\right)\\&=-{\frac {1}{2}}{\text{vec}}\left(\mathbf {X} -\mathbf {M} \right)^{T}\left(\mathbf {V} ^{-1}\otimes \mathbf {U} ^{-1}\right){\text{vec}}\left(\mathbf {X} -\mathbf {M} \right)\\&=-{\frac {1}{2}}\left[{\text{vec}}(\mathbf {X} )-{\text{vec}}(\mathbf {M} )\right]^{T}\left(\mathbf {V} \otimes \mathbf {U} \right)^{-1}\left[{\text{vec}}(\mathbf {X} )-{\text{vec}}(\mathbf {M} )\right]\end{aligned}}}$

который является аргументом экспоненты многомерной нормальной PDF. Доказательство завершается использованием детерминантного свойства:${\displaystyle |\mathbf {V} \otimes \mathbf {U} |=|\mathbf {V} |^{n}|\mathbf {U} |^{p}.}$

Свойства [ править ]

Если , то у нас есть следующие свойства: ^{[1] [2]}${\displaystyle \mathbf {X} \sim {\mathcal {MN}}_{n\times p}(\mathbf {M} ,\mathbf {U} ,\mathbf {V} )}$

Ожидаемые значения [ править ]

Среднее или ожидаемое значение :

${\displaystyle E[\mathbf {X} ]=\mathbf {M} }$

и у нас есть следующие ожидания второго порядка:

${\displaystyle E[(\mathbf {X} -\mathbf {M} )(\mathbf {X} -\mathbf {M} )^{T}]=\mathbf {U} \operatorname {tr} (\mathbf {V} )}$

${\displaystyle E[(\mathbf {X} -\mathbf {M} )^{T}(\mathbf {X} -\mathbf {M} )]=\mathbf {V} \operatorname {tr} (\mathbf {U} )}$

где обозначает след .${\displaystyle \operatorname {tr} }$

В более общем смысле, для матриц A , B , C подходящего размера :

${\displaystyle {\begin{aligned}E[\mathbf {X} \mathbf {A} \mathbf {X} ^{T}]&=\mathbf {U} \operatorname {tr} (\mathbf {A} ^{T}\mathbf {V} )+\mathbf {MAM} ^{T}\\E[\mathbf {X} ^{T}\mathbf {B} \mathbf {X} ]&=\mathbf {V} \operatorname {tr} (\mathbf {U} \mathbf {B} ^{T})+\mathbf {M} ^{T}\mathbf {BM} \\E[\mathbf {X} \mathbf {C} \mathbf {X} ]&=\mathbf {V} \mathbf {C} ^{T}\mathbf {U} +\mathbf {MCM} \end{aligned}}}$

Трансформация [ править ]

Транспонировать преобразование:

${\displaystyle \mathbf {X} ^{T}\sim {\mathcal {MN}}_{p\times n}(\mathbf {M} ^{T},\mathbf {V} ,\mathbf {U} )}$

Линейное преобразование: пусть D ( r -by- n ) имеет полный ранг r ≤ n и C ( p -by- s ) имеет полный ранг s ≤ p , тогда:

${\displaystyle \mathbf {DXC} \sim {\mathcal {MN}}_{r\times s}(\mathbf {DMC} ,\mathbf {DUD} ^{T},\mathbf {C} ^{T}\mathbf {VC} )}$

Пример [ править ]

Представим себе выборку из n независимых p -мерных случайных величин, одинаково распределенных согласно многомерному нормальному распределению :

${\displaystyle \mathbf {Y} _{i}\sim {\mathcal {N}}_{p}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }}){\text{ with }}i\in \{1,\ldots ,n\}}$.

При определении матрицы размера n  ×  p, для которой находится i- я строка , получаем:${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {Y} _{i}}$

${\displaystyle \mathbf {X} \sim {\mathcal {MN}}_{n\times p}(\mathbf {M} ,\mathbf {U} ,\mathbf {V} )}$

где каждая строка равна , то есть , это п  ×  п единичная матрица, то есть строки являются независимыми, и .${\displaystyle \mathbf {M} }$${\displaystyle {\boldsymbol {\mu }}}$${\displaystyle \mathbf {M} =\mathbf {1} _{n}\times {\boldsymbol {\mu }}^{T}}$${\displaystyle \mathbf {U} }$${\displaystyle \mathbf {V} ={\boldsymbol {\Sigma }}}$

Оценка параметра максимального правдоподобия [ править ]

Для обозначенных k матриц, каждая размером n  ×  p , которые, как мы предполагаем, были выбраны iid из нормального распределения матрицы, оценка максимального правдоподобия параметров может быть получена путем максимизации:${\displaystyle \mathbf {X} _{1},\mathbf {X} _{2},\ldots ,\mathbf {X} _{k}}$

${\displaystyle \prod _{i=1}^{k}{\mathcal {MN}}_{n\times p}(\mathbf {X} _{i}\mid \mathbf {M} ,\mathbf {U} ,\mathbf {V} ).}$

Решение для среднего имеет замкнутый вид, а именно

${\displaystyle \mathbf {M} ={\frac {1}{k}}\sum _{i=1}^{k}\mathbf {X} _{i}}$

но параметры ковариации - нет. Однако эти параметры можно итеративно максимизировать путем обнуления их градиентов на:

${\displaystyle \mathbf {U} ={\frac {1}{kp}}\sum _{i=1}^{k}(\mathbf {X} _{i}-\mathbf {M} )\mathbf {V} ^{-1}(\mathbf {X} _{i}-\mathbf {M} )^{T}}$

и

${\displaystyle \mathbf {V} ={\frac {1}{kn}}\sum _{i=1}^{k}(\mathbf {X} _{i}-\mathbf {M} )^{T}\mathbf {U} ^{-1}(\mathbf {X} _{i}-\mathbf {M} ),}$

См., Например, ^[3] и ссылки в нем. Параметры ковариации не идентифицируются в том смысле, что для любого масштабного коэффициента s> 0 мы имеем:

${\displaystyle {\mathcal {MN}}_{n\times p}(\mathbf {X} \mid \mathbf {M} ,\mathbf {U} ,\mathbf {V} )={\mathcal {MN}}_{n\times p}(\mathbf {X} \mid \mathbf {M} ,s\mathbf {U} ,1/s\mathbf {V} ).}$

Получение значений из распределения [ править ]

Выборка из матричного нормального распределения является частным случаем процедуры выборки для многомерного нормального распределения . Пусть будет n x p- матрицей np независимых выборок из стандартного нормального распределения, так что${\displaystyle \mathbf {X} }$

${\displaystyle \mathbf {X} \sim {\mathcal {MN}}_{n\times p}(\mathbf {0} ,\mathbf {I} ,\mathbf {I} ).}$

Тогда пусть

${\displaystyle \mathbf {Y} =\mathbf {M} +\mathbf {A} \mathbf {X} \mathbf {B} ,}$

так что

${\displaystyle \mathbf {Y} \sim {\mathcal {MN}}_{n\times p}(\mathbf {M} ,\mathbf {AA} ^{T},\mathbf {B} ^{T}\mathbf {B} ),}$

где A и B могут быть выбраны разложением Холецкого или аналогичной операцией извлечения квадратного корня из матрицы.

Отношение к другим дистрибутивам [ править ]

Давид (1981) предоставляет обсуждение связи матричного нормального распределения с другими распределениями, включая распределение Уишарта , обратное распределение Уишарта и матричное t-распределение , но использует другие обозначения, чем используемые здесь.

См. Также [ править ]

• Многомерное нормальное распределение .

Ссылки [ править ]

• Давид, AP (1981). «Некоторая теория матрично-вариативного распределения: Обозначения и байесовское приложение». Биометрика . 68 (1): 265–274. DOI : 10.1093 / Biomet / 68.1.265 . JSTOR  2335827 . Руководство по ремонту  0614963 .
• Dutilleul, P (1999). «Алгоритм MLE для матричного нормального распределения». Журнал статистических вычислений и моделирования . 64 (2): 105–123. DOI : 10.1080 / 00949659908811970 .
• Арнольд, С.Ф. (1981), Теория линейных моделей и многомерный анализ , Нью-Йорк: John Wiley & Sons , ISBN 0471050652