Матрица проекции

В статистике , то матрица проекции , ^[1] иногда также называют матрицу влияния ^[2] или матрицу шляпы , отображает вектор значений отклика (значения зависимых переменных) к вектору подогнанных значений (или прогнозируемых значений). Он описывает влияние каждого значения отклика на каждое подобранное значение. ^{[3] [4]} Диагональные элементы матрицы проекции - это рычаги , которые описывают влияние каждого значения отклика на подобранное значение для того же наблюдения.${\ Displaystyle (\ mathbf {P})}$ ${\ Displaystyle (\ mathbf {H})}$

Обзор [ править ]

Если вектор значений отклика обозначается через и вектор установленных значений путем ,${\ displaystyle \ mathbf {y}}$${\ displaystyle \ mathbf {\ hat {y}}}$

${\ displaystyle \ mathbf {\ hat {y}} = \ mathbf {P} \ mathbf {y}.}$

Как обычно произносится «у-хэт», матрица проекции также называется шляпа матрица , как она «ставит шляпу на ». Формулу вектора невязок можно также компактно выразить с помощью матрицы проекции:${\ displaystyle \ mathbf {\ hat {y}}}$${\ displaystyle \ mathbf {P}}$${\ displaystyle \ mathbf {y}}$ ${\ displaystyle \ mathbf {r}}$

${\ displaystyle \ mathbf {r} = \ mathbf {y} - \ mathbf {\ hat {y}} = \ mathbf {y} - \ mathbf {P} \ mathbf {y} = \ left (\ mathbf {I} - \ mathbf {P} \ right) \ mathbf {y}.}$

где - единичная матрица . Матрицу иногда называют матрицей производителя остатков . Более того, элемент в i- й строке и j- м столбце равен ковариации между j- м значением ответа и i- м подобранным значением, деленным на дисперсию первого:${\ displaystyle \ mathbf {I}}$${\ Displaystyle \ mathbf {M} \ Equiv \ mathbf {I} - \ mathbf {P}}$${\ displaystyle \ mathbf {P}}$

${\ displaystyle p_ {ij} = {\ frac {\ operatorname {Cov} \ left [{\ hat {y}} _ {i}, y_ {j} \ right]} {\ operatorname {Var} \ left [y_ {j} \ right]}}}$

Следовательно, ковариационная матрица остатков по распространению ошибки равна${\ displaystyle \ mathbf {r}}$

${\displaystyle \mathbf {\Sigma } _{\mathbf {r} }=\left(\mathbf {I} -\mathbf {P} \right)^{\textsf {T}}\mathbf {\Sigma } \left(\mathbf {I} -\mathbf {P} \right)}$,

где - ковариационная матрица вектора ошибок (и, в более широком смысле, вектора отклика). В случае линейных моделей с независимыми и одинаково распределенными ошибками, в которых это сводится к: ^[3]${\displaystyle \mathbf {\Sigma } }$${\displaystyle \mathbf {\Sigma } =\sigma ^{2}\mathbf {I} }$

${\displaystyle \mathbf {\Sigma } _{\mathbf {r} }=\left(\mathbf {I} -\mathbf {P} \right)\sigma ^{2}}$.

Интуиция [ править ]

Пространство столбцов матрицы обозначено зеленой линией. Проекцией некоторого вектора на пространство столбцов является вектор${\displaystyle \mathbf {A} }$${\displaystyle \mathbf {b} }$${\displaystyle \mathbf {A} }$${\displaystyle \mathbf {x} }$

Из рисунка ясно, что ближайшая точка от вектора к пространству столбцов , - это точка, где мы можем провести линию, ортогональную пространству столбцов . Вектор, который ортогонален пространству столбцов матрицы, находится в нулевом пространстве транспонированной матрицы, поэтому ${\displaystyle \mathbf {b} }$${\displaystyle \mathbf {A} }$${\displaystyle \mathbf {Ax} }$${\displaystyle \mathbf {A} }$

${\displaystyle \mathbf {A} ^{\textsf {T}}(\mathbf {b} -\mathbf {Ax} )=0}$

Оттуда меняют, так что

${\displaystyle {\begin{aligned}&&\mathbf {A} ^{\textsf {T}}\mathbf {b} &-\mathbf {A} ^{\textsf {T}}\mathbf {Ax} =0\\\Rightarrow &&\mathbf {A} ^{\textsf {T}}\mathbf {b} &=\mathbf {A} ^{\textsf {T}}\mathbf {Ax} \\\Rightarrow &&\mathbf {x} &=\left(\mathbf {A} ^{\textsf {T}}\mathbf {A} \right)^{-1}\mathbf {A} ^{\textsf {T}}\mathbf {b} \end{aligned}}}$

Следовательно, поскольку находится в пространстве столбцов , матрица проекции, которая отображается на , просто , или${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {A} }$${\displaystyle \mathbf {b} }$${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {Ax} }$${\displaystyle \mathbf {A} \left(\mathbf {A} ^{\textsf {T}}\mathbf {A} \right)^{-1}\mathbf {A} ^{\textsf {T}}\mathbf {b} }$

Линейная модель [ править ]

Предположим, что мы хотим оценить линейную модель с помощью линейных наименьших квадратов. Модель можно записать как

${\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},}$

где - матрица независимых переменных ( матрица плана ), β - вектор неизвестных параметров, которые необходимо оценить, а ε - вектор ошибок.${\displaystyle \mathbf {X} }$

Этой формулировке подлежат многие типы моделей и методов. Несколько примеров: линейный метод наименьших квадратов , сглаживающие сплайны , сплайны регрессии , локальная регрессия , ядерная регрессия и линейная фильтрация .

Обычный метод наименьших квадратов [ править ]

Когда веса для каждого наблюдения идентичны и ошибки не коррелированы, оценочные параметры равны

${\displaystyle {\hat {\boldsymbol {\beta }}}=\left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}\mathbf {y} ,}$

так что подогнанные значения

${\displaystyle {\hat {\mathbf {y} }}=\mathbf {X} {\hat {\boldsymbol {\beta }}}=\mathbf {X} \left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}\mathbf {y} .}$

Следовательно, матрица проекции (и матрица шляпы) имеет вид

${\displaystyle \mathbf {P} \equiv \mathbf {X} \left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}.}$

Взвешенные и обобщенные методы наименьших квадратов [ править ]

Вышеизложенное может быть обобщено на случаи, когда веса не идентичны и / или ошибки коррелированы. Предположим, что ковариационная матрица ошибок равна. Тогда, поскольку

${\displaystyle {\hat {\mathbf {\beta } }}_{\text{GLS}}=\left(\mathbf {X} ^{\textsf {T}}\mathbf {\Psi } ^{-1}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}\mathbf {\Psi } ^{-1}\mathbf {y} }$.

матрица шляпы, таким образом,

${\displaystyle H=\mathbf {X} \left(\mathbf {X} ^{\textsf {T}}\mathbf {\Psi } ^{-1}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}\mathbf {\Psi } ^{-1}}$

и снова можно увидеть, что , хотя теперь он больше не симметричен.${\displaystyle H^{2}=H\cdot H=H}$

Свойства [ править ]

Матрица проекции обладает рядом полезных алгебраических свойств. ^{[5] [6]} На языке линейной алгебры матрица проекции - это ортогональная проекция на пространство столбцов матрицы проектирования . ^[4] (Обратите внимание, что это псевдообратное X. ) Некоторые факты матрицы проекции в этой настройке резюмируются следующим образом: ^[4]${\displaystyle \mathbf {X} }$${\displaystyle \left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}}$

• ${\displaystyle \mathbf {u} =(\mathbf {I} -\mathbf {P} )\mathbf {y} ,}$ и ${\displaystyle \mathbf {u} =\mathbf {y} -\mathbf {P} \mathbf {y} \perp \mathbf {X} .}$
• ${\displaystyle \mathbf {P} }$симметрична, и так оно и есть .${\displaystyle \mathbf {M} \equiv \mathbf {I} -\mathbf {P} }$
• ${\displaystyle \mathbf {P} }$идемпотент:, и так .${\displaystyle \mathbf {P} ^{2}=\mathbf {P} }$${\displaystyle \mathbf {M} }$
• Если - матрица размера n × r с , то${\displaystyle \mathbf {X} }$${\displaystyle \operatorname {rank} (\mathbf {X} )=r}$${\displaystyle \operatorname {rank} (\mathbf {P} )=r}$
• В собственные значения из состоят из г единиц и п - г нулей, в то время как собственные значения состоят из п - г единиц и г нулей. ^[7]${\displaystyle \mathbf {P} }$${\displaystyle \mathbf {M} }$
• ${\displaystyle \mathbf {X} }$инвариантен относительно  : следовательно .${\displaystyle \mathbf {P} }$${\displaystyle \mathbf {PX} =\mathbf {X} ,}$${\displaystyle \left(\mathbf {I} -\mathbf {P} \right)\mathbf {X} =\mathbf {0} }$
• ${\displaystyle \left(\mathbf {I} -\mathbf {P} \right)\mathbf {P} =\mathbf {P} \left(\mathbf {I} -\mathbf {P} \right)=\mathbf {0} .}$
• ${\displaystyle \mathbf {P} }$ уникален для некоторых подпространств.

Матрица проекции , соответствующая линейная модель является симметричной и идемпотентным , то есть . Тем не менее, это не всегда так; например, при локально взвешенном сглаживании диаграммы рассеяния (LOESS) матрица шляпы, как правило, не является ни симметричной, ни идемпотентной.${\displaystyle \mathbf {P} ^{2}=\mathbf {P} }$

Для линейных моделей , то след матрицы проекции равен ранг из , который является числом независимых параметров линейной модели. ^[8] Для других моделей, таких как LOESS, которые по-прежнему линейны в наблюдениях , матрица проекции может использоваться для определения эффективных степеней свободы модели.${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {y} }$

Практические применения матрицы проекции в регрессионном анализе включают в себя рычаги влияния и расстояние Кука , которые связаны с выявлением важных наблюдений , то есть наблюдений, которые имеют большое влияние на результаты регрессии.

Блочная формула [ править ]

Предположим, матрица плана может быть разложена по столбцам как . Определите шляпу или оператор проекции как . Аналогичным образом определим оператор невязки как . Тогда матрицу проекции можно разложить следующим образом: ^[9]${\displaystyle X}$${\displaystyle X=[A~~~B]}$${\displaystyle P\{X\}=X\left(X^{\textsf {T}}X\right)^{-1}X^{\textsf {T}}}$${\displaystyle M\{X\}=I-P\{X\}}$

${\displaystyle P\{X\}=P\{A\}+P\{M\{A\}B\},}$

где, например, и . Есть ряд применений такой декомпозиции. В классическом приложении есть столбец всех единиц, который позволяет анализировать эффекты добавления члена перехвата в регрессию. Другое использование - в модели фиксированных эффектов , где является большой разреженной матрицей фиктивных переменных для членов фиксированного эффекта. Это разбиение можно использовать для вычисления шляпной матрицы без явного формирования матрицы , которая может быть слишком большой, чтобы поместиться в компьютерной памяти.${\displaystyle P\{A\}=A\left(A^{\textsf {T}}A\right)^{-1}A^{\textsf {T}}}$${\displaystyle M\{A\}=I-P\{A\}}$${\displaystyle A}$${\displaystyle A}$${\displaystyle X}$${\displaystyle X}$

См. Также [ править ]

• Проекция (линейная алгебра)
• Студентизированные остатки
• Эффективные степени свободы
• Средний и прогнозируемый ответ

Ссылки [ править ]