В статистике , то матрица проекции , [1] иногда также называют матрицу влияния [2] или матрицу шляпы , отображает вектор значений отклика (значения зависимых переменных) к вектору подогнанных значений (или прогнозируемых значений). Он описывает влияние каждого значения отклика на каждое подобранное значение. [3] [4] Диагональные элементы матрицы проекции - это рычаги , которые описывают влияние каждого значения отклика на подобранное значение для того же наблюдения.
Обзор [ править ]
Если вектор значений отклика обозначается через и вектор установленных значений путем ,
Как обычно произносится «у-хэт», матрица проекции также называется шляпа матрица , как она «ставит шляпу на ». Формулу вектора невязок можно также компактно выразить с помощью матрицы проекции:
где - единичная матрица . Матрицу иногда называют матрицей производителя остатков . Более того, элемент в i- й строке и j- м столбце равен ковариации между j- м значением ответа и i- м подобранным значением, деленным на дисперсию первого:
Следовательно, ковариационная матрица остатков по распространению ошибки равна
- ,
где - ковариационная матрица вектора ошибок (и, в более широком смысле, вектора отклика). В случае линейных моделей с независимыми и одинаково распределенными ошибками, в которых это сводится к: [3]
- .
Интуиция [ править ]
Из рисунка ясно, что ближайшая точка от вектора к пространству столбцов , - это точка, где мы можем провести линию, ортогональную пространству столбцов . Вектор, который ортогонален пространству столбцов матрицы, находится в нулевом пространстве транспонированной матрицы, поэтому
Оттуда меняют, так что
Следовательно, поскольку находится в пространстве столбцов , матрица проекции, которая отображается на , просто , или
Линейная модель [ править ]
Предположим, что мы хотим оценить линейную модель с помощью линейных наименьших квадратов. Модель можно записать как
где - матрица независимых переменных ( матрица плана ), β - вектор неизвестных параметров, которые необходимо оценить, а ε - вектор ошибок.
Этой формулировке подлежат многие типы моделей и методов. Вот несколько примеров: линейный метод наименьших квадратов , сглаживающие сплайны , сплайны регрессии , локальная регрессия , ядерная регрессия и линейная фильтрация .
Обычный метод наименьших квадратов [ править ]
Когда веса для каждого наблюдения идентичны и ошибки не коррелированы, оценочные параметры равны
так что подогнанные значения
Следовательно, матрица проекции (и матрица шляпы) имеет вид
Взвешенные и обобщенные методы наименьших квадратов [ править ]
Вышеизложенное может быть обобщено на случаи, когда веса не идентичны и / или ошибки коррелированы. Предположим, что ковариационная матрица ошибок равна. Тогда, поскольку
- .
матрица шляпы, таким образом,
и снова можно увидеть, что , хотя теперь он больше не симметричен.
Свойства [ править ]
Матрица проекции обладает рядом полезных алгебраических свойств. [5] [6] На языке линейной алгебры матрица проекции - это ортогональная проекция на пространство столбцов матрицы проектирования . [4] (Обратите внимание, что это псевдообратное X. ) Некоторые факты матрицы проекции в этой настройке резюмируются следующим образом: [4]
- и
- симметрична, и так оно и есть .
- идемпотент:, и так .
- Если - матрица размера n × r с , то
- В собственные значения из состоят из г единиц и п - г нулей, в то время как собственные значения состоят из п - г единиц и г нулей. [7]
- инвариантен относительно : следовательно .
- уникален для некоторых подпространств.
Матрица проекции , соответствующая линейная модель является симметричной и идемпотентным , то есть . Тем не менее, это не всегда так; например, при локально взвешенном сглаживании диаграммы рассеяния (LOESS) матрица шляпы, как правило, не является ни симметричной, ни идемпотентной.
Для линейных моделей , то след матрицы проекции равен ранг из , который является числом независимых параметров линейной модели. [8] Для других моделей, таких как LOESS, которые по-прежнему линейны в наблюдениях , матрица проекции может использоваться для определения эффективных степеней свободы модели.
Практические применения матрицы проекции в регрессионном анализе включают использование рычагов и расстояние Кука , которые связаны с выявлением важных наблюдений , то есть наблюдений, которые имеют большое влияние на результаты регрессии.
Блочная формула [ править ]
Предположим, матрица плана может быть разложена по столбцам как . Определите шляпу или оператор проекции как . Аналогичным образом определим оператор невязки как . Тогда матрицу проекции можно разложить следующим образом: [9]
где, например, и . Есть ряд применений такой декомпозиции. В классическом приложении есть столбец всех единиц, который позволяет анализировать эффекты добавления члена перехвата в регрессию. Другое использование - в модели фиксированных эффектов , где является большой разреженной матрицей фиктивных переменных для членов фиксированного эффекта. Это разбиение можно использовать для вычисления шляпной матрицы без явного формирования матрицы , которая может быть слишком большой, чтобы поместиться в компьютерной памяти.
См. Также [ править ]
- Проекция (линейная алгебра)
- Студентизированные остатки
- Эффективные степени свободы
- Средний и прогнозируемый ответ
Ссылки [ править ]
- ^ Басилевский, Александр (2005). Прикладная матричная алгебра в статистических науках . Дувр. С. 160–176. ISBN 0-486-44538-0.
- ^ «Ассимиляция данных: диагностика влияния наблюдения на систему усвоения данных» (PDF) . Архивировано из оригинального (PDF) 03.09.2014.
- ^ а б Хоаглин, Дэвид С .; Велш, Рой Э. (февраль 1978 г.). «Матрица шляпы в регрессии и дисперсионном анализе» (PDF) . Американский статистик . 32 (1): 17–22. DOI : 10.2307 / 2683469 . JSTOR 2683469 .
- ^ a b c Дэвид А. Фридман (2009). Статистические модели: теория и практика . Издательство Кембриджского университета .
- ^ Ганс, П. (1992). Подгонка данных в химических науках . Вайли. ISBN 0-471-93412-7.
- ^ Дрейпер, NR; Смит, Х. (1998). Прикладной регрессионный анализ . Вайли. ISBN 0-471-17082-8.
- ^ Amemiya, Такеши (1985). Продвинутая эконометрика . Кембридж: Издательство Гарвардского университета. стр. 460 -461. ISBN 0-674-00560-0.
- ^ «Доказательство того, что след матрицы 'шляпы' в линейной регрессии - это ранг X» . Обмен стеками . 13 апреля 2017 г.
- ^ Рао, К. Радхакришна; Тутенбург, Хельге; Шалаб; Хойман, Кристиан (2008). Линейные модели и обобщения (3-е изд.). Берлин: Springer. С. 323 . ISBN 978-3-540-74226-5.