Кредитное плечо (статистика)

В статистике и , в частности , в регрессионном анализе , левередж является показателем того , насколько далеко в независимых переменных значениях в наблюдении являются от других наблюдений.

Точки с высоким рычагом - это те наблюдения, если таковые имеются, сделанные при экстремальных или выпадающих значениях независимых переменных, так что отсутствие соседних наблюдений означает, что подобранная регрессионная модель будет соответствовать этому конкретному наблюдению. ^[1]

Определение [ править ]

В модели линейной регрессии показатель кредитного плеча для i-го наблюдения определяется как:

{\ displaystyle h_ {ii} = \ left [\ mathbf {H} \ right] _ {ii},}

я -й диагональный элемент матрицы проекции , где является конструкция матрица (строки которой соответствуют наблюдениям и столбцы которой соответствует независимому или объясняющим переменным). ${\ displaystyle \ mathbf {H} = \ mathbf {X} \ left (\ mathbf {X} ^ {\ mathsf {T}} \ mathbf {X} \ right) ^ {- 1} \ mathbf {X} ^ { \ mathsf {T}}}$ ${\ displaystyle \ mathbf {X}}$

Интерпретация [ править ]

Оценка кредитного плеча также известна как самочувствительность наблюдения или самовлияние ^[2] из-за уравнения

{\ displaystyle h_ {ii} = {\ frac {\ partial {\ widehat {y \,}} _ {i}} {\ partial y_ {i}}},}

в котором говорится, что рычаг i-го наблюдения равен частной производной подобранного i-го зависимого значения по отношению к измеренному i- му зависимому значению . Эта частная производная описывает степень, в которой i-е измеренное значение влияет на i-е установленное значение. Обратите внимание, что это плечо зависит от значений объясняющих (x-) переменных всех наблюдений, но не от любого из значений зависимых (y-) переменных. ${\ Displaystyle {\ widehat {у \,}} _ {я}}$ ${\ displaystyle y_ {i}}$

Уравнение следует непосредственно из вычисления подобранных значений через матрицу шляпы как ; то есть кредитное плечо - это диагональный элемент матрицы шляпы: ${\ displaystyle h_ {ii} = {\ frac {\ partial {\ widehat {y \,}} _ {i}} {\ partial y_ {i}}}}$ ${\ displaystyle {\ mathbf {\ widehat {y}}} = {\ mathbf {H}} {\ mathbf {y}}}$

{\ displaystyle h_ {ii} = \ mathbf {H} (i, i).}

Границы кредитного плеча [ править ]

0\leq h_{ii}\leq 1.

Доказательство [ править ]

Во-первых, обратите внимание, что H - идемпотентная матрица : также обратите внимание , что она симметрична (т.е.:) . Таким образом, приравнивая элемент ii элемента H к элементу H ² , мы имеем $H^{2}=X(X^{\top }X)^{-1}X^{\top }X(X^{\top }X)^{-1}X^{\top }=XI(X^{\top }X)^{-1}X^{\top }=H.$ $H$ $h_{ij}=h_{ji}$

h_{ii}=h_{ii}^{2}+\sum _{j\neq i}h_{ij}^{2}\geq 0

а также

h_{ii}\geq h_{ii}^{2}\implies h_{ii}\leq 1.

Связь с функциями влияния [ править ]

В контексте регрессии мы комбинируем функции кредитного плеча и влияния, чтобы вычислить степень, в которой оценочные коэффициенты изменились бы, если бы мы удалили одну точку данных. Обозначая кредитное плечо и остаток регрессии , можно сравнить оценочный коэффициент с оценочным коэффициентом исключения одного случая, используя формулу ^[3]^[4] $h_{ii}\equiv x_{i}'(X'X)^{-1}x_{i}$ ${\hat {e}}_{i}\equiv y_{i}-x_{i}'\beta$ ${\hat {\beta }}$ ${\hat {\beta }}^{(-i)}$

{\hat {\beta }}-{\hat {\beta }}^{(-i)}={\frac {(X'X)^{-1}x_{i}'{\hat {e}}_{i}}{1-h_{ii}}}

Янг (2019) использует версию этой формулы после остаточного управления. ^[5]

Чтобы получить интуитивное представление об этой формуле, обратите внимание, что вектор k на 1 отражает потенциальную возможность влияния наблюдения на параметры регрессии и, следовательно, отражает фактическое влияние отклонений этих наблюдений от подобранного значения на параметры регрессии. Затем формула делится на, чтобы учесть тот факт, что мы удаляем наблюдение, а не корректируем его значение, отражая тот факт, что удаление больше изменяет распределение ковариат, когда применяется к наблюдениям с высоким уровнем левериджа (т. Е. С выбросами значений ковариаты). ${\frac {\partial {\hat {\beta }}}{\partial y_{i}}}=(X'X)^{-1}x_{i}$ $(X'X)^{-1}x_{i}{\hat {e}}_{i}$ $(1-h_{ii})$

Подобные формулы возникают при применении общих формул для функций статистических влияний в контексте регрессии. ^[6]^[7]

Влияние на остаточную дисперсию [ править ]

Если мы находимся в обычном режиме наименьших квадратов с фиксированными X и ошибками гомоскедастической регрессии $\varepsilon _{i},$

Y=X\beta +\varepsilon ;\ \ \operatorname {Var} (\varepsilon )=\sigma ^{2}I

то i- й остаток регрессии

e_{i}=Y_{i}-{\widehat {Y}}_{i}

имеет отклонение

\operatorname {Var} (e_{i})=(1-h_{ii})\sigma ^{2}

Другими словами, оценка рычага наблюдения определяет степень шума в неверном прогнозе модели для этого наблюдения, при этом более высокий рычаг приводит к меньшему шуму.

Доказательство [ править ]

Во-первых, обратите внимание, что это идемпотентное и симметричное, и . Это дает $I-H$ ${\widehat {Y}}=HY$

\operatorname {Var} (e)=\operatorname {Var} ((I-H)Y)=(I-H)\operatorname {Var} (Y)(I-H)^{\top }=\sigma ^{2}(I-H)^{2}=\sigma ^{2}(I-H).

Таким образом $\operatorname {Var} (e_{i})=(1-h_{ii})\sigma ^{2}.$

Студентизированные остатки [ править ]

Соответствующий студентизованный остаток - остаток, скорректированный с учетом оцененной остаточной дисперсии для конкретного наблюдения - затем

t_{i}={e_{i} \over {\widehat {\sigma }}{\sqrt {1-h_{ii}\ }}}

где - соответствующая оценка ${\widehat {\sigma }}$ $\sigma .$

Понятия, связанные с данным [ править ]

Частичное кредитное плечо [ править ]

Частичный рычаг - это мера вклада отдельных независимых переменных в общий рычаг каждого наблюдения. Современные компьютерные пакеты для статистического анализа включают в себя, как часть своих средств регрессионного анализа, различные количественные меры для выявления важных наблюдений , в том числе такую меру того, как независимая переменная способствует общему влиянию данных.

Расстояние Махаланобиса [ править ]

Кредитное плечо тесно связано с расстоянием Махаланобиса ^[8] (см. Доказательство ^[9] ).

В частности, для некоторой матрицы квадрат расстояния Махаланобиса некоторого вектора-строки от вектора среднего , длины и с оцененной ковариационной матрицей равен: $X_{n,p}$ ${\vec {x_{i}}}=X_{i,\cdot }$ ${\hat {\mu }}={\bar {X}}$ $p$ $S=\operatorname {cov} (X)$

D^{2}({\vec {x_{i}}})=({\vec {x_{i}}}-{\hat {\mu }})^{T}S^{-1}({\vec {x_{i}}}-{\hat {\mu }})

Это связано с использованием матрицы шляпы после добавления к ней вектора-столбца из единиц. Отношения между ними таковы: $h_{ii}$ $X_{n,p}$

D^{2}({\vec {x_{i}}})=(n-1)(h_{ii}-{\tfrac {1}{n}})

Взаимосвязь между кредитным плечом и расстоянием Махаланобиса позволяет нам разделить кредитное плечо на значимые компоненты, чтобы можно было аналитически исследовать некоторые источники высокого кредитного плеча. ^[10]

Программные реализации [ править ]

Многие программы и статистические пакеты, такие как R , Python и т. Д., Включают реализации Leverage.

Язык / Программа	Функция	Заметки
р	`hat(x, intercept = TRUE)` или же `hatvalues(model, ...)`	См. [1]

См. Также [ править ]

Матрица проекции - основные диагональные элементы которой являются рычагами наблюдений
Расстояние Махаланобиса - ( масштабированная ) мера воздействия на систему данных
Расстояние Кука - мера изменений коэффициентов регрессии при удалении наблюдения
ДФФИТЫ
Выбросы - наблюдения с экстремальными значениями Y
Степени свободы (статистика) , сумма баллов кредитного плеча

Ссылки [ править ]

^ Everitt, BS (2002). Кембриджский статистический словарь . Издательство Кембриджского университета. ISBN 0-521-81099-X.
↑ Cardinali, C. (июнь 2013 г.). «Ассимиляция данных: диагностика влияния наблюдения на систему усвоения данных» (PDF) .
^ Миллер, Руперт Г. (сентябрь 1974 г.). «Несбалансированный складной нож» . Анналы статистики . 2 (5): 880–891. DOI : 10.1214 / AOS / 1176342811 . ISSN 0090-5364 .
^ Хияши, Фумио (2000). Эконометрика . Издательство Принстонского университета. п. 21.
^ Янг, Олвин (2019). «Ченнелинг Фишера: рандомизационные тесты и статистическая незначимость кажущихся значительными экспериментальных результатов» . Ежеквартальный журнал экономики . 134 : 567.
^ Чаттерджи, Самприт; Хади, Али С. (август 1986 г.). «Влиятельные наблюдения, точки высокого плеча и выбросы в линейной регрессии» . Статистическая наука . 1 (3): 379–393. DOI : 10,1214 / сс / 1177013622 . ISSN 0883-4237 .
^ «Регрессия - Функции влияния и МНК» . Перекрестная проверка . Проверено 6 декабря 2020 .
^ Вайнер, Ирвинг Б .; Schinka, John A .; Велисер, Уэйн Ф. (23 октября 2012 г.). Справочник по психологии, методам исследования в психологии . Джон Вили и сыновья. ISBN 978-1-118-28203-8.
^ Доказать связь между расстоянием Махаланобиса и кредитным плечом?
Перейти ↑ Kim, MG (2004). «Источники высокого кредитного плеча в модели линейной регрессии (Журнал прикладной математики и вычислений, том 16, 509–513)». arXiv : 2006.04024 [ math.ST ].

[1] Everitt, BS (2002). Кембриджский статистический словарь . Издательство Кембриджского университета. ISBN 0-521-81099-X.

[2] Cardinali, C. (июнь 2013 г.). «Ассимиляция данных: диагностика влияния наблюдения на систему усвоения данных» (PDF) .

[3] Миллер, Руперт Г. (сентябрь 1974 г.). «Несбалансированный складной нож» . Анналы статистики . 2 (5): 880–891. DOI : 10.1214 / AOS / 1176342811 . ISSN 0090-5364 .

[4] Хияши, Фумио (2000). Эконометрика . Издательство Принстонского университета. п. 21.

[5] Янг, Олвин (2019). «Ченнелинг Фишера: рандомизационные тесты и статистическая незначимость кажущихся значительными экспериментальных результатов» . Ежеквартальный журнал экономики . 134 : 567.

[6] Чаттерджи, Самприт; Хади, Али С. (август 1986 г.). «Влиятельные наблюдения, точки высокого плеча и выбросы в линейной регрессии» . Статистическая наука . 1 (3): 379–393. DOI : 10,1214 / сс / 1177013622 . ISSN 0883-4237 .

[7] «Регрессия - Функции влияния и МНК» . Перекрестная проверка . Проверено 6 декабря 2020 .

[8] Вайнер, Ирвинг Б .; Schinka, John A .; Велисер, Уэйн Ф. (23 октября 2012 г.). Справочник по психологии, методам исследования в психологии . Джон Вили и сыновья. ISBN 978-1-118-28203-8.

[9] Доказать связь между расстоянием Махаланобиса и кредитным плечом?

[10] Перейти ↑ Kim, MG (2004). «Источники высокого кредитного плеча в модели линейной регрессии (Журнал прикладной математики и вычислений, том 16, 509–513)». arXiv : 2006.04024 [ math.ST ].

[1]