Стандартные ошибки, согласованные с гетероскедастичностью

Тема стандартных ошибок, согласующихся с гетероскедастичностью ( HC ), возникает в статистике и эконометрике в контексте линейной регрессии и анализа временных рядов . Они также известны как стандартные ошибки Eicker-Huber-White (также стандартные ошибки Huber-белой или стандартные ошибки White ), ^[1] , чтобы отметить вклад Фредхеого Эикер , ^[2] Питер Дж Huber , ^[3] и Halbert White . ^[4]

При моделировании регрессии и временных рядов в базовых формах моделей используется предположение, что ошибки или возмущения u _i имеют одинаковую дисперсию во всех точках наблюдения. Когда это не так, ошибки считаются гетероскедастичными или имеют гетероскедастичность , и это поведение будет отражено в остатках, оцененных на основе подобранной модели. Стандартные ошибки, согласованные с гетероскедастичностью, используются для подбора модели, которая действительно содержит гетероскедастические остатки. Первый такой подход был предложен Хубером (1967), и с тех пор были разработаны дальнейшие усовершенствованные процедуры для данных поперечного сечения, данных временных рядов и оценки GARCH .${\ displaystyle {\ widehat {u}} _ {я}}$

Стандартные ошибки, согласующиеся с гетероскедастичностью, которые отличаются от классических стандартных ошибок, являются индикатором неправильной спецификации модели. Эта ошибка в спецификации не исправляется простой заменой классического стандартными ошибками, согласованными с гетероскедастичностью; для всех представляющих интерес количеств, кроме нескольких, неправильная спецификация может привести к смещению. В большинстве случаев проблему следует найти и устранить. ^[5] Другие типы корректировок стандартных ошибок, такие как кластерные стандартные ошибки , могут рассматриваться как расширения стандартных ошибок HC.

История [ править ]

Гетероскедастичность-согласованная стандартные ошибки вводятся Фредхелм Эикером , ^{[6] [7]} и популяризировал в эконометрике по Halbert White .

Проблема [ править ]

Предположим, что мы изучаем модель линейной регрессии.

${\ Displaystyle Y = Х \ бета + U, \,}$

где X - вектор независимых переменных, а β - вектор-столбец k × 1 параметров, подлежащих оценке.

В обычных наименьших квадратов (МНК) оценщик

${\ displaystyle {\ widehat {\ beta}} _ {\ text {OLS}} = (\ mathbb {X} '\ mathbb {X}) ^ {- 1} \ mathbb {X}' \ mathbb {Y}. \,}$

где обозначает матрицу суммированных значений, наблюдаемых в данных.${\ Displaystyle \ mathbb {X}}$${\ displaystyle X_ {i} '}$

Если ошибки выборки имеют одинаковую дисперсию σ ² и некоррелированы , то оценка β методом наименьших квадратов является СИНИМ (наилучшая линейная несмещенная оценка), а ее дисперсия оценивается с помощью

${\displaystyle v_{\text{OLS}}\left[{\widehat {\beta }}_{\text{OLS}}\right]=s^{2}(\mathbb {X} '\mathbb {X} )^{-1},\quad s^{2}={\frac {\sum _{i}{\widehat {u}}_{i}^{2}}{n-k}}}$

где - остатки регрессии.${\displaystyle {\widehat {u}}_{i}=Y_{i}-X_{i}{\widehat {\beta }}_{\text{OLS}}}$

Когда члены ошибки не имеют постоянной дисперсии (т. Е. Предположение неверно), оценщик OLS теряет свои желаемые свойства. Формулу дисперсии теперь нельзя упростить:${\displaystyle \operatorname {E} [uu']=\sigma ^{2}I_{n}}$

${\displaystyle V\left[{\widehat {\beta }}_{\text{OLS}}\right]=V[(\mathbb {X} '\mathbb {X} )^{-1}\mathbb {X} '\mathbb {Y} ]=(\mathbb {X} '\mathbb {X} )^{-1}\mathbb {X} '\Sigma \mathbb {X} (\mathbb {X} '\mathbb {X} )^{-1}}$

куда ${\displaystyle \Sigma =V[u].}$

Хотя точечная оценка OLS остается несмещенной, она не является «лучшей» в смысле наличия минимальной среднеквадратичной ошибки, а оценка дисперсии OLS не обеспечивает согласованной оценки дисперсии оценок OLS.${\displaystyle v_{\text{OLS}}\left[{\widehat {\beta }}_{\text{OLS}}\right]}$

Однако для любой нелинейной модели (например, логит- модели и пробит- модели) гетероскедастичность имеет более серьезные последствия: оценки максимального правдоподобия параметров будут смещены (в неизвестном направлении), а также непоследовательны (если функция правдоподобия не определена). изменен для правильного учета точной формы гетероскедастичности). ^{[8] [9]} Как указал Грин , «простое вычисление устойчивой ковариационной матрицы для иначе несовместимой оценки не дает ей выгоды». ^[10]

Решение [ править ]

Если ошибки регрессии независимы, но имеют различную дисперсию σ _i ² , то это можно оценить с помощью . Это дает оценку Уайта (1980), часто называемую HCE (оценка, согласованная с гетероскедастичностью):${\displaystyle u_{i}}$${\displaystyle \Sigma =\operatorname {diag} (\sigma _{1}^{2},\ldots ,\sigma _{n}^{2})}$${\displaystyle {\widehat {\sigma }}_{i}^{2}={\widehat {u}}_{i}^{2}}$

${\displaystyle {\begin{aligned}v_{\text{HCE}}\left[{\widehat {\beta }}_{\text{OLS}}\right]&={\frac {1}{n}}\left({\frac {1}{n}}\sum _{i}X_{i}X_{i}'\right)^{-1}\left({\frac {1}{n}}\sum _{i}X_{i}X_{i}'{\widehat {u}}_{i}^{2}\right)\left({\frac {1}{n}}\sum _{i}X_{i}X_{i}'\right)^{-1}\\&=(\mathbb {X} '\mathbb {X} )^{-1}(\mathbb {X} '\operatorname {diag} ({\widehat {u}}_{1}^{2},\ldots ,{\widehat {u}}_{n}^{2})\mathbb {X} )(\mathbb {X} '\mathbb {X} )^{-1},\end{aligned}}}$

где, как указано выше, обозначает матрицу сложенных значений из данных. Оценка может быть получена с помощью обобщенного метода моментов (GMM).${\displaystyle \mathbb {X} }$${\displaystyle X_{i}'}$

Обратите внимание , что также часто обсуждается в литературе ( в том числе и в самой статье Уайта) является ковариационная матрица из -consistent предельного распределения:${\displaystyle {\widehat {\Omega }}_{n}}$${\displaystyle {\sqrt {n}}}$

${\displaystyle {\sqrt {n}}({\widehat {\beta }}_{n}-\beta )\,{\xrightarrow {d}}\,N(0,\Omega ),}$

куда

${\displaystyle \Omega =\operatorname {E} [XX']^{-1}\operatorname {Var} [Xu]\operatorname {E} [XX']^{-1},}$

и

${\displaystyle {\begin{aligned}{\widehat {\Omega }}_{n}&=\left({\frac {1}{n}}\sum _{i}X_{i}X_{i}'\right)^{-1}\left({\frac {1}{n}}\sum _{i}X_{i}X_{i}'{\widehat {u}}_{i}^{2}\right)\left({\frac {1}{n}}\sum _{i}X_{i}X_{i}'\right)^{-1}\\&=n(\mathbb {X} '\mathbb {X} )^{-1}(\mathbb {X} '\operatorname {diag} ({\widehat {u}}_{1}^{2},\ldots ,{\widehat {u}}_{n}^{2})\mathbb {X} )(\mathbb {X} '\mathbb {X} )^{-1}\end{aligned}}}$

Таким образом,

${\displaystyle {\widehat {\Omega }}_{n}=n\cdot v_{\text{HCE}}[{\widehat {\beta }}_{\text{OLS}}]}$

и

${\displaystyle {\widehat {\operatorname {Var} }}[Xu]={\frac {1}{n}}\sum _{i}X_{i}X_{i}'{\widehat {u}}_{i}^{2}={\frac {1}{n}}\mathbb {X} '\operatorname {diag} ({\widehat {u}}_{1}^{2},\ldots ,{\widehat {u}}_{n}^{2})\mathbb {X} .}$

Какая именно ковариационная матрица вызывает беспокойство, зависит от контекста.

Альтернативные оценки были предложены в MacKinnon & White (1985), которые корректируют неравные дисперсии остатков регрессии из-за разного кредитного плеча . ^[11] В отличие от асимптотической оценки Уайта, их оценки несмещены, когда данные гомоскедастичны.

См. Также [ править ]

Программное обеспечение [ править ]

• EViews : EViews версии 8 предлагает три различных метода для робастных наименьших квадратов: M-оценка (Huber, 1973), S-оценка (Rousseeuw and Yohai, 1984) и MM-оценка (Yohai 1987). ^[12]
• MATLAB : см. hacФункцию в наборе инструментов эконометрики. ^[13]
• Python : пакет Statsmodel предлагает различные надежные стандартные оценки ошибок, дополнительные описания см. В statsmodels.regression.linear_model.RegressionResults
• R : vcovHC()команда из пакета сэндвичей . ^{[14] [15]}
• Крысы : robusterrors опция доступна во многих регрессии и оптимизации команд ( linreg , НМНК и т.д.).
• Stata : robustопция, применимая во многих процедурах, основанных на псевдо-правдоподобии. ^[16]
• Гретль : опция --robustдля нескольких команд оценки (например, ols) в контексте набора данных сечения дает устойчивые стандартные ошибки. ^[17]

Ссылки [ править ]

Дальнейшее чтение [ править ]

• Фридман, Дэвид А. (2006). «О так называемой« сэндвичевой оценке Хубера »и« устойчивых стандартных ошибках » ». Американский статистик . 60 (4): 299–302. DOI : 10.1198 / 000313006X152207 .
• Хардин, Джеймс У. (2003). «Оценка дисперсии сэндвича». В Fomby, Thomas B .; Хилл, Р. Картер (ред.). Оценка максимальной вероятности моделей с ошибками: двадцать лет спустя . Амстердам: Эльзевир. С. 45–74. ISBN 0-7623-1075-8.
• Хейс, Эндрю Ф .; Цай, Ли (2007). «Использование оценок стандартной ошибки, согласованной с гетероскедастичностью, в регрессии OLS: введение и программная реализация» . Методы исследования поведения . 39 (4): 709–722. DOI : 10.3758 / BF03192961 . PMID  18183883 .
• Кинг, Гэри ; Робертс, Маргарет Э. (2015). «Насколько надежные стандартные ошибки выявляют методологические проблемы, которые они не исправляют, и что с этим делать» . Политический анализ . 23 (2): 159–179. DOI : 10,1093 / панорамирование / mpu015 .
• Вулдридж, Джеффри М. (2009). "Гетероскедастичность-робастный вывод после оценки МНК". Вводная эконометрика: современный подход (четвертое изд.). Мейсон: Юго-Западный. С. 265–271. ISBN 978-0-324-66054-8.