В статистике , обобщенные наименьших квадратов ( GLS ) представляет собой метод оценки неизвестных параметров в линейной регрессии модели , когда существует определенная степень корреляции между остатками в регрессионной модели . В этих случаях обычные методы наименьших квадратов и взвешенных наименьших квадратов могут быть статистически неэффективными или даже давать вводящие в заблуждение выводы . GLS был впервые описан Александром Эйткеном в 1936 году. [1]
Схема метода
В стандартных моделях линейной регрессии мы наблюдаем данныепо n статистическим единицам . Значения ответа помещаются в вектор, а значения предикторов помещаются в матрицу дизайна , где - вектор k переменных-предикторов (включая константу) для i- го блока. Модель заставляет условное среднее значение из дано быть линейной функцией , и предполагает условную дисперсию члена ошибки, заданногоявляется известной неособой ковариационной матрицей . Обычно это записывается как
Здесь представляет собой вектор неизвестных констант (известных как «коэффициенты регрессии»), которые необходимо оценить на основе данных.
Предполагать это примерная оценка для . Тогда остаточный вектор для будет . Оценки методом обобщенных наименьших квадратовминимизируя квадрат длины Махаланобиса этого остаточного вектора:
Поскольку цель - квадратичная форма от , оценка имеет явную формулу:
Характеристики
Оценщик GLS является несмещенным , непротиворечивым , эффективным и асимптотически нормальным с а также . GLS эквивалентен применению обычного метода наименьших квадратов к линейно преобразованной версии данных. Чтобы увидеть это, фактор, например, используя разложение Холецкого . Тогда, если мы предварительно умножим обе части уравнения от , получаем эквивалентную линейную модель где , , а также . В этой модели, где - единичная матрица . Таким образом, мы можем эффективно оценитьпутем применения обыкновенных наименьших квадратов (МНК) к преобразованным данным, что требует минимизации
Это приводит к стандартизации шкалы ошибок и их «декорреляции». Поскольку OLS применяется к данным с гомоскедастическими ошибками, применяется теорема Гаусса – Маркова , и поэтому оценка GLS является наилучшей линейной несмещенной оценкой для β .
Взвешенный метод наименьших квадратов
Частный случай GLS, называемый взвешенным методом наименьших квадратов (WLS), возникает, когда все недиагональные элементы Ω равны 0. Эта ситуация возникает, когда дисперсии наблюдаемых значений неравны (т.е. присутствует гетероскедастичность ), но когда между ними нет корреляции. наблюдаемые отклонения. Вес для единицы i пропорционален обратной величине дисперсии ответа для единицы i . [2]
Возможные обобщенные методы наименьших квадратов
Если ковариация ошибок неизвестно, можно получить непротиворечивую оценку , сказать , [3] с использованием реализуемой версии GLS, известной как допустимая обобщенная оценка методом наименьших квадратов ( FGLS ). В FGLS моделирование осуществляется в два этапа: (1) модель оценивается с помощью OLS или другого согласованного (но неэффективного) средства оценки, а остатки используются для построения согласованного средства оценки ковариационной матрицы ошибок (для этого часто требуется для изучения модели с добавлением дополнительных ограничений, например, если ошибки следуют процессу временных рядов, статистику обычно требуются некоторые теоретические допущения по этому процессу, чтобы гарантировать, что доступна непротиворечивая оценка); и (2) используя согласованную оценку ковариационной матрицы ошибок, можно реализовать идеи GLS.
В то время как GLS более эффективен, чем OLS при гетероскедастичности или автокорреляции , это неверно для FGLS. Возможная оценка, при условии, что матрица ковариации ошибок оценивается последовательно, асимптотически более эффективна, но для выборки малого или среднего размера она может быть на самом деле менее эффективной, чем OLS. Вот почему некоторые авторы предпочитают использовать OLS и переформулировать свои выводы, просто рассматривая альтернативную оценку дисперсии оценки, устойчивую к гетероскедастичности или последовательной автокорреляции. Но для больших выборок FGLS предпочтительнее OLS при гетероскедастичности или серийной корреляции. [3] [4] Предупреждение: оценка FGLS не всегда согласована. Один случай, когда FGLS может быть непоследовательным, - это наличие индивидуальных фиксированных эффектов. [5]
В общем, этот оценщик имеет свойства, отличные от GLS. Для больших выборок (т. Е. Асимптотически) все свойства (при соответствующих условиях) являются общими по отношению к GLS, но для конечных выборок свойства оценок FGLS неизвестны: они сильно различаются для каждой конкретной модели и, как правило, их точные распределения не могут быть получены аналитически. Для конечных выборок FGLS может быть даже менее эффективным, чем OLS в некоторых случаях. Таким образом, хотя GLS можно сделать осуществимым, не всегда разумно применять этот метод, когда образец небольшой. Метод, который иногда используется для повышения точности оценок в конечных выборках, заключается в повторении, то есть взятии остатков из FGLS для обновления оценки ковариации ошибок, а затем обновлении оценки FGLS, итеративно применяя ту же идею до тех пор, пока оценки не изменятся меньше, чем некоторые толерантность. Но этот метод не обязательно значительно повышает эффективность оценщика, если исходная выборка была небольшой. Разумным вариантом, когда выборки не слишком большие, является применение МНК, но отказ от классической оценки дисперсии.
(что несовместимо в этой структуре) и с использованием оценки HAC (Heteroskedasticity and Autocorrelation Consistent). Например, в контексте автокорреляции мы можем использовать оценку Бартлетта (часто известную как оценка Ньюи-Уэста, поскольку эти авторы популяризировали использование этой оценки среди эконометристов в своей статье Econometrica 1987 года ), а в гетероскедастическом контексте мы можем использовать оценку Эйкера-Уайта. . Этот подход намного безопаснее, и это подходящий путь, если выборка не большая, а «большой» иногда является скользкой проблемой (например, если распределение ошибок асимметрично, требуемая выборка будет намного больше).
В обычных наименьших квадратов (МНК) оценка вычисляется , как обычно,
и оценки остатков построены.
Для простоты рассмотрим модель гетероскедастических ошибок. Предположим, что матрица дисперсии-ковариациивектора ошибок диагонален, или, что то же самое, ошибки отдельных наблюдений некоррелированы. Тогда каждая диагональная запись может быть оценена с помощью подобранных остатков так может быть построен
Важно отметить, что возведенные в квадрат остатки нельзя использовать в предыдущем выражении; нам нужен оценщик дисперсии ошибок. Для этого мы можем использовать параметрическую модель гетероскедастичности или непараметрическую оценку. Как только этот шаг будет выполнен, мы можем продолжить:
Оценивать с использованием с использованием [4] взвешенных наименьших квадратов
Процедуру можно повторять. Первая итерация дается формулой
Эта оценка можно повторить до сходимости.
В условиях регулярности любая оценка FGLS (или оценка любой из ее итераций, если мы повторяем конечное число раз) асимптотически распределена как
где n - размер выборки, а
здесь p-lim означает предел вероятности
Смотрите также
Рекомендации
- Перейти ↑ Aitken, AC (1936). «О методах наименьших квадратов и линейных комбинациях наблюдений». Труды Королевского общества Эдинбурга . 55 : 42–48.
- ^ Струтц, Т. (2016). Подгонка данных и неопределенность (практическое введение в метод взвешенных наименьших квадратов и другие аспекты) . Springer Vieweg. ISBN 978-3-658-11455-8., Глава 3
- ^ a b Baltagi, BH (2008). Эконометрика (4-е изд.). Нью-Йорк: Спрингер.
- ^ а б Грин, WH (2003). Эконометрический анализ (5-е изд.). Река Аппер Сэдл, штат Нью-Джерси: Prentice Hall.
- ^ Хансен, Кристиан Б. (2007). «Обобщенный вывод наименьших квадратов в панельных и многоуровневых моделях с последовательной корреляцией и фиксированными эффектами». Журнал эконометрики . 140 (2): 670–694. DOI : 10.1016 / j.jeconom.2006.07.011 .
дальнейшее чтение
- Амемия, Такеши (1985). «Обобщенная теория наименьших квадратов» . Продвинутая эконометрика . Издательство Гарвардского университета. ISBN 0-674-00560-0.
- Джонстон, Джон (1972). «Обобщенные наименьшие квадраты» . Эконометрические методы (второе изд.). Нью-Йорк: Макгроу-Хилл. С. 208–242.
- Кмента, Ян (1986). «Обобщенная модель линейной регрессии и ее приложения» . Элементы эконометрики (второе изд.). Нью-Йорк: Макмиллан. С. 607–650. ISBN 0-472-10886-7.