Теорема Гаусса – Маркова

---

В статистике теорема Гаусса-Маркова (или просто теорема Гаусса для некоторых авторов) ^[1] утверждает, что обычная оценка методом наименьших квадратов (OLS) имеет наименьшую дисперсию выборки в классе линейных несмещенных оценок , если ошибки в линейной регрессии модели некоррелированы , имеют равные дисперсии и нулевое математическое ожидание. ^[2] Ошибки не обязательно должны быть нормальными , они не должны быть независимыми и одинаково распределенными . (только некоррелированные со средним нулем и гомоскедастические с конечной дисперсией). Требование, чтобы оценщик был несмещенным, нельзя отбросить, поскольку существуют смещенные оценщики с меньшей дисперсией. См., например, оценку Джеймса-Стейна (которая также снижает линейность), гребневую регрессию или просто любую вырожденную оценку.

Теорема была названа в честь Карла Фридриха Гаусса и Андрея Маркова , хотя работа Гаусса значительно предшествует работе Маркова. ^[3] Но в то время как Гаусс вывел результат в предположении независимости и нормальности, Марков свел предположения к форме, изложенной выше. ^[4] Дальнейшее обобщение несферических ошибок было дано Александром Эйткеном . ^[5]

где - неслучайные, но ненаблюдаемые параметры, неслучайны и наблюдаемы (называемые «объясняющими переменными»), случайны и, следовательно , случайны. Случайные величины называются «помехами», «шумами» или просто «ошибками» (позже в статье они будут противопоставлены «остаткам»; см. ошибки и остатки в статистике ). Обратите внимание, что для включения константы в приведенную выше модель можно ввести константу как переменную с недавно введенным последним столбцом X, равным единице, т . е. для всех . Обратите внимание, что хотя в качестве примеров ответов можно наблюдать, следующие утверждения и аргументы, включая предположения,${\ Displaystyle \ бета _ {j}}$${\ Displaystyle X_ {ij}}$${\displaystyle \varepsilon _{i}}$${\displaystyle y_{i}}$${\displaystyle \varepsilon _{i}}$${\displaystyle \beta _{K+1}}$${\displaystyle X_{i(K+1)}=1}$${\displaystyle i}$${\displaystyle y_{i},}$только условие знания, но не${\displaystyle X_{ij},}$ ${\displaystyle y_{i}.}$

Предположения Гаусса-Маркова касаются набора случайных величин ошибки :${\displaystyle \varepsilon _{i}}$

Линейная оценка представляет собой линейную комбинацию${\displaystyle \beta _{j}}$

---