Теорема Гаусса – Маркова

Часть серии по
Регрессионный анализ
Модели
Линейная регрессия Простая регрессия Полиномиальная регрессия Общая линейная модель
Обобщенная линейная модель Дискретный выбор Биномиальная регрессия Бинарная регрессия Логистическая регрессия Полиномиальный логит Смешанный логит Пробит Полиномиальный пробит Заказал логит Заказал пробит Пуассон
Многоуровневая модель Фиксированные эффекты Случайные эффекты Линейная модель смешанных эффектов Нелинейная модель смешанных эффектов
Нелинейная регрессия Непараметрический Полупараметрический Крепкий Квантиль Изотонический Основные компоненты Наименьший угол Местный Сегментированный
Ошибки в переменных
Предварительный расчет
Наименьших квадратов Линейный Нелинейный
Обычный Взвешенный Обобщенный
Частичное Общее Неотрицательный Регрессия хребта Регулярный
Наименьшие абсолютные отклонения Итеративно переназначенный Байесовский Байесовская многомерная
Фон
Проверка регрессии Средний и прогнозируемый ответ Ошибки и остатки Доброта подгонки Студентизированный остаток Теорема Гаусса – Маркова
Математический портал
v т е

В статистике , то теорема Гаусса-Маркова (или просто теорема Гаусса для некоторых авторов) ^[1] утверждает , что обычный метод наименьших квадратов (МНК) оценщик имеет наименьшую дисперсию выборки в пределах класса от линейных непредвзятых оценок , если ошибки в линейной регрессии модель являются некоррелированными , имеют равные дисперсии и ожидаемое значение , равное нулю. ^[2] Ошибки не обязательно должны быть нормальными , и они не должны быть независимыми и одинаково распределенными.(только некоррелированный с нулевым средним и гомоскедастический с конечной дисперсией). От требования о том, чтобы оценка была несмещенной, нельзя отказаться, поскольку существуют смещенные оценки с более низкой дисперсией. См., Например, оценку Джеймса – Стейна (которая также снижает линейность), гребневую регрессию или просто любую вырожденную оценку.

Теорема была названа в честь Карла Фридриха Гаусса и Андрея Маркова , хотя работа Гаусса значительно предшествует Маркову. ^[3] Но в то время как Гаусс вывел результат в предположении независимости и нормальности, Марков привел предположения к указанной выше форме. ^[4] Дальнейшее обобщение несферических ошибок было дано Александром Эйткеном . ^[5]

Заявление [ править ]

Предположим, что у нас есть матричные обозначения,

${\ displaystyle {\ underline {y}} = X {\ underline {\ beta}} + {\ underline {\ varepsilon}}, \ quad ({\ underline {y}}, {\ underline {\ varepsilon}} \ в \ mathbb {R} ^ {n}, {\ underline {\ beta}} \ in \ mathbb {R} ^ {K} {\ text {and}} X \ in \ mathbb {R} ^ {n \ times K})}$

расширяясь до,

${\ displaystyle y_ {i} = \ sum _ {j = 1} ^ {K} \ beta _ {j} X_ {ij} + \ varepsilon _ {i} \ quad \ forall i = 1,2, \ ldots, n}$

где не являются случайными , но ип наблюдаемых параметров, не являются случайными и наблюдаемыми (называемым «пояснительной переменными»), являются случайными, и так являются случайными. Случайные переменные называются «возмущением», «шумом» или просто «ошибкой» (будет противопоставлено «остатку» позже в статье; см. Ошибки и остатки в статистике ). Обратите внимание, что для включения константы в вышеприведенную модель можно выбрать введение константы как переменной с новым последним столбцом X, равным единице, т. Е. Для всех . Обратите внимание, что хотя в качестве примеров ответов можно наблюдать следующие утверждения и аргументы, включая предположения,доказательства и другие предполагают под${\ displaystyle \ beta _ {j}}$${\ displaystyle X_ {ij}}$${\ Displaystyle \ varepsilon _ {я}}$${\ displaystyle y_ {i}}$${\ Displaystyle \ varepsilon _ {я}}$${\ displaystyle \ beta _ {K + 1}}$${\ Displaystyle X_ {я (К + 1)} = 1}$${\ displaystyle i}$${\ displaystyle y_ {i},}$только условие знания, но не${\ displaystyle X_ {ij},}$ ${\ displaystyle y_ {i}.}$

В Гаусс-Маркова предположения касаются множества ошибок случайных величин :${\ Displaystyle \ varepsilon _ {я}}$

• У них среднее значение ноль: ${\ displaystyle \ operatorname {E} [\ varepsilon _ {i}] = 0.}$
• Они гомоскедастичны , то есть все имеют одинаковую конечную дисперсию: для всех и${\displaystyle \operatorname {Var} (\varepsilon _{i})=\sigma ^{2}<\infty }$${\displaystyle i}$
• Определенные термины ошибки не коррелируют: ${\displaystyle {\text{Cov}}(\varepsilon _{i},\varepsilon _{j})=0,\forall i\neq j.}$

Линейная оценка из является линейной комбинацией${\displaystyle \beta _{j}}$

${\displaystyle {\widehat {\beta }}_{j}=c_{1j}y_{1}+\cdots +c_{nj}y_{n}}$

в котором коэффициенты не могут зависеть от лежащих в основе коэффициентов , поскольку они не наблюдаются, но могут зависеть от значений , поскольку эти данные наблюдаемы. (Зависимость коэффициентов от каждого из них обычно нелинейна; оценщик линейен в каждом и, следовательно, в каждом случайном случае, поэтому это «линейная» регрессия .) Оценщик называется несмещенным тогда и только тогда, когда${\displaystyle c_{ij}}$${\displaystyle \beta _{j}}$${\displaystyle X_{ij}}$${\displaystyle X_{ij}}$${\displaystyle y_{i}}$${\displaystyle \varepsilon ,}$

${\displaystyle \operatorname {E} \left[{\widehat {\beta }}_{j}\right]=\beta _{j}}$

независимо от значений . Теперь позвольте быть некоторой линейной комбинацией коэффициентов. Тогда среднеквадратичная ошибка соответствующей оценки равна${\displaystyle X_{ij}}$${\displaystyle \sum \nolimits _{j=1}^{K}\lambda _{j}\beta _{j}}$

${\displaystyle \operatorname {E} \left[\left(\sum _{j=1}^{K}\lambda _{j}\left({\widehat {\beta }}_{j}-\beta _{j}\right)\right)^{2}\right],}$

другими словами, это математическое ожидание квадрата взвешенной суммы (по параметрам) различий между оценочными функциями и соответствующими параметрами, подлежащими оценке. (Поскольку мы рассматриваем случай, когда все оценки параметров несмещены, эта среднеквадратичная ошибка совпадает с дисперсией линейной комбинации.) Наилучшая линейная несмещенная оценка (СИНИЙ) вектора параметров - одна с наименьшим среднеквадратичная ошибка для каждого вектора параметров линейной комбинации. Это эквивалентно условию, что${\displaystyle \beta }$${\displaystyle \beta _{j}}$${\displaystyle \lambda }$

${\displaystyle \operatorname {Var} \left({\widetilde {\beta }}\right)-\operatorname {Var} \left({\widehat {\beta }}\right)}$

является положительной полуопределенной матрицей для любой другой линейной несмещенной оценки .${\displaystyle {\widetilde {\beta }}}$

Обычные квадраты оценка не менее (МНК) является функцией

${\displaystyle {\widehat {\beta }}=(X'X)^{-1}X'y}$

из и (где обозначает транспонирование о ) , что минимизирует сумму квадратов остатков (misprediction суммы):${\displaystyle y}$${\displaystyle X}$${\displaystyle X'}$${\displaystyle X}$

${\displaystyle \sum _{i=1}^{n}\left(y_{i}-{\widehat {y}}_{i}\right)^{2}=\sum _{i=1}^{n}\left(y_{i}-\sum _{j=1}^{K}{\widehat {\beta }}_{j}X_{ij}\right)^{2}.}$

Теорема теперь утверждает, что МНК-оценка - СИНИЙ. Основная идея доказательства состоит в том, что оценка методом наименьших квадратов некоррелирована с любой линейной несмещенной оценкой нуля, т. Е. С любой линейной комбинацией , коэффициенты которой не зависят от ненаблюдаемого, но чье математическое ожидание всегда равно нулю.${\displaystyle a_{1}y_{1}+\cdots +a_{n}y_{n}}$${\displaystyle \beta }$

Замечание [ править ]

Доказательство того, что OLS действительно МИНИМИЗИРУЕТ сумму квадратов остатков, можно проделать следующим образом с вычислением матрицы Гессе и демонстрацией ее положительной определенности.

Функция MSE, которую мы хотим минимизировать, это

${\displaystyle f(\beta _{0},\beta _{1},\dots ,\beta _{p})=\sum _{i=1}^{n}(y_{i}-\beta _{0}-\beta _{1}x_{i1}-\dots -\beta _{p}x_{ip})^{2}}$

для модели множественной регрессии с переменными p . Первая производная

${\displaystyle {\begin{aligned}{\frac {d}{d{\overrightarrow {\beta }}}}f&=-2X^{T}({\overrightarrow {y}}-X{\overrightarrow {\beta }})\\&=-2{\begin{bmatrix}\sum _{i=1}^{n}(y_{i}-\dots -\beta _{p}x_{ip})\\\sum _{i=1}^{n}x_{i1}(y_{i}-\dots -\beta _{p}x_{ip})\\\vdots \\\sum _{i=1}^{n}x_{ip}(y_{i}-\dots -\beta _{p}x_{ip})\end{bmatrix}}\\&={\overrightarrow {0}}_{p+1}\end{aligned}}}$

, где X - матрица плана

${\displaystyle X={\begin{bmatrix}1&x_{11}&\dots &x_{1p}\\1&x_{21}&\dots &x_{2p}\\&&\dots \\1&x_{n1}&\dots &x_{np}\end{bmatrix}}\in \mathbb {R} ^{n\times (p+1)};\qquad n\geqslant p+1}$

Матрица Гессе вторых производных

${\displaystyle {\mathcal {H}}=2{\begin{bmatrix}n&\sum _{i=1}^{n}x_{i1}&\dots &\sum _{i=1}^{n}x_{ip}\\\sum _{i=1}^{n}x_{i1}&\sum _{i=1}^{n}x_{i1}^{2}&\dots &\sum _{i=1}^{n}x_{i1}x_{ip}\\\vdots &\vdots &\ddots &\vdots \\\sum _{i=1}^{n}x_{ip}&\sum _{i=1}^{n}x_{ip}x_{i1}&\dots &\sum _{i=1}^{n}x_{ip}^{2}\end{bmatrix}}=2X^{T}X}$

Предполагая, что столбцы линейно независимы, так что это обратимо, пусть , тогда ${\displaystyle X}$${\displaystyle X^{T}X}$${\displaystyle X={\begin{bmatrix}{\overrightarrow {v_{1}}}&{\overrightarrow {v_{2}}}&\dots &{\overrightarrow {v}}_{p+1}\end{bmatrix}}}$

${\displaystyle k_{1}{\overrightarrow {v_{1}}}+\dots +k_{p+1}{\overrightarrow {v}}_{p+1}=0\iff k_{1}=\dots =k_{p+1}=0}$

Теперь позвольте быть собственным вектором . ${\displaystyle {\overrightarrow {k}}=(k_{1},\dots ,k_{p+1})^{T}\in \mathbb {R} ^{(p+1)\times 1}}$${\displaystyle {\mathcal {H}}}$

${\displaystyle {\overrightarrow {k}}\neq {\overrightarrow {0}}\implies (k_{1}{\overrightarrow {v_{1}}}+\dots +k_{p+1}{\overrightarrow {v}}_{p+1})^{2}>0}$

С точки зрения умножения векторов это означает

${\displaystyle {\begin{bmatrix}k_{1}&\dots &k_{p+1}\end{bmatrix}}{\begin{bmatrix}{\overrightarrow {v_{1}}}\\\vdots \\{\overrightarrow {v}}_{p+1}\end{bmatrix}}{\begin{bmatrix}{\overrightarrow {v_{1}}}&\dots &{\overrightarrow {v}}_{p+1}\end{bmatrix}}{\begin{bmatrix}k_{1}\\\vdots \\k_{p+1}\end{bmatrix}}={\overrightarrow {k}}^{T}{\mathcal {H}}{\overrightarrow {k}}=\lambda {\overrightarrow {k}}^{T}{\overrightarrow {k}}>0}$

где - собственное значение, соответствующее . Кроме того, ${\displaystyle \lambda }$${\displaystyle {\overrightarrow {k}}}$

${\displaystyle {\overrightarrow {k}}^{T}{\overrightarrow {k}}=\sum _{i=1}^{p+1}k_{i}^{2}>0\implies \lambda >0}$

Наконец, поскольку собственный вектор был произвольным, это означает, что все собственные значения положительны, следовательно , положительно определен. Таким образом, ${\displaystyle {\overrightarrow {k}}}$${\displaystyle {\mathcal {H}}}$${\displaystyle {\mathcal {H}}}$

${\displaystyle {\overrightarrow {\beta }}=(X^{T}X)^{-1}X^{T}Y}$

действительно местный минимум.

Доказательство [ править ]

Позвольте быть другой линейной оценки с где является ненулевой матрицей. Поскольку мы ограничиваемся несмещенными оценками, минимальная среднеквадратическая ошибка подразумевает минимальную дисперсию. Поэтому цель состоит в том, чтобы показать, что такая оценка имеет дисперсию не меньшую, чем дисперсия оценки OLS. Рассчитываем:${\displaystyle {\tilde {\beta }}=Cy}$${\displaystyle \beta }$${\displaystyle C=(X'X)^{-1}X'+D}$${\displaystyle D}$${\displaystyle K\times n}$${\displaystyle {\widehat {\beta }},}$

${\displaystyle {\begin{aligned}\operatorname {E} \left[{\tilde {\beta }}\right]&=\operatorname {E} [Cy]\\&=\operatorname {E} \left[\left((X'X)^{-1}X'+D\right)(X\beta +\varepsilon )\right]\\&=\left((X'X)^{-1}X'+D\right)X\beta +\left((X'X)^{-1}X'+D\right)\operatorname {E} [\varepsilon ]\\&=\left((X'X)^{-1}X'+D\right)X\beta &&\operatorname {E} [\varepsilon ]=0\\&=(X'X)^{-1}X'X\beta +DX\beta \\&=(I_{K}+DX)\beta .\\\end{aligned}}}$

Поэтому, так как это ип наблюдаемой, является несмещенной , если и только если . Затем:${\displaystyle \beta }$${\displaystyle {\tilde {\beta }}}$${\displaystyle DX=0}$

${\displaystyle {\begin{aligned}\operatorname {Var} \left({\tilde {\beta }}\right)&=\operatorname {Var} (Cy)\\&=C{\text{ Var}}(y)C'\\&=\sigma ^{2}CC'\\&=\sigma ^{2}\left((X'X)^{-1}X'+D\right)\left(X(X'X)^{-1}+D'\right)\\&=\sigma ^{2}\left((X'X)^{-1}X'X(X'X)^{-1}+(X'X)^{-1}X'D'+DX(X'X)^{-1}+DD'\right)\\&=\sigma ^{2}(X'X)^{-1}+\sigma ^{2}(X'X)^{-1}(DX)'+\sigma ^{2}DX(X'X)^{-1}+\sigma ^{2}DD'\\&=\sigma ^{2}(X'X)^{-1}+\sigma ^{2}DD'&&DX=0\\&=\operatorname {Var} \left({\widehat {\beta }}\right)+\sigma ^{2}DD'&&\sigma ^{2}(X'X)^{-1}=\operatorname {Var} \left({\widehat {\beta }}\right)\end{aligned}}}$

Поскольку DD ' является положительно полуопределенной матрицей, превосходит положительно полуопределенную матрицу.${\displaystyle \operatorname {Var} \left({\tilde {\beta }}\right)}$${\displaystyle \operatorname {Var} \left({\widehat {\beta }}\right)}$

Замечания к доказательству [ править ]

Как уже было сказано выше, условием является неотрицательно матрица эквивалентна тем свойство , что наилучшая линейная несмещенная оценкой является (лучше в том смысле , что она имеет минимальную дисперсию). Чтобы убедиться в этом, давайте рассмотрим еще одну линейную несмещенную оценку .${\displaystyle \operatorname {Var} \left({\tilde {\beta }}\right)-\operatorname {Var} \left({\widehat {\beta }}\right)}$${\displaystyle \ell ^{t}\beta }$${\displaystyle \ell ^{t}{\widehat {\beta }}}$${\displaystyle \ell ^{t}{\tilde {\beta }}}$${\displaystyle \ell ^{t}\beta }$

${\displaystyle {\begin{aligned}\operatorname {Var} \left(\ell ^{t}{\tilde {\beta }}\right)&=\ell ^{t}\operatorname {Var} \left({\tilde {\beta }}\right)\ell \\&=\sigma ^{2}\ell ^{t}(X'X)^{-1}\ell +\ell ^{t}DD^{t}\ell \\&=\operatorname {Var} \left(\ell ^{t}{\widehat {\beta }}\right)+(D^{t}\ell )^{t}(D^{t}\ell )&&\sigma ^{2}\ell ^{t}(X'X)^{-1}\ell =\operatorname {Var} \left(\ell ^{t}{\widehat {\beta }}\right)\\&=\operatorname {Var} \left(\ell ^{t}{\widehat {\beta }}\right)+\|D^{t}\ell \|\\&\geqslant \operatorname {Var} \left(\ell ^{t}{\widehat {\beta }}\right)\end{aligned}}}$

Более того, равенство выполняется тогда и только тогда, когда . Мы рассчитываем${\displaystyle D^{t}\ell =0}$

${\displaystyle {\begin{aligned}\ell ^{t}{\tilde {\beta }}&=\ell ^{t}\left(((X'X)^{-1}X'+D)Y\right)&&{\text{ from above}}\\&=\ell ^{t}(X'X)^{-1}X'Y+\ell ^{t}DY\\&=\ell ^{t}{\widehat {\beta }}+(D^{t}\ell )^{t}Y\\&=\ell ^{t}{\widehat {\beta }}&&D^{t}\ell =0\end{aligned}}}$

Это доказывает, что равенство выполняется тогда и только тогда, когда это дает уникальность оценки OLS как СИНИЙ.${\displaystyle \ell ^{t}{\tilde {\beta }}=\ell ^{t}{\widehat {\beta }}}$

Обобщенная оценка методом наименьших квадратов [ править ]

В обобщенных наименьших квадратов (GLS), разработанный Aitken , ^[5] расширяет теорему Гаусса-Маркова для случая , когда вектор ошибки имеет нескалярный ковариационная матрица. ^[6] Оценщик Эйткена также СИНИЙ.

Теорема Гаусса – Маркова, сформулированная в эконометрике [ править ]

В большинстве обработок OLS предполагается , что регрессоры (интересующие параметры) в матрице плана фиксированы в повторяющихся выборках. Это предположение считается неприемлемым для преимущественно неэкспериментальной науки, такой как эконометрика . ^[7] Вместо этого условия теоремы Гаусса – Маркова сформулированы условно .${\displaystyle \mathbf {X} }$${\displaystyle \mathbf {X} }$

Линейность [ править ]

Предполагается, что зависимая переменная является линейной функцией переменных, указанных в модели. Спецификация должна быть линейной по своим параметрам. Это не означает, что между независимыми и зависимыми переменными должна быть линейная зависимость. Независимые переменные могут принимать нелинейные формы, если параметры являются линейными. Уравнение квалифицируется как линейное, но может быть преобразовано в линейное, например, путем замены другим параметром . Уравнение с параметром, зависящим от независимой переменной, не считается линейным, например , где - функция от .${\displaystyle y=\beta _{0}+\beta _{1}x^{2},}$${\displaystyle y=\beta _{0}+\beta _{1}^{2}x}$${\displaystyle \beta _{1}^{2}}$${\displaystyle \gamma }$${\displaystyle y=\beta _{0}+\beta _{1}(x)\cdot x}$${\displaystyle \beta _{1}(x)}$${\displaystyle x}$

Преобразования данных часто используются для преобразования уравнения в линейную форму. Например, функция Кобба-Дугласа, часто используемая в экономике, является нелинейной:

${\displaystyle Y=AL^{\alpha }K^{1-\alpha }e^{\varepsilon }}$

Но это можно выразить в линейной форме, взяв натуральный логарифм от обеих частей: ^[8]

${\displaystyle \ln Y=\ln A+\alpha \ln L+(1-\alpha )\ln K+\varepsilon =\beta _{0}+\beta _{1}\ln L+\beta _{2}\ln K+\varepsilon }$

Это предположение также касается вопросов спецификации: предполагается, что выбрана правильная функциональная форма и нет пропущенных переменных .

Однако следует знать, что параметры, которые минимизируют остатки преобразованного уравнения, не обязательно минимизируют остатки исходного уравнения.

Строгая экзогенность [ править ]

Для всех наблюдений математическое ожидание - обусловленное регрессорами - члена ошибки равно нулю: ^[9]${\displaystyle n}$

${\displaystyle \operatorname {E} [\,\varepsilon _{i}\mid \mathbf {X} ]=\operatorname {E} [\,\varepsilon _{i}\mid \mathbf {x_{1}} ,\dots ,\mathbf {x_{n}} ]=0.}$

где - вектор данных регрессоров для i- го наблюдения и, следовательно , матрица данных или матрица плана.${\displaystyle \mathbf {x} _{i}={\begin{bmatrix}x_{i1}&x_{i2}&\dots &x_{ik}\end{bmatrix}}^{\mathsf {T}}}$${\displaystyle \mathbf {X} ={\begin{bmatrix}\mathbf {x_{1}^{\mathsf {T}}} &\mathbf {x_{2}^{\mathsf {T}}} &\dots &\mathbf {x_{n}^{\mathsf {T}}} \end{bmatrix}}^{\mathsf {T}}}$

Геометрически это предположение означает , что и являются ортогональными друг к другу, так что их внутренний продукт (то есть, их поперечный момент) равен нулю.${\displaystyle \mathbf {x} _{i}}$${\displaystyle \varepsilon _{i}}$

${\displaystyle \operatorname {E} [\,\mathbf {x} _{j}\cdot \varepsilon _{i}\,]={\begin{bmatrix}\operatorname {E} [\,{x}_{j1}\cdot \varepsilon _{i}\,]\\\operatorname {E} [\,{x}_{j2}\cdot \varepsilon _{i}\,]\\\vdots \\\operatorname {E} [\,{x}_{jk}\cdot \varepsilon _{i}\,]\end{bmatrix}}=\mathbf {0} \quad {\text{for all }}i,j\in n}$

Это предположение нарушается, если объясняющие переменные являются стохастическими, например, когда они измеряются с ошибкой , или являются эндогенными . ^[10] Эндогенность может быть результатом одновременности , когда причинно-следственная связь течет туда и обратно как между зависимой, так и независимой переменной. Для решения этой проблемы обычно используются методы инструментальных переменных .

Полный ранг [ править ]

Матрица выборочных данных должна иметь полный ранг столбца .${\displaystyle \mathbf {X} }$

${\displaystyle \operatorname {rank} (\mathbf {X} )=k}$

В противном случае не обратима, и оценка МНК не может быть вычислена.${\displaystyle \mathbf {X'X} }$

Нарушение этого предположения - совершенная мультиколлинеарность , т.е. некоторые объясняющие переменные линейно зависимы. Один сценарий, в котором это произойдет, называется «ловушка фиктивной переменной», когда базовая фиктивная переменная не пропущена, что приводит к идеальной корреляции между фиктивными переменными и постоянным членом. ^[11]

Может присутствовать мультиколлинеарность (если она не «идеальна»), что приводит к менее эффективной, но все же несмещенной оценке. Оценки будут менее точными и очень чувствительными к конкретным наборам данных. ^[12] Мультиколлинеарность может быть обнаружена , среди прочего, по номеру условия или коэффициенту увеличения дисперсии .

Сферические ошибки [ править ]

Внешнее произведение вектора ошибки должна быть сферической.

${\displaystyle \operatorname {E} [\,{\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon ^{\mathsf {T}}}}\mid \mathbf {X} ]=\operatorname {Var} [\,{\boldsymbol {\varepsilon }}\mid \mathbf {X} ]={\begin{bmatrix}\sigma ^{2}&0&\dots &0\\0&\sigma ^{2}&\dots &0\\\vdots &\vdots &\ddots &\vdots \\0&0&\dots &\sigma ^{2}\end{bmatrix}}=\sigma ^{2}\mathbf {I} \quad {\text{with }}\sigma ^{2}>0}$

Это означает, что термин ошибки имеет однородную дисперсию ( гомоскедастичность ) и не имеет последовательной зависимости. ^[13] Если это предположение нарушается, OLS остается беспристрастным, но неэффективным. Термин «сферические ошибки» будет описывать многомерное нормальное распределение: если в многомерной нормальной плотности, то уравнение является формулой для шара с центром в μ и радиусом σ в n-мерном пространстве. ^[14]${\displaystyle \operatorname {Var} [\,{\boldsymbol {\varepsilon }}\mid \mathbf {X} ]=\sigma ^{2}\mathbf {I} }$${\displaystyle f(\varepsilon )=c}$

Гетероскедастичность возникает, когда количество ошибок соотносится с независимой переменной. Например, в регрессии расходов на питание и доходов ошибка коррелирует с доходом. Люди с низким доходом обычно тратят на еду одинаковую сумму, в то время как люди с высоким доходом могут тратить очень большую сумму или столько же, сколько тратят люди с низким доходом. Гетероскедастичность также может быть вызвана изменениями в практике измерения. Например, по мере того, как статистические управления улучшают свои данные, ошибка измерения уменьшается, поэтому член ошибки уменьшается с течением времени.

Это предположение нарушается при наличии автокорреляции . Автокорреляция может быть визуализирована на графике данных, когда данное наблюдение с большей вероятностью находится выше подобранной линии, если соседние наблюдения также лежат выше подобранной линии регрессии. Автокорреляция часто встречается в данных временных рядов, где ряд данных может испытывать «инерцию». Если зависимой переменной требуется время, чтобы полностью поглотить шок. Пространственная автокорреляция также может возникать в географических областях, которые могут иметь аналогичные ошибки. Автокорреляция может быть результатом неправильной спецификации, например неправильного выбора функциональной формы. В этих случаях исправление спецификации - один из возможных способов борьбы с автокорреляцией.

При наличии сферических ошибок обобщенная оценка методом наименьших квадратов может отображаться СИНИМ цветом. ^[6]

См. Также [ править ]

• Независимые и одинаково распределенные случайные величины
• Линейная регрессия
• Погрешность измерения

Другая объективная статистика [ править ]

• Лучший линейный несмещенный прогноз (BLUP)
• Несмещенная оценка с минимальной дисперсией (MVUE)

Ссылки [ править ]

Дальнейшее чтение [ править ]

• Дэвидсон, Джеймс (2000). «Статистический анализ регрессионной модели». Эконометрическая теория . Оксфорд: Блэквелл. С. 17–36. ISBN 0-631-17837-6.
• Гольдбергер, Артур (1991). «Классическая регрессия». Курс эконометрики . Кембридж: Издательство Гарвардского университета. стр.  160 -169. ISBN 0-674-17544-1.
• Тейл, Анри (1971). «Метод наименьших квадратов и стандартная линейная модель». Принципы эконометрики . Нью-Йорк: Джон Вили и сыновья. стр.  101 -162. ISBN 0-471-85845-5.

Внешние ссылки [ править ]

• Самые ранние известные варианты использования некоторых математических слов: G (краткая история и объяснение названия)
• Доказательство теоремы Гаусса-Маркова для множественной линейной регрессии (использует матричную алгебру)
• Доказательство теоремы Гаусса Маркова с использованием геометрии