Теорема Гаусса – Маркова

Регрессионный анализ
Часть серии о
Модели
Линейная регрессия Простая регрессия Полиномиальная регрессия Общая линейная модель
Обобщенная линейная модель Дискретный выбор Биномиальная регрессия Бинарная регрессия Логистическая регрессия Полиномиальная логистическая регрессия Смешанный логит Пробит Полиномиальный пробит Упорядоченный логит Упорядоченный пробит Пуассон
Многоуровневая модель Фиксированные эффекты Случайные эффекты Линейная модель смешанных эффектов Нелинейная модель смешанных эффектов
Нелинейная регрессия Непараметрический Полупараметрический Крепкий квантиль Изотонический Основные компоненты Наименьший угол Местный Сегментированный
Ошибки в переменных
Предварительный расчет
Наименьших квадратов Линейный Нелинейный
Обычный взвешенный Обобщенный
Частичный Всего Неотрицательный Регрессия хребта Регулярный
Наименьшие абсолютные отклонения Итеративно перевзвешенный байесовский байесовский многомерный
Задний план
Проверка регрессии Средний и прогнозируемый ответ Ошибки и остатки Качество подгонки Студенческий остаток Теорема Гаусса – Маркова
Математический портал
в т е

В статистике теорема Гаусса-Маркова (или просто теорема Гаусса для некоторых авторов) ^[1] утверждает, что обычная оценка методом наименьших квадратов (OLS) имеет наименьшую дисперсию выборки в классе линейных несмещенных оценок , если ошибки в линейной регрессии модели некоррелированы , имеют равные дисперсии и нулевое математическое ожидание. ^[2] Ошибки не обязательно должны быть нормальными , они не должны быть независимыми и одинаково распределенными . (только некоррелированные со средним нулем и гомоскедастические с конечной дисперсией). От требования несмещенности оценщика нельзя отказаться, поскольку существуют смещенные оценщики с меньшей дисперсией. См., например, оценку Джеймса-Стейна (которая также снижает линейность), гребневую регрессию или просто любую вырожденную оценку.

Теорема была названа в честь Карла Фридриха Гаусса и Андрея Маркова , хотя работа Гаусса значительно предшествует работе Маркова. ^[3] Но в то время как Гаусс вывел результат в предположении независимости и нормальности, Марков свел предположения к форме, изложенной выше. ^[4] Дальнейшее обобщение несферических ошибок было дано Александром Эйткеном . ^[5]

Заявление

Предположим, что у нас есть в матричных обозначениях,

{\ displaystyle {\ underline {y}} = X {\ underline {\ beta}} + {\ underline {\ varepsilon}}, \ quad ({\ underline {y}}, {\ underline {\ varepsilon}} \ in \ mathbb {R} ^ {n}, {\ underline {\ beta}} \ in \ mathbb {R} ^ {K} {\ text {и}} X \ in \ mathbb {R} ^ {n \ times К})}

расширение до,

{\ displaystyle y_ {i} = \ sum _ {j = 1} ^ {K} \ beta _ {j} X_ {ij} + \ varepsilon _ {i} \ quad \ forall i = 1,2, \ ldots, п}

где - неслучайные, но ненаблюдаемые параметры, неслучайны и наблюдаемы (называемые «объясняющими переменными»), случайны и, следовательно , случайны. Случайные величины называются «помехами», «шумами» или просто «ошибками» (позже в статье они будут противопоставлены «остаткам»; см. ошибки и остатки в статистике ). Обратите внимание, что для включения константы в приведенную выше модель можно ввести константу как переменную с недавно введенным последним столбцом X, равным единице, т . е. для всех . Обратите внимание, что хотя в качестве примеров ответов можно наблюдать, следующие утверждения и аргументы, включая предположения,доказательства, а остальные предполагают в соответствии с ${\ Displaystyle \ бета _ {j}}$ ${\ Displaystyle X_ {ij}}$ ${\ Displaystyle \ varepsilon _ {я}}$ ${\ Displaystyle у_ {я}}$ ${\ Displaystyle \ varepsilon _ {я}}$ ${\ Displaystyle \ бета _ {К + 1}}$ ${\ Displaystyle X_ {я (К + 1)} = 1}$ ${\ Displaystyle я}$ ${\ Displaystyle у_ {я},}$ только условие знания, но не ${\ Displaystyle X_ {ij},}$ ${\ Displaystyle у_ {я}.}$

Предположения Гаусса-Маркова касаются набора случайных величин ошибки : ${\ Displaystyle \ varepsilon _ {я}}$

Они имеют среднее значение ноль: ${\ displaystyle \ operatorname {E} [\ varepsilon _ {i}] = 0.}$
Они гомоскедастичны , то есть все имеют одинаковую конечную дисперсию: для всех и $\operatorname {Var} (\varepsilon _{i})=\sigma ^{2}<\infty$ $i$
Отдельные члены ошибок не коррелированы: ${\text{Cov}}(\varepsilon _{i},\varepsilon _{j})=0,\forall i\neq j.$

Линейная оценка представляет собой линейную комбинацию $\beta _{j}$

{\widehat {\beta }}_{j}=c_{1j}y_{1}+\cdots +c_{nj}y_{n}

в котором коэффициенты не могут зависеть от базовых коэффициентов , так как они не наблюдаемы, но могут зависеть от значений , поскольку эти данные наблюдаемы. (Зависимость коэффициентов от каждого обычно нелинейна; оценка линейна в каждом и, следовательно, в каждом случайном случае , поэтому это «линейная» регрессия .) Говорят, что оценка является несмещенной тогда и только тогда, когда $c_{ij}$ $\beta _{j}$ $X_{ij}$ $X_{ij}$ $y_{i}$ $\varepsilon ,$

\operatorname {E} \left[{\widehat {\beta }}_{j}\right]=\beta _{j}

вне зависимости от значений . Теперь пусть будет некоторая линейная комбинация коэффициентов. Тогда среднеквадратическая ошибка соответствующей оценки равна $X_{ij}$ ${\textstyle \sum _{j=1}^{K}\lambda _{j}\beta _{j}}$

\operatorname {E} \left[\left(\sum _{j=1}^{K}\lambda _{j}\left({\widehat {\beta }}_{j}-\beta _{j}\right)\right)^{2}\right],

другими словами, это ожидание квадрата взвешенной суммы (по параметрам) различий между оценщиками и соответствующими оцениваемыми параметрами. (Поскольку мы рассматриваем случай, когда все оценки параметров несмещены, эта среднеквадратическая ошибка совпадает с дисперсией линейной комбинации.) Наилучшей линейной несмещенной оценкой (СИНЕЙ) вектора параметров является та, у которой наименьшая среднеквадратическая ошибка для каждого вектора параметров линейной комбинации. Это эквивалентно условию, что $\beta$ $\beta _{j}$ $\lambda$

\operatorname {Var} \left({\widetilde {\beta }}\right)-\operatorname {Var} \left({\widehat {\beta }}\right)

является положительной полуопределенной матрицей для любой другой линейной несмещенной оценки . ${\widetilde {\beta }}$

Обычная оценка методом наименьших квадратов (OLS) - это функция

{\widehat {\beta }}=(X'X)^{-1}X'y

of и (где обозначает транспонирование ) , которое минимизирует сумму квадратов остатков (количество ошибочных предсказаний): $y$ $X$ $X'$ $X$

\sum _{i=1}^{n}\left(y_{i}-{\widehat {y}}_{i}\right)^{2}=\sum _{i=1}^{n}\left(y_{i}-\sum _{j=1}^{K}{\widehat {\beta }}_{j}X_{ij}\right)^{2}.

Теорема теперь утверждает, что оценка МНК является СИНЕЙ. Основная идея доказательства состоит в том, что оценка методом наименьших квадратов некоррелирована с каждой линейной несмещенной оценкой нуля, т. е. с каждой линейной комбинацией , коэффициенты которой не зависят от ненаблюдаемого , но чье ожидаемое значение всегда равно нулю. $a_{1}y_{1}+\cdots +a_{n}y_{n}$ $\beta$

Примечание

Доказательство того, что МНК действительно МИНИМИЗИРУЕТ сумму квадратов невязок, может происходить следующим образом с вычислением матрицы Гессе и демонстрацией ее положительной определенности.

Функция MSE, которую мы хотим минимизировать, равна

f(\beta _{0},\beta _{1},\dots ,\beta _{p})=\sum _{i=1}^{n}(y_{i}-\beta _{0}-\beta _{1}x_{i1}-\dots -\beta _{p}x_{ip})^{2}

для модели множественной регрессии с переменными p . Первая производная

{\begin{aligned}{\frac {d}{d{\boldsymbol {\beta }}}}f&=-2X^{\mathsf {T}}\left(\mathbf {y} -X{\boldsymbol {\beta }}\right)\\&=-2{\begin{bmatrix}\sum _{i=1}^{n}(y_{i}-\dots -\beta _{p}x_{ip})\\\sum _{i=1}^{n}x_{i1}(y_{i}-\dots -\beta _{p}x_{ip})\\\vdots \\\sum _{i=1}^{n}x_{ip}(y_{i}-\dots -\beta _{p}x_{ip})\end{bmatrix}}\\&=\mathbf {0} _{p+1},\end{aligned}}

где X - матрица дизайна

X={\begin{bmatrix}1&x_{11}&\cdots &x_{1p}\\1&x_{21}&\cdots &x_{2p}\\&&\vdots \\1&x_{n1}&\cdots &x_{np}\end{bmatrix}}\in \mathbb {R} ^{n\times (p+1)};\qquad n\geq p+1

Матрица Гессе вторых производных

{\mathcal {H}}=2{\begin{bmatrix}n&\sum _{i=1}^{n}x_{i1}&\cdots &\sum _{i=1}^{n}x_{ip}\\\sum _{i=1}^{n}x_{i1}&\sum _{i=1}^{n}x_{i1}^{2}&\cdots &\sum _{i=1}^{n}x_{i1}x_{ip}\\\vdots &\vdots &\ddots &\vdots \\\sum _{i=1}^{n}x_{ip}&\sum _{i=1}^{n}x_{ip}x_{i1}&\cdots &\sum _{i=1}^{n}x_{ip}^{2}\end{bmatrix}}=2X^{T}X

Предполагая, что столбцы линейно независимы, так что обратимо, пусть , тогда $X$ $X^{T}X$ $X={\begin{bmatrix}\mathbf {v_{1}} &\mathbf {v_{2}} &\cdots &\mathbf {v} _{p+1}\end{bmatrix}}$

k_{1}\mathbf {v_{1}} +\dots +k_{p+1}\mathbf {v} _{p+1}=\mathbf {0} \iff k_{1}=\dots =k_{p+1}=0

Теперь позвольте быть собственным вектором . $\mathbf {k} =(k_{1},\dots ,k_{p+1})^{T}\in \mathbb {R} ^{(p+1)\times 1}$ ${\mathcal {H}}$

\mathbf {k} \neq \mathbf {0} \implies \left(k_{1}\mathbf {v_{1}} +\dots +k_{p+1}\mathbf {v} _{p+1}\right)^{2}>0

С точки зрения векторного умножения это означает

{\begin{bmatrix}k_{1}&\cdots &k_{p+1}\end{bmatrix}}{\begin{bmatrix}\mathbf {v_{1}} \\\vdots \\\mathbf {v} _{p+1}\end{bmatrix}}{\begin{bmatrix}\mathbf {v_{1}} &\cdots &\mathbf {v} _{p+1}\end{bmatrix}}{\begin{bmatrix}k_{1}\\\vdots \\k_{p+1}\end{bmatrix}}=\mathbf {k} ^{\mathsf {T}}{\mathcal {H}}\mathbf {k} =\lambda \mathbf {k} ^{\mathsf {T}}\mathbf {k} >0

где – собственное значение, соответствующее . Кроме того,

\lambda

\mathbf {k}

\mathbf {k} ^{\mathsf {T}}\mathbf {k} =\sum _{i=1}^{p+1}k_{i}^{2}>0\implies \lambda >0

Наконец, поскольку собственный вектор был произвольным, это означает, что все собственные значения положительны, а значит , положительно определены. Таким образом, $\mathbf {k}$ ${\mathcal {H}}$ ${\mathcal {H}}$

{\boldsymbol {\beta }}=\left(X^{\mathsf {T}}X\right)^{-1}X^{\mathsf {T}}Y

действительно является локальным минимумом.

Доказательство

Позвольте быть другой линейной оценкой где где ненулевая матрица . Поскольку мы ограничиваемся несмещенными оценками, минимальная среднеквадратическая ошибка подразумевает минимальную дисперсию. Таким образом, цель состоит в том, чтобы показать, что такая оценка имеет дисперсию не меньше, чем у оценки МНК. Мы рассчитываем: ${\tilde {\beta }}=Cy$ $\beta$ $C=(X'X)^{-1}X'+D$ $D$ $K\times n$ ${\widehat {\beta }},$

{\begin{aligned}\operatorname {E} \left[{\tilde {\beta }}\right]&=\operatorname {E} [Cy]\\&=\operatorname {E} \left[\left((X'X)^{-1}X'+D\right)(X\beta +\varepsilon )\right]\\&=\left((X'X)^{-1}X'+D\right)X\beta +\left((X'X)^{-1}X'+D\right)\operatorname {E} [\varepsilon ]\\&=\left((X'X)^{-1}X'+D\right)X\beta &&\operatorname {E} [\varepsilon ]=0\\&=(X'X)^{-1}X'X\beta +DX\beta \\&=(I_{K}+DX)\beta .\\\end{aligned}}

Следовательно, так как ненаблюдаема , несмещена тогда и только тогда, когда . Потом: $\beta$ ${\tilde {\beta }}$ $DX=0$

{\begin{aligned}\operatorname {Var} \left({\tilde {\beta }}\right)&=\operatorname {Var} (Cy)\\&=C{\text{ Var}}(y)C'\\&=\sigma ^{2}CC'\\&=\sigma ^{2}\left((X'X)^{-1}X'+D\right)\left(X(X'X)^{-1}+D'\right)\\&=\sigma ^{2}\left((X'X)^{-1}X'X(X'X)^{-1}+(X'X)^{-1}X'D'+DX(X'X)^{-1}+DD'\right)\\&=\sigma ^{2}(X'X)^{-1}+\sigma ^{2}(X'X)^{-1}(DX)'+\sigma ^{2}DX(X'X)^{-1}+\sigma ^{2}DD'\\&=\sigma ^{2}(X'X)^{-1}+\sigma ^{2}DD'&&DX=0\\&=\operatorname {Var} \left({\widehat {\beta }}\right)+\sigma ^{2}DD'&&\sigma ^{2}(X'X)^{-1}=\operatorname {Var} \left({\widehat {\beta }}\right)\end{aligned}}

Так как DD' является положительно-полуопределенной матрицей, превосходит на положительно-полуопределенную матрицу. $\operatorname {Var} \left({\tilde {\beta }}\right)$ $\operatorname {Var} \left({\widehat {\beta }}\right)$

Замечания по доказательству

Как было сказано ранее, условие положительной полуопределенности матрицы эквивалентно тому свойству, что наилучшая линейная несмещенная оценка есть (наилучшая в том смысле, что она имеет минимальную дисперсию). Чтобы увидеть это, пусть другая линейная несмещенная оценка . $\operatorname {Var} \left({\tilde {\beta }}\right)-\operatorname {Var} \left({\widehat {\beta }}\right)$ $\ell ^{t}\beta$ $\ell ^{t}{\widehat {\beta }}$ $\ell ^{t}{\tilde {\beta }}$ $\ell ^{t}\beta$

{\begin{aligned}\operatorname {Var} \left(\ell ^{t}{\tilde {\beta }}\right)&=\ell ^{t}\operatorname {Var} \left({\tilde {\beta }}\right)\ell \\&=\sigma ^{2}\ell ^{t}(X'X)^{-1}\ell +\ell ^{t}DD^{t}\ell \\&=\operatorname {Var} \left(\ell ^{t}{\widehat {\beta }}\right)+(D^{t}\ell )^{t}(D^{t}\ell )&&\sigma ^{2}\ell ^{t}(X'X)^{-1}\ell =\operatorname {Var} \left(\ell ^{t}{\widehat {\beta }}\right)\\&=\operatorname {Var} \left(\ell ^{t}{\widehat {\beta }}\right)+\|D^{t}\ell \|\\&\geq \operatorname {Var} \left(\ell ^{t}{\widehat {\beta }}\right)\end{aligned}}

Более того, равенство имеет место тогда и только тогда, когда . Мы рассчитываем $D^{t}\ell =0$

{\begin{aligned}\ell ^{t}{\tilde {\beta }}&=\ell ^{t}\left(((X'X)^{-1}X'+D)Y\right)&&{\text{ from above}}\\&=\ell ^{t}(X'X)^{-1}X'Y+\ell ^{t}DY\\&=\ell ^{t}{\widehat {\beta }}+(D^{t}\ell )^{t}Y\\&=\ell ^{t}{\widehat {\beta }}&&D^{t}\ell =0\end{aligned}}

Это доказывает, что равенство выполняется тогда и только тогда , когда это дает уникальность оценки МНК как СИНЕЙ. $\ell ^{t}{\tilde {\beta }}=\ell ^{t}{\widehat {\beta }}$

Обобщенная оценка методом наименьших квадратов

Метод обобщенных наименьших квадратов (GLS) , разработанный Эйткеном ^[5] , расширяет теорему Гаусса–Маркова на случай, когда вектор ошибок имеет нескалярную ковариационную матрицу. ^[6] Оценщик Эйткена также СИНИЙ.

Теорема Гаусса – Маркова, сформулированная в эконометрике.

В большинстве методов МНК регрессоры (параметры интереса) в матрице плана предполагаются фиксированными в повторяющихся выборках. Это предположение считается неуместным для такой преимущественно неэкспериментальной науки, как эконометрика . ^[7] Вместо этого предположения теоремы Гаусса–Маркова формулируются в зависимости от . $\mathbf {X}$ $\mathbf {X}$

Линейность

Предполагается, что зависимая переменная является линейной функцией переменных, указанных в модели. Спецификация должна быть линейной по своим параметрам. Это не означает, что между независимыми и зависимыми переменными должна быть линейная зависимость. Независимые переменные могут принимать нелинейные формы, пока параметры линейны. Уравнение квалифицируется как линейное, хотя его можно преобразовать в линейное, заменив другим параметром, скажем, . Уравнение с параметром, зависящим от независимой переменной, не может считаться линейным, например , где - функция от . $y=\beta _{0}+\beta _{1}x^{2},$ $y=\beta _{0}+\beta _{1}^{2}x$ $\beta _{1}^{2}$ $\gamma$ $y=\beta _{0}+\beta _{1}(x)\cdot x$ $\beta _{1}(x)$ $x$

Преобразования данных часто используются для преобразования уравнения в линейную форму. Например, функция Кобба-Дугласа, часто используемая в экономике, нелинейна:

Y=AL^{\alpha }K^{1-\alpha }e^{\varepsilon }

Но его можно выразить в линейной форме, взяв натуральный логарифм обеих частей: ^[8]

\ln Y=\ln A+\alpha \ln L+(1-\alpha )\ln K+\varepsilon =\beta _{0}+\beta _{1}\ln L+\beta _{2}\ln K+\varepsilon

Это предположение также охватывает вопросы спецификации: предполагается, что выбрана правильная функциональная форма и нет пропущенных переменных .

Однако следует помнить, что параметры, минимизирующие невязки преобразованного уравнения, не обязательно минимизируют невязки исходного уравнения.

Строгая экзогенность

Для всех наблюдений математическое ожидание члена ошибки, зависящее от регрессоров, равно нулю: ^[9] $n$

\operatorname {E} [\,\varepsilon _{i}\mid \mathbf {X} ]=\operatorname {E} [\,\varepsilon _{i}\mid \mathbf {x} _{1},\dots ,\mathbf {x} _{n}]=0.

где вектор данных регрессоров для i -го наблюдения и, следовательно , матрица данных или матрица плана. $\mathbf {x} _{i}={\begin{bmatrix}x_{i1}&x_{i2}&\cdots &x_{ik}\end{bmatrix}}^{\mathsf {T}}$ $\mathbf {X} ={\begin{bmatrix}\mathbf {x} _{1}^{\mathsf {T}}&\mathbf {x} _{2}^{\mathsf {T}}&\cdots &\mathbf {x} _{n}^{\mathsf {T}}\end{bmatrix}}^{\mathsf {T}}$

Геометрически это предположение означает, что и ортогональны друг другу, так что их внутренний продукт (т. е. их перекрестный момент) равен нулю. $\mathbf {x} _{i}$ $\varepsilon _{i}$

\operatorname {E} [\,\mathbf {x} _{j}\cdot \varepsilon _{i}\,]={\begin{bmatrix}\operatorname {E} [\,{x}_{j1}\cdot \varepsilon _{i}\,]\\\operatorname {E} [\,{x}_{j2}\cdot \varepsilon _{i}\,]\\\vdots \\\operatorname {E} [\,{x}_{jk}\cdot \varepsilon _{i}\,]\end{bmatrix}}=\mathbf {0} \quad {\text{for all }}i,j\in n

Это предположение нарушается, если объясняющие переменные являются стохастическими, например, когда они измерены с ошибкой или являются эндогенными . ^[10] Эндогенность может быть результатом одновременности , когда причинно-следственная связь течет туда и обратно между зависимой и независимой переменной. Методы инструментальных переменных обычно используются для решения этой проблемы.

Полный ранг

Матрица выборочных данных должна иметь полный ранг столбца . $\mathbf {X}$

\operatorname {rank} (\mathbf {X} )=k

В противном случае это необратимо, и оценка OLS не может быть вычислена. $\mathbf {X} '\mathbf {X}$

Нарушением этого предположения является совершенная мультиколлинеарность , т.е. некоторые объясняющие переменные линейно зависимы. Один сценарий, в котором это произойдет, называется «ловушкой фиктивной переменной», когда базовая фиктивная переменная не пропускается, что приводит к идеальной корреляции между фиктивными переменными и постоянным членом. ^[11]

Мультиколлинеарность (если она не «идеальна») может присутствовать, что приводит к менее эффективной, но все же беспристрастной оценке. Оценки будут менее точными и очень чувствительными к конкретным наборам данных. ^[12] Мультиколлинеарность может быть обнаружена по номеру условия или фактору инфляции дисперсии , среди других тестов.

Сферические ошибки

Внешний продукт вектора ошибки должен быть сферическим.

\operatorname {E} [\,{\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon ^{\mathsf {T}}}}\mid \mathbf {X} ]=\operatorname {Var} [\,{\boldsymbol {\varepsilon }}\mid \mathbf {X} ]={\begin{bmatrix}\sigma ^{2}&0&\cdots &0\\0&\sigma ^{2}&\cdots &0\\\vdots &\vdots &\ddots &\vdots \\0&0&\cdots &\sigma ^{2}\end{bmatrix}}=\sigma ^{2}\mathbf {I} \quad {\text{with }}\sigma ^{2}>0

Это означает, что член ошибки имеет равномерную дисперсию ( гомоскедастичность ) и не имеет последовательной зависимости. ^[13] Если это допущение нарушается, МНК остается беспристрастной, но неэффективной. Термин «сферические ошибки» будет описывать многомерное нормальное распределение: если в многомерной нормальной плотности, то уравнение представляет собой формулу для шара с центром в точке μ и радиусом σ в n-мерном пространстве. ^[14] $\operatorname {Var} [\,{\boldsymbol {\varepsilon }}\mid \mathbf {X} ]=\sigma ^{2}\mathbf {I}$ $f(\varepsilon )=c$

Гетероскедастичность возникает, когда количество ошибок коррелирует с независимой переменной. Например, в регрессии расходов на питание и дохода ошибка коррелирует с доходом. Люди с низким доходом, как правило, тратят аналогичную сумму на еду, в то время как люди с высоким доходом могут тратить очень большую сумму или меньше, чем люди с низким доходом. Гетероскедастичность также может быть вызвана изменениями в методах измерения. Например, по мере того, как статистические управления улучшают свои данные, ошибка измерения уменьшается, поэтому член ошибки со временем уменьшается.

Это предположение нарушается при наличии автокорреляции . Автокорреляцию можно визуализировать на графике данных, когда данное наблюдение с большей вероятностью будет лежать выше подобранной линии, если соседние наблюдения также лежат выше подобранной линии регрессии. Автокорреляция распространена в данных временных рядов, где ряды данных могут испытывать «инерцию». Если зависимой переменной требуется время, чтобы полностью поглотить шок. Пространственная автокорреляция также может иметь место в географических областях, которые, вероятно, будут иметь аналогичные ошибки. Автокорреляция может быть результатом неправильной спецификации, например, выбора неправильной функциональной формы. В этих случаях исправление спецификации является одним из возможных способов борьбы с автокорреляцией.

При наличии сферических ошибок можно показать, что обобщенная оценка методом наименьших квадратов имеет СИНИЙ цвет. ^[6]

Смотрите также

Независимые и одинаково распределенные случайные величины
Линейная регрессия
Погрешность измерения

Другая объективная статистика

Лучший линейный несмещенный прогноз (BLUP)
Непредвзятая оценка минимальной дисперсии (MVUE)

использованная литература

^ См. главу 7 Джонсона, Р.А.; Вичерн, Д. В. (2002). Прикладной многофакторный статистический анализ . Том. 5. Ученический зал.
^ Тейл, Анри (1971). «Лучшая линейная объективная оценка и прогноз». Принципы эконометрики . Нью-Йорк: Джон Уайли и сыновья. стр. 119–124 . ISBN 0-471-85845-5.
^ Плакетт, Р.Л. (1949). «Историческая заметка о методе наименьших квадратов». Биометрика . 36 (3/4): 458–460. дои : 10.2307/2332682 .
^ Дэвид, FN; Нейман, Дж. (1938). «Расширение теоремы Маркова о наименьших квадратах». Мемуары статистических исследований . 2 : 105–116. OCLC 4025782 .
^ a b Эйткен, AC (1935). «О наименьших квадратах и линейных комбинациях наблюдений». Труды Королевского общества Эдинбурга . 55 : 42–48. дои : 10.1017/S0370164600014346 .
^ б Хуанг , Дэвид С. (1970). Регрессионные и эконометрические методы . Нью-Йорк: Джон Уайли и сыновья. стр. 127–147 . ISBN 0-471-41754-8.
^ Хаяси, Фумио (2000). Эконометрика . Издательство Принстонского университета. п. 13. ISBN 0-691-01018-8.
^ Уолтерс, А.А. (1970). Введение в эконометрику . Нью-Йорк: В. В. Нортон. п. 275. ИСБН 0-393-09931-8.
^ Хаяси, Фумио (2000). Эконометрика . Издательство Принстонского университета. п. 7. ISBN 0-691-01018-8.
^ Джонстон, Джон (1972). Эконометрические методы (второе изд.). Нью-Йорк: Макгроу-Хилл. стр. 267–291 . ISBN 0-07-032679-7.
^ Вулдридж, Джеффри (2012). Введение в эконометрику (пятое международное изд.). Юго-Западный. п. 220 . ISBN 978-1-111-53439-4.
^ Джонстон, Джон (1972). Эконометрические методы (второе изд.). Нью-Йорк: Макгроу-Хилл. стр. 159–168 . ISBN 0-07-032679-7.
^ Хаяси, Фумио (2000). Эконометрика . Издательство Принстонского университета. п. 10. ISBN 0-691-01018-8.
^ Раманатан, Раму (1993). «Несферические возмущения». Статистические методы в эконометрике . Академическая пресса. стр. 330–351 . ISBN 0-12-576830-3.

дальнейшее чтение

Дэвидсон, Джеймс (2000). «Статистический анализ регрессионной модели». Эконометрическая теория . Оксфорд: Блэквелл. стр. 17–36. ISBN 0-631-17837-6.
Голдбергер, Артур (1991). «Классическая регрессия». Курс эконометрики . Кембридж: Издательство Гарвардского университета. С. 160–169 . ISBN 0-674-17544-1.
Тейл, Анри (1971). «Минимальные квадраты и стандартная линейная модель». Принципы эконометрики . Нью-Йорк: Джон Уайли и сыновья. стр. 101–162 . ISBN 0-471-85845-5.

внешняя ссылка

Самые ранние известные случаи использования некоторых математических слов: G (краткая история и объяснение названия)
Доказательство теоремы Гаусса-Маркова для множественной линейной регрессии (с использованием матричной алгебры)
Доказательство теоремы Гаусса-Маркова с использованием геометрии

[1] См. главу 7 Джонсона, Р.А.; Вичерн, Д. В. (2002). Прикладной многофакторный статистический анализ . Том. 5. Ученический зал.

[2] Тейл, Анри (1971). «Лучшая линейная объективная оценка и прогноз». Принципы эконометрики . Нью-Йорк: Джон Уайли и сыновья. стр. 119–124 . ISBN 0-471-85845-5.

[3] Плакетт, Р.Л. (1949). «Историческая заметка о методе наименьших квадратов». Биометрика . 36 (3/4): 458–460. дои : 10.2307/2332682 .

[4] Дэвид, FN; Нейман, Дж. (1938). «Расширение теоремы Маркова о наименьших квадратах». Мемуары статистических исследований . 2 : 105–116. OCLC 4025782 .

[Aitken1935-5] Эйткен, AC (1935). «О наименьших квадратах и линейных комбинациях наблюдений». Труды Королевского общества Эдинбурга . 55 : 42–48. дои : 10.1017/S0370164600014346 .

[Huang1970-6] б Хуанг , Дэвид С. (1970). Регрессионные и эконометрические методы . Нью-Йорк: Джон Уайли и сыновья. стр. 127–147 . ISBN 0-471-41754-8.

[7] Хаяси, Фумио (2000). Эконометрика . Издательство Принстонского университета. п. 13. ISBN 0-691-01018-8.

[8] Уолтерс, А.А. (1970). Введение в эконометрику . Нью-Йорк: В. В. Нортон. п. 275. ИСБН 0-393-09931-8.

[9] Хаяси, Фумио (2000). Эконометрика . Издательство Принстонского университета. п. 7. ISBN 0-691-01018-8.

[10] Джонстон, Джон (1972). Эконометрические методы (второе изд.). Нью-Йорк: Макгроу-Хилл. стр. 267–291 . ISBN 0-07-032679-7.

[11] Вулдридж, Джеффри (2012). Введение в эконометрику (пятое международное изд.). Юго-Западный. п. 220 . ISBN 978-1-111-53439-4.

[12] Джонстон, Джон (1972). Эконометрические методы (второе изд.). Нью-Йорк: Макгроу-Хилл. стр. 159–168 . ISBN 0-07-032679-7.

[13] Хаяси, Фумио (2000). Эконометрика . Издательство Принстонского университета. п. 10. ISBN 0-691-01018-8.

[14] Раманатан, Раму (1993). «Несферические возмущения». Статистические методы в эконометрике . Академическая пресса. стр. 330–351 . ISBN 0-12-576830-3.