Взвешенный метод наименьших квадратов

Эту статью или раздел, возможно, необходимо очистить или подытожить, потому что он был разделен на / на метод наименьших квадратов и линейный метод наименьших квадратов (математика) .

Весовые наименьших квадратов ( WLS ), также известный как взвешенной линейной регрессии , ^{[1] [2]} представляет собой обобщение обычных наименьших квадратов и линейной регрессии , в которой знание дисперсии наблюдений , включенных в регрессии. WLS - это также специализация обобщенных наименьших квадратов .

Введение [ править ]

Частный случай обобщенных наименьших квадратов, называемый взвешенными наименьшими квадратами, возникает, когда все недиагональные элементы Ω (корреляционная матрица остатков) равны нулю; отклонениях наблюдений (по ковариационная матрица по диагонали) по- прежнему может быть неодинаковой ( гетероскедастичность ).

Подгонка модели к точке данных измеряется ее невязкой , определяемой как разница между измеренным значением зависимой переменной и значением, предсказанным моделью : ${\ displaystyle r_ {i}}$${\ displaystyle y_ {i}}$${\ displaystyle f (x_ {i}, {\ boldsymbol {\ beta}})}$

${\ displaystyle r_ {i} ({\ boldsymbol {\ beta}}) = y_ {i} -f (x_ {i}, {\ boldsymbol {\ beta}}).}$

Если ошибки некоррелированы и имеют одинаковую дисперсию, то минимум функции

${\ displaystyle S ({\ boldsymbol {\ beta}}) = \ sum _ {i} r_ {i} ({\ boldsymbol {\ beta}}) ^ {2}}$,

находится при (определение ).${\ displaystyle {\ frac {\ partial S \ left ({\ hat {\ boldsymbol {\ beta}}} \ right)} {\ partial \ beta _ {j}}} = 0}$${\ displaystyle {\ boldsymbol {\ hat {\ beta}}}}$

Теорема Гаусса – Маркова показывает, что в этом случае наилучшая линейная несмещенная оценка ( СИНИЙ ). Однако, если измерения не коррелированы, но имеют разные неопределенности, может быть принят модифицированный подход. Эйткен показал, что когда взвешенная сумма квадратов остатков минимизирована, это СИНИЙ, если каждый вес равен обратной величине дисперсии измерения.${\ displaystyle {\ hat {\ boldsymbol {\ beta}}}}$${\ displaystyle {\ hat {\ boldsymbol {\ beta}}}}$

${\ displaystyle {\ begin {align} S & = \ sum _ {i = 1} ^ {n} W_ {ii} {r_ {i}} ^ {2}, & W_ {ii} & = {\ frac {1} {{\ sigma _ {i}} ^ {2}}} \ конец {выровнено}}}$

Уравнения градиента для этой суммы квадратов:

${\displaystyle -2\sum _{i}W_{ii}{\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}r_{i}=0,\quad j=1,\ldots ,m}$

которые в линейной системе наименьших квадратов дают модифицированные нормальные уравнения,

${\displaystyle \sum _{i=1}^{n}\sum _{k=1}^{m}X_{ij}W_{ii}X_{ik}{\hat {\beta }}_{k}=\sum _{i=1}^{n}X_{ij}W_{ii}y_{i},\quad j=1,\ldots ,m\,.}$

Когда ошибки наблюдений некоррелированы, а весовая матрица W диагональна, их можно записать как

${\displaystyle \mathbf {\left(X^{\textsf {T}}WX\right){\hat {\boldsymbol {\beta }}}=X^{\textsf {T}}Wy} .}$

Если ошибки коррелированы, результирующий оценщик будет СИНИМ, если матрица весов равна обратной матрице дисперсионно-ковариационной матрицы наблюдений.

Когда ошибки не коррелированы, удобно упростить вычисления, чтобы разложить матрицу весов на множители . Тогда нормальные уравнения могут быть записаны в той же форме, что и обычные наименьшие квадраты:${\displaystyle w_{ii}={\sqrt {W_{ii}}}}$

${\displaystyle \mathbf {\left(X'^{\textsf {T}}X'\right){\hat {\boldsymbol {\beta }}}=X'^{\textsf {T}}y'} \,}$

где мы определяем следующие масштабированные матрицу и вектор:

${\displaystyle {\begin{aligned}\mathbf {X'} &=\operatorname {diag} \left(\mathbf {w} \right)\mathbf {X} ,\\\mathbf {y'} &=\operatorname {diag} \left(\mathbf {w} \right)\mathbf {y} =\mathbf {y} \oslash \mathbf {\sigma } .\end{aligned}}}$

Это вид трансформации отбеливания ; последнее выражение включает поэлементное деление .

Для нелинейных систем наименьших квадратов аналогичный аргумент показывает, что нормальные уравнения следует модифицировать следующим образом.

${\displaystyle \mathbf {\left(J^{\textsf {T}}WJ\right)\,{\boldsymbol {\Delta }}\beta =J^{\textsf {T}}W\,{\boldsymbol {\Delta }}y} .\,}$

Обратите внимание, что для эмпирических тестов соответствующее W точно не известно и должно быть оценено. Для этого могут использоваться возможные методы обобщенных наименьших квадратов (FGLS); в этом случае он специализируется на диагональной ковариационной матрице, что дает допустимое взвешенное решение методом наименьших квадратов.

Если неопределенность наблюдений неизвестна из внешних источников, то веса могут быть оценены на основе данных наблюдений. Это может быть полезно, например, для выявления выбросов. После того, как выбросы были удалены из набора данных, веса должны быть сброшены на единицу. ^[3]

Мотивация [ править ]

В некоторых случаях наблюдения могут быть взвешенными - например, они не могут быть одинаково надежными. В этом случае можно минимизировать взвешенную сумму квадратов:

${\displaystyle {\underset {\boldsymbol {\beta }}{\operatorname {arg\ min} }}\,\sum _{i=1}^{n}w_{i}\left|y_{i}-\sum _{j=1}^{m}X_{ij}\beta _{j}\right|^{2}={\underset {\boldsymbol {\beta }}{\operatorname {arg\ min} }}\,\left\|W^{\frac {1}{2}}\left(\mathbf {y} -X{\boldsymbol {\beta }}\right)\right\|^{2}.}$

где w _i > 0 - вес i- го наблюдения, а W - диагональная матрица таких весов.

Веса должны, в идеале, быть равны обратной величиной от дисперсии измерения. (Это означает, что наблюдения не коррелированы. Если наблюдения коррелированы , применяется выражение . В этом случае весовая матрица в идеале должна быть равна обратной матрице дисперсионно-ковариационной матрицы наблюдений). ^[3] Тогда нормальные уравнения таковы:${\textstyle S=\sum _{k}\sum _{j}r_{k}W_{kj}r_{j}\,}$

${\displaystyle \left(X^{\textsf {T}}WX\right){\hat {\boldsymbol {\beta }}}=X^{\textsf {T}}W\mathbf {y} .}$

Этот метод используется для метода наименьших квадратов с повторным взвешиванием .

Ошибки параметров и корреляция[ редактировать ]

Оценочные значения параметров представляют собой линейные комбинации наблюдаемых значений.

${\displaystyle {\hat {\boldsymbol {\beta }}}=(X^{\textsf {T}}WX)^{-1}X^{\textsf {T}}W\mathbf {y} .}$

Следовательно, выражение для оцененной матрицы дисперсии-ковариации оценок параметров может быть получено путем распространения ошибки из ошибок в наблюдениях. Пусть ковариационная матрица дисперсии для наблюдений обозначена M, а матрица оцененных параметров - M ^β . потом

${\displaystyle M^{\beta }=\left(X^{\textsf {T}}WX\right)^{-1}X^{\textsf {T}}WMW^{\textsf {T}}X\left(X^{\textsf {T}}W^{\textsf {T}}X\right)^{-1}.}$

Когда W = M ⁻¹ , это упрощается до

${\displaystyle M^{\beta }=\left(X^{\textsf {T}}WX\right)^{-1}.}$

Когда используются единичные веса ( W = I , единичная матрица ), подразумевается, что экспериментальные ошибки некоррелированы и все равны: M = σ ² I , где σ ² - априорная дисперсия наблюдения. В любом случае σ ² аппроксимируется приведенным хи-квадрат :${\displaystyle \chi _{\nu }^{2}}$

${\displaystyle {\begin{aligned}M^{\beta }&=\chi _{\nu }^{2}\left(X^{\textsf {T}}WX\right)^{-1},\\\chi _{\nu }^{2}&=S/\nu ,\end{aligned}}}$

где S - минимальное значение (взвешенной) целевой функции :

${\displaystyle S=r^{\textsf {T}}Wr.}$

Знаменатель, - это количество степеней свободы ; см. эффективные степени свободы для обобщений на случай коррелированных наблюдений.${\displaystyle \nu =n-m}$

Во всех случаях дисперсия оценки параметра определяется как, а ковариация между оценками параметров и определяется как . Стандартное отклонение представляет собой квадратный корень из дисперсии, и коэффициент корреляции задается . Эти оценки ошибок отражают только случайные ошибки в измерениях. Истинная неопределенность параметров больше из-за наличия систематических ошибок , которые по определению не могут быть определены количественно. Обратите внимание, что даже если наблюдения могут быть некоррелированными, параметры обычно коррелированы .${\displaystyle {\hat {\beta }}_{i}}$${\displaystyle M_{ii}^{\beta }}$${\displaystyle {\hat {\beta }}_{i}}$${\displaystyle {\hat {\beta }}_{j}}$${\displaystyle M_{ij}^{\beta }}$${\displaystyle \sigma _{i}={\sqrt {M_{ii}^{\beta }}}}$${\displaystyle \rho _{ij}=M_{ij}^{\beta }/(\sigma _{i}\sigma _{j})}$

Пределы достоверности параметра [ править ]

Часто предполагается , из-за отсутствия каких-либо конкретных доказательств, но часто ссылаясь на центральную предельную теорему - см. Нормальное распределение # Вхождение - что ошибка в каждом наблюдении принадлежит нормальному распределению со средним нулевым и стандартным отклонением . При таком предположении следующие вероятности могут быть получены для оценки одного скалярного параметра в терминах его оцененной стандартной ошибки (приведенной здесь ):${\displaystyle \sigma }$${\displaystyle se_{\beta }}$

68%, что интервал охватывает истинное значение коэффициента${\displaystyle {\hat {\beta }}\pm se_{\beta }}$

95%, что интервал охватывает истинное значение коэффициента${\displaystyle {\hat {\beta }}\pm 2se_{\beta }}$

99%, что интервал охватывает истинное значение коэффициента${\displaystyle {\hat {\beta }}\pm 2.5se_{\beta }}$

Предположение небезосновательно, когда m  >>  n . Если экспериментальные ошибки распределены нормально, параметры будут принадлежать t-распределению Стьюдента с m  -  n степенями свободы . Когда m  ≫  n t-распределение Стьюдента приближается к нормальному распределению. Обратите внимание, однако, что эти доверительные интервалы не могут учитывать систематическую ошибку. Кроме того, ошибки параметров следует указывать только до одной значащей цифры, поскольку они подвержены ошибкам выборки . ^[4]

Когда количество наблюдений относительно невелико, неравенство Чебычева может использоваться для верхней границы вероятностей, независимо от любых предположений о распределении экспериментальных ошибок: максимальной вероятности того, что параметр будет больше 1, 2 или 3 стандартных отклонений. от ожидаемого значения составляют 100%, 25% и 11% соответственно.

Остаточные значения и корреляция [ править ]

Эти остатки связаны с наблюдениями

${\displaystyle \mathbf {\hat {r}} =\mathbf {y} -X{\hat {\boldsymbol {\beta }}}=\mathbf {y} -H\mathbf {y} =(I-H)\mathbf {y} ,}$

где H - идемпотентная матрица, известная как матрица шляпы :

${\displaystyle H=X\left(X^{\textsf {T}}WX\right)^{-1}X^{\textsf {T}}W,}$

а I - единичная матрица . Матрица дисперсии-ковариации остатков M ^r задается выражением

${\displaystyle M^{\mathbf {r} }=(I-H)M(I-H)^{\textsf {T}}.}$

Таким образом, остатки коррелированы, даже если наблюдения не коррелируют.

Когда ,${\displaystyle W=M^{-1}}$

${\displaystyle M^{\mathbf {r} }=(I-H)M.}$

Сумма взвешенных остаточных значений равна нулю, если модельная функция содержит постоянный член. Умножим слева выражение для остатков на X ^T W ^T :

${\displaystyle X^{\textsf {T}}W{\hat {\mathbf {r} }}=X^{\textsf {T}}W\mathbf {y} -X^{\textsf {T}}WX{\hat {\boldsymbol {\beta }}}=X^{\textsf {T}}W\mathbf {y} -\left(X^{\rm {T}}WX\right)\left(X^{\textsf {T}}WX\right)^{-1}X^{\textsf {T}}W\mathbf {y} =\mathbf {0} .}$

Скажем, например, что первый член модели постоянный, так что для всех i . В таком случае следует, что${\displaystyle X_{i1}=1}$

${\displaystyle \sum _{i}^{m}X_{i1}W_{i}{\hat {r}}_{i}=\sum _{i}^{m}W_{i}{\hat {r}}_{i}=0.}$

Таким образом, в мотивационном примере, приведенном выше, тот факт, что сумма остаточных значений равна нулю, не является случайным, а является следствием наличия постоянного члена α в модели.

Если экспериментальная ошибка следует нормальному распределению , то из-за линейной связи между остатками и наблюдениями, то же самое должно быть и с остатками ^[5], но поскольку наблюдения являются лишь выборкой совокупности всех возможных наблюдений, остатки должны принадлежать к категории Стьюдента. t-распределение . Студентизированные остатки полезны при проведении статистического теста на выброс, когда конкретный остаток кажется чрезмерно большим.

См. Также [ править ]

• Метод наименьших квадратов с итеративным перевесом
• Стандартные ошибки, согласованные с гетероскедастичностью
• Средневзвешенное значение

Ссылки [ править ]