Объясненная сумма квадратов

Эта статья поднимает множество проблем. Пожалуйста, помогите улучшить его или обсудите эти проблемы на странице обсуждения . ( Узнайте, как и когда удалить эти сообщения-шаблоны ) Эта статья требует внимания специалиста по статистике . Пожалуйста , добавьте причину в или разговоре параметр для этого шаблона , чтобы объяснить проблему с статьей. WikiProject Statistics может помочь нанять эксперта. ( Сентябрь 2009 г. ) Эта статья включает в себя список общих ссылок , но он остается в значительной степени непроверенным, поскольку в нем отсутствует достаточное количество соответствующих встроенных ссылок . Пожалуйста, помогите улучшить эту статью, добавив более точные цитаты. ( Декабрь 2010 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения ) ( Узнайте, как и когда удалить этот шаблон сообщения )

В статистике , то объяснил сумму квадратов (ESS), в качестве альтернативы известный как модель суммы квадратов или суммы квадратов из - за регресса ( «ССР» - не следует путать с остаточной суммой квадратов RSS или суммы квадратов ошибок) , - величина, используемая для описания того, насколько хорошо модель, часто регрессионная , представляет моделируемые данные. В частности, объясненная сумма квадратов измеряет, насколько вариативны смоделированные значения, и сравнивается с общей суммой квадратов (TSS), которая измеряет, насколько вариативны наблюдаемые данные, и с остаточной суммой квадраты, который измеряет разброс ошибки между наблюдаемыми данными и смоделированными значениями.

Определение [ править ]

Объяснено сумма квадратов (ЕСС) представляет собой сумму квадратов отклонений прогнозируемых значений от среднего значения переменного отклика, в стандартной регрессионной модели - например, у _я = + Ь ₁ х _{1 я} + b ₂ x _{2 i} + ... + ε _i , где y _i - i- ^е наблюдение переменной ответа , x _ji - i- ^е наблюдение j- ^го объясняющая переменная , a и b _j - коэффициенты , i индексирует наблюдения от 1 до n , а ε _i - i-  ^е значение члена ошибки . В целом, чем больше ESS, тем лучше работает оценочная модель.

Если и - оценочные коэффициенты , то${\ Displaystyle {\ шляпа {а}}}$${\ displaystyle {\ hat {b}} _ {i}}$

${\ displaystyle {\ hat {y}} _ {i} = {\ hat {a}} + {\ hat {b}} _ {1} x_ {1i} + {\ hat {b}} _ {2} х_ {2i} + \ cdots \,}$

- i-  ^е прогнозируемое значение переменной ответа. ESS тогда:

${\ displaystyle {\ text {ESS}} = \ sum _ {i = 1} ^ {n} \ left ({\ hat {y}} _ {i} - {\ bar {y}} \ right) ^ { 2}.}$

где значение, оцениваемое линией регрессии. ^[1]${\ displaystyle {\ hat {y}} _ {i}}$

В некоторых случаях (см. Ниже): общая сумма квадратов (TSS) =  объясненная сумма квадратов  (ESS) +  остаточная сумма квадратов ( RSS ).

Разбиение в простой линейной регрессии [ править ]

Следующее равенство, гласящее, что общая сумма квадратов (TSS) равна остаточной сумме квадратов (= SSE: сумма квадратов ошибок предсказания) плюс объясненная сумма квадратов (SSR: сумма квадратов из-за регрессии или объясненных сумма квадратов), как правило, верно в простой линейной регрессии:

${\ displaystyle \ sum _ {i = 1} ^ {n} \ left (y_ {i} - {\ bar {y}} \ right) ^ {2} = \ sum _ {i = 1} ^ {n} \ left (y_ {i} - {\ hat {y}} _ {i} \ right) ^ {2} + \ sum _ {i = 1} ^ {n} \ left ({\ hat {y}} _ {i} - {\ bar {y}} \ right) ^ {2}.}$

Простой вывод [ править ]

${\ displaystyle {\ begin {align} (y_ {i} - {\ bar {y}}) = (y_ {i} - {\ hat {y}} _ {i}) + ({\ hat {y} } _ {i} - {\ bar {y}}). \ end {align}}}$

Возведите обе стороны в квадрат и просуммируйте по всем i :

${\displaystyle \sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}=\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}+\sum _{i=1}^{n}({\hat {y}}_{i}-{\bar {y}})^{2}+\sum _{i=1}^{n}2({\hat {y}}_{i}-{\bar {y}})(y_{i}-{\hat {y}}_{i}).}$

Вот как последний член выше равен нулю из простой линейной регрессии ^[2]

${\displaystyle {\hat {y_{i}}}={\hat {a}}+{\hat {b}}x_{i}}$

${\displaystyle {\bar {y}}={\hat {a}}+{\hat {b}}{\bar {x}}}$

${\displaystyle {\hat {b}}={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}}$

Так,

${\displaystyle {\hat {y_{i}}}-{\bar {y}}={\hat {b}}(x_{i}-{\bar {x}})}$

${\displaystyle y_{i}-{\hat {y}}_{i}=(y_{i}-{\bar {y}})-({\hat {y}}_{i}-{\bar {y}})=(y_{i}-{\bar {y}})-{\hat {b}}(x_{i}-{\bar {x}})}$

Следовательно,

${\displaystyle {\begin{aligned}&\sum _{i=1}^{n}2({\hat {y}}_{i}-{\bar {y}})(y_{i}-{\hat {y}}_{i})=2{\hat {b}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\hat {y}}_{i})\\[4pt]={}&2{\hat {b}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})((y_{i}-{\bar {y}})-{\hat {b}}(x_{i}-{\bar {x}}))\\[4pt]={}&2{\hat {b}}\left(\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})-\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}{\frac {\sum _{j=1}^{n}(x_{j}-{\bar {x}})(y_{j}-{\bar {y}})}{\sum _{j=1}^{n}(x_{j}-{\bar {x}})^{2}}}\right)\\[4pt]={}&2{\hat {b}}(0)=0\end{aligned}}}$

Разбиение в общей обычной модели наименьших квадратов [ править ]

Общая регрессионная модель с n наблюдениями и k объяснителями, первый из которых представляет собой постоянный единичный вектор, коэффициент которого является пересечением регрессии, является

${\displaystyle y=X\beta +e}$

где y - вектор наблюдений зависимой переменной размера n × 1, каждый столбец матрицы X размера n × k - вектор наблюдений на одном из k объяснителей, - вектор истинных коэффициентов k × 1, а e - размер n × 1 вектор истинных основных ошибок. В обычный метод наименьших квадратов Оценщик IS${\displaystyle \beta }$${\displaystyle \beta }$

${\displaystyle {\hat {\beta }}=(X^{T}X)^{-1}X^{T}y.}$

Остаточный вектор равен , поэтому остаточная сумма квадратов после упрощения равна${\displaystyle {\hat {e}}}$${\displaystyle y-X{\hat {\beta }}=y-X(X^{T}X)^{-1}X^{T}y}$${\displaystyle {\hat {e}}^{T}{\hat {e}}}$

${\displaystyle RSS=y^{T}y-y^{T}X(X^{T}X)^{-1}X^{T}y.}$

Обозначим как постоянный вектор, все элементы которого являются выборочным средним значений зависимой переменной в векторе y . Тогда общая сумма квадратов равна${\displaystyle {\bar {y}}}$${\displaystyle y_{m}}$

${\displaystyle TSS=(y-{\bar {y}})^{T}(y-{\bar {y}})=y^{T}y-2y^{T}{\bar {y}}+{\bar {y}}^{T}{\bar {y}}.}$

Объясненная сумма квадратов, определяемая как сумма квадратов отклонений предсказанных значений от наблюдаемого среднего значения y , равна

${\displaystyle ESS=({\hat {y}}-{\bar {y}})^{T}({\hat {y}}-{\bar {y}})={\hat {y}}^{T}{\hat {y}}-2{\hat {y}}^{T}{\bar {y}}+{\bar {y}}^{T}{\bar {y}}.}$

Использование в этом и упрощение получения дает результат, что TSS = ESS + RSS тогда и только тогда, когда . Левая часть от этого умножается на сумму элементов y , а правая часть умножается на сумму элементов , поэтому условие состоит в том, что сумма элементов y равна сумме элементов , или, что эквивалентно что сумма ошибок предсказания (остатков) равна нулю. В этом можно убедиться, отметив хорошо известное свойство OLS, что вектор k × 1 : поскольку первый столбец X${\displaystyle {\hat {y}}=X{\hat {\beta }}}$${\displaystyle {\hat {y}}^{T}{\hat {y}}=y^{T}X(X^{T}X)^{-1}X^{T}y}$${\displaystyle y^{T}{\bar {y}}={\hat {y}}^{T}{\bar {y}}}$${\displaystyle y_{m}}$${\displaystyle y_{m}}$${\displaystyle {\hat {y}}}$${\displaystyle {\hat {y}}}$${\displaystyle y_{i}-{\hat {y}}_{i}}$${\displaystyle X^{T}{\hat {e}}=X^{T}[I-X(X^{T}X)^{-1}X^{T}]y=0}$- вектор единиц, первый элемент этого вектора представляет собой сумму остатков и равен нулю. Это доказывает выполнение условия TSS = ESS + RSS .${\displaystyle X^{T}{\hat {e}}}$

В линейных терминах алгебры, мы имеем , , . Доказательство можно упростить, отметив это . Доказательство таково:${\displaystyle RSS=\|y-{\hat {y}}\|^{2}}$${\displaystyle TSS=\|y-{\bar {y}}\|^{2}}$${\displaystyle ESS=\|{\hat {y}}-{\bar {y}}\|^{2}}$${\displaystyle y^{T}{\hat {y}}={\hat {y}}^{T}y}$

${\displaystyle y^{T}{\hat {y}}=y^{T}X(X^{T}X)^{-1}X^{T}X(X^{T}X)^{-1}X^{T}y=y^{T}X(X^{T}X)^{-1}X^{T}y={\hat {y}}^{T}y,}$

Таким образом,

${\displaystyle {\begin{aligned}TSS&=\|y-{\bar {y}}\|^{2}=\|y-{\hat {y}}+{\hat {y}}-{\bar {y}}\|^{2}\\&=\|y-{\hat {y}}\|^{2}+\|{\hat {y}}-{\bar {y}}\|^{2}+2<y-{\hat {y}},{\hat {y}}-{\bar {y}}>\\&=RSS+ESS+2y^{T}{\hat {y}}-2{\hat {y}}^{T}{\hat {y}}-2y^{T}{\bar {y}}+2{\hat {y}}^{T}{\bar {y}}\\&=RSS+ESS-2y^{T}{\bar {y}}+2{\hat {y}}^{T}{\bar {y}}\end{aligned}}}$

что снова дает результат TSS = ESS + RSS , поскольку .${\displaystyle (y-{\hat {y}})^{T}{\bar {y}}=0}$

См. Также [ править ]

• Сумма квадратов (статистика)
• Неподходящая сумма квадратов
• Необъяснимая доля дисперсии

Заметки [ править ]

Ссылки [ править ]

• С. Е. Максвелл и HD Делани (1990), "Планирование экспериментов и анализ данных: перспектива сравнения моделей". Уодсворт. С. 289–290.
• Г.А. Милликен и Д.Е. Джонсон (1984), "Анализ неаккуратных данных", Vol. Я: Спланированные эксперименты. Ван Ностранд Рейнхольд. С. 146–151.
• Табачник Б.Г. и Фиделл Л.С. (2007), "Экспериментальный дизайн с использованием дисперсионного анализа". Даксбери. п. 220.
• Табачник Б.Г. и Фиделл Л.С. (2007), "Использование многомерной статистики", 5-е изд. Pearson Education. С. 217–218.