Коэффициент детерминации

Эта статья может быть дополнена текстом, переведенным из соответствующей статьи на немецком языке . (Сентябрь 2019 г.) Щелкните [показать] для получения важных инструкций по переводу. Посмотреть машинный перевод статьи на немецкий язык. Машинный перевод, такой как DeepL или Google Translate, является полезной отправной точкой для переводов, но переводчики должны исправлять ошибки по мере необходимости и подтверждать точность перевода, а не просто копировать и вставлять переведенный машинный текст в английскую Википедию. Не переводите текст, который кажется ненадежным или некачественным. Если возможно, сверьте текст со ссылками, приведенными в статье на иностранном языке. Вы должны указать авторские права в сводке редактирования, прилагаемой к вашему переводу, предоставив межъязыковую ссылку на источник вашего перевода. Сводка редактирования атрибуции моделиContent in this edit is translated from the existing German Wikipedia article at [[:de:Bestimmtheitsmaß]]; see its history for attribution. Вам также следует добавить шаблон {{Translated|de|Bestimmtheitsmaß}}на страницу обсуждения . Дополнительные инструкции см. В Википедии: Перевод .

Регрессия закона Окуня по методу наименьших квадратов . Поскольку линия регрессии не сильно пропускает ни одну из точек, R ² регрессии относительно высок.

Сравнение оценки Тейла – Сена (черный) и простой линейной регрессии (синий) для набора точек с выбросами . Из-за множества выбросов ни одна из линий регрессии не соответствует данным хорошо, что измеряется тем фактом, что ни одна из них не дает очень высокого R ² .

В статистике , то коэффициент детерминации , обозначенный R ² или R ² и выраженный «R квадрат», является доля дисперсии в зависимой переменной , которая является предсказуемым от независимой переменной (ов).

Это статистика, используемая в контексте статистических моделей , основной целью которых является прогнозирование будущих результатов или проверка гипотез на основе другой связанной информации. Он обеспечивает меру того, насколько хорошо наблюдаемые результаты воспроизводятся моделью, на основе доли общей вариации результатов, объясняемой моделью. ^{[1] [2] [3]}

Есть несколько определений R ² , которые только иногда эквивалентны. Один класс таких случаев включает в себя , что из простой линейной регрессии , где R ² используется вместо R ² . Когда включается точка пересечения, тогда r ² является просто квадратом выборочного коэффициента корреляции (т. Е. R ) между наблюдаемыми результатами и наблюдаемыми значениями предиктора. ^[4] Если включены дополнительные регрессоры , R ² представляет собой квадрат коэффициента множественной корреляции.. В обоих случаях коэффициент детерминации обычно находится в диапазоне от 0 до 1.

Бывают случаи, когда вычислительное определение R ² может давать отрицательные значения, в зависимости от используемого определения. Это может возникнуть, если прогнозы, которые сравниваются с соответствующими результатами, не были получены в результате процедуры подгонки модели с использованием этих данных. Даже если была использована процедура подгонки модели, R ² все еще может быть отрицательным, например, когда линейная регрессия проводится без включения точки пересечения ^[5] или когда для подгонки данных используется нелинейная функция. ^[6] В случаях, когда возникают отрицательные значения, среднее значение данных обеспечивает лучшее соответствие результатам, чем значения подобранной функции, согласно этому конкретному критерию.

При оценке степени согласия смоделированных ( Y _pred ) и измеренных ( Y _obs ) значений нецелесообразно основывать это на R ² линейной регрессии (т. _Е. Y _obs = m · Y _pred + b ). R ² квантифицирует степень любой линейной корреляции между Y _набла и Y _преда , в то время как для оценки совершенства-в-годен только один конкретных линейной корреляции следует принимать во внимание: У _набли = 1 · Y _пред + 0 (т.е. 1: 1 строка). ^[7][8]

Определения [ править ]

${\ displaystyle R ^ {2} = 1 - {\ frac {\ color {blue} {SS _ {\ text {res}}}} {\ color {red} {SS _ {\ text {tot}}}}}}}$
Чем лучше линейная регрессия (справа) соответствует данным по сравнению с простым средним (на левом графике), тем ближе значение к 1. Области синих квадратов представляют собой квадраты остатков по отношению к линейной регресс. Области красных квадратов представляют собой квадраты остатков относительно среднего значения.${\ displaystyle R ^ {2}}$

Набор данных имеет n значений, отмеченных y ₁ , ..., y _n (вместе известных как y _i или как вектор y = [ y ₁ , ..., y _n ] ^T ), каждое из которых связано с подобранным (или смоделированным) , или предсказанное) значение f ₁ , ..., f _n (известное как f _i , или иногда ŷ _i , как вектор f ).

Определим остатки как e _i = y _i - f _i (образуя вектор e ).

Если - среднее значение наблюдаемых данных:${\ displaystyle {\ bar {y}}}$

${\ displaystyle {\ bar {y}} = {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} y_ {i}}$

тогда изменчивость набора данных может быть измерена двумя формулами сумм квадратов :

• Общая сумма квадратов (пропорционально дисперсии полученных данных):

${\ displaystyle SS _ {\ text {tot}} = \ sum _ {i} (y_ {i} - {\ bar {y}}) ^ {2}}$

• Сумма квадратов остатков, также называемая остаточной суммой квадратов :

${\ displaystyle SS _ {\ text {res}} = \ sum _ {i} (y_ {i} -f_ {i}) ^ {2} = \ sum _ {i} e_ {i} ^ {2} \, }$

Наиболее общее определение коэффициента детерминации:

${\ displaystyle R ^ {2} = 1- {SS _ {\ rm {res}} \ over SS _ {\ rm {tot}}} \,}$

В лучшем случае смоделированные значения точно совпадают с наблюдаемыми, что приводит к и . Базовая модель, которая всегда предсказывает , будет иметь . Модели, которые имеют худшие прогнозы, чем этот базовый уровень, будут иметь отрицательный результат .${\ displaystyle SS _ {\ text {res}} = 0}$${\ Displaystyle R ^ {2} = 1}$${\ displaystyle {\ bar {y}}}$${\ displaystyle R ^ {2} = 0}$${\ displaystyle R ^ {2}}$

Связь с необъяснимой дисперсией [ править ]

В общем виде можно увидеть , что R ² связан с долей необъяснимой дисперсии (FVU), поскольку второй член сравнивает необъяснимую дисперсию (дисперсию ошибок модели) с общей дисперсией (данных):

${\ displaystyle R ^ {2} = 1 - {\ text {FVU}}}$

Как объяснено отклонение [ править ]

Предположим, что R ² = 0,49. Это означает, что 49% изменчивости зависимой переменной было учтено, а остальные 51% изменчивости все еще не учтены. В некоторых случаях общая сумма квадратов равна сумме двух других сумм квадратов, определенных выше,

Если регрессионная сумма квадратов, также называемая объясненной суммой квадратов , определяется как:

${\ displaystyle SS _ {\ text {reg}} = \ sum _ {i} (f_ {i} - {\ bar {y}}) ^ {2}}$

тогда

${\displaystyle SS_{\text{res}}+SS_{\text{reg}}=SS_{\text{tot}}}$

См. Раздел Разбиение в общей модели OLS для вывода этого результата для одного случая, когда соотношение выполняется. Когда это отношение делает захват, приведенное выше определение R ² эквивалентно

${\displaystyle R^{2}={\frac {SS_{\text{reg}}}{SS_{\text{tot}}}}={\frac {SS_{\text{reg}}/n}{SS_{\text{tot}}/n}}}$

где n - количество наблюдений (наблюдений) по переменным.

В этой форме R ² выражается как отношение объясненной дисперсии (дисперсия прогнозов модели, которая является SS _reg / n ) к общей дисперсии (выборочная дисперсия зависимой переменной, которая равна SS _tot / n ).

Такое разбиение суммы квадратов имеет место, например, когда значения модели ƒ _i были получены с помощью линейной регрессии . Более мягкое достаточное условие гласит: Модель имеет вид

${\displaystyle f_{i}={\widehat {\alpha }}+{\widehat {\beta }}q_{i}\,}$

где q _i - произвольные значения, которые могут зависеть или не зависеть от i или других свободных параметров (общий выбор q _i  =  x _i является лишь одним частным случаем), а оценки коэффициентов и получаются путем минимизации остаточной суммы квадратов .${\displaystyle {\widehat {\alpha }}}$${\displaystyle {\widehat {\beta }}}$

Этот набор условий является важным и имеет ряд последствий для свойств подобранных остатков и смоделированных значений. В частности, в этих условиях:

${\displaystyle {\bar {f}}={\bar {y}}.\,}$

Коэффициент корреляции в квадрате [ править ]

В линейной множественной регрессии методом наименьших квадратов с предполагаемым членом пересечения R ² равняется квадрату коэффициента корреляции Пирсона между наблюдаемыми и смоделированными (предсказанными) значениями данных зависимой переменной.${\displaystyle y}$${\displaystyle f}$

В линейной регрессии по методу наименьших квадратов с перехватываемым членом и одним объяснителем это также равно квадрату коэффициента корреляции Пирсона зависимой переменной и независимой переменной.${\displaystyle y}$${\displaystyle x.}$

Его не следует путать с коэффициентом корреляции между двумя оценками, определяемым как

${\displaystyle \rho _{{\widehat {\alpha }},{\widehat {\beta }}}={\operatorname {cov} \left({\widehat {\alpha }},{\widehat {\beta }}\right) \over \sigma _{\widehat {\alpha }}\sigma _{\widehat {\beta }}},}$

где ковариация между двумя оценками коэффициентов, а также их стандартные отклонения получены из ковариационной матрицы оценок коэффициентов.

В более общих условиях моделирования, когда предсказанные значения могут быть сгенерированы из модели, отличной от линейной регрессии методом наименьших квадратов, значение R ² может быть вычислено как квадрат коэффициента корреляции между исходными и смоделированными значениями данных. В этом случае значение не является непосредственно мерой того, насколько хороши смоделированные значения, а скорее мерой того, насколько хороший предиктор может быть построен на основе смоделированных значений (путем создания пересмотренного предиктора в форме α  +  βƒ _i ). ^{[ необходима цитата ]} Согласно Эверитту (стр. 78), ^[9]${\displaystyle y}$${\displaystyle f}$ это использование, в частности, определение термина «коэффициент детерминации»: квадрат корреляции между двумя (общими) переменными.

Интерпретация [ править ]

R ² - это статистика, которая дает некоторую информацию о степени соответствия модели. В регрессии коэффициент детерминации R ² является статистической мерой того, насколько хорошо прогнозы регрессии соответствуют реальным точкам данных. R ² 1 указывает на то, что предсказания регрессии идеально подходят данные.

Значения R ² вне диапазона от 0 до 1 могут возникать, когда модель соответствует данным хуже, чем горизонтальная гиперплоскость. Это могло произойти, если была выбрана неправильная модель или по ошибке были применены бессмысленные ограничения. Если используется уравнение 1 Кволсета ^[10] (это уравнение используется чаще всего), R ² может быть меньше нуля. Если используется уравнение 2 Квалсета, R ² может быть больше единицы.

Во всех случаях, когда используется R ² , предикторы вычисляются с помощью обычной регрессии наименьших квадратов : то есть путем минимизации SS _res . В этом случае, R ² увеличивается как число переменных в модели увеличивается ( R ² является монотонно возрастающей с числом переменных , включенных-она никогда не будет уменьшаться). Это иллюстрирует недостаток одного из возможных вариантов использования R ² , когда можно продолжать добавлять переменные ( регрессия кухонной мойки ) для увеличения R ^2.ценить. Например, если кто-то пытается спрогнозировать продажи модели автомобиля по расходу бензина, цене и мощности двигателя, можно включить такие несущественные факторы, как первая буква названия модели или рост ведущего инженера, занимающегося проектированием. автомобиль, потому что R ² никогда не будет уменьшаться при добавлении переменных и, вероятно, будет увеличиваться только благодаря случайности.

Это приводит к альтернативному подходу , глядя на скорректированном R 2 . Объяснение этой статистики почти такое же, как и у R ^2, но ухудшает статистику, поскольку в модель включены дополнительные переменные. Для случаев, отличных от аппроксимации методом наименьших квадратов, статистику R ² можно рассчитать, как указано выше, и она все еще может быть полезной мерой. Если фитинг с помощью взвешенных наименьших квадратов или обобщенных наименьших квадратов , альтернативные варианты R ² могут быть вычислены , соответствующие этим статистическими системами, в то время как «сырые» R ² может все еще быть полезным , если он более легко интерпретировать. Ценности дляR ² можно рассчитать для любого типа прогнозной модели, которая не обязательно должна иметь статистическую основу.

В многомерной линейной модели [ править ]

Рассмотрим линейную модель с более чем одной независимой переменной вида

${\displaystyle Y_{i}=\beta _{0}+\sum _{j=1}^{p}\beta _{j}X_{i,j}+\varepsilon _{i},}$

где для i- го случая - переменная отклика, - p регрессоров, и - средний член нулевой ошибки . Величины представляют собой неизвестные коэффициенты, значения которых оцениваются методом наименьших квадратов . Коэффициент детерминации R ² является мерой глобального соответствия модели. В частности, R ² представляет собой элемент [0, 1] и представляет собой долю изменчивости Y _я , которые могут быть отнесены к некоторой линейной комбинации регрессоров ( объясняющие переменные ) в X . ^[11]${\displaystyle {Y_{i}}}$${\displaystyle X_{i,1},\dots ,X_{i,p}}$${\displaystyle \varepsilon _{i}}$${\displaystyle \beta _{0},\dots ,\beta _{p}}$

R ² часто интерпретируется как доля вариации отклика «объяснено» с помощью регрессоров в модели. Таким образом, R ²  = 1 указывает, что подобранная модель объясняет всю изменчивость, в то время как R ²  = 0 указывает на отсутствие `` линейной '' зависимости (для прямой регрессии это означает, что модель прямой линии является постоянной линией (наклон = 0, точка пересечения =  ) между переменной ответа и регрессорами). Внутреннее значение, такое как R ²  = 0,7, можно интерпретировать следующим образом: «Семьдесят процентов дисперсии в переменной ответа можно объяснить независимыми переменными. Остальные тридцать процентов можно отнести к неизвестным скрытым переменным.${\displaystyle y}$${\displaystyle {\bar {y}}}$ или присущая изменчивость ".

Предупреждение, которое относится к R ² , как и к другим статистическим описаниям корреляции и ассоциации, заключается в том, что « корреляция не подразумевает причинно-следственную связь ». Другими словами, хотя корреляции могут иногда давать ценные ключи к раскрытию причинно-следственных связей между переменными, ненулевая оценочная корреляция между двумя переменными сама по себе не свидетельствует о том, что изменение значения одной переменной приведет к изменениям в значениях переменных. другие переменные. Например, практика ношения спичек (или зажигалки) коррелирует с заболеваемостью раком легких, но ношение спичек не вызывает рак (в стандартном смысле слова «причина»).

В случае единственного регрессора, аппроксимируемого методом наименьших квадратов, R ² является квадратом коэффициента корреляции произведение-момент Пирсона, связывающего регрессор и переменную отклика. В более общем смысле R ² - это квадрат корреляции между построенным предиктором и переменной ответа. При более чем одном регрессоре R ² можно назвать коэффициентом множественной детерминации .

Инфляция R ² [ редактировать ]

В регрессии методом наименьших квадратов с использованием типичных данных R ² , по крайней мере, слабо увеличивается с увеличением числа регрессоров в модели. Поскольку увеличение числа регрессоров увеличивает значение R ² , R ^{2 сам по} себе не может использоваться в качестве значимого сравнения моделей с очень разным количеством независимых переменных. Для значимого сравнения двух моделей можно выполнить F-тест на остаточной сумме квадратов , аналогичный F-тесту в причинности Грейнджера , хотя это не всегда уместно. Напоминая об этом, некоторые авторы обозначают R ² через R_q ² , где q - количество столбцов в X (количество пояснителей, включая константу).

Чтобы продемонстрировать это свойство, сначала напомним, что цель линейной регрессии наименьших квадратов

${\displaystyle \min _{b}SS_{\text{res}}(b)\Rightarrow \min _{b}\sum _{i}(y_{i}-X_{i}b)^{2}\,}$

где X _i - вектор-строка значений объясняющих переменных для случая i, а b - вектор-столбец коэффициентов соответствующих элементов X _i .

Оптимальное значение цели немного меньше по мере того, как добавляются дополнительные объясняющие переменные и, следовательно, добавляются дополнительные столбцы (матрица пояснительных данных, i- я строка которой равна X _i ) из-за того, что менее ограниченная минимизация приводит к оптимальной стоимости, которая составляет слабо меньше, чем делает более ограниченная минимизация. Учитывая предыдущий вывод и отмечая, что это зависит только от y , свойство неубывания R ² следует непосредственно из определения выше.${\displaystyle X}$${\displaystyle SS_{tot}}$

Интуитивная причина того, что использование дополнительной независимой переменной не может снизить R ^2, заключается в следующем: минимизация эквивалентна максимальному увеличению R ² . Когда добавляется дополнительная переменная, у данных всегда есть возможность присвоить ей оценочный коэффициент, равный нулю, оставив прогнозируемые значения и R ² без изменений. Единственный способ, которым задача оптимизации даст ненулевой коэффициент, - это улучшить R ² .${\displaystyle SS_{\text{res}}}$

Предостережения [ править ]

R ² не указывает:

• независимые переменные являются причиной изменений зависимой переменной ;
• существует систематическая ошибка пропущенной переменной ;
• использовалась правильная регрессия ;
• выбран наиболее подходящий набор независимых переменных;
• есть коллинеарности присутствует в данных по объясняющих переменных;
• модель может быть улучшена путем использования преобразованных версий существующего набора независимых переменных;
• есть достаточно данных, чтобы сделать твердый вывод.

Расширения [ править ]

Скорректированный R ² [ править ]

Использование скорректированного R ² (один общий нотации , произносится как «R - бар в квадрате», а другой является ) является попыткой учета для феномена R ² автоматически и поддельно увеличивается , когда дополнительные объясняющие переменные добавляются в модель. Созданный Анри Тейлом , это модификация R ^2, которая регулирует количество пояснительных терминов в модели ( ) относительно количества точек данных ( ). ^[12] Скорректированный R ² определяется как${\displaystyle {\bar {R}}^{2}}$${\displaystyle R_{\text{adj}}^{2}}$${\displaystyle p}$${\displaystyle n}$

${\displaystyle {\bar {R}}^{2}=1-(1-R^{2}){n-1 \over n-p-1}}$

где p - общее количество независимых переменных в модели (не включая постоянный член), а n - размер выборки. Его также можно записать как:

${\displaystyle {\bar {R}}^{2}={1-{SS_{\text{res}}/{\text{df}}_{e} \over SS_{\text{tot}}/{\text{df}}_{t}}}}$

где df _t - степени свободы n  - 1 оценки дисперсии генеральной совокупности зависимой переменной, а df _e - степени свободы n  -  p  - 1 оценки базовой дисперсии ошибки генеральной совокупности.

Скорректированный R ² может быть отрицательным, и его значение всегда будет меньше или равно значению R ² . В отличие от R ² , скорректированный R ² увеличивается только тогда, когда увеличение R ² (из-за включения новой объясняющей переменной) больше, чем можно было бы ожидать увидеть случайно. Если набор объясняющих переменных с заранее определенной иерархией важности вводится в регрессию по одной, при каждом вычислении скорректированного R ² , уровень, на котором скорректированный R ² достигает максимума, а затем уменьшается, была бы регрессия с идеальной комбинацией наилучшего соответствия без лишних / ненужных терминов.

Скорректированный R ² можно интерпретировать как несмещенную (или менее смещенную) оценку совокупности R ² , тогда как наблюдаемая выборка R ² является положительно смещенной оценкой значения совокупности. ^[13] Скорректированный R ² более уместен при оценке соответствия модели (дисперсия в зависимой переменной, учитываемой независимыми переменными) и при сравнении альтернативных моделей на этапе выбора характеристик при построении модели. ^[13]

Принцип, лежащий в основе скорректированной статистики R ^2, можно увидеть, переписав обычное R ² как

${\displaystyle R^{2}={1-{{\textit {VAR}}_{\text{res}} \over {\textit {VAR}}_{\text{tot}}}}}$

где и - выборочные дисперсии оцененных остатков и зависимой переменной, соответственно, которые можно рассматривать как смещенные оценки дисперсий генеральной совокупности ошибок и зависимой переменной. Эти оценки заменены статистически несмещенными версиями: и .${\displaystyle {\text{VAR}}_{\text{res}}=SS_{\text{res}}/n}$${\displaystyle {\text{VAR}}_{\text{tot}}=SS_{\text{tot}}/n}$${\displaystyle {\text{VAR}}_{\text{res}}=SS_{\text{res}}/(n-p-1)}$${\displaystyle {\text{VAR}}_{\text{tot}}=SS_{\text{tot}}/(n-1)}$

Коэффициент частичной детерминации [ править ]

Коэффициент частичной детерминации можно определить как долю вариации, которая не может быть объяснена в сокращенной модели, но может быть объяснена предикторами, указанными в полной (er) модели. ^{[14] [15] [16]} Этот коэффициент используется для понимания того, могут ли один или несколько дополнительных предикторов быть полезными в более полностью определенной регрессионной модели.

Расчет для частичного R ² является относительно простым после того, как две модели оценки и генерации ANOVA таблиц для них. Расчет для частичного R ² IS

${\displaystyle {\frac {SS_{\text{ res, reduced}}-SS_{\text{ res, full}}}{SS_{\text{ res, reduced}}}},}$

который аналогичен обычному коэффициенту детерминации:

${\displaystyle {\frac {SS_{\text{tot}}-SS_{\text{res}}}{SS_{\text{tot}}}}.}$

Обобщая и разложения R ^{2 [17]} [ править ]

Как объяснялось выше, эвристика выбора модели, такая как скорректированный критерий и F-тест, проверяет, достаточно ли увеличивается общая сумма, чтобы определить, следует ли добавить в модель новый регрессор. Если к модели добавлен регрессор, который сильно коррелирует с другими регрессорами, которые уже были включены, то итоговое значение вряд ли увеличится, даже если новый регрессор будет актуальным. В результате вышеупомянутые эвристики будут игнорировать соответствующие регрессоры, когда взаимная корреляция высока. ${\displaystyle R^{2}}$${\displaystyle R^{2}}$${\displaystyle R^{2}}$

Геометрическое изображение .${\displaystyle r^{2}}$

В качестве альтернативы можно разложить обобщенную версию, чтобы количественно оценить релевантность отклонения от гипотезы. ^[17] Как показывает Хорнвег (2018), несколько оценок усадки - такие как байесовская линейная регрессия , гребневая регрессия и (адаптивное) лассо - используют это разложение, когда они постепенно сокращают параметры из неограниченных решений МНК в сторону предполагаемых значений. . Сначала определим модель линейной регрессии как ${\displaystyle R^{2}}$${\displaystyle R^{2}}$

${\displaystyle y=X\beta +\varepsilon .}$

Предполагается, что матрица стандартизирована с Z-оценками и что вектор-столбец центрирован так, чтобы иметь нулевое среднее значение. Пусть вектор-столбец относится к предполагаемым параметрам регрессии, а вектор-столбец обозначает предполагаемые параметры. Затем мы можем определить ${\displaystyle X}$${\displaystyle y}$${\displaystyle \beta _{0}}$${\displaystyle b}$

${\displaystyle R^{2}=1-{\frac {(y-Xb)'(y-Xb)}{(y-X\beta _{0})'(y-X\beta _{0})}}.}$

Значение 75% означает, что точность внутри выборки улучшается на 75%, если вместо предполагаемых значений используются решения, оптимизированные для данных . В частном случае, когда вектор нулей, мы снова получаем традиционное . ${\displaystyle R^{2}}$${\displaystyle b}$${\displaystyle \beta _{0}}$${\displaystyle \beta _{0}}$${\displaystyle R^{2}}$

Индивидуальный эффект отклонения от гипотезы можно вычислить с помощью («R-внешний»). На этот раз матрица имеет вид${\displaystyle R^{2}}$${\displaystyle R^{\otimes }}$${\displaystyle p}$${\displaystyle p}$

${\displaystyle R^{\otimes }=(X'{\tilde {y}}_{0})(X'{\tilde {y}}_{0})'(X'X)^{-1}({\tilde {y}}_{0}'{\tilde {y}}_{0})^{-1},}$

где . Сумма диагональных элементов ровно равна . Если регрессоры не коррелированы и представляют собой вектор нулей, то диагональный элемент просто соответствует значению между и . Когда регрессоры и коррелированы, может увеличиваться за счет уменьшения . В результате диагональные элементы могут быть меньше 0 и, в более исключительных случаях, больше 1. Чтобы справиться с такой неопределенностью, несколько оценщиков усадки неявно принимают средневзвешенное значение диагональных элементов, чтобы количественно оценить релевантность отклонения от предполагаемое значение. ^[17] Щелкните по лассо${\displaystyle {\tilde {y}}_{0}=y-X\beta _{0}}$${\displaystyle R^{\otimes }}$${\displaystyle R^{2}}$${\displaystyle \beta _{0}}$${\displaystyle j^{\text{th}}}$${\displaystyle R^{\otimes }}$${\displaystyle r^{2}}$${\displaystyle x_{j}}$${\displaystyle y}$${\displaystyle x_{i}}$${\displaystyle x_{j}}$${\displaystyle R_{ii}^{\otimes }}$${\displaystyle R_{jj}^{\otimes }}$${\displaystyle R^{\otimes }}$${\displaystyle R^{\otimes }}$ для примера.

R ² в логистической регрессии [ править ]

В случае логистической регрессии , обычно подходящей по максимальной вероятности , есть несколько вариантов псевдо-R 2 .

Одним из них является обобщенной R ² , первоначально предложенной Cox & Snell, ^[18] и независимо друг от друга Magee: ^[19]

${\displaystyle R^{2}=1-\left({{\mathcal {L}}(0) \over {\mathcal {L}}({\widehat {\theta }})}\right)^{2/n}}$

где - вероятность модели только с пересечением, - вероятность оцениваемой модели (т. е. модели с заданным набором оценок параметров), а n - размер выборки. Его легко переписать на:${\displaystyle {\mathcal {L}}(0)}$${\displaystyle {{\mathcal {L}}({\widehat {\theta }})}}$

${\displaystyle R^{2}=1-e^{{\frac {2}{n}}(\ln({\mathcal {L}}(0))-\ln({\mathcal {L}}({\widehat {\theta }}))}=1-e^{-D/n}}$

где D - тестовая статистика теста отношения правдоподобия .

Нагелькерке ^[20] отметил, что он обладает следующими свойствами:

1. Это согласуется с классическим коэффициентом детерминации, когда оба могут быть вычислены;
2. Его значение максимизируется оценкой максимального правдоподобия модели;
3. Он асимптотически не зависит от размера выборки;
4. Интерпретация - это доля вариации, объясняемая моделью;
5. Значения находятся между 0 и 1, где 0 означает, что модель не объясняет никаких вариаций, а 1 означает, что она полностью объясняет наблюдаемые вариации;
6. У него нет единицы.

Однако в случае логистической модели, где не может быть больше 1, R ² находится между 0 и : таким образом, Нагелькерке предложил возможность определить масштабированный R ² как R ² / R ² _max . ^[21]${\displaystyle {\mathcal {L}}({\widehat {\theta }})}$${\displaystyle R_{\max }^{2}=1-({\mathcal {L}}(0))^{2/n}}$

Сравнение с нормой остатков [ править ]

Иногда для указания степени соответствия используется норма остатков. Этот член рассчитывается как квадратный корень из суммы квадратов остатков :

${\displaystyle {\text{norm of residuals}}={\sqrt {SS_{\text{res}}}}=\|e\|.}$

Оба R ² и норма невязки имеют свои относительные преимущества. Для анализа методом наименьших квадратов R ² изменяется от 0 до 1, при этом большие числа указывают на лучшее соответствие, а 1 представляет собой идеальное соответствие. Норма остатков варьируется от 0 до бесконечности, при этом меньшие числа указывают на лучшее соответствие, а ноль указывает на идеальное соответствие. Одним из преимуществ и недостатков R ² является то, что этот член нормализует значение. Если все значения y _i умножить на константу, норма остатков также изменится на эту константу, но R ²${\displaystyle SS_{\text{tot}}}$останется прежним. В качестве базового примера для линейного метода наименьших квадратов, подходящего к набору данных:

${\displaystyle {\begin{array}{rcrrrrr}x&=&1,&2,&3,&4,&5\\y&=&1.9,&3.7,&5.8,&8.0,&9.6\end{array}}}$

R ² = 0,998, а норма остатков = 0,302. Если все значения y умножаются на 1000 (например, при изменении префикса SI ), то R ² остается прежним, но норма остатков = 302.

Другой однопараметрический индикатор соответствия - RMSE остатков или стандартное отклонение остатков. Это будет иметь значение 0,135 для приведенного выше примера, учитывая, что подгонка была линейной с непринужденным пересечением. ^[22]

История [ править ]

Создание коэффициента детерминации было приписано генетику Сьюоллу Райту и впервые было опубликовано в 1921 году ^[23].

См. Также [ править ]

• Квартет анскомба
• Необъяснимая доля дисперсии
• Доброту соответствия
• Коэффициент эффективности модели Нэша – Сатклиффа ( гидрологические приложения )
• Коэффициент корреляции продукт-момент Пирсона
• Пропорциональное снижение потерь
• Проверка регрессионной модели
• Среднеквадратичное отклонение
• Пошаговая регрессия
• t -тест H 0 : R 2 = 0. {\displaystyle H_{0}\colon R^{2}=0.}

Примечания [ править ]

Дальнейшее чтение [ править ]

• Гуджарати, Дамодар Н .; Портер, Дон С. (2009). Основы эконометрики (Пятое изд.). Нью-Йорк: МакГроу-Хилл / Ирвин. С. 73–78. ISBN 978-0-07-337577-9.
• Хьюз, Энн; Grawoig, Деннис (1971). Статистика: основа для анализа . Читает: Эддисон-Уэсли. С.  344–348 . ISBN 0-201-03021-7.
• Кмента, Ян (1986). Элементы эконометрики (второе изд.). Нью-Йорк: Макмиллан. С.  240–243 . ISBN 978-0-02-365070-3.
• Льюис-Бек, Майкл С .; Скалабан, Эндрю (1990). " R- квадрат: Прямой разговор". Политический анализ . 2 : 153–171. DOI : 10,1093 / панорамирование / 2.1.153 . JSTOR  23317769 .