Среднеквадратичная ошибка

В статистике , то средний квадрат ошибка ( СКО ) ^{[1] [2]} , или среднее отклонение в квадрате ( МСД ) из оценки (методик для оценки в ненаблюдаемом количестве) измеряет среднее из квадратов ошибок , то есть, то среднеквадратичная разница между расчетными значениями и фактическими значениями. MSE - это функция риска , соответствующая ожидаемому значению квадрата потери ошибок. ^{[ согласно кому? ] [ требуется разъяснение ]}Тот факт, что MSE почти всегда строго положительна (а не равна нулю), объясняется случайностью или тем, что оценщик не учитывает информацию, которая могла бы дать более точную оценку. ^[3]

MSE - это показатель качества оценщика. Поскольку оно вычисляется из квадрата евклидова расстояния , оно всегда является положительным значением, а ошибка уменьшается по мере приближения к нулю. ^{[ требуется разъяснение ]}

MSE - это второй момент (о происхождении) ошибки, ^{[ необходимо пояснение ]} и, таким образом, включает в себя как дисперсию оценки (насколько широко разброс оценок от одной выборки данных к другой), так и ее смещение (насколько далеко от среднее оценочное значение от истинного значения). ^{[ необходимая цитата ]} Для несмещенного оценщика MSE - это дисперсия оценщика. Как и дисперсия, MSE имеет те же единицы измерения, что и квадрат оцениваемой величины. По аналогии со стандартным отклонением извлечение квадратного корня из MSE дает среднеквадратичную ошибку илисреднеквадратичное отклонение (RMSE или RMSD), которое имеет те же единицы, что и оцениваемая величина; для несмещенной оценки RMSE - это квадратный корень из дисперсии , известный как стандартная ошибка .

Определение и основные свойства

СКО либо оценивает качество предсказателя (т.е. функция отображения произвольных входов к выборке значений некоторой случайной величины ), либо из оценки (т.е. математическая функция отображения выборки данных для оценки в параметре из население , из которого отбирают данные). Определение MSE различается в зависимости от того, описывается ли предсказатель или оценщик.

Предсказатель

Если вектор прогнозов генерируется из выборки точек данных по всем переменным и является вектором наблюдаемых значений прогнозируемой переменной, с прогнозируемыми значениями (например, методом наименьших квадратов ), то в пределах- образец MSE предсказателя вычисляется как${\ displaystyle n}$${\ displaystyle n}$${\ displaystyle Y}$${\ displaystyle {\ hat {Y}}}$

${\ displaystyle \ operatorname {MSE} = {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} (Y_ {i} - {\ hat {Y_ {i}}}) ^ { 2}.}$

Другими словами, MSE является среднее из квадратов ошибок . Это легко вычисляемая величина для конкретного образца (и, следовательно, зависит от образца).${\ textstyle \ left ({\ гидроразрыва {1} {n}} \ sum _ {i = 1} ^ {n} \ right)}$ ${\ displaystyle \ left (Y_ {i} - {\ hat {Y_ {i}}} \ right) ^ {2}}$

В матричных обозначениях

${\displaystyle \operatorname {MSE} ={\frac {1}{n}}\sum _{i=1}^{n}(e_{i})^{2}={\frac {1}{n}}\mathbf {e} ^{\mathsf {T}}\mathbf {e} }$

где есть и - матрица.${\displaystyle e_{i}}$${\displaystyle (Y_{i}-{\hat {Y_{i}}})}$${\displaystyle \mathbf {e} }$${\displaystyle n\times 1}$

СКО также можно вычислить по q точкам данных, которые не использовались при оценке модели, либо потому, что они не использовались для этой цели, либо потому, что эти данные были получены заново. В этом процессе (известном как перекрестная проверка ) MSE часто называют среднеквадратической ошибкой предсказания ^{[ необходима ссылка ]} и вычисляется как

${\displaystyle \operatorname {MSPE} ={\frac {1}{q}}\sum _{i=n+1}^{n+q}\left(Y_{i}-{\hat {Y_{i}}}\right)^{2}.}$

Оценщик

СКО оценщика относительно неизвестного параметра определяется как ^[2]${\displaystyle {\hat {\theta }}}$${\displaystyle \theta }$

${\displaystyle \operatorname {MSE} ({\hat {\theta }})=\operatorname {E} _{\theta }\left[({\hat {\theta }}-\theta )^{2}\right].}$

Это определение зависит от неизвестного параметра, но MSE априори является свойством оценщика. MSE может быть функцией неизвестных параметров, и в этом случае любая оценка MSE, основанная на оценках этих параметров, будет функцией данных (и, следовательно, случайной величиной). Если оценщик получен как статистика выборки и используется для оценки некоторого параметра совокупности, то ожидание относится к распределению выборки статистики выборки. ${\displaystyle {\hat {\theta }}}$

MSE может быть записано как сумма дисперсии оценки и квадрата смещения оценки, обеспечивая полезный способ вычисления MSE и подразумевая, что в случае несмещенных оценок MSE и дисперсия эквивалентны. ^[4]

${\displaystyle \operatorname {MSE} ({\hat {\theta }})=\operatorname {Var} _{\theta }({\hat {\theta }})+\operatorname {Bias} ({\hat {\theta }},\theta )^{2}.}$

Доказательство отношения дисперсии и предвзятости

${\displaystyle {\begin{aligned}\operatorname {MSE} ({\hat {\theta }})&=\operatorname {E} _{\theta }\left[({\hat {\theta }}-\theta )^{2}\right]\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]+\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}\right]\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)^{2}+2\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)+\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}\right]\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)^{2}\right]+\operatorname {E} _{\theta }\left[2\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)\right]+\operatorname {E} _{\theta }\left[\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}\right]\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)^{2}\right]+2\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)\operatorname {E} _{\theta }\left[{\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right]+\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}&&\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta ={\text{const.}}\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)^{2}\right]+2\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)+\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}&&\operatorname {E} _{\theta }[{\hat {\theta }}]={\text{const.}}\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)^{2}\right]+\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}\\&=\operatorname {Var} _{\theta }({\hat {\theta }})+\operatorname {Bias} _{\theta }({\hat {\theta }},\theta )^{2}\end{aligned}}}$

В качестве альтернативы у нас есть

${\displaystyle {\begin{aligned}\operatorname {MSE} ({\hat {\theta }})&=\mathbb {E} [({\hat {\theta }}-\theta )^{2}]\\&=\mathbb {E} ({\hat {\theta }}^{2})+\mathbb {E} (\theta ^{2})-2\theta \mathbb {E} ({\hat {\theta }})\\&=\operatorname {Var} ({\hat {\theta }})+(\mathbb {E} {\hat {\theta }})^{2}+\theta ^{2}-2\theta \mathbb {E} ({\hat {\theta }})\\&=\operatorname {Var} ({\hat {\theta }})+(\mathbb {E} {\hat {\theta }}-\theta )^{2}\\&=\operatorname {Var} ({\hat {\theta }})+\operatorname {Bias} ^{2}({\hat {\theta }})\end{aligned}}}$

Еще более короткое доказательство, использующее известную формулу для случайной величины (и, в частности, для ) , выглядит следующим образом:${\textstyle X}$${\textstyle X={\hat {\theta }}-\theta }$${\textstyle \mathbb {E} (X^{2})=\operatorname {Var} (X)+(\mathbb {E} X)^{2}}$

${\displaystyle {\begin{aligned}\operatorname {MSE} ({\hat {\theta }})&=\mathbb {E} [({\hat {\theta }}-\theta )^{2}]\\&=\operatorname {Var} ({\hat {\theta }}-\theta )+(\mathbb {E} [{\hat {\theta }}-\theta ])^{2}\\&=\operatorname {Var} ({\hat {\theta }})+\operatorname {Bias} ^{2}({\hat {\theta }})\end{aligned}}}$

Но в реальном случае моделирования MSE можно описать как добавление дисперсии модели, систематической ошибки модели и неснижаемой неопределенности ^{[ необходима ссылка ] [ требуется пояснение ]} . В соответствии с этим соотношением, MSE оценщиков можно просто использовать для сравнения эффективности , которое включает в себя информацию о дисперсии и смещении оценщика. Это называется критерием MSE.

В регрессе

В регрессионном анализе построение графиков является более естественным способом просмотра общей тенденции всех данных. Среднее значение расстояния от каждой точки до прогнозируемой регрессионной модели может быть вычислено и показано как среднеквадратичная ошибка. Возведение в квадрат критически важно для уменьшения сложности с отрицательными знаками. Чтобы свести к минимуму MSE, модель могла бы быть более точной, что означало бы, что модель ближе к фактическим данным. Одним из примеров линейной регрессии с использованием этого метода является метод наименьших квадратов -Какой оценивает уместность модели линейной регрессии к модели двухмерного набора данных , ^[5] , но чьи ограничение связано с известным распределением данных.

Термин среднеквадратичная ошибка иногда используется для обозначения несмещенной оценки дисперсии ошибки: остаточная сумма квадратов, деленная на количество степеней свободы . Это определение известной вычисленной величины отличается от приведенного выше определения вычисленной MSE предиктора тем, что используется другой знаменатель. Знаменатель - это размер выборки, уменьшенный на количество параметров модели, оцененных на основе одних и тех же данных, ( n - p ) для p регрессоров или ( n - p -1), если используется перехват (см. Ошибки и остатки в статистике для более подробной информации. ). ^[6]Хотя MSE (как определено в этой статье) не является объективной оценкой дисперсии ошибок, она согласована , учитывая согласованность предсказателя.

В регрессионном анализе «среднеквадратичная ошибка», часто называемая среднеквадратичной ошибкой прогноза или « среднеквадратичной ошибкой вне выборки», также может относиться к среднему значению квадратов отклонений прогнозов от истинных значений в зависимости от тестовое пространство вне выборки , сгенерированное моделью, оцененной по определенному пространству выборки . Это также известная вычисляемая величина, и она варьируется в зависимости от образца и тестового пространства вне выборки.

Примеры

Иметь в виду

Предположим, у нас есть случайная выборка размера из совокупности . Предположим, что образцы были выбраны с заменой . То есть единицы выбираются по одному, и ранее выбранные единицы по-прежнему имеют право на выбор для всех розыгрышей. Обычной оценкой для является выборочное среднее ^[1]${\displaystyle n}$${\displaystyle X_{1},\dots ,X_{n}}$${\displaystyle n}$${\displaystyle n}$${\displaystyle \mu }$

${\displaystyle {\overline {X}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}}$

который имеет ожидаемое значение, равное истинному среднему (так что оно несмещено), и среднеквадратичную ошибку${\displaystyle \mu }$

${\displaystyle \operatorname {MSE} \left({\overline {X}}\right)=\operatorname {E} \left[\left({\overline {X}}-\mu \right)^{2}\right]=\left({\frac {\sigma }{\sqrt {n}}}\right)^{2}={\frac {\sigma ^{2}}{n}}}$

где - дисперсия населения .${\displaystyle \sigma ^{2}}$

Для гауссовского распределения это лучшая несмещенная оценка (т. Е. С самой низкой MSE среди всех несмещенных оценок), но не, скажем, для равномерного распределения .

Дисперсия

Обычная оценка дисперсии - это скорректированная выборочная дисперсия :

${\displaystyle S_{n-1}^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\right)^{2}={\frac {1}{n-1}}\left(\sum _{i=1}^{n}X_{i}^{2}-n{\overline {X}}^{2}\right).}$

Это несмещенное значение (его ожидаемое значение равно ), поэтому оно также называется несмещенной дисперсией выборки, а его MSE составляет ^[7]${\displaystyle \sigma ^{2}}$

${\displaystyle \operatorname {MSE} (S_{n-1}^{2})={\frac {1}{n}}\left(\mu _{4}-{\frac {n-3}{n-1}}\sigma ^{4}\right)={\frac {1}{n}}\left(\gamma _{2}+{\frac {2n}{n-1}}\right)\sigma ^{4},}$

где - четвертый центральный момент распределения или популяции, а - избыточный эксцесс .${\displaystyle \mu _{4}}$${\displaystyle \gamma _{2}=\mu _{4}/\sigma ^{4}-3}$

Однако можно использовать другие оценки, для которых пропорциональны , и соответствующий выбор всегда может дать более низкую среднеквадратичную ошибку. Если мы определим${\displaystyle \sigma ^{2}}$${\displaystyle S_{n-1}^{2}}$

${\displaystyle S_{a}^{2}={\frac {n-1}{a}}S_{n-1}^{2}={\frac {1}{a}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}}$

затем рассчитываем:

${\displaystyle {\begin{aligned}\operatorname {MSE} (S_{a}^{2})&=\operatorname {E} \left[\left({\frac {n-1}{a}}S_{n-1}^{2}-\sigma ^{2}\right)^{2}\right]\\&=\operatorname {E} \left[{\frac {(n-1)^{2}}{a^{2}}}S_{n-1}^{4}-2\left({\frac {n-1}{a}}S_{n-1}^{2}\right)\sigma ^{2}+\sigma ^{4}\right]\\&={\frac {(n-1)^{2}}{a^{2}}}\operatorname {E} \left[S_{n-1}^{4}\right]-2\left({\frac {n-1}{a}}\right)\operatorname {E} \left[S_{n-1}^{2}\right]\sigma ^{2}+\sigma ^{4}\\&={\frac {(n-1)^{2}}{a^{2}}}\operatorname {E} \left[S_{n-1}^{4}\right]-2\left({\frac {n-1}{a}}\right)\sigma ^{4}+\sigma ^{4}&&\operatorname {E} \left[S_{n-1}^{2}\right]=\sigma ^{2}\\&={\frac {(n-1)^{2}}{a^{2}}}\left({\frac {\gamma _{2}}{n}}+{\frac {n+1}{n-1}}\right)\sigma ^{4}-2\left({\frac {n-1}{a}}\right)\sigma ^{4}+\sigma ^{4}&&\operatorname {E} \left[S_{n-1}^{4}\right]=\operatorname {MSE} (S_{n-1}^{2})+\sigma ^{4}\\&={\frac {n-1}{na^{2}}}\left((n-1)\gamma _{2}+n^{2}+n\right)\sigma ^{4}-2\left({\frac {n-1}{a}}\right)\sigma ^{4}+\sigma ^{4}\end{aligned}}}$

Это сводится к минимуму, когда

${\displaystyle a={\frac {(n-1)\gamma _{2}+n^{2}+n}{n}}=n+1+{\frac {n-1}{n}}\gamma _{2}.}$

Для гауссова распределения , где это означает, что MSE минимизируется при делении суммы на . Минимальный избыточный эксцесс равен , ^[a], который достигается распределением Бернулли с p  = 1/2 (подбрасывание монеты), а MSE минимизирована для Следовательно, независимо от эксцесса, мы получаем «лучшую» оценку (в ощущение наличия более низкой MSE) за счет небольшого уменьшения несмещенной оценки; это простой пример оценщика усадки : один «сжимает» оценщик до нуля (уменьшает несмещенный оценщик).${\displaystyle \gamma _{2}=0}$${\displaystyle a=n+1}$${\displaystyle \gamma _{2}=-2}$${\displaystyle a=n-1+{\tfrac {2}{n}}.}$

Кроме того, хотя скорректированная дисперсия выборки является лучшей несмещенной оценкой (минимальная среднеквадратическая ошибка среди несмещенных оценок) дисперсии для гауссовских распределений, если распределение не является гауссовым, то даже среди несмещенных оценок лучшая несмещенная оценка дисперсии может не быть${\displaystyle S_{n-1}^{2}.}$

Гауссово распределение

В следующей таблице приведены несколько оценок истинных параметров совокупности μ и σ ² для гауссовского случая. ^[8]

Истинное значение	Оценщик	Среднеквадратичная ошибка
${\displaystyle \theta =\mu }$	${\displaystyle {\hat {\theta }}}$= несмещенная оценка среднего значения генеральной совокупности ,${\displaystyle {\overline {X}}={\frac {1}{n}}\sum _{i=1}^{n}(X_{i})}$	${\displaystyle \operatorname {MSE} ({\overline {X}})=\operatorname {E} (({\overline {X}}-\mu )^{2})=\left({\frac {\sigma }{\sqrt {n}}}\right)^{2}}$
${\displaystyle \theta =\sigma ^{2}}$	${\displaystyle {\hat {\theta }}}$= несмещенная оценка дисперсии генеральной совокупности ,${\displaystyle S_{n-1}^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}}$	${\displaystyle \operatorname {MSE} (S_{n-1}^{2})=\operatorname {E} ((S_{n-1}^{2}-\sigma ^{2})^{2})={\frac {2}{n-1}}\sigma ^{4}}$
${\displaystyle \theta =\sigma ^{2}}$	${\displaystyle {\hat {\theta }}}$= смещенная оценка дисперсии генеральной совокупности ,${\displaystyle S_{n}^{2}={\frac {1}{n}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}}$	${\displaystyle \operatorname {MSE} (S_{n}^{2})=\operatorname {E} ((S_{n}^{2}-\sigma ^{2})^{2})={\frac {2n-1}{n^{2}}}\sigma ^{4}}$
${\displaystyle \theta =\sigma ^{2}}$	${\displaystyle {\hat {\theta }}}$= смещенная оценка дисперсии генеральной совокупности ,${\displaystyle S_{n+1}^{2}={\frac {1}{n+1}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}}$	${\displaystyle \operatorname {MSE} (S_{n+1}^{2})=\operatorname {E} ((S_{n+1}^{2}-\sigma ^{2})^{2})={\frac {2}{n+1}}\sigma ^{4}}$

Интерпретация

Значение MSE, равное нулю, означающее, что оценщик предсказывает наблюдения параметра с идеальной точностью, является идеальным (но обычно невозможно).${\displaystyle {\hat {\theta }}}$${\displaystyle \theta }$

Значения MSE могут использоваться для сравнительных целей. Две или более статистических моделей можно сравнить с использованием их MSE - в качестве меры того, насколько хорошо они объясняют данный набор наблюдений: несмещенная оценка (рассчитанная на основе статистической модели) с наименьшей дисперсией среди всех несмещенных оценок является лучшей несмещенной оценкой или MVUE (Несмещенная оценка минимальной дисперсии).

Как анализ дисперсии, так и методы линейной регрессии оценивают MSE как часть анализа и используют оцененную MSE для определения статистической значимости изучаемых факторов или предикторов. Цель экспериментального плана состоит в том, чтобы построить эксперименты таким образом, чтобы при анализе наблюдений MSE была близка к нулю относительно величины по крайней мере одного из оцененных эффектов лечения.

При одностороннем дисперсионном анализе MSE можно вычислить путем деления суммы квадратов ошибок и степени свободы. Кроме того, значение f представляет собой отношение среднего квадрата обработки и MSE.

MSE также используется в нескольких методах пошаговой регрессии как часть определения того, сколько предикторов из набора кандидатов включить в модель для данного набора наблюдений.

Приложения

Эта статья представлена ​​в виде списка , но может читаться лучше как проза . Вы можете помочь, преобразовав эту статью , если это необходимо. Доступна помощь по редактированию . ( Апрель 2021 г. )

• Минимизация MSE является ключевым критерием при выборе оценщиков: см. Минимальную среднеквадратичную ошибку . Среди несмещенных оценщиков минимизация MSE эквивалентна минимизации дисперсии, а оценщик, который делает это, является несмещенной оценкой с минимальной дисперсией . Однако предвзятый оценщик может иметь более низкую MSE; см. смещение оценки .
• В статистическом моделировании MSE может представлять разницу между фактическими наблюдениями и значениями наблюдений, предсказанными моделью. В этом контексте он используется для определения степени, в которой модель соответствует данным, а также возможности удаления некоторых независимых переменных без значительного ущерба для предсказательной способности модели.
• В прогнозировании и прогнозировании , то оценка Шиповник является мерой успешности прогнозов на основе MSE.

Функция потерь

Квадратичная потеря ошибок - одна из наиболее широко используемых функций потерь в статистике ^{[ необходима цитата ]} , хотя ее широкое использование проистекает больше из математического удобства, чем из соображений фактических потерь в приложениях. Карл Фридрих Гаусс , который ввел использование среднеквадратичной ошибки, осознавал ее произвол и был согласен с возражениями против нее на этих основаниях. ^[3] Математические преимущества среднеквадратичной ошибки особенно очевидны при ее использовании при анализе эффективности линейной регрессии , поскольку она позволяет разделить вариацию в наборе данных на вариации, объясняемые моделью, и вариации, объясняемые случайностью.

Критика

Использование среднеквадратичной ошибки без вопросов подвергалось критике со стороны теоретика принятия решений Джеймса Бергера . Среднеквадратичная ошибка - это отрицательное значение ожидаемого значения одной конкретной функции полезности , квадратичной функции полезности, которая может не подходить для использования в данном наборе обстоятельств. Однако есть некоторые сценарии, в которых среднеквадратичная ошибка может служить хорошим приближением к функции потерь, естественным образом возникающей в приложении. ^[9]

Подобно дисперсии , среднеквадратичная ошибка имеет тот недостаток, что сильно взвешиваются выбросы . ^[10] Это результат возведения в квадрат каждого члена, который фактически дает больший вес большим ошибкам, чем малым. Это свойство, нежелательное для многих приложений, заставило исследователей использовать альтернативы, такие как средняя абсолютная ошибка или те, которые основаны на медиане .

Смотрите также

• Компромисс смещения и дисперсии
• Оценщик Ходжеса
• Оценка Джеймса – Стейна
• Средняя процентная ошибка
• Среднеквадратичная ошибка квантования
• Среднеквадратичное взвешенное отклонение
• Среднеквадратичное смещение
• Среднеквадратичная ошибка прогноза
• Минимальная среднеквадратичная ошибка
• Оценщик минимальной среднеквадратичной ошибки
• Переоснащение
• Пиковое отношение сигнал / шум

Примечания

использованная литература