В статистике , то средний квадрат ошибка ( СКО ) [1] [2] , или среднее отклонение в квадрате ( МСД ) из оценки (методик для оценки в ненаблюдаемом количестве) измеряет среднее из квадратов ошибок , то есть, то среднеквадратичная разница между расчетными значениями и фактическими значениями. MSE - это функция риска , соответствующая ожидаемому значению квадрата потери ошибок. [ согласно кому? ] [ требуется пояснение ] Тот факт, что MSE почти всегда[ требуется уточнение ] строго положительный (а не нулевой) результат из-за случайности или из-за того, что оценщик не учитывает информацию, которая могла бы дать более точную оценку. [3]
MSE - это показатель качества оценщика. Поскольку оно вычисляется из квадрата евклидова расстояния , оно всегда является положительным значением, а ошибка уменьшается по мере приближения к нулю.
MSE - это второй момент (о происхождении) ошибки, [ необходимо пояснение ] и, таким образом, включает в себя как дисперсию оценки (насколько широко разброс оценок от одной выборки данных к другой), так и ее смещение (насколько далеко от среднее оценочное значение от истинного значения). [ необходимая цитата ] Для несмещенного оценщика MSE - это дисперсия оценщика. Как и дисперсия, MSE имеет те же единицы измерения, что и квадрат оцениваемой величины. По аналогии со стандартным отклонением извлечение квадратного корня из MSE дает среднеквадратичную ошибку или среднеквадратичное отклонение (RMSE или RMSD), которое имеет те же единицы, что и оцениваемая величина; для несмещенной оценки RMSE - это квадратный корень из дисперсии , известный как стандартная ошибка .
Определение и основные свойства
СКО либо оценивает качество предсказателя (т.е. функция отображения произвольных входов к выборке значений некоторой случайной величины ), либо из оценки (т.е. математическая функция отображения выборки данных для оценки в параметре из население , из которого отбирают данные). Определение MSE различается в зависимости от того, описывается ли предсказатель или оценщик.
Предсказатель
Если вектор прогнозы создаются на основе выборки из n точек данных по всем переменным, и - вектор наблюдаемых значений прогнозируемой переменной, при этом являясь предсказанными значениями (например, по методу наименьших квадратов), то MSE в пределах выборки предсказателя вычисляется как
Другими словами, MSE - это среднее из квадратов ошибок . Это легко вычисляемая величина для конкретного образца (и, следовательно, зависит от образца).
В матричных обозначениях
где является а также это матрица.
СКО также можно вычислить по q точкам данных, которые не использовались при оценке модели, либо потому, что они не использовались для этой цели, либо потому, что эти данные были получены заново. В этом процессе (известном как перекрестная проверка ) MSE часто называют среднеквадратической ошибкой предсказания [ необходима ссылка ] и вычисляется как
Оценщик
MSE оценщика по неизвестному параметру определяется как [2]
Это определение зависит от неизвестного параметра, но MSE априори является свойством оценщика. MSE может быть функцией неизвестных параметров, и в этом случае любая оценка MSE, основанная на оценках этих параметров, будет функцией данных (и, следовательно, случайной величиной). Если оценщик выводится как статистика выборки и используется для оценки некоторого параметра совокупности, тогда ожидание относится к распределению выборки статистики выборки.
MSE может быть записано как сумма дисперсии оценки и квадрата смещения оценки, обеспечивая полезный способ вычисления MSE и подразумевая, что в случае несмещенных оценок MSE и дисперсия эквивалентны. [4]
Доказательство отношения дисперсии и предвзятости
- В качестве альтернативы у нас есть
Но в реальном случае моделирования MSE можно описать как добавление дисперсии модели, систематической ошибки модели и неснижаемой неопределенности [ необходима ссылка ] [ требуется пояснение ] . В соответствии с этим соотношением, MSE оценщиков можно просто использовать для сравнения эффективности , которое включает в себя информацию о дисперсии и смещении оценщика. Это называется критерием MSE.
В регрессе
В регрессионном анализе построение графиков является более естественным способом просмотра общей тенденции всех данных. Среднее значение расстояния от каждой точки до прогнозируемой регрессионной модели может быть вычислено и показано как среднеквадратичная ошибка. Возведение в квадрат критически важно для уменьшения сложности с отрицательными знаками. Чтобы свести к минимуму MSE, модель могла бы быть более точной, что означало бы, что модель ближе к фактическим данным. Одним из примеров линейной регрессии с использованием этого метода является метод наименьших квадратов -Какой оценивает уместность модели линейной регрессии к модели двухмерного набора данных , [5] , но чьи ограничение связано с известным распределением данных.
Термин среднеквадратичная ошибка иногда используется для обозначения несмещенной оценки дисперсии ошибки: остаточная сумма квадратов, деленная на количество степеней свободы . Это определение известной вычисленной величины отличается от приведенного выше определения вычисленной MSE предиктора тем, что используется другой знаменатель. Знаменатель - это размер выборки, уменьшенный на количество параметров модели, оцененных на основе тех же данных, (np) для p регрессоров или (np-1), если используется перехват ( более подробно см. Ошибки и остатки в статистике ). [6] Хотя MSE (как определено в этой статье) не является объективной оценкой дисперсии ошибок, она согласована , учитывая согласованность предсказателя.
В регрессионном анализе «среднеквадратичная ошибка», часто называемая среднеквадратической ошибкой прогноза или « среднеквадратической ошибкой вне выборки», также может относиться к среднему значению квадратов отклонений прогнозов от истинных значений в тестовое пространство вне выборки, сгенерированное моделью, оцененной по определенному пространству выборки. Это также известная вычисляемая величина, и она варьируется в зависимости от образца и тестового пространства вне выборки.
Примеры
Иметь в виду
Предположим, у нас есть случайная выборка размера от населения, . Предположим, что образцы были выбраны с заменой. Это единицы выбираются по одному, и ранее выбранные единицы по-прежнему могут быть выбраны для всех рисует. Обычная оценка дляэто среднее значение по выборке [1]
ожидаемое значение которого равно истинному среднему значению (так что это беспристрастно) и среднеквадратичная ошибка
где - дисперсия населения .
Для гауссовского распределения это лучшая несмещенная оценка (т. Е. С самой низкой MSE среди всех несмещенных оценок), но не, скажем, для равномерного распределения .
Дисперсия
Обычной оценкой дисперсии является скорректированная выборочная дисперсия :
Это беспристрастно (его ожидаемое значение ), поэтому также называется несмещенной дисперсией выборки, а ее MSE равна [7]
где - четвертый центральный момент распределения или популяции, иэто избыточный эксцесс .
Однако можно использовать другие оценки для которые пропорциональны , и соответствующий выбор всегда может дать более низкую среднеквадратичную ошибку. Если мы определим
затем рассчитываем:
Это сводится к минимуму, когда
Для гауссова распределения , где, это означает, что MSE минимизируется при делении суммы на . Минимальный избыточный эксцесс составляет, [a] что достигается распределением Бернулли с p = 1/2 (подбрасывание монеты), а MSE минимизируется дляСледовательно, независимо от эксцесса, мы получаем «лучшую» оценку (в смысле наличия более низкой MSE), немного уменьшая несмещенную оценку; это простой пример оценщика усадки : один «сжимает» оценщик до нуля (уменьшает несмещенный оценщик).
Кроме того, хотя скорректированная дисперсия выборки является лучшей несмещенной оценкой (минимальная среднеквадратическая ошибка среди несмещенных оценок) дисперсии для гауссовских распределений, если распределение не является гауссовым, то даже среди несмещенных оценок лучшая несмещенная оценка дисперсии может не быть
Гауссово распределение
В следующей таблице приведены несколько оценок истинных параметров совокупности μ и σ 2 для гауссовского случая. [8]
Истинное значение | Оценщик | Среднеквадратичная ошибка |
---|---|---|
= несмещенная оценка среднего значения генеральной совокупности , | ||
= несмещенная оценка дисперсии генеральной совокупности , | ||
= смещенная оценка дисперсии генеральной совокупности , | ||
= смещенная оценка дисперсии генеральной совокупности , |
Интерпретация
MSE равна нулю, что означает, что оценщик предсказывает наблюдения параметра с идеальной точностью является идеальным (но обычно невозможным).
Значения MSE могут использоваться для сравнительных целей. Две или более статистических моделей можно сравнить с использованием их MSE - в качестве меры того, насколько хорошо они объясняют данный набор наблюдений: несмещенная оценка (рассчитанная на основе статистической модели) с наименьшей дисперсией среди всех несмещенных оценок является лучшей несмещенной оценкой или MVUE (Несмещенная оценка минимальной дисперсии).
Оба метода линейной регрессии , такие как дисперсионный анализ, оценивают MSE как часть анализа и используют оцененную MSE для определения статистической значимости изучаемых факторов или предикторов. Цель экспериментального плана состоит в том, чтобы построить эксперименты таким образом, чтобы при анализе наблюдений MSE была близка к нулю относительно величины по крайней мере одного из оцененных эффектов лечения.
При одностороннем дисперсионном анализе MSE можно вычислить путем деления суммы квадратов ошибок и степени свободы. Кроме того, значение f представляет собой отношение среднего квадрата обработки и MSE.
MSE также используется в нескольких методах пошаговой регрессии как часть определения того, сколько предикторов из набора кандидатов включить в модель для данного набора наблюдений.
Приложения
- Минимизация MSE является ключевым критерием при выборе оценщиков: см. Минимальную среднеквадратичную ошибку . Среди несмещенных оценщиков минимизация MSE эквивалентна минимизации дисперсии, а оценщик, который делает это, является несмещенной оценкой с минимальной дисперсией . Однако смещенная оценка может иметь более низкую MSE; см. смещение оценки .
- В статистическом моделировании MSE может представлять разницу между фактическими наблюдениями и значениями наблюдений, предсказанными моделью. В этом контексте он используется для определения степени, в которой модель соответствует данным, а также возможности удаления некоторых независимых переменных без значительного ущерба для предсказательной способности модели.
- В прогнозировании и прогнозировании , то оценка Шиповник является мерой успешности прогнозов на основе MSE.
Функция потерь
Квадратичная потеря ошибок - одна из наиболее широко используемых функций потерь в статистике [ необходима цитата ] , хотя ее широкое использование проистекает больше из математического удобства, чем из соображений фактических потерь в приложениях. Карл Фридрих Гаусс , который ввел использование среднеквадратичной ошибки, осознавал ее произвол и был согласен с возражениями против нее на этих основаниях. [3] Математические преимущества среднеквадратичной ошибки особенно очевидны при ее использовании при анализе эффективности линейной регрессии , поскольку она позволяет разделить вариацию в наборе данных на вариации, объясняемые моделью, и вариации, объясняемые случайностью.
Критика
Использование среднеквадратичной ошибки без вопросов подвергалось критике со стороны теоретика принятия решений Джеймса Бергера . Среднеквадратичная ошибка - это отрицательное значение ожидаемого значения одной конкретной функции полезности , квадратичной функции полезности, которая может не быть подходящей функцией полезности для использования в данном наборе обстоятельств. Однако есть некоторые сценарии, в которых среднеквадратичная ошибка может служить хорошим приближением к функции потерь, естественным образом возникающей в приложении. [9]
Подобно дисперсии , среднеквадратичная ошибка имеет тот недостаток, что сильно взвешиваются выбросы . [10] Это результат возведения в квадрат каждого члена, который фактически дает больший вес большим ошибкам, чем малым. Это свойство, нежелательное для многих приложений, заставило исследователей использовать альтернативы, такие как средняя абсолютная ошибка или те, которые основаны на медиане .
Смотрите также
- Компромисс смещения и дисперсии
- Оценщик Ходжеса
- Оценка Джеймса – Стейна
- Средняя процентная ошибка
- Среднеквадратичная ошибка квантования
- Среднеквадратичное взвешенное отклонение
- Среднеквадратичное смещение
- Среднеквадратичная ошибка прогноза
- Минимальная среднеквадратичная ошибка
- Оценщик минимальной среднеквадратичной ошибки
- Пиковое отношение сигнал / шум
Заметки
- ^ Это можно доказать с помощью неравенства Йенсена следующим образом. Четвертый центральный момент является верхней границей квадрата дисперсии, так что наименьшее значение для их отношения равно единице, следовательно, наименьшее значение для избыточного эксцесса равно −2, что достигается, например, Бернулли с p = 1. / 2.
Рекомендации
- ^ a b «Список вероятностных и статистических символов» . Математическое хранилище . 2020-04-26 . Проверено 12 сентября 2020 .
- ^ а б «Среднеквадратичная ошибка (MSE)» . www.probabilitycourse.com . Проверено 12 сентября 2020 .
- ^ а б Lehmann, EL; Казелла, Джордж (1998). Теория точечного оценивания (2-е изд.). Нью-Йорк: Спрингер. ISBN 978-0-387-98502-2. Руководство по ремонту 1639875 .
- ^ Вакерли, Деннис; Менденхолл, Уильям; Шеффер, Ричард Л. (2008). Математическая статистика с приложениями (7-е изд.). Белмонт, Калифорния, США: Высшее образование Томсона. ISBN 978-0-495-38508-0.
- ^ Современное введение в вероятность и статистику: понимание, почему и как . Деккинг, Мишель, 1946-. Лондон: Спрингер. 2005. ISBN 978-1-85233-896-1. OCLC 262680588 .CS1 maint: другие ( ссылка )
- ^ Steel, RGD, и Torrie, JH, Принципы и процедуры статистики со специальной ссылкой на биологические науки. , Макгроу Хилл , 1960, стр. 288.
- ^ Настроение, А .; Graybill, F .; Боэс, Д. (1974). Введение в теорию статистики (3-е изд.). Макгроу-Хилл. п. 229 .
- ^ ДеГрут, Моррис Х. (1980). Вероятность и статистика (2-е изд.). Эддисон-Уэсли.
- ^ Бергер, Джеймс О. (1985). «2.4.2 Некоторые стандартные функции потерь». Статистическая теория принятия решений и байесовский анализ (2-е изд.). Нью-Йорк: Springer-Verlag. п. 60 . ISBN 978-0-387-96098-2. Руководство по ремонту 0804611 .
- ^ Бермехо, Серхио; Кабестани, Джоан (2001). «Ориентированный анализ главных компонентов для классификаторов с большой маржой». Нейронные сети . 14 (10): 1447–1461. DOI : 10.1016 / S0893-6080 (01) 00106-X . PMID 11771723 .