В статистических данных , то смещения (или функция смещения ) в качестве оценки разница между этой оценкой по ожидаемому значению и истинное значение параметра оцениваются. Оценка или правило принятия решения с нулевым смещением называется несмещенным . В статистике «систематическая ошибка» - это объективное свойство оценщика. Смещение также может быть измерено относительно медианы , а не среднего (ожидаемого значения), и в этом случае можно отличить медиану- объективность от обычного среднего- объективного свойства. Смещение - это отличное понятие от последовательности. Последовательные оценки сходятся по вероятности к истинному значению параметра, но могут быть смещенными или несмещенными; см. смещение по сравнению с последовательностью, чтобы узнать больше.
При прочих равных, несмещенная оценка предпочтительнее, чем смещенная оценка, хотя на практике часто используются смещенные оценки (как правило, с небольшим смещением). Когда используется смещенная оценка, вычисляются границы смещения. Смещенная оценка может использоваться по разным причинам: поскольку несмещенная оценка не существует без дополнительных предположений о совокупности; потому что оценщик трудно вычислить (как при объективной оценке стандартного отклонения ); потому что оценка является несмещенной по среднему, но не по среднему (или наоборот); потому что смещенная оценка дает более низкое значение некоторой функции потерь (особенно среднеквадратичной ошибки ) по сравнению с несмещенной оценкой (особенно в оценках усадки ); или потому, что в некоторых случаях непредвзятость является слишком сильным условием, и единственные объективные оценки бесполезны.
Кроме того, несмещенность по среднему не сохраняется при нелинейных преобразованиях, хотя средняя несмещенность сохраняется (см. § Эффект преобразований ); например, дисперсия выборки является смещенной оценкой дисперсии генеральной совокупности. Все это проиллюстрировано ниже.
Определение
Предположим, у нас есть статистическая модель , параметризованная действительным числом θ , дающая начало распределению вероятностей для наблюдаемых данных,, и статистика который служит в качестве оценки из & thetas на основе любых наблюдаемых данных. То есть мы предполагаем, что наши данные следуют некоторому неизвестному распределению(где θ - фиксированная неизвестная константа, которая является частью этого распределения), а затем мы строим некоторую оценкукоторый отображает наблюдаемые данные в значения, которые, как мы надеемся, близки к θ . Смещения от относительно определяется как [1] [2]
где обозначает ожидаемое значение по распределению (т.е. усреднение по всем возможным наблюдениям ). Второе уравнение следует из того, что θ измеримо относительно условного распределения.
Оценщик называется несмещенным, если его смещение равно нулю для всех значений параметра θ , или, что то же самое, если ожидаемое значение оценщика совпадает с ожидаемым значением параметра. [3]
В имитационном эксперименте, касающемся свойств оценщика, смещение оценщика может быть оценено с использованием средней разности со знаком .
Примеры
Выборочная дисперсия
Выборочная дисперсия случайной величины демонстрирует два аспекта смещения оценивани: во - первых, смещена наивные оценки, которые могут быть исправлены с помощью масштабного коэффициента; во-вторых, несмещенная оценка не является оптимальной с точки зрения среднеквадратичной ошибки (MSE), которую можно минимизировать, используя другой масштабный коэффициент, что приводит к смещенной оценке с более низкой MSE, чем несмещенная оценка. Конкретно, наивная оценка суммирует квадраты отклонений и делит на n, что является необъективным. Вместо этого деление на n - 1 дает несмещенную оценку. И наоборот, MSE можно минимизировать путем деления на другое число (в зависимости от распределения), но это приводит к смещению оценки. Это число всегда больше, чем n - 1, поэтому это называется оценкой усадки , поскольку она «сжимает» несмещенную оценку до нуля; для нормального распределения оптимальное значение - n + 1.
Предположим, что X 1 , ..., X n - независимые и одинаково распределенные (iid) случайные величины с математическим ожиданием μ и дисперсией σ 2 . Если выборочное среднее и нескорректированная выборочная дисперсия определены как
то S 2 является смещенной оценкой σ 2 , потому что
В продолжение заметим, что, вычитая с обеих сторон , мы получили
Значение (путем перекрестного умножения) . Тогда предыдущее становится:
Это можно увидеть, обратив внимание на следующую формулу, которая следует из формулы Биенайме , для члена в неравенстве для математического ожидания нескорректированной выборочной дисперсии выше:.
Другими словами, ожидаемое значение нескорректированной дисперсии выборки не равно дисперсии совокупности σ 2 , если не умножено на коэффициент нормализации. С другой стороны, выборочное среднее представляет собой несмещенную [4] оценку среднего генерального значения μ . [3]
Обратите внимание, что обычное определение дисперсии выборки: , и это объективная оценка дисперсии совокупности.
Алгебраически говоря, беспристрастен, потому что:
где переход ко второй строке использует результат, полученный выше для смещенной оценки. Таким образом, и поэтому - несмещенная оценка дисперсии совокупности σ 2 . Соотношение между смещенными (нескорректированными) и несмещенными оценками дисперсии известно как поправка Бесселя .
Причина смещения нескорректированной выборочной дисперсии S 2 связана с тем фактом, что выборочное среднее является обычной оценкой методом наименьших квадратов (МНК) для μ : это число, составляющее сумму как можно меньше. То есть, когда в эту сумму подставляется любое другое число, сумма может только увеличиваться. В частности, выбор дает,
а потом
Приведенное выше обсуждение можно понять в геометрических терминах: вектор можно разложить на «среднюю часть» и «часть дисперсии» путем проецирования в направлении и к гиперплоскости ортогонального дополнения этого направления. Один получает для части вместе а также для дополнительной части. Поскольку это ортогональное разложение, теорема Пифагора гласит, и исходя из ожиданий получаем , как указано выше (но раз ). Если распределение осесимметрична, как и в случае, когда выбираются из гауссианы, затем в среднем размер по способствует так же, как и направления, перпендикулярные , чтобы а также . Как объяснено выше, в целом это действительно так.
Оценка вероятности Пуассона
Гораздо более крайний случай, когда смещенная оценка лучше, чем любая несмещенная оценка, возникает из распределения Пуассона . [5] [6] Предположим, что X имеет распределение Пуассона с математическим ожиданием λ . Предположим, требуется оценить
с выборкой размером 1. (Например, когда входящие вызовы на телефонном коммутаторе моделируются как процесс Пуассона, а λ - среднее количество вызовов в минуту, тогда e −2 λ - вероятность того, что вызовы не поступят в следующие две минуты.)
Поскольку ожидание несмещенной оценки δ ( X ) равно оценке, т. Е.
единственная функция данных, составляющих несмещенную оценку, - это
Чтобы увидеть это, обратите внимание, что при разложении e - λ из приведенного выше выражения для математического ожидания сумма, которая остается, также является разложением e - λ в ряд Тейлора , что дает e - λ e - λ = e −2 λ (см. Характеристики экспоненциальной функции ).
Если наблюдаемое значение X равно 100, тогда оценка равна 1, хотя истинное значение оцениваемой величины, скорее всего, будет около 0, что является противоположным экстремумом. И если X оказывается равным 101, тогда оценка еще более абсурдна: это -1, хотя оцениваемая величина должна быть положительной.
(Смещенная) оценка максимального правдоподобия
намного лучше, чем эта беспристрастная оценка. Его значение не только всегда положительно, но и более точно в том смысле, что его среднеквадратичная ошибка
меньше; сравнить MSE объективной оценки
СКО являются функциями истинного значения λ . Смещение оценки максимального правдоподобия:
Максимум дискретного равномерного распределения
Систематическая ошибка оценок максимального правдоподобия может быть значительной. Рассмотрим случай , когда п билеты , пронумерованных от 1 до п помещены в коробку и один выбирается случайным образом , давая значение X . Если n неизвестно, то оценка максимального правдоподобия n равна X , даже несмотря на то, что математическое ожидание X для данного n составляет только ( n + 1) / 2; мы можем быть уверены только в том, что n не меньше X и, вероятно, больше. В этом случае естественная несмещенная оценка равна 2 X - 1.
Средне-несмещенные оценки
Теория несмещенных оценок по медиане была возрождена Джорджем Брауном в 1947 г .: [7]
Оценка одномерного параметра θ будет называться несмещенной по медиане, если для фиксированного θ медиана распределения оценки находится на значении θ; т.е. оценка занижается так же часто, как и завышается. Это требование, по-видимому, для большинства целей выполняет столько же, сколько и требование несмещенного среднего, и имеет дополнительное свойство, заключающееся в том, что оно инвариантно относительно однозначного преобразования.
Другие свойства оценок без смещения по медиане были отмечены Леманом, Бирнбаумом, ван дер Ваарт и Пфанзаглом. [ необходима цитата ] В частности, несмещенные по среднему значению оценки существуют в тех случаях, когда несмещенные по среднему значению оценки и оценки максимального правдоподобия не существуют. Они инвариантны относительно однозначных преобразований .
Существуют методы построения несмещенных по медиане оценок для распределений вероятностей, которые имеют монотонные функции правдоподобия , такие как однопараметрические экспоненциальные семейства, чтобы гарантировать их оптимальность (в некотором смысле аналогично свойству минимальной дисперсии, рассматриваемому для оценок без смещения среднего). . [8] [9] Одна из таких процедур является аналогом процедуры Рао – Блэквелла для несмещенных оценок среднего: процедура выполняется для меньшего класса вероятностных распределений, чем процедура Рао – Блэквелла для несмещенных оценок, но для большего класс функций потерь. [9]
Смещение относительно других функций потерь
Любая оценка с минимальной дисперсией, несмещенная к среднему, минимизирует риск ( ожидаемые потери ) по отношению к функции потерь с квадратом ошибок (среди оценок со средним несмещением), как наблюдал Гаусс . [10] Несмещенная по медиане оценка минимального среднего абсолютного отклонения минимизирует риск по отношению к функции абсолютных потерь (среди оценок, несмещенных по медиане), как наблюдал Лаплас . [10] [11] Другие функции потерь используются в статистике, особенно в надежной статистике . [10] [12]
Эффект преобразований
Как указано выше, для одномерных параметров оценки без смещения по медиане остаются несмещенными по медиане при преобразованиях, сохраняющих порядок (или обратный порядок).
Обратите внимание на то, что когда преобразование применяется к несмещенному среднему оценщику, результат не обязательно должен быть несмещенным к среднему оценщиком соответствующей статистики совокупности. Согласно неравенству Дженсена , выпуклая функция как преобразование вносит положительное смещение, в то время как вогнутая функция вносит отрицательное смещение, а функция смешанной выпуклости может вносить смещение в любом направлении, в зависимости от конкретной функции и распределения. То есть для нелинейной функции f и несмещенной в среднем оценки U параметра p составная оценка f ( U ) не обязательно должна быть несмещенной в среднем оценкой f ( p ). Так , например, квадратный корень из несмещенной оценки населения дисперсии это не средняя-несмещенной оценка населения стандартного отклонения : квадратный корень из несмещенной выборочной дисперсии , скорректированного стандартного отклонения выборки , смещаются. Смещение зависит как от распределения выборки оценщика, так и от преобразования и может быть весьма сложно вычислить - см. Несмещенную оценку стандартного отклонения для обсуждения в этом случае.
Смещение, дисперсия и среднеквадратичная ошибка
В то время как смещение количественно определяет ожидаемую среднюю разницу между оценочным устройством и базовым параметром, можно дополнительно ожидать, что оценка, основанная на конечной выборке, будет отличаться от параметра из-за случайности в выборке.
Одна из мер , которая используется , чтобы попытаться отразить оба типа различия является среднеквадратической ошибкой , [2]
Можно показать, что это равно квадрату смещения плюс дисперсия: [2]
Когда параметр является вектором, применяется аналогичное разложение: [13]
где
- след ковариационной матрицы оценки.
Оценщик, который минимизирует смещение, не обязательно минимизирует среднеквадратичную ошибку.
Пример: оценка дисперсии совокупности
Например, [14] предположим, что оценка вида
ищется для дисперсии совокупности, как указано выше, но на этот раз для минимизации MSE:
Если переменные X 1 ... X n подчиняются нормальному распределению, тогда nS 2 / σ 2 имеет распределение хи-квадрат с n - 1 степенями свободы, что дает:
и другие
С помощью небольшой алгебры можно подтвердить, что именно c = 1 / ( n + 1) минимизирует эту комбинированную функцию потерь, а не c = 1 / ( n - 1), которое минимизирует только член смещения.
В более общем смысле, только в ограниченных классах задач будет средство оценки, которое минимизирует MSE независимо от значений параметров.
Однако очень часто может возникнуть впечатление , что существует компромисс между смещением и дисперсией , так что небольшое увеличение смещения можно обменять на большее уменьшение дисперсии, что приведет к более желательной оценке в целом.
Байесовский взгляд
Большинство байесовцев довольно безразлично к беспристрастности (по крайней мере, в формальном смысле теории выборки, приведенном выше) своих оценок. Например, Гельман и соавторы (1995) пишут: «С байесовской точки зрения принцип непредвзятости разумен в пределах больших выборок, но в остальном он потенциально вводит в заблуждение». [15]
По сути, разница между байесовским подходом и подходом теории выборки, описанным выше, заключается в том, что в подходе теории выборки параметр считается фиксированным, а затем рассматриваются распределения вероятностей статистики на основе предсказанного распределения выборки данных. Для байесовского, однако, это данные, которые известны и фиксированы, и это неизвестный параметр, для которого делается попытка построить распределение вероятностей, используя теорему Байеса :
Здесь второй член, вероятность данных при неизвестном значении параметра θ, зависит только от полученных данных и моделирования процесса генерации данных. Однако байесовское вычисление также включает первый член, априорную вероятность для θ, которая учитывает все, что аналитик может знать или подозревать о θ до того, как поступят данные. Эта информация не играет никакой роли в подходе теории выборки; действительно, любая попытка включить его будет считаться «отклонением от того, на что указывают чисто данные». Поскольку байесовские расчеты включают априорную информацию, по существу неизбежно, что их результаты не будут «беспристрастными» с точки зрения теории выборки.
Но результаты байесовского подхода могут отличаться от подхода теории выборки, даже если байесовский пытается принять «неинформативный» априор.
Например, снова рассмотрим оценку неизвестной дисперсии совокупности σ 2 Нормального распределения с неизвестным средним, где желательно оптимизировать c в функции ожидаемых потерь.
Стандартный выбор неинформативного априора для этой проблемы - априор Джеффри ,, что эквивалентно принятию масштабно-инвариантного плоского априора для ln (σ 2 ) .
Одним из следствий принятия этого априорного значения является то, что S 2 / σ 2 остается ключевой величиной , т. Е. Распределение вероятностей S 2 / σ 2 зависит только от S 2 / σ 2 , независимо от значения S 2 или σ 2 :
Однако пока
в отличие
- когда математическое ожидание берется по распределению вероятностей сг 2 данной S 2 , как это происходит в случае байесовского, а не S 2 дано σ 2 , можно больше не принимать σ 4 в качестве постоянной и фактора оно вне. Следствием этого является то, что, по сравнению с расчетом по теории выборки, байесовский расчет придает больший вес большим значениям σ 2 , должным образом принимая во внимание (поскольку расчет по теории выборки не может), что при этой функции квадратов потерь следствие недооценка больших значений σ 2 обходится дороже с точки зрения квадрата потерь, чем переоценка малых значений σ 2 .
Разработанный байесовский расчет дает масштабированное обратное распределение хи-квадрат с n - 1 степенями свободы для апостериорного распределения вероятностей σ 2 . Ожидаемые потери сводятся к минимуму, когда cnS 2 = <σ 2 >; это происходит, когда c = 1 / ( n - 3).
Следовательно, даже при неинформативном априорном вычислении байесовское вычисление может не дать такого же результата минимизации ожидаемых потерь, как соответствующее вычисление теории выборки.
Смотрите также
- Последовательный оценщик
- Эффективный оценщик
- Теория оценок
- Ожидаемый убыток
- Ожидаемое значение
- Функция потерь
- Медиана
- Несмещенная оценка минимальной дисперсии
- Смещение пропущенной переменной
- Предвзятость оптимизма
- Оценка отношения
- Статистическая теория принятия решений
Заметки
- ^ «Список вероятностных и статистических символов» . Математическое хранилище . 2020-04-26 . Проверено 12 сентября 2020 .
- ^ а б в Коздрон, Михаил (март 2016). «Оценка качества оценщика: систематическая ошибка, среднеквадратическая ошибка, относительная эффективность (глава 3)» (PDF) . stat.math.uregina.ca . Проверено 11 сентября 2020 .
- ^ а б Тейлор, Кортни (13 января 2019 г.). «Беспристрастные и предвзятые оценщики» . ThoughtCo . Проверено 12 сентября 2020 .
- ^ Ричард Арнольд Джонсон; Дин В. Уичерн (2007). Прикладной многомерный статистический анализ . Пирсон Прентис Холл. ISBN 978-0-13-187715-3. Проверено 10 августа 2012 года .
- ^ JP Romano и AF Siegel (1986) Контрпримеры в вероятности и статистике , Wadsworth & Brooks / Cole, Монтерей, Калифорния, США, стр. 168
- ^ Харди, М. (1 марта 2003 г.). «Яркий контрпример». Американский математический ежемесячник . 110 (3): 234–238. arXiv : math / 0206006 . DOI : 10.2307 / 3647938 . ISSN 0002-9890 . JSTOR 3647938 .
- ^ Браун (1947), стр. 583
- ^ Пфанцагль, Иоганн (1979). «Об оптимальных медианных несмещенных оценках при наличии мешающих параметров» . Летопись статистики . 7 (1): 187–193. DOI : 10.1214 / aos / 1176344563 .
- ^ а б Браун, LD; Коэн, Артур; Strawderman, WE (1976). «Теорема о полном классе для строгого монотонного отношения правдоподобия с приложениями» . Аня. Статист . 4 (4): 712–722. DOI : 10.1214 / AOS / 1176343543 .
- ^ а б в Додж, Ядола, изд. (1987). Статистический анализ данных на основе L 1 -нормы и родственных методов . Материалы Первой международной конференции, состоявшейся в Невшателе 31 августа - 4 сентября 1987 г. Амстердам: Северная Голландия. ISBN 0-444-70273-3.
- ^ Джейнс, ET (2007). Теория вероятностей: логика науки . Кембридж: Cambridge Univ. Нажмите. п. 172. ISBN. 978-0-521-59271-0.
- ^ Клебанов, Лев Б .; Рачев, Светлозар Т .; Фабоцци, Фрэнк Дж. (2009). «Функции потерь и теория объективного оценивания». Робастные и ненадежные модели в статистике . Нью-Йорк: Nova Scientific. ISBN 978-1-60741-768-2.
- ^ Табога, Марко (2010). «Лекции по теории вероятностей и математической статистике» .
- ^ ДеГрут, Моррис Х. (1986). Вероятность и статистика (2-е изд.). Эддисон-Уэсли. стр. 414 -5. ISBN 0-201-11366-X. Но сравните это, например, с обсуждением в Казелла; Бергер (2001). Статистический вывод (2-е изд.). Даксбери. п. 332. ISBN. 0-534-24312-6.
- ^ Гельман, А .; и другие. (1995). Байесовский анализ данных . Чепмен и Холл. п. 108. ISBN 0-412-03991-5.
Рекомендации
- Браун, Джордж У. "Об оценке малых выборок". Анналы математической статистики , т. 18, нет. 4 (декабрь 1947 г.), стр. 582–585. JSTOR 2236236 .
- Леманн, Э.Л. "Общая концепция объективности", Анналы математической статистики , т. 22, нет. 4 (декабрь 1951 г.), стр. 587–592. JSTOR 2236928 .
- Аллан Бирнбаум , 1961. "Единая теория оценивания, I", "Анналы математической статистики" , том. 32, нет. 1 (март 1961 г.), стр. 112–135.
- Ван дер Ваарт, HR, 1961. " Некоторые расширения идеи предвзятости " Анналы математической статистики , вып. 32, нет. 2 (июнь 1961 г.), стр. 436–447.
- Пфанцагль, Иоганн. 1994. Параметрическая статистическая теория . Вальтер де Грюйтер.
- Стюарт, Алан; Орд, Кейт; Арнольд, Стивен [Ф.] (2010). Классический вывод и линейная модель . Продвинутая теория статистики Кендалла. 2А . Вайли. ISBN 0-4706-8924-2..
- Воинов, Василий [Г.]; Никулин, Михаил [С.] (1993). Беспристрастные оценщики и их приложения . 1: Одномерный случай. Dordrect: Kluwer Academic Publishers. ISBN 0-7923-2382-3.
- Воинов, Василий [Г.]; Никулин, Михаил [С.] (1996). Беспристрастные оценщики и их приложения . 2: многомерный случай. Dordrect: Kluwer Academic Publishers. ISBN 0-7923-3939-8.
- Клебанов, Лев [Б.]; Рачев, Светлозар [Т.]; Фабоцци, Франк [Дж.] (2009). Робастные и ненадежные модели в статистике . Нью-Йорк: Nova Scientific Publishers. ISBN 978-1-60741-768-2.
Внешние ссылки
- "Беспристрастная оценка" , Энциклопедия математики , EMS Press , 2001 [1994][ требуется разъяснение ]