Беспристрастная оценка стандартного отклонения

В статистике и, в частности, в статистической теории , объективная оценка стандартного отклонения - это вычисление на основе статистической выборки оценочного значения стандартного отклонения (меры статистической дисперсии ) совокупности значений таким образом, чтобы ожидаемое значение расчета равняется истинному значению. За исключением некоторых важных ситуаций, описанных ниже, задача не имеет большого отношения к приложениям статистики, поскольку ее необходимость устраняется стандартными процедурами, такими как использование критериев значимости и доверительных интервалов , или использованиеБайесовский анализ .

Однако для статистической теории он представляет собой образец проблемы в контексте теории оценивания, которую легко сформулировать и по которой результаты не могут быть получены в закрытой форме. В нем также приводится пример, в котором навязывание требования объективной оценки может рассматриваться как добавление неудобств без реальной выгоды.

Фон [ править ]

В статистических данных , то стандартное отклонение популяции чисел часто оцениваются из случайной выборки , проведенной из популяции. Это стандартное отклонение выборки, которое определяется как

${\ displaystyle s = {\ sqrt {\ frac {\ sum _ {i = 1} ^ {n} (x_ {i} - {\ overline {x}}) ^ {2}} {n-1}}} ,}$

где - выборка (формально реализации от случайной величины X ), а - выборочное среднее .${\ Displaystyle \ {x_ {1}, x_ {2}, \ ldots, x_ {n} \}}$ ${\ displaystyle {\ overline {x}}}$

Один из способов увидеть , что это смещенная оценка стандартного отклонения населения, чтобы начать с того результата , что евым ² является несмещенной оценкой для дисперсии σ ² нижележащего населения , если это дисперсия существует и значение образца нарисованы независимо друг от друга с заменой. Квадратный корень - это нелинейная функция, и только линейные функции коммутируют с математическим ожиданием. Поскольку квадратный корень является строго вогнутой функцией, из неравенства Дженсена следует, что квадратный корень из выборочной дисперсии является заниженной.

Использование n  - 1 вместо n в формуле для дисперсии выборки известно как поправка Бесселя , которая корректирует смещение в оценке дисперсии генеральной совокупности и некоторые, но не все смещения в оценке эталона генеральной совокупности. отклонение.

Невозможно найти оценку стандартного отклонения, которая была бы несмещенной для всех распределений населения, поскольку смещение зависит от конкретного распределения. Большая часть следующего относится к оценке, предполагающей нормальное распределение .

Коррекция смещения [ править ]

Эта статья включает в себя список литературы , связанной литературы или внешних ссылок , но ее источники остаются неясными, поскольку в ней отсутствуют встроенные цитаты . Пожалуйста, помогите улучшить эту статью, добавив более точные цитаты. ( Декабрь 2014 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Результаты для нормального распределения [ править ]

Поправочный коэффициент в зависимости от размера выборки n .${\ displaystyle c_ {4}}$

Когда случайная величина имеет нормальное распределение , существует небольшая поправка для устранения смещения. Для получения коррекции, к сведению , что для нормально распределенной X , теорема Кохрена следует , что имеет распределение хи - квадрат с степенями свободы и , следовательно , его квадратный корень, имеет ци распределение с степенями свободы. Следовательно, вычисляя математическое ожидание этого последнего выражения и переставляя константы,${\ Displaystyle (п-1) s ^ {2} / \ sigma ^ {2}}$${\ displaystyle n-1}$ ${\ displaystyle {\ sqrt {n-1}} s / \ sigma}$${\ displaystyle n-1}$

${\ Displaystyle \ OperatorName {E} [s] = c_ {4} (n) \ sigma}$

где коэффициент коррекции является масштаб среднего значения ч распределения с степенями свободы, . Это зависит от размера выборки n и определяется следующим образом: ^[1]${\ Displaystyle c_ {4} (п)}$${\ displaystyle n-1}$${\ displaystyle \ mu _ {1} / {\ sqrt {n-1}}}$

${\ displaystyle c_ {4} (n) = {\ sqrt {\ frac {2} {n-1}}} {\ frac {\ Gamma \ left ({\ frac {n} {2}} \ right)} {\ Gamma \ left ({\ frac {n-1} {2}} \ right)}} = 1 - {\ frac {1} {4n}} - {\ frac {7} {32n ^ {2}} } - {\ frac {19} {128n ^ {3}}} + O (n ^ {- 4})}$

где Γ (·) - гамма-функция . Несмещенную оценку σ можно получить делением на . По мере увеличения он приближается к 1, и даже для меньших значений поправка незначительна. На рисунке показан график зависимости размера выборки. В таблице ниже приведены числовые значения и алгебраические выражения для некоторых значений ; более полные таблицы можно найти в большинстве учебников ^{[ необходима ссылка ]} по статистическому контролю качества .${\ displaystyle s}$${\ Displaystyle c_ {4} (п)}$${\ displaystyle n}$${\ Displaystyle c_ {4} (п)}$${\ Displaystyle c_ {4} (п)}$${\ displaystyle n}$

Размер образца	Выражение ${\ displaystyle c_ {4}}$	Численная величина
2	${\displaystyle {\sqrt {\frac {2}{\pi }}}}$	0,7978845608
3	${\displaystyle {\frac {\sqrt {\pi }}{2}}}$	0,8862269255
4	${\displaystyle 2{\sqrt {\frac {2}{3\pi }}}}$	0,9213177319
5	${\displaystyle {\frac {3}{4}}{\sqrt {\frac {\pi }{2}}}}$	0,9399856030
6	${\displaystyle {\frac {8}{3}}{\sqrt {\frac {2}{5\pi }}}}$	0,9515328619
7	${\displaystyle {\frac {5{\sqrt {3\pi }}}{16}}}$	0,9593687891
8	${\displaystyle {\frac {16}{5}}{\sqrt {\frac {2}{7\pi }}}}$	0,9650304561
9	${\displaystyle {\frac {35{\sqrt {\pi }}}{64}}}$	0,9693106998
10	${\displaystyle {\frac {128}{105}}{\sqrt {\frac {2}{\pi }}}}$	0,9726592741
100		0,9974779761
1000		0,9997497811
10000		0,9999749978
2k	${\displaystyle {\sqrt {\frac {2}{\pi (2k-1)}}}{\frac {2^{2k-2}(k-1)!^{2}}{(2k-2)!}}}$
2к + 1	${\displaystyle {\sqrt {\frac {\pi }{k}}}{\frac {(2k-1)!}{2^{2k-1}(k-1)!^{2}}}}$

Важно иметь в виду , что это исправление производит только непредвзятый оценщик для нормально и независимо распределенных X . Когда это условие выполнено, еще один результат о с участием в том , что стандартная ошибка из S является ^{[2] [3]} , в то время как стандартная ошибка из несмещенной оценки является${\displaystyle c_{4}(n)}$ ${\displaystyle \sigma {\sqrt {1-c_{4}^{2}}}}$${\displaystyle \sigma {\sqrt {c_{4}^{-2}-1}}.}$

Эмпирическое правило для нормального распределения [ править ]

Если вычисление функции c ₄ ( n ) кажется слишком сложным, есть простое практическое правило ^[4], чтобы взять оценку

${\displaystyle {\hat {\sigma }}={\sqrt {{\frac {1}{n-1.5}}\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}}$

Формула отличается от знакомого выражения для s ² только тем, что в знаменателе стоит n - 1,5 вместо n - 1 . Это выражение является приблизительным; по факту,

${\displaystyle \operatorname {E} \left[{\hat {\sigma }}\right]=\sigma \cdot \left(1+{\frac {1}{16n^{2}}}+{\frac {3}{16n^{3}}}+O(n^{-4})\right).}$

Смещение относительно невелико: допустим, для него оно равно 1,3%, а для смещения уже 0,1%.${\displaystyle n=3}$${\displaystyle n=9}$

Другие дистрибутивы [ править ]

В случаях, когда статистически независимые данные моделируются параметрическим семейством распределений, отличным от нормального распределения , стандартное отклонение совокупности, если оно существует, будет функцией параметров модели. Один общий подход к оценке - максимальная вероятность . В качестве альтернативы можно использовать теорему Рао – Блэквелла как путь к нахождению хорошей оценки стандартного отклонения. Ни в том, ни в другом случае полученные оценки обычно не были бы объективными. Теоретически можно получить теоретические поправки, которые приведут к несмещенным оценкам, но, в отличие от поправок для нормального распределения, они обычно будут зависеть от оцененных параметров.

Если требуется просто уменьшить смещение оценочного стандартного отклонения, а не полностью его устранить, тогда доступны два практических подхода, оба в контексте повторной выборки . Это складывание рук и самозаготовка . Оба могут применяться либо к параметрическим оценкам стандартного отклонения, либо к стандартному отклонению выборки.

Для ненормальных распределений приближенная (до O ( n ⁻¹ ) членов) формула несмещенной оценки стандартного отклонения имеет вид

${\displaystyle {\hat {\sigma }}={\sqrt {{\frac {1}{n-1.5-{\tfrac {1}{4}}\gamma _{2}}}\sum _{i=1}^{n}\left(x_{i}-{\overline {x}}\right)^{2}}},}$

где γ ₂ обозначает избыточный эксцесс популяции . Избыточный эксцесс для определенных распределений может быть известен заранее или рассчитан на основе данных.

Эффект автокорреляции (серийная корреляция) [ править ]

Приведенный выше материал, чтобы еще раз подчеркнуть, относится только к независимым данным. Однако реальные данные часто не соответствуют этому требованию; это автокорреляция (также известная как серийная корреляция). В качестве одного примера, последовательные показания измерительного прибора, который включает в себя некоторую форму процесса «сглаживания» (точнее, низкочастотной фильтрации), будут автокоррелированы, поскольку любое конкретное значение вычисляется из некоторой комбинации более ранних и последующих показаний.

Оценки дисперсии и стандартного отклонения автокоррелированных данных будут смещены. Ожидаемое значение дисперсии выборки составляет ^[5]

${\displaystyle {\rm {E}}\left[s^{2}\right]=\sigma ^{2}\left[1-{\frac {2}{n-1}}\sum _{k=1}^{n-1}\left(1-{\frac {k}{n}}\right)\rho _{k}\right]}$

где n - размер выборки (количество измерений), а - автокорреляционная функция (АКФ) данных. (Обратите внимание, что выражение в скобках - это просто единица минус средняя ожидаемая автокорреляция для показаний.) Если ACF состоит из положительных значений, тогда оценка дисперсии (и ее квадратного корня, стандартного отклонения) будет иметь низкое смещение. То есть фактическая изменчивость данных будет больше, чем указанная нескорректированной дисперсией или расчетом стандартного отклонения. Важно понимать, что, если это выражение будет использоваться для корректировки смещения путем деления оценки на количество в скобках выше, то ACF должна быть известна аналитически.${\displaystyle \rho _{k}}$${\displaystyle s^{2}}$, а не путем оценки на основе данных. Это связано с тем, что оценочная ACF сама будет смещена. ^[6]

Пример смещения стандартного отклонения [ править ]

Чтобы проиллюстрировать величину смещения в стандартном отклонении, рассмотрим набор данных, который состоит из последовательных показаний прибора, который использует определенный цифровой фильтр, ACF которого, как известно, определяется выражением

${\displaystyle \rho _{k}=(1-\alpha )^{k}}$

где α - параметр фильтра, принимает значения от нуля до единицы. Таким образом, АКФ положительна и геометрически убывает.

На рисунке показано отношение расчетного стандартного отклонения к его известному значению (которое может быть вычислено аналитически для этого цифрового фильтра) для нескольких настроек α в зависимости от размера выборки n . Изменение α изменяет коэффициент уменьшения дисперсии фильтра, который, как известно,

${\displaystyle {\rm {VRR}}={\frac {\alpha }{2-\alpha }}}$

так что меньшие значения α приводят к большему уменьшению дисперсии или «сглаживанию». Смещение указано значениями на вертикальной оси, отличными от единицы; то есть, если бы не было систематической ошибки, отношение расчетного стандартного отклонения к известному было бы равно единице. Ясно, что для небольших размеров выборки может быть значительная систематическая ошибка (в два или более раз).

Дисперсия среднего [ править ]

Часто представляет интерес оценить дисперсию или стандартное отклонение оценочного среднего, а не дисперсию генеральной совокупности. Когда данные автокоррелированы, это оказывает прямое влияние на теоретическую дисперсию выборочного среднего, которая составляет ^[7]

${\displaystyle {\rm {Var}}\left[{\overline {x}}\right]={\frac {\sigma ^{2}}{n}}\left[1+2\sum _{k=1}^{n-1}{\left(1-{\frac {k}{n}}\right)\rho _{k}}\right].}$

Затем можно оценить дисперсию выборочного среднего, подставив оценку σ ² . Одна такая оценка может быть получена из уравнения для E [s ² ], приведенного выше. Сначала определите следующие константы, опять же, принимая известную ACF:

${\displaystyle \gamma _{1}\equiv 1-{\frac {2}{n-1}}\sum _{k=1}^{n-1}{\left(1-{\frac {k}{n}}\right)}\rho _{k}}$

${\displaystyle \gamma _{2}\equiv 1+2\sum _{k=1}^{n-1}{\left(1-{\frac {k}{n}}\right)}\rho _{k}}$

так что

${\displaystyle {\rm {E}}\left[s^{2}\right]=\sigma ^{2}\gamma _{1}\Rightarrow {\rm {E}}\left[{\frac {s^{2}}{\gamma _{1}}}\right]=\sigma ^{2}}$

Это говорит о том, что ожидаемое значение величины, полученной путем деления наблюдаемой дисперсии выборки на поправочный коэффициент, дает несмещенную оценку дисперсии. Точно так же переписав приведенное выше выражение для дисперсии среднего,${\displaystyle \gamma _{1}}$

${\displaystyle {\rm {Var}}\left[{\overline {x}}\right]={\frac {\sigma ^{2}}{n}}\gamma _{2}}$

и подстановка оценки на дает ^[8]${\displaystyle \sigma ^{2}}$

${\displaystyle {\rm {Var}}\left[{\overline {x}}\right]={\rm {E}}\left[{\frac {s^{2}}{\gamma _{1}}}\left({\frac {\gamma _{2}}{n}}\right)\right]={\rm {E}}\left[{\frac {s^{2}}{n}}\left\{{\frac {n-1}{{\frac {n}{\gamma _{2}}}-1}}\right\}\right]}$

который представляет собой несмещенную оценку дисперсии среднего значения с точки зрения наблюдаемой дисперсии выборки и известных величин. Если автокорреляции тождественно равны нулю, это выражение сводится к хорошо известному результату для дисперсии среднего для независимых данных. Эффект оператора математического ожидания в этих выражениях заключается в том, что равенство выполняется в среднем (т. Е. В среднем).${\displaystyle \rho _{k}}$

Оценка стандартного отклонения населения [ править ]

Имея приведенные выше выражения, включающие дисперсию совокупности и оценку среднего значения этой совокупности, казалось бы логичным просто извлечь квадратный корень из этих выражений, чтобы получить несмещенные оценки соответствующих стандартных отклонений. Однако это тот случай, когда ожидания являются интегралами,

${\displaystyle {\rm {E}}[s]\neq {\sqrt {{\rm {E}}\left[s^{2}\right]}}\neq \sigma {\sqrt {\gamma _{1}}}}$

Вместо этого предположим, что существует такая функция θ , что можно записать несмещенную оценку стандартного отклонения

${\displaystyle {\rm {E}}[s]=\sigma \theta {\sqrt {\gamma _{1}}}\Rightarrow {\hat {\sigma }}={\frac {s}{\theta {\sqrt {\gamma _{1}}}}}}$

и θ зависит от размера выборки n и ACF. В случае данных NID (нормально и независимо распределенных) подкоренное выражение равно единице, а θ - это просто функция c _4, указанная в первом разделе выше. Как и в случае c ₄ , θ приближается к единице с увеличением размера выборки (как и γ ₁ ).

С помощью имитационного моделирования можно продемонстрировать, что игнорирование θ (то есть принятие его за единицу) и использование

${\displaystyle {\rm {E}}[s]\approx \sigma {\sqrt {\gamma _{1}}}\Rightarrow {\hat {\sigma }}\approx {\frac {s}{\sqrt {\gamma _{1}}}}}$

удаляет все , кроме нескольких процентов от смещения , вызванного автокорреляции, что делает это уменьшенный -bias оценщик, а не ООН предвзятым оценщик. В практических ситуациях измерения это уменьшение систематической ошибки может быть значительным и полезным, даже если сохраняется относительно небольшая погрешность. Рисунок выше, показывающий пример смещения стандартного отклонения в зависимости от размера выборки, основан на этом приближении; фактическое смещение будет несколько больше, чем указано на этих графиках, поскольку смещение преобразования θ туда не входит.

Оценка стандартного отклонения выборочного среднего [ править ]

Несмещенная дисперсия среднего с точки зрения дисперсии генеральной совокупности и ACF определяется выражением

${\displaystyle {\rm {Var}}\left[{\overline {x}}\right]={\frac {\sigma ^{2}}{n}}\gamma _{2}}$

и поскольку здесь нет ожидаемых значений, в этом случае можно извлечь квадратный корень, так что

${\displaystyle \sigma _{\overline {x}}={\frac {\sigma }{\sqrt {n}}}{\sqrt {\gamma _{2}}}}$

Используя приведенное выше выражение для несмещенной оценки для σ , тогда оценка стандартного отклонения среднего будет

${\displaystyle {\hat {\sigma }}_{\overline {x}}={\frac {s}{\theta {\sqrt {n}}}}{\frac {\sqrt {\gamma _{2}}}{\sqrt {\gamma _{1}}}}}$

Если данные являются NID, так что ACF исчезает, это сводится к

${\displaystyle {\hat {\sigma }}_{\overline {x}}={\frac {s}{c_{4}{\sqrt {n}}}}}$

При наличии ненулевой АКФ игнорирование функции θ по-прежнему приводит к оценке с уменьшенным -смещением

${\displaystyle {\hat {\sigma }}_{\overline {x}}\approx {\frac {s}{\sqrt {n}}}{\frac {\sqrt {\gamma _{2}}}{\sqrt {\gamma _{1}}}}={\frac {s}{\sqrt {n}}}{\sqrt {\frac {n-1}{{\frac {n}{\gamma _{2}}}-1}}}}$

что снова может быть продемонстрировано как устранение полезного большинства систематических ошибок.

См. Также [ править ]

• Поправка Бесселя
• Оценка ковариационных матриц
• Среднее значение выборки и ковариация выборки

Ссылки [ править ]

• Дуглас К. Монтгомери и Джордж К. Рангер, Прикладная статистика и теория вероятностей для инженеров , 3-е издание, Wiley and sons, 2003 г. (см. Разделы 7–2.2 и 16–5).

Внешние ссылки [ править ]

• Java интерактивной графики , показывающий Гельмерта PDF , из которого получены поправочные коэффициенты смещения.
• Демонстрация моделирования методом Монте-Карло для объективной оценки стандартного отклонения.
• http://www.itl.nist.gov/div898/handbook/pmc/section3/pmc32.htm Что такое контрольные диаграммы переменных?

 Эта статья включает материалы, являющиеся  общественным достоянием, с веб-сайта Национального института стандартов и технологий https://www.nist.gov .