Надежная статистика

Надежная статистика - это статистика с хорошей производительностью для данных, взятых из широкого диапазона распределений вероятностей , особенно для распределений, которые не являются нормальными . Надежные статистические методы были разработаны для решения многих общих задач, таких как оценка местоположения , масштаба и параметров регрессии . Одним из мотивов является создание статистических методов , на которые не оказывают чрезмерного влияния выбросы . Еще одна мотивация - предоставить методы с хорошей производительностью, когда есть небольшие отклонения от параметрического распределения.. Например, робастные методы хорошо работают для смесей двух нормальных распределений с разными стандартными отклонениями ; в рамках этой модели ненадежные методы, такие как t-тест, работают плохо.

Введение [ править ]

Надежная статистика стремится предоставить методы, которые имитируют популярные статистические методы, но на которые не оказывают чрезмерного влияния выбросы или другие небольшие отклонения от допущений модели . В статистике классические методы оценки в значительной степени полагаются на предположения, которые на практике часто не выполняются. В частности, часто предполагается, что ошибки данных распределены нормально, по крайней мере приблизительно, или что центральная предельная теорема может использоваться для получения нормально распределенных оценок. К сожалению, когда в данных есть выбросы, классические оценщики часто имеют очень низкую производительность, если судить с использованием точки разбивки и функции влияния , описанных ниже.

Практический эффект проблем, обнаруженных в функции влияния, может быть изучен эмпирически путем изучения выборочного распределения предложенных оценок в рамках модели смеси , в которой смешивается небольшое количество (часто достаточно 1–5%) загрязнения. Например, можно использовать смесь 95% нормального распределения и 5% нормального распределения с тем же средним, но значительно более высоким стандартным отклонением (представляющим выбросы).

Надежная параметрическая статистика может выполняться двумя способами:

• путем разработки оценщиков таким образом, чтобы достигалось предварительно выбранное поведение функции влияния.
• путем замены оценок, оптимальных в предположении нормального распределения, на оценки, которые оптимальны для других распределений или, по крайней мере, выведены для них: например, используя t -распределение с низкими степенями свободы (высокий эксцесс; степени свободы между 4 и 6 часто оказывались полезными на практике ^{[ необходима цитата ]} ) или в сочетании двух или более дистрибутивов.

Робастные оценки изучались для следующих задач:

• оценка параметров местоположения ^{[ необходима ссылка ]}
• оценка масштабных параметров ^{[ необходима ссылка ]}
• оценка коэффициентов регрессии ^{[ необходима ссылка ]}
• оценка состояний модели в моделях, выраженных в форме пространства состояний , для которой стандартный метод эквивалентен фильтру Калмана .

Определение [ править ]

Существуют различные определения «надежной статистики». Строго говоря, надежная статистика устойчива к ошибкам в результатах, вызванных отклонениями от предположений ^[1] (например, нормальности). Это означает, что если предположения выполняются только приблизительно, робастная оценка по- прежнему будет иметь разумную эффективность и достаточно небольшое смещение , а также быть асимптотически несмещенным , то есть иметь смещение, стремящееся к 0, поскольку размер выборки стремится к бесконечности.

Один из наиболее важных случаев - надежность распределения. ^[1] Классические статистические процедуры обычно чувствительны к «длительности» (например, когда распределение данных имеет более длинные хвосты, чем предполагаемое нормальное распределение). Это означает, что на них будет сильно влиять наличие выбросов в данных, и получаемые ими оценки могут быть сильно искажены, если в данных есть экстремальные выбросы, по сравнению с тем, что они были бы, если бы выбросы не были включены в данные. .

Напротив, более надежные оценщики, которые не так чувствительны к искажениям распределения, таким как длинноствольный характер, также устойчивы к наличию выбросов. Таким образом, в контексте надежной статистики, distributionally прочные и останец устойчивость эффективны синонимы. ^[1] Об одном взгляде на исследования надежной статистики до 2000 г. см. Portnoy & He (2000) .

Смежная тема - это стойкая статистика, которая устойчива к воздействию экстремальных оценок.

При рассмотрении того, насколько надежна оценка в отношении наличия выбросов, полезно проверить, что происходит, когда в набор данных добавляется экстремальный выброс , и проверить, что происходит, когда экстремальный выброс заменяет одну из существующих точек данных, а затем учитывать эффект многократных добавлений или замен.

Примеры [ править ]

Среднее не является надежной мерой центральной тенденции . Если набор данных представляет собой, например, значения {2,3,5,6,9}, то, если мы добавим к данным еще одну точку данных со значением -1000 или +1000, итоговое среднее будет сильно отличаться от среднего значения исходных данных. . Точно так же, если мы заменим одно из значений точкой данных со значением -1000 или +1000, то результирующее среднее будет сильно отличаться от среднего значения исходных данных.

Медиана является надежной мерой центральной тенденции . Если взять тот же набор данных {2,3,5,6,9}, если мы добавим еще одну точку данных со значением -1000 или +1000, то медиана немного изменится, но все равно будет аналогична медиане исходных данных. Если мы заменим одно из значений точкой данных со значением -1000 или +1000, то итоговая медиана все равно будет аналогична медиане исходных данных.

Описанное в терминах точек разбивки , медиана имеет точку разбивки 50%, в то время как среднее значение имеет точку разбивки 1 / N, где N - количество исходных точек данных (одно большое наблюдение может отбросить ее).

Медианное абсолютное отклонение и межквартильный диапазон являются надежными мерами статистической дисперсии , в то время как стандартное отклонение и диапазон не является.

Обрезанные оценки и Winsorised оценки - это общие методы, позволяющие сделать статистику более надежной. L-оценки представляют собой общий класс простой статистики, часто надежной, в то время как M-оценки представляют собой общий класс надежной статистики и в настоящее время являются предпочтительным решением, хотя их можно довольно сложно вычислить.

Пример: данные о скорости света [ править ]

Гельман и др. в Bayesian Data Analysis (2004) рассмотрим набор данных, относящихся к измерениям скорости света, выполненным Саймоном Ньюкомом . Наборы данных для этой книги можно найти на странице классических наборов данных , а на веб-сайте книги содержится дополнительная информация о данных.

Хотя большая часть данных выглядит более или менее нормально распределенной, есть два очевидных выброса. Эти выбросы сильно влияют на среднее значение, перетаскивая его к себе и от центра основной массы данных. Таким образом, если среднее значение предназначено для измерения местоположения центра данных, оно в некотором смысле смещается при наличии выбросов.

Кроме того, известно, что распределение среднего является асимптотически нормальным из-за центральной предельной теоремы. Однако выбросы могут сделать распределение среднего ненормальным даже для довольно больших наборов данных. Помимо этой ненормальности, среднее значение также неэффективно при наличии выбросов, и доступны менее вариативные меры местоположения.

Оценка местоположения [ править ]

График ниже показывает график плотности данных скорости света вместе с графиком коврика (панель (а)). Также показан нормальный график Q – Q (панель (b)). На этих графиках хорошо видны выбросы.

Панели (c) и (d) графика показывают бутстрап-распределение среднего (c) и 10% усеченного среднего (d). Усеченное среднее - это простая надежная оценка местоположения, которая удаляет определенный процент наблюдений (здесь 10%) с каждого конца данных, а затем вычисляет среднее значение обычным способом. Анализ был выполнен в R, и для каждого из исходных и усеченных средних значений было использовано 10000 образцов начальной загрузки .

Очевидно, что распределение среднего намного шире, чем у 10% усеченного среднего (графики имеют тот же масштаб). Кроме того, в то время как распределение усеченного среднего кажется близким к нормальному, распределение необработанного среднего сильно смещено влево. Итак, в этой выборке из 66 наблюдений только 2 выброса приводят к тому, что центральная предельная теорема неприменима.

Надежные статистические методы, простым примером которых является усеченное среднее, стремятся превзойти классические статистические методы при наличии выбросов или, в более общем плане, когда лежащие в основе параметрические допущения не совсем верны.

Хотя усеченное среднее хорошо работает по сравнению со средним в этом примере, доступны более надежные оценки. Фактически, среднее, медианное и усеченное среднее - все это частные случаи M-оценок . Подробности представлены в разделах ниже.

Оценка масштаба [ править ]

Выбросы в данных о скорости света имеют больше, чем просто отрицательное влияние на среднее значение; обычная оценка масштаба - это стандартное отклонение, и на эту величину еще более сильно влияют выбросы, потому что квадраты отклонений от среднего входят в расчет, поэтому влияние выбросов усугубляется.

На графиках ниже показаны бутстрап-распределения стандартного отклонения, среднего абсолютного отклонения (MAD) и оценки масштаба Руссеу-Кра (Qn) . ^[2] Графики основаны на 10 000 выборок начальной загрузки для каждой оценки, с некоторым гауссовским шумом, добавленным к повторно дискретизированным данным ( сглаженная бутстрап ). Панель (а) показывает распределение стандартного отклонения, (b) MAD и (c) Qn.

Распределение стандартного отклонения беспорядочное и широкое из-за выбросов. MAD ведет себя лучше, а Qn немного более эффективен, чем MAD. Этот простой пример демонстрирует, что при наличии выбросов стандартное отклонение не может быть рекомендовано в качестве оценки масштаба.

Ручная проверка выбросов [ править ]

Традиционно статистики вручную проверяли данные на наличие выбросов и удаляли их, обычно проверяя источник данных, чтобы увидеть, были ли зарегистрированы выбросы ошибочно. Действительно, в приведенном выше примере скорости света легко увидеть и удалить два выброса, прежде чем приступить к дальнейшему анализу. Однако в наше время наборы данных часто состоят из большого количества переменных, измеряемых на большом количестве экспериментальных установок. Поэтому ручной отсев на наличие выбросов часто нецелесообразен.

Выбросы часто могут взаимодействовать таким образом, что маскируют друг друга. В качестве простого примера рассмотрим небольшой одномерный набор данных, содержащий один скромный и один большой выброс. Расчетное стандартное отклонение будет сильно завышено из-за большого выброса. В результате скромный выброс выглядит относительно нормально. Как только большой выброс удаляется, расчетное стандартное отклонение уменьшается, и теперь скромный выброс выглядит необычно.

Эта проблема маскирования усугубляется по мере увеличения сложности данных. Например, в задачах регрессии диагностические графики используются для выявления выбросов. Однако обычно после удаления нескольких выбросов другие становятся видимыми. Проблема еще хуже в более высоких измерениях.

Надежные методы предоставляют автоматические способы обнаружения, уменьшения (или удаления) и пометки выбросов, что в значительной степени устраняет необходимость в ручном скрининге. Следует соблюдать осторожность; Первоначальные данные, показывающие, что озоновая дыра впервые появилась над Антарктидой, были отклонены как выбросы при проверке без участия человека. ^[3]

Разнообразие приложений [ править ]

Хотя в этой статье рассматриваются общие принципы одномерных статистических методов, робастные методы также существуют для задач регрессии, обобщенных линейных моделей и оценки параметров различных распределений.

Меры устойчивости [ править ]

Основными инструментами, используемыми для описания и измерения устойчивости, являются: точка отказа , функция влияния и кривая чувствительности .

Точка разрушения [ править ]

Интуитивно понятно, что точка отказа оценщика - это доля неправильных наблюдений (например, произвольно больших наблюдений), которые оценщик может обработать, прежде чем дать неправильный (например, произвольно большой) результат. Например, при наличии независимых случайных величин и соответствующих реализаций мы можем использовать для оценки среднего значения. Такая оценка имеет точку разбиения 0, потому что мы можем сделать произвольно большие, просто изменив любое из .${\ displaystyle n}$${\ displaystyle (X_ {1}, \ dots, X_ {n})}$${\ displaystyle x_ {1}, \ dots, x_ {n}}$${\displaystyle {\overline {X_{n}}}:={\frac {X_{1}+\cdots +X_{n}}{n}}}$${\displaystyle {\overline {x}}}$${\displaystyle x_{1},\dots ,x_{n}}$

Чем выше точка разбивки оценщика, тем она надежнее. Интуитивно мы можем понять, что точка разбиения не может превышать 50%, потому что, если более половины наблюдений загрязнены, невозможно провести различие между лежащим в основе распределением и загрязняющим распределением. Rousseeuw & Leroy (1986) . Следовательно, максимальная точка разбивки составляет 0,5, и есть средства оценки, которые достигают такой точки разбивки. Например, медиана имеет точку разбивки 0,5. Усеченное среднее X% имеет точку разбивки X% для выбранного уровня X. Хубер (1981) и Маронна, Мартин и Йохай (2006) содержат более подробную информацию. Уровень и точки пробоя мощности тестов исследованы в He, Simpson & Portnoy (1990). harvtxt error: no target: CITEREFRousseeuwLeroy1986 (help).

Статистику с высокими точками пробоя иногда называют устойчивой статистикой. ^[4]

Пример: данные о скорости света [ править ]

В примере со скоростью света удаление двух самых низких наблюдений приводит к изменению среднего значения с 26,2 до 27,75, т.е. на 1,55. Оценка масштаба, полученная методом Qn, составляет 6,3. Мы можем разделить это на квадратный корень из размера выборки, чтобы получить надежную стандартную ошибку, и мы находим, что эта величина составляет 0,78. Таким образом, изменение среднего значения в результате удаления двух выбросов примерно вдвое превышает устойчивую стандартную ошибку.

Усеченное на 10% среднее значение скорости света составляет 27,43. Удаление двух самых низких наблюдений и повторное вычисление дает 27,67. Ясно, что усеченное среднее меньше подвержено влиянию выбросов и имеет более высокую точку разбивки.

Если мы заменим самое низкое наблюдение, -44, на -1000, среднее значение станет 11,73, тогда как усеченное на 10% среднее все равно будет 27,43. Во многих областях прикладной статистики данные обычно преобразуются логарифмически, чтобы сделать их почти симметричными. Очень маленькие значения становятся большими отрицательными при логарифмическом преобразовании, а нули становятся отрицательно бесконечными. Поэтому этот пример представляет практический интерес.

Функция эмпирического влияния [ править ]

Эта статья может быть слишком технической, чтобы ее могло понять большинство читателей . Пожалуйста, помогите улучшить его, чтобы он был понятен неспециалистам , не удаляя технические детали. ( Июнь 2010 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Эмпирическая функция влияния - это мера зависимости оценщика от значения одной из точек в выборке. Это безмодельная мера в том смысле, что она просто полагается на повторное вычисление оценки с другой выборкой. Справа - двухвесовая функция Тьюки, которая, как мы увидим позже, является примером того, как должна выглядеть «хорошая» (в определенном ниже смысле) эмпирическая функция влияния.

С математической точки зрения функция влияния определяется как вектор в пространстве оценщика, который, в свою очередь, определяется для выборки, которая является подмножеством генеральной совокупности:

1. ${\displaystyle (\Omega ,{\mathcal {A}},P)}$ - вероятностное пространство,
2. ${\displaystyle ({\mathcal {X}},\Sigma )}$ измеримое пространство (пространство состояний),
3. ${\displaystyle \Theta }$- пространство параметров размерности ,${\displaystyle p\in \mathbb {N} ^{*}}$
4. ${\displaystyle (\Gamma ,S)}$ измеримое пространство,

Например,

1. ${\displaystyle (\Omega ,{\mathcal {A}},P)}$ любое вероятностное пространство,
2. ${\displaystyle ({\mathcal {X}},\Sigma )=(\mathbb {R} ,{\mathcal {B}})}$,
3. ${\displaystyle \Theta =\mathbb {R} \times \mathbb {R} ^{+}}$
4. ${\displaystyle (\Gamma ,S)=(\mathbb {R} ,{\mathcal {B}})}$,

Определение эмпирической функции влияния: Пусть и являются iid и являются выборкой из этих переменных. это оценщик. Пусть . Функция эмпирического влияния при наблюдении определяется:${\displaystyle n\in \mathbb {N} ^{*}}$${\displaystyle X_{1},\dots ,X_{n}:(\Omega ,{\mathcal {A}})\rightarrow ({\mathcal {X}},\Sigma )}$${\displaystyle (x_{1},\dots ,x_{n})}$${\displaystyle T_{n}:({\mathcal {X}}^{n},\Sigma ^{n})\rightarrow (\Gamma ,S)}$${\displaystyle i\in \{1,\dots ,n\}}$${\displaystyle EIF_{i}}$${\displaystyle i}$

${\displaystyle EIF_{i}:x\in {\mathcal {X}}\mapsto n\cdot (T_{n}(x_{1},\dots ,x_{i-1},x,x_{i+1},\dots ,x_{n})-T_{n}(x_{1},\dots ,x_{i-1},x_{i},x_{i+1},\dots ,x_{n}))}$

На самом деле это означает, что мы заменяем i-е значение в выборке произвольным значением и смотрим на результат оценки. В качестве альтернативы EIF определяется как (масштабируемый на n + 1 вместо n) эффект добавления точки к выборке на оценщик . ^{[ необходима цитата ]}${\displaystyle x}$

Функция влияния и кривая чувствительности [ править ]

Вместо того, чтобы полагаться исключительно на данные, мы могли бы использовать распределение случайных величин. Подход сильно отличается от подхода, описанного в предыдущем абзаце. Что мы сейчас пытаемся сделать, так это посмотреть, что происходит с оценщиком, когда мы немного меняем распределение данных: он предполагает распределение и измеряет чувствительность к изменениям в этом распределении. Напротив, эмпирическое влияние предполагает набор образцов и измеряет чувствительность к изменениям в образцах. ^[5]

Позвольте быть выпуклым подмножеством множества всех конечных подписанных мер на . Мы хотим оценить параметр распределения в . Пусть функционал - это асимптотическое значение некоторой последовательности оценок . Будем предполагать, что этот функционал согласован по Фишеру , т . Е. Это означает, что в модели последовательность оценки асимптотически измеряет правильную величину.${\displaystyle A}$${\displaystyle \Sigma }$${\displaystyle \theta \in \Theta }$${\displaystyle F}$${\displaystyle A}$${\displaystyle T:A\rightarrow \Gamma }$${\displaystyle (T_{n})_{n\in \mathbb {N} }}$${\displaystyle \forall \theta \in \Theta ,T(F_{\theta })=\theta }$${\displaystyle F}$

Пусть будет некоторое распределение в . Что происходит, когда данные не соответствуют модели в точности, а другой, немного другой, «движущейся в сторону» ?${\displaystyle G}$${\displaystyle A}$${\displaystyle F}$${\displaystyle G}$

Мы смотрим на: ,${\displaystyle dT_{G-F}(F)=\lim _{t\rightarrow 0^{+}}{\frac {T(tG+(1-t)F)-T(F)}{t}}}$

которая является односторонней производной Гато от at в направлении .${\displaystyle T}$${\displaystyle F}$${\displaystyle G-F}$

Пусть . - вероятностная мера, дающая массу 1 . Мы выбираем . Тогда функция влияния определяется следующим образом:${\displaystyle x\in {\mathcal {X}}}$${\displaystyle \Delta _{x}}$${\displaystyle \{x\}}$${\displaystyle G=\Delta _{x}}$

${\displaystyle IF(x;T;F):=\lim _{t\rightarrow 0^{+}}{\frac {T(t\Delta _{x}+(1-t)F)-T(F)}{t}}.}$

Он описывает влияние бесконечно малого загрязнения в точке на искомую оценку, стандартизованную по массе загрязнения (асимптотическое смещение, вызванное загрязнением в наблюдениях). Для надежной оценки нам нужна ограниченная функция влияния, то есть такая, которая не стремится к бесконечности, когда x становится сколь угодно большим.${\displaystyle x}$${\displaystyle t}$

Желаемые свойства [ править ]

Свойства функции влияния, которые придают ей желаемые характеристики:

1. Конечная точка отклонения ,${\displaystyle \rho ^{*}}$
2. Малая чувствительность к грубым ошибкам ,${\displaystyle \gamma ^{*}}$
3. Малая чувствительность к локальному сдвигу .${\displaystyle \lambda ^{*}}$

Пункт отклонения [ править ]

${\displaystyle \rho ^{*}:=\inf _{r>0}\{r:IF(x;T;F)=0,|x|>r\}}$

Чувствительность к грубым ошибкам [ править ]

${\displaystyle \gamma ^{*}(T;F):=\sup _{x\in {\mathcal {X}}}|IF(x;T;F)|}$

Чувствительность к локальному смещению [ править ]

${\displaystyle \lambda ^{*}(T;F):=\sup _{(x,y)\in {\mathcal {X}}^{2} \atop x\neq y}\left\|{\frac {IF(y;T;F)-IF(x;T;F)}{y-x}}\right\|}$

Это значение, которое очень похоже на константу Липшица , представляет эффект небольшого смещения наблюдения от соседней точки , т. Е. Добавления наблюдения в и удаления одного в .${\displaystyle x}$${\displaystyle y}$${\displaystyle y}$${\displaystyle x}$

М-оценки [ править ]

(Математический контекст этого параграфа приведен в разделе, посвященном эмпирическим функциям влияния.)

Исторически было предложено несколько подходов к робастной оценке, включая R-оценки и L-оценки . Однако сейчас M-оценки, кажется, доминируют в этой области из-за их универсальности, высокой точки пробоя и их эффективности. См. Huber (1981) .

M-оценки являются обобщением оценок максимального правдоподобия (MLE). Что мы пытаемся сделать с помощью MLE, так это максимизировать или, что то же самое, минимизировать . В 1964 году Хубер предложил обобщить это до минимизации , где - некоторая функция. MLE поэтому частный случай М-оценки (отсюда и название: « М типа aximum вероятности» оценки).${\displaystyle \prod _{i=1}^{n}f(x_{i})}$${\displaystyle \sum _{i=1}^{n}-\log f(x_{i})}$${\displaystyle \sum _{i=1}^{n}\rho (x_{i})}$${\displaystyle \rho }$

Минимизация часто может быть выполнена путем дифференцирования и решения , где (если имеет производную).${\displaystyle \sum _{i=1}^{n}\rho (x_{i})}$${\displaystyle \rho }$${\displaystyle \sum _{i=1}^{n}\psi (x_{i})=0}$${\displaystyle \psi (x)={\frac {d\rho (x)}{dx}}}$${\displaystyle \rho }$

Было предложено несколько вариантов и . На двух рисунках ниже показаны четыре функции и соответствующие им функции.${\displaystyle \rho }$${\displaystyle \psi }$${\displaystyle \rho }$${\displaystyle \psi }$

Для квадратичных ошибок он увеличивается с ускорением, а для абсолютных ошибок он увеличивается с постоянной скоростью. Когда используется Winsorizing, вводится смесь этих двух эффектов: для малых значений x, увеличивается в квадрате скорости, но как только выбранный порог достигнут (1,5 в этом примере), скорость увеличения становится постоянной. Эта Винсоризованная оценка также известна как функция потерь Хубера .${\displaystyle \rho (x)}$${\displaystyle \rho }$

Функция двухвесов Тьюки (также известная как бисквадрат) сначала ведет себя аналогично функции квадратов ошибок, но для больших ошибок функция сужается.

Свойства М-оценок [ править ]

М-оценки не обязательно связаны с функцией плотности вероятности. Следовательно, стандартные подходы к умозаключениям, возникающие из теории правдоподобия, в общем случае использовать нельзя.

Можно показать, что M-оценки имеют асимптотически нормальное распределение, так что до тех пор, пока их стандартные ошибки могут быть вычислены, доступен приближенный подход к выводу.

Поскольку M-оценки нормальны только асимптотически, для небольших размеров выборки может оказаться целесообразным использовать альтернативный подход к выводу, такой как бутстрап. Однако M-оценки не обязательно уникальны (т. Е. Может быть более одного решения, удовлетворяющего уравнениям). Кроме того, возможно, что любая конкретная выборка начальной загрузки может содержать больше выбросов, чем точка разбивки оценщика. Следовательно, при разработке схем начальной загрузки требуется некоторая осторожность.

Конечно, как мы видели на примере скорости света, среднее только нормально распределено асимптотически, и когда присутствуют выбросы, аппроксимация может быть очень плохой даже для довольно больших выборок. Однако классические статистические тесты, включая те, которые основаны на среднем значении, обычно ограничиваются номинальным размером теста. То же самое не относится к M-оценкам, и частота ошибок типа I может быть значительно выше номинального уровня.

Эти соображения никоим образом не «аннулируют» М-оценку. Они просто дают понять, что при их использовании требуется некоторая осторожность, как и в отношении любого другого метода оценки.

Функция влияния М-оценки [ править ]

Можно показать, что функция влияния M-оценки пропорциональна , ^[6], что означает, что мы можем получить свойства такой оценки (такие как точка отклонения, чувствительность к грубым ошибкам или чувствительность к локальному сдвигу), когда мы знать его функцию.${\displaystyle T}$${\displaystyle \psi }$${\displaystyle \psi }$

${\displaystyle IF(x;T,F)=M^{-1}\psi (x,T(F))}$

с предоставлением:${\displaystyle p\times p}$

${\displaystyle M=-\int _{\mathcal {X}}\left({\frac {\partial \psi (x,\theta )}{\partial \theta }}\right)_{T(F)}\,dF(x).}$

Выбор ψ и ρ [ править ]

Во многих практических ситуациях выбор функции не критичен для получения хорошей надежной оценки, и многие варианты будут давать аналогичные результаты, которые предлагают большие улучшения с точки зрения эффективности и систематической ошибки по сравнению с классическими оценками при наличии выбросов. ^[7]${\displaystyle \psi }$

Теоретически предпочтение следует отдавать функциям, ^{[ необходимо пояснение ],} и функция двухвесов Тьюки (также известная как бис-квадрат) является популярным выбором. Маронна, Мартин и Йохай (2006) рекомендуют функцию двойного веса с эффективностью при нормальном наборе 85%.${\displaystyle \psi }$

Надежные параметрические подходы [ править ]

М-оценки не обязательно связаны с функцией плотности и поэтому не являются полностью параметрическими. Полностью параметрические подходы к надежному моделированию и логическому выводу, как байесовский, так и вероятностный подходы, обычно имеют дело с распределениями с тяжелыми хвостами, такими как t -распределение Стьюдента.

Для t- распределения со степенями свободы можно показать, что${\displaystyle \nu }$

${\displaystyle \psi (x)={\frac {x}{x^{2}+\nu }}.}$

Для , то т -распределение эквивалентно распределению Коши. Степени свободы иногда называют параметром эксцесса . Это параметр, который определяет, насколько тяжелы хвосты. В принципе, его можно оценить по данным так же, как и любой другой параметр. На практике часто бывает несколько локальных максимумов, когда разрешено варьироваться. Таким образом, обычно фиксируется значение около 4 или 6. На рисунке ниже показана -функция для 4 различных значений .${\displaystyle \nu =1}$${\displaystyle \nu }$${\displaystyle \nu }$${\displaystyle \nu }$${\displaystyle \psi }$${\displaystyle \nu }$

Пример: данные о скорости света [ править ]

Для данных о скорости света, позволяя варьировать параметр эксцесса и увеличивая вероятность, мы получаем

${\displaystyle {\hat {\mu }}=27.40,{\hat {\sigma }}=3.81,{\hat {\nu }}=2.13.}$

Исправление и максимальное увеличение вероятности дает${\displaystyle \nu =4}$

${\displaystyle {\hat {\mu }}=27.49,{\hat {\sigma }}=4.51.}$

Понятия, связанные с данным [ править ]

Ключевой величиной является функцией данных, чье основное население распределение является членом параметрического семейства, которые не зависят от значений параметров. Вспомогательная статистика такая функция , которая является также статистиками, а это означает , что она вычисляется в терминах одних данных. Такие функции устойчивы к параметрам в том смысле, что они не зависят от значений параметров, но не устойчивы к модели в том смысле, что они предполагают базовую модель (параметрическое семейство), и на самом деле такие функции часто очень чувствительны к нарушения модельных предположений. Таким образом, тестовая статистика , которая часто строится на основе этих критериев , чтобы не зависеть от предположений о параметрах, по-прежнему очень чувствительна к предположениям модели.

Замена выбросов и отсутствующих значений [ править ]

Замена отсутствующих данных называется вменением . Если пропущенных точек относительно мало, есть несколько моделей, которые можно использовать для оценки значений для завершения ряда, например, замена пропущенных значений средним или медианным значением данных. Для оценки пропущенных значений также можно использовать простую линейную регрессию . ^[8] Кроме того, выбросы иногда можно учесть в данных за счет использования усеченных средних, других шкал оценки, помимо стандартного отклонения (например, MAD) и винсоризации. ^[9]При вычислениях усеченного среднего фиксированный процент данных удаляется с каждого конца упорядоченных данных, тем самым устраняя выбросы. Затем рассчитывается среднее значение с использованием оставшихся данных. Winsorizing включает в себя размещение выброса путем замены его следующим наибольшим или следующим наименьшим значением, в зависимости от ситуации. ^[10]

Однако использование этих типов моделей для прогнозирования пропущенных значений или выбросов в длинных временных рядах сложно и часто ненадежно, особенно если количество значений, подлежащих заполнению, относительно велико по сравнению с общей длиной записи. Точность оценки зависит от того, насколько хороша и репрезентативна модель и как долго длится период пропущенных значений. ^[11] В случае динамического процесса любая переменная зависит не только от исторических временных рядов той же переменной, но и от нескольких других переменных или параметров процесса. ^{[ требуется разъяснение ]}Другими словами, проблема заключается в упражнении в многомерном анализе, а не в одномерном подходе большинства традиционных методов оценки пропущенных значений и выбросов; Следовательно, многомерная модель будет более репрезентативной, чем одномерная, для прогнозирования пропущенных значений. Кохонена самоорганизующаяся карта (КС) предлагает простую и надежную многомерную модель для анализа данных, обеспечивая тем самое хорошие возможности оценить недостающие значения, принимая во внимание его отношения или корреляцию с другими переменными , соответствующими в записи данных. ^[10]

Стандартные фильтры Калмана не устойчивы к выбросам. С этой целью Тинг, Теодору и Шаал (2007) недавно показали, что модификация теоремы Масрелиеса может иметь дело с выбросами.

Один из распространенных подходов к обработке выбросов при анализе данных - сначала выполнить обнаружение выбросов, а затем применить эффективный метод оценки (например, методом наименьших квадратов). Хотя этот подход часто бывает полезным, следует помнить о двух проблемах. Во-первых, метод обнаружения выбросов, основанный на ненадежной начальной подгонке, может пострадать от эффекта маскирования, то есть группа выбросов может маскировать друг друга и избегать обнаружения. ^[12] Во-вторых, если для обнаружения выбросов используется начальная аппроксимация с высокой разбивкой, последующий анализ может унаследовать некоторые из неэффективности первоначальной оценки. ^[13]

См. Также [ править ]

• Надежные доверительные интервалы
• Надежная регрессия
• Единичная регрессия

Заметки [ править ]

Ссылки [ править ]

• Farcomeni, A .; Греко, Л. (2013), Надежные методы обработки данных , Бока-Ратон, Флорида: Chapman & Hall / CRC Press, ISBN 978-1-4665-9062-5.
• Hampel, Frank R .; Ronchetti, Elvezio M .; Rousseeuw, Peter J .; Стахел, Вернер А. (1986), Надежная статистика , Ряд Уайли в вероятности и математической статистике: вероятность и математическая статистика, Нью-Йорк: John Wiley & Sons, Inc., ISBN 0-471-82921-8, Руководство по ремонту  0829458. Переиздан в мягкой обложке, 2005 г.
• Он, Сюмин ; Портной, Стивен (1992), "Reweighted LS оценок сходятся в одной и той же скоростью, что и начальный оценки", Анналы статистики , 20 (4): 2161-2167, DOI : 10.1214 / AOS / 1176348910 , MR  1193333.
• Он, Сюмин ; Симпсон, Дуглас Дж .; Портной, Стивен Л. (1990), "Разбивка надежность испытаний", журнал Американской ассоциации по статистике , 85 (410): 446-452, DOI : 10,2307 / 2289782 , JSTOR  2289782 , MR  1141746.
• Hettmansperger, TP; Маккин, Дж. В. (1998), Надежные непараметрические статистические методы , Библиотека статистики Кендалла, 5 , Нью-Йорк: John Wiley & Sons, Inc., ISBN 0-340-54937-8, Руководство по ремонту  1604954. 2-е изд., CRC Press, 2011.
• Хубер, Питер Дж. (1981), Надежная статистика , Нью-Йорк: John Wiley & Sons, Inc., ISBN 0-471-41805-6, Руководство по ремонту  0606374. Переиздано в мягкой обложке, 2004. 2-е изд., Wiley, 2009.
• Маронна, Рикардо А .; Мартин, Р. Дуглас; Йохай, Виктор Дж (2006), Прочные статистика: теория и методы , Wiley серии в вероятности и статистики, Чичестер: John Wiley & Sons, Ltd., DOI : 10.1002 / 0470010940 , ISBN 978-0-470-01092-1, Руководство по ремонту  2238141.
• МакБин, Эдвард А .; Роверс, Франк (1998), Статистические процедуры для анализа данных и оценки экологического мониторинга , Прентис-Холл.
• Портной, Стивен; Он, Xuming (2000), "Надежный путь в новом тысячелетии", журнал Американской ассоциации по статистике , 95 (452): 1331-1335, DOI : 10,2307 / 2669782 , JSTOR  2669782 , MR  1825288.
• Press, Уильям Х .; Теукольский, Саул А .; Веттерлинг, Уильям Т .; Фланнери, Брайан П. (2007), «Раздел 15.7. Надежная оценка» , Численные рецепты: Искусство научных вычислений (3-е изд.), Cambridge University Press, ISBN 978-0-521-88068-8, MR  2371990.
• Rosen, C .; Lennox, JA (октябрь 2001 г.), "Многомерные и многомасштабная мониторинг работы по очистке сточных вод", водные исследования , 35 (14): 3402-3410, DOI : 10.1016 / s0043-1354 (01) 00069-0 , PMID  11547861.
• Rousseeuw, Peter J .; Croux, Кристоф (1993), "Альтернативы медианного абсолютного отклонения", журнал Американской ассоциации по статистике , 88 (424): 1273-1283, DOI : 10,2307 / 2291267 , JSTOR  2291267 , MR  1245360.
• Rousseeuw, Peter J .; Leroy, Annick М. (1987), Robust Regression и Outlier Detection , Wiley серии в теории вероятностей и математической статистики: Прикладная Вероятность и статистика, New York: John Wiley & Sons, Inc., DOI : 10.1002 / 0471725382 , ISBN 0-471-85233-3, Руководство по ремонту  0914792. Переиздан в мягкой обложке, 2003 г.
• Rousseeuw, Peter J .; Хуберт, Миа (2011), «Надежная статистика для обнаружения выбросов», Междисциплинарные обзоры Wiley: интеллектуальный анализ данных и обнаружение знаний , 1 (1): 73–79, doi : 10.1002 / widm.2. Препринт
• Рустум, Раби; Аделой, Адебайо Дж. (Сентябрь 2007 г.), «Замена выбросов и отсутствующих значений из данных по активному илу с использованием самоорганизующейся карты Кохонена», Journal of Environmental Engineering , 133 (9): 909–916, doi : 10.1061 / (asce) 0733 -9372 (2007) 133: 9 (909).
• Стиглер, Стивен М. (2010), "Изменение истории надежности", Американский Статистик , 64 (4): 277-281, DOI : 10,1198 / tast.2010.10159 , МР  2758558 , S2CID  10728417.
• Тинг, Джо-Энн; Теодору, Евангелос; Шаал, Стефан (2007), «Фильтр Калмана для надежного обнаружения выбросов», Международная конференция по интеллектуальным роботам и системам - IROS , стр. 1514–1519.
• Мизеса, Р. (1947), "Об асимптотическом распределении дифференцируемых статистических функций", Анналы математической статистики , 18 (3): 309-348, DOI : 10,1214 / АОМ / 1177730385 , МР  0022330.
• Wilcox, Rand (2012), Введение в робастную оценку и проверку гипотез , Статистическое моделирование и наука о принятии решений (3-е изд.), Амстердам: Elsevier / Academic Press, стр. 1-22, doi : 10.1016 / B978-0-12-386983 -8.00001-9 , ISBN 978-0-12-386983-8, Руководство по ремонту  3286430.

Внешние ссылки [ править ]

• Подробные заметки по статистике Брайана Рипли .
• Примечания к курсу Ника Филлера по статистическому моделированию и вычислениям содержат материал по устойчивой регрессии.
• Сайт Дэвида Олива содержит заметки о курсах по надежной статистике и некоторые наборы данных.
• Онлайн-эксперименты с использованием R и JSXGraph