Эффективность (статистика)

При сравнении различных статистических процедур , эффективность является мерой качества с оценкой , из эксперимента , ^[1] или из проверки гипотез процедуры. ^[2] По сути, более эффективный оценщик, эксперимент или тест требует меньшего количества наблюдений, чем менее эффективный для достижения заданной производительности. Эта статья в первую очередь посвящена эффективности оценщиков.

Относительная эффективность двух процедур является отношение их эффективности, хотя часто это понятие используется там , где сравнение между данной процедурой и условной «наилучшей» процедуры. Эффективность и относительная эффективность двух процедур теоретически зависят от размера выборки, доступной для данной процедуры, но часто можно использовать асимптотическую относительную эффективность (определяемую как предел относительной эффективности по мере роста размера выборки) в качестве основного мера сравнения.

Эффективный оценщик характеризуется небольшой дисперсией или среднеквадратической ошибкой , что указывает на небольшое отклонение между расчетным значением и «истинным» значением. ^[1]

Оценщики [ править ]

Эффективность с несмещенной оценки , Т , в виде параметра & thetas определяется как ^[3]

${\ Displaystyle е (Т) = {\ гидроразрыва {1 / {\ mathcal {I}} (\ theta)} {\ mathrm {var} (T)}}}$

где - информация Фишера для выборки. Таким образом, e ( T ) - это минимально возможная дисперсия для несмещенной оценки, деленная на ее фактическую дисперсию. Крамера-Рао может быть использован , чтобы доказать , что е ( Т ) ≤ 1.${\ Displaystyle {\ mathcal {I}} (\ theta)}$

Эффективные оценщики [ править ]

Эффективная оценка является оценщиком , который оценивает количество интереса в каком - то «наилучших» образом. Понятие «наилучшего из возможных» основывается на выборе конкретной функции потерь - функции, которая количественно определяет относительную степень нежелательности ошибок оценки разной величины. Чаще всего функция потерь выбирается квадратичной , что дает критерий оптимальности среднеквадратичной ошибки . ^[4]

В общем, разброс оценщика вокруг параметра θ является мерой эффективности и производительности оценщика. Эту производительность можно рассчитать, найдя среднеквадратичную ошибку:

Пусть T - оценка параметра θ. Среднеквадратичная ошибка T - это значение .${\ Displaystyle MSE (T) = E [(T- \ theta) ^ {2}]}$

Здесь,

$${\ Displaystyle MSE (T) = E [(T- \ theta) ^ {2}] = E [(TE [T] + E [T] - \ theta) ^ {2}] = E [(TE [T ]) ^ {2}] + 2E [TE [T]] (E [T] - \ theta) + (E [T] - \ theta)) ^ {2} = Var (T) + (E [T] - \ theta) ^ {2}}$$

Следовательно, средство оценки T ₁ работает лучше, чем средство оценки T ₂ if . ^[5]${\ displaystyle MSE (T_ {1}) <MSE (T_ {2})}$

В более конкретном случае, если T ₁ и T ₂ являются двумя несмещенными оценками для одного и того же параметра θ, тогда дисперсия может сравниваться для определения производительности.

Т ₂ является более эффективным , чем T ₁ , если дисперсия Т ₂ является меньшей , чем дисперсия Т ₁ , то есть для всех значений & thetas.${\ displaystyle Var (T_ {1})> Var (T_ {2})}$

Это соотношение может быть определено путем упрощения приведенного выше более общего случая для среднеквадратичной ошибки. Так как ожидаемое значение несмещенной оценки равно значению параметра, .${\ Displaystyle E [T] = \ theta}$

Следовательно, как только член выпадает из нуля, ^[5]${\ Displaystyle MSE (T) = Var (T)}$${\ Displaystyle (Е [Т] - \ тета) ^ {2}}$

Если несмещенная оценка параметра θ достигается для всех значений параметра, то оценка называется эффективной. ^[3]${\ Displaystyle е (Т) = 1}$

Эквивалентно, оценка достигает равенства в неравенстве Крамера – Рао для всех θ . Крамер-Рао нижней границы является нижней границей дисперсии несмещенной оценки, представляющий «лучшая» несмещенная оценка может быть.

Эффективная оценка также является несмещенной оценкой минимальной дисперсии (MVUE). Это связано с тем, что эффективный оценщик поддерживает равенство неравенства Крамера – Рао для всех значений параметров, что означает, что он достигает минимальной дисперсии для всех параметров (определение MVUE). Оценщик MVUE, даже если он существует, не обязательно эффективен, потому что «минимум» не означает, что равенство выполняется на неравенстве Крамера – Рао.

Таким образом, нет необходимости в эффективном оценщике, но если он есть, то это MVUE.

Эффективность конечной выборки [ править ]

Предположим, что { P _θ | θ ∈ Θ } - параметрическая модель, а X = ( X ₁ ,…, X _n ) - данные, выбранные из этой модели. Пусть T = T ( X ) - оценка параметра θ . Если эта оценка несмещена (то есть E [  T  ] = θ ), то неравенство Крамера – Рао утверждает, что дисперсия этой оценки ограничена снизу:

${\displaystyle \operatorname {Var} [\,T\,]\ \geq \ {\mathcal {I}}_{\theta }^{-1},}$

где - информационная матрица Фишера модели в точке θ . Обычно дисперсия измеряет степень разброса случайной величины вокруг ее среднего значения. Таким образом, оценщики с небольшими отклонениями более концентрированы, они более точно оценивают параметры. Мы говорим, что оценка является эффективной оценкой с конечной выборкой (в классе несмещенных оценок), если она достигает нижней границы в неравенстве Крамера – Рао, приведенном выше, для всех θ ∈ Θ . Эффективные оценщики всегда представляют собой несмещенные оценщики с минимальной дисперсией . Однако обратное неверно: существуют задачи точечной оценки, для которых несмещенная оценка с минимальной дисперсией неэффективна. ^[6]${\displaystyle \scriptstyle {\mathcal {I}}_{\theta }}$

Исторически эффективность конечной выборки была ранним критерием оптимальности. Однако у этого критерия есть некоторые ограничения:

• Эффективные оценки с конечной выборкой встречаются крайне редко. Фактически было доказано, что эффективное оценивание возможно только в экспоненциальном семействе и только для естественных параметров этого семейства. ^{[ необходима цитата ]}
• Это понятие эффективности иногда ограничивается классом несмещенных оценок. (Часто это не так. ^[7] ) Поскольку нет веских теоретических причин требовать, чтобы оценки были несмещенными, это ограничение неудобно. Фактически, если мы используем среднеквадратичную ошибку в качестве критерия выбора, многие смещенные оценки будут немного превосходить «лучшие» несмещенные. Например, в многомерной статистике для измерения три или более несмещенная оценка среднего , выборочная средняя , недопустима : независимо от результата ее эффективность хуже, чем, например, оценка Джеймса – Стейна . ^{[ необходима цитата ]}
• Эффективность конечной выборки основана на дисперсии как критерии, согласно которому оцениваются оценки. Более общий подход заключается в использовании функций потерь, отличных от квадратичных, и в этом случае эффективность конечной выборки больше не может быть сформулирована. ^{[ необходима цитата ] [ сомнительно - обсудить ]}

В качестве примера, среди моделей , встречающихся на практике, существуют эффективные оценки для: среднее μ из нормального распределения (но не дисперсия сг ² ), параметр λ из распределения Пуассона , вероятность р в биномиальной или полиномиального распределения .

Рассмотрим модель нормального распределения с неизвестным средним, но известной дисперсией: { P _θ = N ( θ , σ ² ) | θ ∈ R }. Данные состоят из n независимых и одинаково распределенных наблюдений из этой модели: X = ( x ₁ ,…, x _n ) . Мы оцениваем параметр θ, используя выборочное среднее всех наблюдений:

${\displaystyle T(X)={\frac {1}{n}}\sum _{i=1}^{n}x_{i}\ .}$

Этот оценщик имеет среднее значение θ и дисперсию σ ²  /  n , которая равна обратной величине информации Фишера из выборки. Таким образом, выборочное среднее является эффективным оценщиком конечной выборки для среднего нормального распределения.

Асимптотическая эффективность [ править ]

Некоторые оценки могут достигать эффективности асимптотически и поэтому называются асимптотически эффективными оценками . Это может иметь место для некоторых оценок максимального правдоподобия или любых оценок, которые асимптотически достигают равенства границы Крамера – Рао.

Пример: медиана[ редактировать ]

Рассмотрим размерную выборку, взятую из нормального распределения среднего и единичной дисперсии , т. Е.${\displaystyle N}$${\displaystyle \mu }$${\displaystyle X_{n}\sim {\mathcal {N}}(\mu ,1).}$

Выборочное среднее , , в образце , определяется как${\displaystyle {\overline {X}}}$${\displaystyle X_{1},X_{2},\ldots ,X_{N}}$

${\displaystyle {\overline {X}}={\frac {1}{N}}\sum _{n=1}^{N}X_{n}\sim {\mathcal {N}}\left(\mu ,{\frac {1}{N}}\right).}$

Дисперсия среднего, 1 / N (квадрат стандартной ошибки ) равна обратной величине информации Фишера из выборки, и, таким образом, согласно неравенству Крамера – Рао , выборочное среднее является эффективным в том смысле, что его эффективность равно единице (100%).

Теперь рассмотрим пример медиану , . Это объективная и последовательная оценка для . Для больших выборок медиана приблизительно нормально распределена со средним значением и дисперсией ^[8]${\displaystyle {\widetilde {X}}}$${\displaystyle \mu }$${\displaystyle N}$${\displaystyle \mu }$${\displaystyle {\pi }/{2N},}$

${\displaystyle {\widetilde {X}}\sim {\mathcal {N}}\left(\mu ,{\frac {\pi }{2N}}\right).}$

Эффективность медианы для крупных , таким образом ,${\displaystyle N}$

${\displaystyle e\left({\widetilde {X}}\right)=\left({\frac {1}{N}}\right)\left({\frac {\pi }{2N}}\right)^{-1}=2/\pi \approx 0.64.}$

Другими словами, относительная дисперсия медианы будет на 57% больше дисперсии среднего - стандартная ошибка медианы будет на 25% больше, чем средняя. ^[9]${\displaystyle \pi /2\approx 1.57}$

Обратите внимание, что это асимптотическая эффективность, то есть эффективность в пределе, когда размер выборки стремится к бесконечности. Для конечных значений КПД выше этого (например, размер выборки 3 дает КПД около 74%). ^{[ необходима цитата ]}${\displaystyle N}$${\displaystyle N,}$

Таким образом, выборочное среднее в этом примере более эффективно, чем выборочное среднее. Однако могут быть меры, по которым медиана работает лучше. Например, медиана гораздо более устойчива к выбросам , поэтому, если модель Гаусса сомнительна или приблизительна, использование медианы может иметь преимущества (см. Надежная статистика ).

Доминирующие оценщики [ править ]

Если и являются оценками параметра , то говорят, что доминируют, если:${\displaystyle T_{1}}$${\displaystyle T_{2}}$${\displaystyle \theta }$${\displaystyle T_{1}}$ ${\displaystyle T_{2}}$

1. его среднеквадратичная ошибка (MSE) меньше, по крайней мере, для некоторого значения${\displaystyle \theta }$
2. MSE не превышает MSE для любого значения θ.${\displaystyle T_{2}}$

Формально доминирует, если${\displaystyle T_{1}}$${\displaystyle T_{2}}$

${\displaystyle \operatorname {E} [(T_{1}-\theta )^{2}]\leq \operatorname {E} [(T_{2}-\theta )^{2}]}$

справедливо для всех , где где-то сохраняется строгое неравенство.${\displaystyle \theta }$

Относительная эффективность [ править ]

Относительная эффективность двух оценщиков определяется как ^[10]

${\displaystyle e(T_{1},T_{2})={\frac {\operatorname {E} [(T_{2}-\theta )^{2}]}{\operatorname {E} [(T_{1}-\theta )^{2}]}}={\frac {\operatorname {var} (T_{2})}{\operatorname {var} (T_{1})}}}$

Хотя в целом это функция от , во многих случаях зависимость выпадает; если это так, то значение больше единицы будет означать, что это предпочтительнее, независимо от истинного значения .${\displaystyle e}$${\displaystyle \theta }$${\displaystyle e}$${\displaystyle T_{1}}$${\displaystyle \theta }$

Альтернативой относительной эффективности для сравнения оценок является критерий близости Питмана . Это заменяет сравнение среднеквадратических ошибок сравнением того, как часто один оценщик дает оценки, более близкие к истинному значению, чем другой оценщик.

Если и являются оценками параметра , то говорят, что доминируют, если:${\displaystyle T_{1}}$${\displaystyle T_{2}}$${\displaystyle \theta }$${\displaystyle T_{1}}$ ${\displaystyle T_{2}}$

1. его среднеквадратичная ошибка (MSE) меньше, по крайней мере, для некоторого значения${\displaystyle \theta }$
2. MSE не превышает MSE для любого значения θ.${\displaystyle T_{2}}$

Формально доминирует, если${\displaystyle T_{1}}$${\displaystyle T_{2}}$

${\displaystyle \mathrm {E} \left[(T_{1}-\theta )^{2}\right]\leq \mathrm {E} \left[(T_{2}-\theta )^{2}\right]}$

справедливо для всех , где где-то сохраняется строгое неравенство.${\displaystyle \theta }$

Оценки среднего значения переменных uid [ править ]

При оценке среднего значения некоррелированных, одинаково распределенных переменных мы можем воспользоваться тем фактом, что дисперсия суммы является суммой дисперсий . В этом случае эффективность можно определить как квадрат коэффициента вариации , т. Е. ^[11]

${\displaystyle e\equiv \left({\frac {\sigma }{\mu }}\right)^{2}}$

Таким образом, относительную эффективность двух таких оценщиков можно интерпретировать как относительный размер выборки одного, необходимый для достижения достоверности другого. Доказательство:

${\displaystyle {\frac {e_{1}}{e_{2}}}={\frac {s_{1}^{2}}{s_{2}^{2}}}.}$

Теперь, потому что у нас есть , поэтому относительная эффективность выражает относительный размер выборки первого оценщика, необходимый для сопоставления дисперсии второго.${\displaystyle s_{1}^{2}=n_{1}\sigma ^{2},\,s_{2}^{2}=n_{2}\sigma ^{2}}$${\displaystyle {\frac {e_{1}}{e_{2}}}={\frac {n_{1}}{n_{2}}}}$

Надежность [ править ]

Эффективность оценщика может значительно измениться, если распределение изменится, часто снижаясь. Это одна из мотиваций надежной статистики - такая оценка, как выборочное среднее, является, например, эффективной оценкой генерального среднего нормального распределения, но может быть неэффективной оценкой смешанного распределения двух нормальных распределений с одинаковыми среднее и разные дисперсии. Например, если распределение представляет собой комбинацию 98% N ( μ, σ ) и 2% N ( μ, 10 σ), наличие экстремальных значений из последнего распределения (часто «загрязняющих выбросов») значительно снижает эффективность выборочного среднего как оценки μ. Напротив, усеченное среднее менее эффективно для нормального распределения, но более устойчиво (менее подвержено влиянию) изменений в распределении и, таким образом, может быть более эффективным для смешанного распределения. Точно так же форма распределения, такая как асимметрия или тяжелые хвосты, может значительно снизить эффективность оценок, которые предполагают симметричное распределение или тонкие хвосты.

Использование неэффективных оценщиков [ править ]

Хотя эффективность является желаемым качеством оценщика, ее необходимо сопоставлять с другими соображениями, а оценщик, который эффективен для определенных распределений, вполне может быть неэффективным для других распределений. Наиболее важно то, что оценки, которые эффективны для чистых данных из простого распределения, такого как нормальное распределение (которое является симметричным, одномодальным и имеет тонкие хвосты), могут быть не устойчивыми к загрязнению выбросами и могут быть неэффективными для более сложных распределений. В надежной статистике больше внимания уделяется надежности и применимости к большому количеству распределений, а не эффективности для одного распределения. М-оценкипредставляют собой общий класс решений, мотивированных этими соображениями, обеспечивающих как надежность, так и высокую относительную эффективность, хотя в некоторых случаях, возможно, более низкую эффективность, чем традиционные оценки. Однако они потенциально очень сложны в вычислительном отношении.

Более традиционной альтернативой являются L-оценки , которые представляют собой очень простые статистические данные, которые легко вычислить и интерпретировать, во многих случаях надежные и часто достаточно эффективные для начальных оценок. См. Применение L-оценок для дальнейшего обсуждения.

Эффективность в статистике [ править ]

Эффективность статистики важна, потому что она позволяет сравнивать производительность различных оценщиков. Хотя несмещенная оценка обычно предпочтительнее, чем смещенная, более эффективная смещенная оценка иногда может быть более ценной, чем менее эффективная несмещенная оценка. Например, это может произойти, когда значения смещенной оценки собираются вокруг числа, более близкого к истинному значению. Таким образом, эффективность оценщика можно легко предсказать, сравнив их среднеквадратичные ошибки или дисперсии.

Проверка гипотез [ править ]

Для сравнения критериев значимости можно определить значимую меру эффективности на основе размера выборки, необходимой для того, чтобы тест достиг заданной мощности задачи . ^[12]

Эффективность Питмана ^[13] и эффективность Бахадура (или эффективность Ходжеса – Лемана ) ^{[14] [15]} относятся к сравнению эффективности процедур статистической проверки гипотез . Энциклопедия математики дает краткое изложение этих трех критериев.

Экспериментальный дизайн [ править ]

Для экспериментальных дизайнов эффективность относится к способности дизайна достичь цели исследования с минимальными затратами ресурсов, таких как время и деньги. В простых случаях относительная эффективность планов может быть выражена как отношение размеров выборки, необходимых для достижения поставленной цели. ^[16]

См. Также [ править ]

• Байесовская оценка
• Последовательный оценщик
• Оценщик Ходжеса
• Оптимальные инструменты

Примечания [ править ]

Ссылки [ править ]

Дальнейшее чтение [ править ]

• Lehmann, EL ; Казелла, Г. (1998). Теория точечного оценивания (2-е изд.). Springer. ISBN 0-387-98502-6.
• Пфанцагль, Иоганн ; при содействии Р. Хамбёкера (1994). Параметрическая статистическая теория . Берлин: Вальтер де Грюйтер. ISBN 3-11-013863-8. Руководство по ремонту  1291393 .