Несмещенная оценка минимальной дисперсии

Эта статья требует дополнительных ссылок для проверки . Пожалуйста, помогите улучшить эту статью , добавив цитаты из надежных источников . Материал, не полученный от источника, может быть оспорен и удален. Найдите источники:  «Беспристрастная оценка с минимальной дисперсией»  -  новости  · газеты  · книги  · ученый  · JSTOR ( ноябрь 2009 г. ) ( Узнайте, как и когда удалить это шаблонное сообщение )

В статистике несмещенная оценка с минимальной дисперсией (MVUE) или с равномерной минимальной дисперсией несмещенная оценка (UMVUE) представляет собой несмещенную оценку, которая имеет более низкую дисперсию, чем любая другая несмещенная оценка для всех возможных значений параметра.

Для практических задач статистики важно определить MVUE, если он существует, поскольку при прочих равных условиях можно было бы избежать менее оптимальных процедур. Это привело к существенному развитию статистической теории, связанной с проблемой оптимального оценивания.

В то время как сочетание ограничения непредвзятости с метрикой желательности наименьшей дисперсии приводит к хорошим результатам в большинстве практических ситуаций - что делает MVUE естественной отправной точкой для широкого диапазона анализов - целевая спецификация может работать лучше для данной проблемы; таким образом, MVUE не всегда является лучшей точкой остановки.

Определение [ править ]

Рассмотрим оценку на основе iid данных от некоторого члена семейства плотностей , где - пространство параметров. Несмещенная оценка в этом UMVUE если ,${\ Displaystyle г (\ тета)}$${\ Displaystyle X_ {1}, X_ {2}, \ ldots, X_ {n}}$${\ displaystyle p _ {\ theta}, \ theta \ in \ Omega}$${\ displaystyle \ Omega}$${\ displaystyle \ delta (X_ {1}, X_ {2}, \ ldots, X_ {n})}$${\ Displaystyle г (\ тета)}$${\ Displaystyle \ forall \ theta \ in \ Omega}$

${\ displaystyle \ operatorname {var} (\ delta (X_ {1}, X_ {2}, \ ldots, X_ {n})) \ leq \ operatorname {var} ({\ tilde {\ delta}} (X_ { 1}, X_ {2}, \ ldots, X_ {n}))}$

для любого другого объективного оценщика ${\ displaystyle {\ tilde {\ delta}}.}$

Если существует несмещенная оценка , то можно доказать, что существует по существу уникальный MVUE. ^[1] Используя теорему Рао – Блэквелла, можно также доказать, что определение MVUE - это просто вопрос нахождения полной достаточной статистики для семейства и обусловливания любой несмещенной оценки на ней.${\ Displaystyle г (\ тета)}$ ${\ displaystyle p _ {\ theta}, \ theta \ in \ Omega}$

Кроме того, по теореме Лемана – Шеффе несмещенная оценка, которая является функцией полной достаточной статистики, является оценкой UMVUE.

Формально предположим, что это несмещенная , и это полная достаточная статистика для семейства плотностей. потом${\ displaystyle \ delta (X_ {1}, X_ {2}, \ ldots, X_ {n})}$${\ Displaystyle г (\ тета)}$${\ displaystyle T}$

${\displaystyle \eta (X_{1},X_{2},\ldots ,X_{n})=\operatorname {E} (\delta (X_{1},X_{2},\ldots ,X_{n})\mid T)\,}$

это MVUE для ${\displaystyle g(\theta ).}$

Байесовский аналогом является оценкой Байеса , в частности , с минимальной среднеквадратической ошибкой (MMSE).

Выбор оценщика [ править ]

Эффективная оценка потребности не существует, но если он делает , и если он объективен, это MVUE. Поскольку среднеквадратичная ошибка (MSE) оценки δ равна

${\displaystyle \operatorname {MSE} (\delta )=\operatorname {var} (\delta )+[\operatorname {bias} (\delta )]^{2}\ }$

MVUE минимизирует MSE среди объективных оценщиков . В некоторых случаях смещенные оценки имеют более низкую MSE, потому что они имеют меньшую дисперсию, чем любая несмещенная оценка; см. смещение оценки .

Пример [ править ]

Считайте данные единичным наблюдением из абсолютно непрерывного распределения на с плотностью${\displaystyle \mathbb {R} }$

${\displaystyle p_{\theta }(x)={\frac {\theta e^{-x}}{(1+e^{-x})^{\theta +1}}}}$

и мы хотим найти оценку UMVU для

${\displaystyle g(\theta )={\frac {1}{\theta ^{2}}}}$

Сначала мы понимаем, что плотность можно записать как

${\displaystyle {\frac {e^{-x}}{1+e^{-x}}}\exp(-\theta \log(1+e^{-x})+\log(\theta ))}$

Это экспоненциальная семья с достаточной статистикой . Фактически это экспоненциальное семейство полного ранга, и поэтому оно является достаточным. Смотрите экспоненциальное семейство для вывода, который показывает${\displaystyle T=\log(1+e^{-x})}$${\displaystyle T}$

${\displaystyle \operatorname {E} (T)={\frac {1}{\theta }},\quad \operatorname {var} (T)={\frac {1}{\theta ^{2}}}}$

Следовательно,

${\displaystyle \operatorname {E} (T^{2})={\frac {2}{\theta ^{2}}}}$

Здесь мы используем теорему Лемана – Шеффе, чтобы получить MVUE

Ясно, что он несмещен и достаточно полон, поэтому оценка UMVU${\displaystyle \delta (X)={\frac {T^{2}}{2}}}$${\displaystyle T=\log(1+e^{-x})}$

${\displaystyle \eta (X)=\operatorname {E} (\delta (X)\mid T)=\operatorname {E} \left(\left.{\frac {T^{2}}{2}}\,\right|\,T\right)={\frac {T^{2}}{2}}={\frac {\log(1+e^{-X})^{2}}{2}}}$

Этот пример показывает, что несмещенная функция полной достаточной статистики будет UMVU, как утверждает теорема Лемана – Шеффе .

Другие примеры [ править ]

• Для нормального распределения с неизвестным средним и дисперсией выборочное среднее и (несмещенная) выборочная дисперсия представляют собой MVUE для среднего и дисперсии генеральной совокупности.

  Однако стандартное отклонение выборки не является объективным для стандартного отклонения генеральной совокупности - см. Объективную оценку стандартного отклонения .

  Кроме того, для других распределений среднее значение выборки и дисперсия выборки обычно не являются MVUE - для равномерного распределения с неизвестными верхними и нижними границами средний диапазон - это MVUE для среднего значения генеральной совокупности.

• Если k образцов выбраны (без замены) из дискретного равномерного распределения по множеству {1, 2, ...,  N } с неизвестной верхней границей N , MVUE для N будет

${\displaystyle {\frac {k+1}{k}}m-1,}$

где m - максимум выборки . Это масштабированное и сдвинутое (так несмещенное) преобразование максимума выборки, которое является достаточной и полной статистикой. Подробнее см. Проблему с немецким танком .

См. Также [ править ]

• Лучшая линейная несмещенная оценка (СИНИЙ)
• Компромисс смещения и дисперсии
• Теорема Лемана – Шеффе
• U-статистика

Байесовские аналоги [ править ]

• Байесовская оценка
• Минимальная среднеквадратичная ошибка (MMSE)

Ссылки [ править ]

• Кинер, Роберт В. (2006). Статистическая теория: заметки к курсу теоретической статистики . Springer. С. 47–48, 57–58.
• Воинов В.Г., Никулин М.С. (1993). Беспристрастные оценки и их приложения, Том 1: Одномерный случай . Kluwer Academic Publishers. с. 521 с.