Несмещенная оценка, которая достигает этой нижней границы, называется (полностью) эффективной . Такое решение обеспечивает наименьшую возможную среднеквадратичную ошибку среди всех несмещенных методов и, следовательно, является средством оценки с минимальной несмещенной дисперсией (MVU). Однако в некоторых случаях не существует беспристрастной техники, позволяющей достичь предела. Это может произойти либо в том случае, если для любого несмещенного оценщика существует другой со строго меньшей дисперсией, либо если существует оценщик MVU, но его дисперсия строго больше, чем инверсия информации Фишера.
Граница Крамера – Рао также может использоваться для ограничения дисперсии смещенных оценок данного смещения. В некоторых случаях предвзятый подход может привести как к дисперсии, так и к среднеквадратической ошибке , которые ниже несмещенной нижней границы Крамера – Рао; см. смещение оценки .
Заявление
Граница Крамера – Рао формулируется в этом разделе для нескольких все более общих случаев, начиная со случая, когда параметр является скаляром, а его оценка несмещена . Все варианты оценки требуют определенных условий регулярности, которые выполняются для большинства распределений с хорошим поведением. Эти условия перечислены далее в этом разделе .
Скалярный несмещенный случай
Предполагать - неизвестный детерминированный параметр, который должен быть оценен из независимые наблюдения (измерения) , каждое из распределения согласно некоторой функции плотности вероятности. Дисперсия любой несмещенной оценки из затем ограничена обратной части информации Фишера:
где информация Фишера определяется
а также это натуральный логарифм от функции правдоподобия для одного образца а также обозначает математическое ожидание относительно плотности из . Еслидважды дифференцируема и выполняются определенные условия регулярности, то информацию Фишера также можно определить следующим образом: [8]
Эффективность несмещенной оценкиизмеряет, насколько близко дисперсия этой оценки подходит к этой нижней границе; эффективность оценщика определяется как
или минимально возможная дисперсия для несмещенной оценки, деленная на ее фактическую дисперсию. Таким образом, оценка снизу Крамера – Рао дает
.
Общий скалярный случай
Более общий вид оценки может быть получен путем рассмотрения смещенной оценки , ожидание которого не но функция этого параметра, скажем, . Следовательно обычно не равно 0. В этом случае оценка дается выражением
где является производной от (от ), а также - это информация Fisher, определенная выше.
Связано с дисперсией смещенных оценок
Помимо ограничения оценок функций параметра, этот подход можно использовать для получения границы дисперсии смещенных оценок с заданным смещением следующим образом. Рассмотрим оценщик с предвзятостью , и разреши . Согласно приведенному выше результату, любая несмещенная оценка, математическое ожидание которой равно имеет дисперсию больше или равную . Таким образом, любая оценка смещение которого задается функцией удовлетворяет
Несмещенная версия оценки является частным случаем этого результата, поскольку .
Иметь небольшую дисперсию тривиально - постоянная «оценка» имеет нулевую дисперсию. Но из приведенного выше уравнения мы находим, что среднеквадратичная ошибка смещенной оценки ограничена
используя стандартную декомпозицию MSE. Обратите внимание, однако, что если эта оценка может быть меньше несмещенной границы Крамера – Рао . Например, в примере оценки дисперсии ниже ,.
Многомерный случай
Расширение границы Крамера – Рао до нескольких параметров, определение вектора- столбца параметра
с функцией плотности вероятности которое удовлетворяет двум нижеприведенным условиям регулярности .
Позволять быть оценщиком любой вектор-функции параметров, , и обозначим его вектор ожидания от . Крамера-Рао затем утверждает , что ковариационная матрица из удовлетворяет
где
Матричное неравенство подразумевается, что матрица является неотрицательно , и
Если является несмещенной оценкой (т.е. ), то оценка Крамера – Рао сводится к
Если неудобно вычислять инверсию информационной матрицы Фишера , то можно просто взять обратную величину соответствующего диагонального элемента, чтобы найти (возможно, нечеткую) нижнюю границу. [9]
Информация Фишера всегда определена; в равной степени для всех такой, что ,
существует и конечно.
Операции интеграции относительно и дифференцирование по можно поменять местами в ожидании ; это,
всякий раз, когда правая часть конечна.
Это условие часто можно подтвердить, используя тот факт, что интегрирование и дифференцирование можно поменять местами в любом из следующих случаев:
Функция имеет ограниченную поддержку в , причем оценки не зависят от ;
Функция имеет бесконечный носитель, непрерывно дифференцируем и интеграл сходится равномерно для всех.
Однопараметрическое доказательство
Ниже приводится доказательство общего скалярного случая оценки Крамера – Рао, описанного выше . Предположить, что это оценка с ожиданием (на основании наблюдений ), т. е. что . Цель - доказать, что для всех,
Позволять быть случайной величиной с функцией плотности вероятности. Здесь- статистика , которая используется в качестве оценки для. Определятькак счет :
где цепное правило используется в окончательном равенстве, приведенном выше. Тогда математическое ожидание в, написано , равно нулю. Это потому что:
где интегральная и частная производная поменяны местами (оправдано вторым условием регулярности).
Если рассматривать ковариацию из а также , у нас есть , так как . Расширяя это выражение, мы имеем
опять же, потому что операции интегрирования и дифференцирования коммутируют (второе условие).
В силу неравенства Коши-Шварца показывает , что
следовательно
что доказывает предложение.
Примеры
Многомерное нормальное распределение
Для случая нормального распределения d- переменной
информационная матрица Фишера имеет элементы [10]
где «tr» - это след .
Например, пусть быть образцом независимые наблюдения с неизвестным средним и известная дисперсия .
Тогда информация Фишера представляет собой скаляр, задаваемый формулой
и поэтому граница Крамера – Рао имеет вид
Нормальное отклонение от известного среднего
Предположим, что X - нормально распределенная случайная величина с известным средним значением. и неизвестная дисперсия . Рассмотрим следующую статистику:
Тогда T несмещен для, в виде . Какая дисперсия T ?
(второе равенство следует непосредственно из определения дисперсии). Первый член - это четвертый момент о среднем значении.; второй - квадрат дисперсии, или. Таким образом
Итак, какова информация Фишера в образце? Напомним, что счет определяется как
где - функция правдоподобия . Таким образом, в этом случае
где второе равенство взято из элементарного исчисления. Таким образом, информация в одном наблюдении - это просто минус математическое ожидание производной от, или же
Таким образом, информация в выборке независимые наблюдения просто раз это, или
Граница Крамера – Рао утверждает, что
В этом случае выполняется неравенство насыщенно (равенство достигается), показывая , что оценка является эффективной .
Однако мы можем добиться более низкой среднеквадратичной ошибки, используя смещенную оценку. Оценщик
очевидно, имеет меньшую дисперсию, которая на самом деле
Его предвзятость
поэтому его среднеквадратичная ошибка
что явно меньше найденной выше границы Крамера – Рао.
Когда среднее значение неизвестно, оценка минимальной среднеквадратичной ошибки отклонения выборки от гауссовского распределения достигается путем деления на , скорее, чем или же .
Смотрите также
Граница Чепмена – Роббинса
Неравенство Кульбака
Неравенство Браскампа – Либа
Ссылки и примечания
^ Крамера, Харальд (1946). Математические методы статистики . Принстон, Нью-Джерси: Princeton Univ. Нажмите. ISBN 0-691-08004-6. OCLC 185436716 .
^Рао, Калямпуди Радакришна (1945). «Информация и достижимая точность при оценке статистических параметров». Бюллетень математического общества Калькутты . 37 : 81–89. Руководство по ремонту 0015748 .
^Рао, Калямпуди Радакришна (1994). С. Дас Гупта (ред.). Избранные статьи ЧР Рао . Нью-Йорк: Вили. ISBN 978-0-470-22091-7. OCLC 174244259 .
^Фреше, Морис (1943). "Sur l'extension de specifices évaluations statistiques au cas de petits échantillons". Rev. Inst. Int. Статист . 11 : 182–205.
^Дармуа, Жорж (1945). "Sur les limites de la дисперсия определенных оценок". Rev. Int. Inst. Статист . 13 : 9–15.
^Aitken, AC; Сильверстоун, Х. (1942). «Об оценке статистических параметров». Труды Королевского общества Эдинбурга . 61 (2): 186–194. DOI : 10,1017 / s008045410000618x .
^Шентон, LR (1970). «Так называемое неравенство Крамера – Рао». Американский статистик . 24 (2): 36. JSTOR 2681931 .
^Суба Рао. «Лекции по статистическому выводу» (PDF) .
^ Для байесовского случая см. Уравнение. (11) из Бобровский; Майер-Вольф; Закай (1987). «Некоторые классы глобальных границ Крамера – Рао». Аня. Стат . 15 (4): 1421–38.
^Кей, С.М. (1993). Основы статистической обработки сигналов: теория оценивания . Прентис Холл. п. 47. ISBN 0-13-042268-1.
дальнейшее чтение
Амемия, Такеши (1985). Продвинутая эконометрика . Кембридж: Издательство Гарвардского университета. стр. 14 -17. ISBN 0-674-00560-0.
Бос, Адриан ван ден (2007). Оценка параметров для ученых и инженеров . Хобокен: Джон Уайли и сыновья. С. 45–98. ISBN 0-470-14781-4.
Кей, Стивен М. (1993). Основы статистической обработки сигналов, Том I: Теория оценивания . Прентис Холл. ISBN 0-13-345711-7.. Глава 3.
Шао, Цзюнь (1998). Математическая статистика . Нью-Йорк: Спрингер. ISBN 0-387-98674-X.. Раздел 3.1.3.
Внешние ссылки
FandPLimitTool - программное обеспечение на основе графического интерфейса пользователя для расчета информации Фишера и нижней границы Крамера-Рао с приложением к микроскопии одиночных молекул.