Экстремальная оценка

В статистике и эконометрике , экстремум оценщики широкий класс из оценок для параметрических моделей , которые рассчитываются путем максимизации (или минимизации) некоторой целевой функции , которая зависит от данных. Общая теория оценок экстремума была развита Амемией (1985) .

Определение [ править ]

Оценщик называется оценщиком экстремума , если существует целевая функция такая, что ${\ displaystyle \ scriptstyle {\ hat {\ theta}}}$ ${\ displaystyle \ scriptstyle {\ hat {Q}} _ {n}}$

{\ displaystyle {\ hat {\ theta}} = {\ underset {\ theta \ in \ Theta} {\ operatorname {arg \; max}}} \ {\ widehat {Q}} _ {n} (\ theta) ,}

где Θ - пространство параметров . Иногда дается более слабое определение:

{\ displaystyle {\ widehat {Q}} _ {n} ({\ hat {\ theta}}) \ geq \ max _ {\ theta \ in \ Theta} \, {\ widehat {Q}} _ {n} (\ theta) -o_ {p} (1),}

где o _p (1) - переменная, сходящаяся по вероятности к нулю . С этой модификацией не обязательно должен быть точный максимизатор целевой функции, просто быть достаточно близким к нему. ${\ displaystyle \ scriptstyle {\ hat {\ theta}}}$

Теория экстремальных оценок не определяет, какой должна быть целевая функция. Существуют различные типы целевых функций, подходящие для разных моделей, и эта структура позволяет нам анализировать теоретические свойства таких оценок с единой точки зрения. Теория определяет только те свойства, которыми должна обладать целевая функция, поэтому выбор конкретной целевой функции требует только проверки того, что эти свойства выполняются.

Последовательность [ править ]

Когда пространство параметров Θ не компактно ( Θ = ℝ в этом примере), то даже если целевая функция однозначно максимизируется при θ ₀ , этот максимум может быть плохо разделен, и в этом случае оценка не будет согласованной.

{\ displaystyle \ scriptscriptstyle {\ hat {\ theta}}}

Если пространство параметров Θ компактно и существует предельная функция Q ₀ ( θ ) такая, что: сходится к Q ₀ ( θ ) по вероятности равномерно по Θ, а функция Q ₀ ( θ ) непрерывна и имеет единственный максимум в точке θ = θ ₀ . Если эти условия выполнены , то это соответствует для & thetas ₀ . ^[1] ${\ displaystyle \ scriptstyle {\ hat {Q}} _ {n} (\ theta)}$ ${\ displaystyle \ scriptstyle {\ hat {\ theta}}}$

Равномерная сходимость по вероятности из средств, ${\ displaystyle \ scriptstyle {\ hat {Q}} _ {n} (\ theta)}$

\sup _{\theta \in \Theta }{\big |}{\hat {Q}}_{n}(\theta )-Q_{0}(\theta ){\big |}\ {\xrightarrow {p}}\ 0.

Требование компактности Θ может быть заменено более слабым предположением о том, что максимум Q ₀ хорошо разделен, то есть не должно существовать никаких точек θ , удаленных от θ _0, но таких, что Q ₀ ( θ ) были близки. в Q ₀ ( θ ₀ ). Формально это означает, что для любой последовательности { θ _i } такой, что Q ₀ ( θ _i ) → Q ₀ ( θ ₀ ) , должно быть верно, что θ _i → θ₀ .

Асимптотическая нормальность [ править ]

Предполагая, что согласованность установлена и производные выборки удовлетворяют некоторым другим условиям, ^[2] оценка экстремума сходится к асимптотически нормальному распределению $Q_{n}$

Примеры [ править ]

Оценка максимального правдоподобия использует целевую функцию
${\hat {Q}}_{n}(\theta )=\log \left[\prod _{i=1}^{n}f(x_{i}|\theta )\right]=\sum _{i=1}^{n}\log f(x_{i}|\theta ),$
где f (· | θ ) - функция плотности распределения, откуда берутся наблюдения. Эта целевая функция называется функцией логарифма правдоподобия . ^[3]
Обобщенный метод оценки моментов определяется через целевую функцию
${\hat {Q}}_{n}(\theta )=-{\Bigg (}{\frac {1}{n}}\sum _{i=1}^{n}g(x_{i},\theta ){\Bigg )}'{\hat {W}}_{n}{\Bigg (}{\frac {1}{n}}\sum _{i=1}^{n}g(x_{i},\theta ){\Bigg )},$
где g (· | θ ) - моментное условие модели. ^[4]
Минимальное расстояние оценки

См. Также [ править ]

М-оценки

Заметки [ править ]

^ Ньюи и Макфадден (1994), теорема 2.1
^ Ши, Сяося. «Конспект лекции: асимптотическая нормальность оценок экстремума» (PDF) .
^ Hayashi, Фумио (2000). Эконометрика . Принстон: Издательство Принстонского университета. п. 448. ISBN 0-691-01018-8.
^ Hayashi, Фумио (2000). Эконометрика . Принстон: Издательство Принстонского университета. п. 447. ISBN. 0-691-01018-8.

Ссылки [ править ]

Амемия, Такеши (1985). «Асимптотические свойства экстремальных оценок» . Продвинутая эконометрика . Издательство Гарвардского университета. С. 105–158 . ISBN 0-674-00560-0.CS1 maint: ref=harv (link)
Хаяси, Фумио (2000). «Экстремальные оценщики» . Эконометрика . Принстон: Издательство Принстонского университета. С. 445–506. ISBN 0-691-01018-8.
Ньюи, Уитни К .; Макфадден, Дэниел (1994). «Оценка большой выборки и проверка гипотез». Справочник по эконометрике . IV . Elsevier Science. С. 2111–2245. DOI : 10.1016 / S1573-4412 (05) 80005-4 . ISBN 0-444-88766-0.

[1] Ньюи и Макфадден (1994), теорема 2.1

[2] Ши, Сяося. «Конспект лекции: асимптотическая нормальность оценок экстремума» (PDF) .

[3] Hayashi, Фумио (2000). Эконометрика . Принстон: Издательство Принстонского университета. п. 448. ISBN 0-691-01018-8.

[4] Hayashi, Фумио (2000). Эконометрика . Принстон: Издательство Принстонского университета. п. 447. ISBN. 0-691-01018-8.

[1]