Локальная асимптотическая нормальность

В статистике , локальная асимптотическая нормальность является свойством последовательности статистических моделей , что позволяет эта последовательность будет асимптотический аппроксимировать с помощью обычной модели местоположения , после перенормировки параметра. Важным примером, когда выполняется локальная асимптотическая нормальность, является случай выборки iid из регулярной параметрической модели .

Понятие локальной асимптотической нормальности было введено Ле Камом (1960) .

Определение [ править ]

Эта статья может быть слишком технической, чтобы ее могло понять большинство читателей . Пожалуйста, помогите улучшить его, чтобы он был понятен неспециалистам , не удаляя технические детали. ( Сентябрь 2010 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Последовательность параметрических статистических моделей {  P _{n, θ} : θ ∈ Θ  } называется локально асимптотически нормальной (LAN) в θ, если существуют матрицы r _n и I _θ и случайный вектор ∆ _{n, θ} ~ N (0, I _θ ) такая, что для любой сходящейся последовательности h _n → h , ^[1]

${\ displaystyle \ ln {\ frac {dP _ {\! n, \ theta + r_ {n} ^ {- 1} h_ {n}}} {dP_ {n, \ theta}}} = h '\ Delta _ { n, \ theta} - {\ frac {1} {2}} h'I _ {\ theta} \, h + o_ {P_ {n, \ theta}} (1),}$

где производная здесь является производной Радона – Никодима , которая является формализованной версией отношения правдоподобия , и где o - тип большого O в обозначении вероятности . Другими словами, локальное отношение правдоподобия должно сходиться по распределению к нормальной случайной величине, среднее значение которой равно минус половине дисперсии:

${\ displaystyle \ ln {\ frac {dP _ {\! n, \ theta + r_ {n} ^ {- 1} h_ {n}}} {dP_ {n, \ theta}}} \ \ {\ xrightarrow {d }} \ \ {\ mathcal {N}} {\ Big (} {- {\ tfrac {1} {2}}} h'I _ {\ theta} \, h, \ h'I _ {\ theta} \, h {\ Big)}.}$

Последовательности распределений и являются смежными . ^[1]${\ displaystyle P _ {\! n, \ theta + r_ {n} ^ {- 1} h_ {n}}}$${\ Displaystyle P_ {п, \ theta}}$

Пример [ править ]

Самый простой пример модели LAN - это модель iid, вероятность которой дважды непрерывно дифференцируема. Предположим, что {  X ₁ , X ₂ ,…, X _n  } - это образец идентификатора, где каждый X _i имеет функцию плотности f ( x , θ ) . Функция правдоподобия модели равна

${\ displaystyle p_ {n, \ theta} (x_ {1}, \ ldots, x_ {n}; \, \ theta) = \ prod _ {i = 1} ^ {n} f (x_ {i}, \ тета).}$

Если f дважды непрерывно дифференцируема по θ , то

${\displaystyle {\begin{aligned}\ln p_{n,\theta +\delta \theta }&\approx \ln p_{n,\theta }+\delta \theta '{\frac {\partial \ln p_{n,\theta }}{\partial \theta }}+{\frac {1}{2}}\delta \theta '{\frac {\partial ^{2}\ln p_{n,\theta }}{\partial \theta \,\partial \theta '}}\delta \theta \\&=\ln p_{n,\theta }+\delta \theta '\sum _{i=1}^{n}{\frac {\partial \ln f(x_{i},\theta )}{\partial \theta }}+{\frac {1}{2}}\delta \theta '{\bigg [}\sum _{i=1}^{n}{\frac {\partial ^{2}\ln f(x_{i},\theta )}{\partial \theta \,\partial \theta '}}{\bigg ]}\delta \theta .\end{aligned}}}$

Подключая , дает${\displaystyle \delta \theta =h/{\sqrt {n}}}$

${\displaystyle \ln {\frac {p_{n,\theta +h/{\sqrt {n}}}}{p_{n,\theta }}}=h'{\Bigg (}{\frac {1}{\sqrt {n}}}\sum _{i=1}^{n}{\frac {\partial \ln f(x_{i},\theta )}{\partial \theta }}{\Bigg )}\;-\;{\frac {1}{2}}h'{\Bigg (}{\frac {1}{n}}\sum _{i=1}^{n}-{\frac {\partial ^{2}\ln f(x_{i},\theta )}{\partial \theta \,\partial \theta '}}{\Bigg )}h\;+\;o_{p}(1).}$

Согласно центральной предельной теореме первый член (в скобках) сходится по распределению к нормальной случайной величине Δ _θ ~ N (0, I _θ ) , тогда как по закону больших чисел выражение во вторых скобках сходится по вероятности к I _θ , которая представляет собой информационную матрицу Фишера :

${\displaystyle I_{\theta }=\mathrm {E} {\bigg [}{-{\frac {\partial ^{2}\ln f(X_{i},\theta )}{\partial \theta \,\partial \theta '}}}{\bigg ]}=\mathrm {E} {\bigg [}{\bigg (}{\frac {\partial \ln f(X_{i},\theta )}{\partial \theta }}{\bigg )}{\bigg (}{\frac {\partial \ln f(X_{i},\theta )}{\partial \theta }}{\bigg )}'\,{\bigg ]}.}$

Таким образом, определение локальной асимптотической нормальности выполнено, и мы подтвердили, что параметрическая модель с iid наблюдениями и дважды непрерывно дифференцируемым правдоподобием обладает свойством LAN.

См. Также [ править ]

• Асимптотическое распределение

Заметки [ править ]

Ссылки [ править ]