Оценка (статистика)

В статистике , то оценка (или информатор ^[1] ) является градиент от функции логарифмического правдоподобия относительно вектора параметров . Оценка, оцениваемая в конкретной точке вектора параметров, указывает на крутизну логарифмической функции правдоподобия и, таким образом, на чувствительность к бесконечно малым изменениям значений параметров. Если функция логарифмического правдоподобия непрерывна по пространству параметров , оценка исчезнет при локальном максимуме или минимуме ; этот факт используется при оценке максимального правдоподобия чтобы найти значения параметров, которые максимизируют функцию правдоподобия.

Поскольку оценка является функцией наблюдений , которые подвержены ошибкам выборки , она поддается статистическому анализу, известному как тест оценки, в котором параметр удерживается на определенном значении. Кроме того, отношение двух функций правдоподобия, оцененных при двух различных значениях параметра, можно понимать как определенный интеграл функции оценки. ^[2]

Определение [ править ]

Оценка является градиент (вектор частных производных ) из , то натуральный логарифм от функции правдоподобия , по отношению к м - мерного вектора параметров . ${\ Displaystyle \ журнал {\ mathcal {L}} (\ theta)}$ ${\ displaystyle \ theta}$

{\ Displaystyle s (\ theta) \ Equiv {\ frac {\ partial \ log {\ mathcal {L}} (\ theta)} {\ partial \ theta}}}

Таким образом, дифференцирование дает вектор-строку и указывает чувствительность вероятности (ее производная, нормализованная по ее значению). ${\ Displaystyle (1 \ раз м)}$

В более ранней литературе ^{[ необходима цитата ]} «линейная оценка» может относиться к оценке относительно бесконечно малой трансляции заданной плотности. Это соглашение возникло в те времена, когда основным интересующим параметром было среднее или медианное значение распределения. В этом случае вероятность наблюдения определяется плотностью формы . "Линейная оценка" тогда определяется как ${\ Displaystyle {\ mathcal {L}} (\ theta; X) = е (X + \ theta)}$

s_{\rm {linear}}={\frac {\partial }{\partial X}}\log f(X)

Свойства [ править ]

Среднее [ править ]

Хотя оценка является функцией от , она также зависит от наблюдений, в которых оценивается функция правдоподобия, и, принимая во внимание случайный характер выборки, можно принять ее ожидаемое значение по пространству выборки . При определенных условиях регулярности функций плотности случайных величин ^[3]^[4] ожидаемое значение оценки, оцененное при истинном значении параметра , равно нулю. Чтобы увидеть это, перепишите функцию правдоподобия как функцию плотности вероятности и обозначьте пространство выборки . Потом: $\theta$ $\mathbf {x} =(x_{1},x_{2},\ldots x_{T})$ $\theta$ ${\mathcal {L}}$ ${\mathcal {L}}(\theta ;x)=f(x;\theta )$ ${\mathcal {X}}$

{\begin{aligned}\operatorname {E} (s\mid \theta )&=\int _{\mathcal {X}}f(x;\theta ){\frac {\partial }{\partial \theta }}\log {\mathcal {L}}(\theta ;x)\,dx\\[6pt]&=\int _{\mathcal {X}}f(x;\theta ){\frac {1}{f(x;\theta )}}{\frac {\partial f(x;\theta )}{\partial \theta }}\,dx=\int _{\mathcal {X}}{\frac {\partial f(x;\theta )}{\partial \theta }}\,dx\end{aligned}}

Предполагаемые условия регулярности допускают замену производной и интеграла (см. Правило интеграла Лейбница ), поэтому приведенное выше выражение можно переписать как

{\frac {\partial }{\partial \theta }}\int _{\mathcal {X}}f(x;\theta )\,dx={\frac {\partial }{\partial \theta }}1=0.

Приведенный выше результат стоит перефразировать словами: математическое ожидание результата равно нулю. Таким образом, если бы кто-то многократно отбирал из некоторого распределения и многократно вычислял оценку, то среднее значение оценок было бы асимптотически стремиться к нулю .

Дисперсия [ править ]

Дисперсия бороздки, может быть получена из приведенного выше выражения для ожидаемого значения. $\operatorname {Var} (s(\theta ))=\operatorname {E} (s(\theta )s(\theta )^{\mathsf {T}})$

{\begin{aligned}0&={\frac {\partial }{\partial \theta ^{\mathsf {T}}}}\operatorname {E} (s\mid \theta )\\[6pt]&={\frac {\partial }{\partial \theta ^{\mathsf {T}}}}\int _{\mathcal {X}}{\frac {\partial \log {\mathcal {L}}(\theta ;X)}{\partial \theta }}f(x;\theta )\,dx\\[6pt]&=\int _{\mathcal {X}}{\frac {\partial }{\partial \theta ^{\mathsf {T}}}}\left\{{\frac {\partial \log {\mathcal {L}}(\theta ;X)}{\partial \theta }}f(x;\theta )\right\}\,dx\\[6pt]&=\int _{\mathcal {X}}\left\{{\frac {\partial ^{2}\log {\mathcal {L}}(\theta ;X)}{\partial \theta \partial \theta ^{\mathsf {T}}}}f(x;\theta )+{\frac {\partial \log {\mathcal {L}}(\theta ;X)}{\partial \theta }}{\frac {\partial f(x;\theta )}{\partial \theta ^{\mathsf {T}}}}\right\}\,dx\\[6pt]&=\int _{\mathcal {X}}{\frac {\partial ^{2}\log {\mathcal {L}}(\theta ;X)}{\partial \theta \partial \theta ^{\mathsf {T}}}}f(x;\theta )\,dx+\int _{\mathcal {X}}{\frac {\partial \log {\mathcal {L}}(\theta ;X)}{\partial \theta }}{\frac {\partial {\mathcal {L}}(\theta ;X)}{\partial \theta ^{\mathsf {T}}}}\,dx\\[6pt]&=\int _{\mathcal {X}}{\frac {\partial ^{2}\log {\mathcal {L}}(\theta ;X)}{\partial \theta \partial \theta ^{\mathsf {T}}}}f(x;\theta )\,dx+\int _{\mathcal {X}}{\frac {\partial \log {\mathcal {L}}(\theta ;X)}{\partial \theta }}{\frac {\partial \log {\mathcal {L}}(\theta ;X)}{\partial \theta ^{\mathsf {T}}}}f(x;\theta )\,dx\\[6pt]&=\operatorname {E} \left({\frac {\partial ^{2}\log {\mathcal {L}}(\theta ;X)}{\partial \theta \partial \theta ^{\mathsf {T}}}}\right)+\operatorname {E} \left({\frac {\partial \log {\mathcal {L}}(\theta ;X)}{\partial \theta }}\left[{\frac {\partial \log {\mathcal {L}}(\theta ;X)}{\partial \theta }}\right]^{\mathsf {T}}\right)\end{aligned}}

Следовательно, дисперсия оценки равна отрицательному ожидаемому значению матрицы Гессе логарифмической вероятности. ^[5]

\operatorname {E} (s(\theta )s(\theta )^{\mathsf {T}})=-\operatorname {E} \left({\frac {\partial ^{2}\log {\mathcal {L}}}{\partial \theta \partial \theta ^{\mathsf {T}}}}\right)

Последняя известна как информация Фишера и написана . Обратите внимание, что информация Фишера не является функцией какого-либо конкретного наблюдения, поскольку случайная величина была усреднена. Эта концепция информации полезна при сравнении двух методов наблюдения за некоторым случайным процессом . ${\mathcal {I}}(\theta )$ $X$

Примеры [ править ]

Процесс Бернулли [ править ]

Рассмотрим первые n попыток процесса Бернулли и увидим, что A из них были успешными, а оставшиеся B - неудачными, где вероятность успеха равна θ .

Тогда вероятность того, является ${\mathcal {L}}$

{\mathcal {L}}(\theta ;A,B)={\frac {(A+B)!}{A!B!}}\theta ^{A}(1-\theta )^{B},

поэтому оценка s является

s={\frac {1}{\mathcal {L}}}{\frac {\partial {\mathcal {L}}}{\partial \theta }}={\frac {A}{\theta }}-{\frac {B}{1-\theta }}.

Теперь мы можем убедиться, что ожидаемая оценка равна нулю. Отметив, что ожидание A равно nθ, а ожидание B равно n (1 - θ ) [напомним, что A и B - случайные величины], мы можем видеть, что математическое ожидание s равно

E(s)={\frac {n\theta }{\theta }}-{\frac {n(1-\theta )}{1-\theta }}=n-n=0.

Мы также можем проверить дисперсию . Мы знаем, что A + B = n (поэтому B = n - A ) и дисперсия A равна nθ (1 - θ ), поэтому дисперсия s равна $s$

{\begin{aligned}\operatorname {var} (s)&=\operatorname {var} \left({\frac {A}{\theta }}-{\frac {n-A}{1-\theta }}\right)=\operatorname {var} \left(A\left({\frac {1}{\theta }}+{\frac {1}{1-\theta }}\right)\right)\\&=\left({\frac {1}{\theta }}+{\frac {1}{1-\theta }}\right)^{2}\operatorname {var} (A)={\frac {n}{\theta (1-\theta )}}.\end{aligned}}

Модель двоичного результата [ править ]

Для моделей с бинарными исходами ( Y = 1 или 0) модель может быть оценена с помощью логарифма прогнозов.

S=Y\log(p)+(1-Y)(\log(1-p))

где p - вероятность оцениваемой модели, а S - оценка. ^[6]

Приложения [ править ]

Алгоритм подсчета очков [ править ]

Алгоритм оценки представляет собой итерационный метод численного определения оценщика максимального правдоподобия .

Оценка теста [ править ]

Обратите внимание, что это функция и наблюдения , так что, как правило, это не статистика . Однако в некоторых приложениях, таких как тест на баллы , балл оценивается по определенному значению (например, значению нулевой гипотезы), и в этом случае результат является статистическим. Интуитивно понятно, что если ограниченная оценка близка к максимуму функции правдоподобия, оценка не должна отличаться от нуля более чем на ошибку выборки . В 1948 году CR Rao впервые доказал, что квадрат оценки, деленный на информационную матрицу, следует асимптотическому χ 2 -распределению при нулевой гипотезе. ^[7] $s$ $\theta$ $\mathbf {x} =(x_{1},x_{2},\ldots x_{T})$ $\theta$

Также обратите внимание, что тест отношения правдоподобия дается формулой

-2\left[\log {\mathcal {L}}(\theta _{0})-\log {\mathcal {L}}({\hat {\theta }})\right]=2\int _{\theta _{0}}^{\hat {\theta }}{\frac {d\,\log {\mathcal {L}}(\theta )}{d\theta }}\,d\theta =2\int _{\theta _{0}}^{\hat {\theta }}s(\theta )\,d\theta

это означает, что критерий отношения правдоподобия можно понимать как область под функцией оценки между и . ^[8] $\theta _{0}$ ${\hat {\theta }}$

См. Также [ править ]

Информация Fisher
Теория информации
Оценка теста
Алгоритм подсчета очков
Стандартный балл
Кривая поддержки

Заметки [ править ]

^ Информатор в энциклопедии математики
^ Пиклз, Эндрю (1985). Введение в анализ правдоподобия . Норидж: WH Hutchins & Sons. С. 24–29 . ISBN 0-86094-190-6.
^ Серфлинг, Роберт Дж. (1980). Аппроксимационные теоремы математической статистики . Нью-Йорк: Джон Вили и сыновья. п. 145 . ISBN 0-471-02403-1.
^ Гринберг, Эдвард; Вебстер, Чарльз Э. младший (1983). Продвинутая эконометрика: мост к литературе . Нью-Йорк: Джон Вили и сыновья. п. 25. ISBN 0-471-09077-8.
^ Сарган, Денис (1988). Лекции по продвинутой эконометрике . Оксфорд: Бэзил Блэквелл. С. 16–18. ISBN 0-631-14956-2.
^ Steyerberg, EW; Викерс, Эй Джей; Cook, NR; Гердс, Т .; Gonen, M .; Obuchowski, N .; Pencina, MJ; Каттан, МВ (2010). «Оценка эффективности моделей прогнозирования. Рамки для традиционных и новых мер» . Эпидемиология . 21 (1): 128–138. DOI : 10.1097 / EDE.0b013e3181c30fb2 . PMC 3575184 . PMID 20010215 .
^ Рао, К. Радхакришна (1948). «Большая выборка тестов статистических гипотез относительно нескольких параметров с приложениями к задачам оценивания». Математические труды Кембриджского философского общества . 44 (1): 50–57. DOI : 10.1017 / S0305004100023987 .
^ Запально, A. (1982). «Отношение правдоподобия, тесты множителей Вальда и Лагранжа: пояснительная записка». Американский статистик . 36 (3a): 153–157. DOI : 10.1080 / 00031305.1982.10482817 .

Ссылки [ править ]

Ченцов, Н.Н. (2001) [1994], «Информатор» , Энциклопедия математики , EMS Press
Кокс, Д.Р .; Хинкли, Д.В. (1974). Теоретическая статистика . Чепмен и Холл. ISBN 0-412-12420-3.
Шервиш, Марк Дж. (1995). Теория статистики . Нью-Йорк: Спрингер. Раздел 2.3.1. ISBN 0-387-94546-6.

[1] Информатор в энциклопедии математики

[2] Пиклз, Эндрю (1985). Введение в анализ правдоподобия . Норидж: WH Hutchins & Sons. С. 24–29 . ISBN 0-86094-190-6.

[3] Серфлинг, Роберт Дж. (1980). Аппроксимационные теоремы математической статистики . Нью-Йорк: Джон Вили и сыновья. п. 145 . ISBN 0-471-02403-1.

[4] Гринберг, Эдвард; Вебстер, Чарльз Э. младший (1983). Продвинутая эконометрика: мост к литературе . Нью-Йорк: Джон Вили и сыновья. п. 25. ISBN 0-471-09077-8.

[5] Сарган, Денис (1988). Лекции по продвинутой эконометрике . Оксфорд: Бэзил Блэквелл. С. 16–18. ISBN 0-631-14956-2.

[Steyerberg2010-6] Steyerberg, EW; Викерс, Эй Джей; Cook, NR; Гердс, Т .; Gonen, M .; Obuchowski, N .; Pencina, MJ; Каттан, МВ (2010). «Оценка эффективности моделей прогнозирования. Рамки для традиционных и новых мер» . Эпидемиология . 21 (1): 128–138. DOI : 10.1097 / EDE.0b013e3181c30fb2 . PMC 3575184 . PMID 20010215 .

[7] Рао, К. Радхакришна (1948). «Большая выборка тестов статистических гипотез относительно нескольких параметров с приложениями к задачам оценивания». Математические труды Кембриджского философского общества . 44 (1): 50–57. DOI : 10.1017 / S0305004100023987 .

[8] Запально, A. (1982). «Отношение правдоподобия, тесты множителей Вальда и Лагранжа: пояснительная записка». Американский статистик . 36 (3a): 153–157. DOI : 10.1080 / 00031305.1982.10482817 .

[1]