Оценка теста

В статистике , то оценка тест оценивает ограничения на статистических параметрах на основе градиента от функции правдоподобия , известного под названием на счете -evaluated на гипотетическом значении параметра при нулевой гипотезе . Интуитивно понятно, что если ограниченная оценка близка к максимуму функции правдоподобия, оценка не должна отличаться от нуля более чем на ошибку выборки . Хотя конечные выборочные распределения оценочных тестов обычно неизвестны, оно имеет асимптотическое χ ² -распределениепри нулевой гипотезе, впервые доказанной Р. Р. Рао в 1948 г. ^[1], этот факт можно использовать для определения статистической значимости .

Так как функция Максимизация с учетом ограничений равенства наиболее удобно проводить , используя выражение Лагранжа задачи, тест оценки может быть эквивалентным образом понимаются как испытание на величине из множителей Лагранжа , связанных с ограничениями , где, опять - таки, если ограничения являются не- привязка с максимальной вероятностью, вектор множителей Лагранжа не должен отличаться от нуля более чем на ошибку выборки. Эквивалентность этих двух подходов была впервые показана С. Д. Силви в 1959 г. ^[2], что привело к названию критерия множителя Лагранжа , который стал более широко использоваться, особенно в эконометрике, с тех пор, как Бреуш и ПаганМного цитируемая статья 1980 года. ^[3]

Главное преимущество теста балла за тест Wald и отношения правдоподобия теста является то , что оценка тест требует только вычисления ограниченной оценки. ^[4] Это делает тестирование возможным, когда неограниченная оценка максимального правдоподобия является граничной точкой в пространстве параметров . ^{[ необходима цитата ]} Кроме того, поскольку тест на оценку требует только оценки функции правдоподобия при нулевой гипотезе, он менее конкретен, чем два других теста, о точном характере альтернативной гипотезы. ^[5]

Однопараметрический тест [ править ]

Статистика [ править ]

Позвольте быть функцией правдоподобия, которая зависит от одномерного параметра, и пусть будет данными. Оценка определяется как ${\ displaystyle L}$ ${\ displaystyle \ theta}$ ${\ displaystyle x}$ ${\ Displaystyle U (\ theta)}$

{\ Displaystyle U (\ theta) = {\ frac {\ partial \ log L (\ theta \ mid x)} {\ partial \ theta}}.}

Информация Фишера является ^[6]

I(\theta )=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log L(X;\theta )\right|\theta \right]\,.

Статистика для проверки : ${\mathcal {H}}_{0}:\theta =\theta _{0}$ $S(\theta _{0})={\frac {U(\theta _{0})^{2}}{I(\theta _{0})}}$

которая имеет асимптотическое распределение по , когда верно. Хотя асимптотически идентично, вычисление статистики LM с использованием оценки произведения внешнего градиента информационной матрицы Фишера может привести к смещению в небольших выборках. ^[7] $\chi _{1}^{2}$ ${\mathcal {H}}_{0}$

Примечание к обозначениям [ править ]

Обратите внимание, что в некоторых текстах используются альтернативные обозначения, в которых статистика проверяется на соответствие нормальному распределению. Этот подход эквивалентен и дает идентичные результаты. $S^{*}(\theta )={\sqrt {S(\theta )}}$

Как самый мощный тест на небольшие отклонения [ править ]

\left({\frac {\partial \log L(\theta \mid x)}{\partial \theta }}\right)_{\theta =\theta _{0}}\geq C

где - функция правдоподобия , - значение интересующего параметра при нулевой гипотезе и - постоянный набор, зависящий от размера желаемого теста (т. е. вероятность отклонения, если оно истинно; см. ошибку типа I ). $L$ $\theta _{0}$ $C$ $H_{0}$ $H_{0}$

Оценочный тест - это самый эффективный тест на небольшие отклонения от . Чтобы убедиться в этом, рассмотрите вариант тестирования по сравнению с . По лемме Неймана – Пирсона наиболее мощный тест имеет вид $H_{0}$ $\theta =\theta _{0}$ $\theta =\theta _{0}+h$

{\frac {L(\theta _{0}+h\mid x)}{L(\theta _{0}\mid x)}}\geq K;

Взятие бревна с обеих сторон дает

\log L(\theta _{0}+h\mid x)-\log L(\theta _{0}\mid x)\geq \log K.

Балльная проверка следует за заменой ( расширением в ряд Тейлора )

\log L(\theta _{0}+h\mid x)\approx \log L(\theta _{0}\mid x)+h\times \left({\frac {\partial \log L(\theta \mid x)}{\partial \theta }}\right)_{\theta =\theta _{0}}

и отождествляя вышеуказанное с . $C$ $\log(K)$

Связь с другими тестами гипотез [ править ]

Если нулевая гипотеза верна, то критерий отношения правдоподобия , то тест Вальда и тест Score асимптотический эквивалентные испытания гипотез. ^[8]^[9] При тестировании вложенных моделей статистика для каждого теста затем сходится к распределению хи-квадрат со степенями свободы, равными разнице в степенях свободы в двух моделях. Однако, если нулевая гипотеза не верна, статистика сходится к нецентральному распределению хи-квадрат с возможно другими параметрами нецентральности.

Несколько параметров [ править ]

Тест с более общей оценкой может быть получен при наличии более одного параметра. Предположим, что это оценка максимального правдоподобия при нулевой гипотезе, в то время как и являются, соответственно, оценкой и информационными матрицами Фишера при альтернативной гипотезе. потом ${\widehat {\theta }}_{0}$ $\theta$ $H_{0}$ $U$ $I$

U^{T}({\widehat {\theta }}_{0})I^{-1}({\widehat {\theta }}_{0})U({\widehat {\theta }}_{0})\sim \chi _{k}^{2}

асимптотически ниже , где - количество ограничений, налагаемых нулевой гипотезой и $H_{0}$ $k$

U({\widehat {\theta }}_{0})={\frac {\partial \log L({\widehat {\theta }}_{0}\mid x)}{\partial \theta }}

и

I({\widehat {\theta }}_{0})=-\operatorname {E} \left({\frac {\partial ^{2}\log L({\widehat {\theta }}_{0}\mid x)}{\partial \theta \,\partial \theta '}}\right).

Это можно использовать для проверки . $H_{0}$

Особые случаи [ править ]

Во многих ситуациях статистика оценок сводится к другой часто используемой статистике. ^[10]

В линейной регрессии критерий множителя Лагранжа может быть выражен как функция F- критерия . ^[11]

Когда данные подчиняются нормальному распределению, статистика оценок совпадает со статистикой t . ^{[ требуется разъяснение ]}

Когда данные состоят из двоичных наблюдений, статистика оценок такая же, как статистика хи-квадрат в критерии хи-квадрат Пирсона .

Когда данные состоят из данных о времени отказа в двух группах, статистика оценок для частичной вероятности Кокса такая же, как статистика логарифмических рангов в тесте логарифмических рангов . Следовательно, лог-ранговый тест на разницу в выживаемости между двумя группами наиболее эффективен, когда выполняется предположение о пропорциональных рисках.

См. Также [ править ]

Информация Fisher
Единообразно самый мощный тест
Оценка (статистика)
Sup-LM тест

Ссылки [ править ]

^ Рао, К. Радхакришна (1948). «Большая выборка тестов статистических гипотез относительно нескольких параметров с приложениями к задачам оценивания». Математические труды Кембриджского философского общества . 44 (1): 50–57. DOI : 10.1017 / S0305004100023987 .
^ Силвей, SD (1959). «Тест множителя Лагранжа» . Анналы математической статистики . 30 (2): 389–407. DOI : 10.1214 / АОМ / 1177706259 . JSTOR 2237089 .
^ Breusch, TS ; Пэган, AR (1980). «Тест множителя Лагранжа и его приложения к спецификации моделей в эконометрике». Обзор экономических исследований . 47 (1): 239–253. JSTOR 2297111 .
^ Фармейр, Людвиг; Кнейб, Томас; Ланг, Стефан; Маркс, Брайан (2013). Регрессия: модели, методы и приложения . Берлин: Springer. стр. 663 -664. ISBN 978-3-642-34332-2.
^ Кеннеди, Питер (1998). Руководство по эконометрике (четвертое изд.). Кембридж: MIT Press. п. 68. ISBN 0-262-11235-3.
^ Леманн и Казелла, ур. (2.5.16).
^ Дэвидсон, Рассел; Маккиннон, Джеймс Г. (1983). «Малая выборка свойств альтернативных форм теста множителя Лагранжа». Письма по экономике . 12 (3–4): 269–275. DOI : 10.1016 / 0165-1765 (83) 90048-4 .
^ Энгл, Роберт Ф. (1983). «Тесты Вальда, отношения правдоподобия и множителя Лагранжа в эконометрике». В Intriligator, MD; Грилихес, З. (ред.). Справочник по эконометрике . II . Эльзевир. С. 796–801. ISBN 978-0-444-86185-6.
^ Burzykowski, Анджей Gałecki, Томаш (2013). Линейные модели смешанных эффектов с использованием R: пошаговый подход . Нью-Йорк, штат Нью-Йорк: Спрингер. ISBN 1461438993.
^ Кук, TD; Демец, DL, ред. (2007). Введение в статистические методы клинических испытаний . Чепмен и Холл. С. 296–297. ISBN 1-58488-027-9.
^ Vandaele, Вальтер (1981). «Тесты Вальда, отношения правдоподобия и множителя Лагранжа как F-критерий». Письма по экономике . 8 (4): 361–365. DOI : 10.1016 / 0165-1765 (81) 90026-4 .

Дальнейшее чтение [ править ]

Бузе, А. (1982). «Отношение правдоподобия, тесты множителей Вальда и Лагранжа: пояснительная записка». Американский статистик . 36 (3a): 153–157. DOI : 10.1080 / 00031305.1982.10482817 .
Годфри, LG (1988). «Тест множителя Лагранжа и проверка на наличие ошибок в спецификации: расширенный анализ». Тесты на неправильную спецификацию в эконометрике . Нью-Йорк: Издательство Кембриджского университета. С. 69–99. ISBN 0-521-26616-5.
Рао, CR (2005). «Оценка теста: исторический обзор и недавние события». Достижения в ранжировании и отборе, множественных сравнениях и надежности . Бостон: Биркхойзер. С. 3–20. ISBN 978-0-8176-3232-8.

[1] Рао, К. Радхакришна (1948). «Большая выборка тестов статистических гипотез относительно нескольких параметров с приложениями к задачам оценивания». Математические труды Кембриджского философского общества . 44 (1): 50–57. DOI : 10.1017 / S0305004100023987 .

[2] Силвей, SD (1959). «Тест множителя Лагранжа» . Анналы математической статистики . 30 (2): 389–407. DOI : 10.1214 / АОМ / 1177706259 . JSTOR 2237089 .

[BP-3] Breusch, TS ; Пэган, AR (1980). «Тест множителя Лагранжа и его приложения к спецификации моделей в эконометрике». Обзор экономических исследований . 47 (1): 239–253. JSTOR 2297111 .

[4] Фармейр, Людвиг; Кнейб, Томас; Ланг, Стефан; Маркс, Брайан (2013). Регрессия: модели, методы и приложения . Берлин: Springer. стр. 663 -664. ISBN 978-3-642-34332-2.

[5] Кеннеди, Питер (1998). Руководство по эконометрике (четвертое изд.). Кембридж: MIT Press. п. 68. ISBN 0-262-11235-3.

[6] Леманн и Казелла, ур. (2.5.16).

[7] Дэвидсон, Рассел; Маккиннон, Джеймс Г. (1983). «Малая выборка свойств альтернативных форм теста множителя Лагранжа». Письма по экономике . 12 (3–4): 269–275. DOI : 10.1016 / 0165-1765 (83) 90048-4 .

[8] Энгл, Роберт Ф. (1983). «Тесты Вальда, отношения правдоподобия и множителя Лагранжа в эконометрике». В Intriligator, MD; Грилихес, З. (ред.). Справочник по эконометрике . II . Эльзевир. С. 796–801. ISBN 978-0-444-86185-6.

[9] Burzykowski, Анджей Gałecki, Томаш (2013). Линейные модели смешанных эффектов с использованием R: пошаговый подход . Нью-Йорк, штат Нью-Йорк: Спрингер. ISBN 1461438993.

[10] Кук, TD; Демец, DL, ред. (2007). Введение в статистические методы клинических испытаний . Чепмен и Холл. С. 296–297. ISBN 1-58488-027-9.

[11] Vandaele, Вальтер (1981). «Тесты Вальда, отношения правдоподобия и множителя Лагранжа как F-критерий». Письма по экономике . 8 (4): 361–365. DOI : 10.1016 / 0165-1765 (81) 90026-4 .

[1],