Тест Вальда

В статистике , то тест Вальда ( по имени Abraham Wald ) оценивает ограничения на статистических параметрах , основанных на взвешенном расстоянии между неограниченной оценкой и ее предполагаемым значением при нулевой гипотезе , где вес является точностью сметы. ^[1]^[2] Интуитивно понятно, что чем больше это взвешенное расстояние, тем меньше вероятность того, что ограничение истинно. Хотя конечные выборочные распределения критериев Вальда, как правило, неизвестны, ^[3] оно имеет асимптотическое χ ² -распределениепри нулевой гипотезе - факт, который можно использовать для определения статистической значимости . ^[4]

Вместе с множителем Лагранжа и критерием отношения правдоподобия тест Вальда является одним из трех классических подходов к проверке гипотез . Преимущество теста Вальда перед двумя другими состоит в том, что он требует только оценки неограниченной модели, что снижает вычислительную нагрузку по сравнению с тестом отношения правдоподобия. Однако основным недостатком является то, что (в конечных выборках) он не инвариантен к изменениям в представлении нулевой гипотезы; другими словами, алгебраически эквивалентные выражения ограничения нелинейных параметров могут приводить к различным значениям тестовой статистики. ^[5]^[6] Это потому, что статистика Вальда выводится изРазложение в ряд Тейлора , ^[7] , и различные способы написания эквивалентных нелинейных выражений приводит к нетривиальным различий в соответствующих коэффициентов Тейлора. ^[8] Еще одна аберрации, известная как эффект Хок-Доннер, ^[9] может произойти в биномиальных моделях , когда расчетный (неограниченный) параметр находится близко к границе в пространстве параметров -для например , оборудованная вероятность того, будучи очень близко к нулю или один - что приводит к тому, что тест Вальда больше не монотонно увеличивает расстояние между параметром без ограничений и параметром ограничения. ^[10]^[11]

Математические детали [ править ]

В соответствии с тестом Вальда оценка, которая была найдена как максимизирующий аргумент функции неограниченного правдоподобия, сравнивается с предполагаемым значением . В частности, квадрат разности взвешивается кривизной функции логарифмического правдоподобия. ${\ displaystyle {\ hat {\ theta}}}$ ${\ displaystyle \ theta _ {0}}$ ${\ displaystyle {\ hat {\ theta}} - \ theta _ {0}}$

Тест по одному параметру [ править ]

Если гипотеза включает ограничение только на один параметр, то статистика Вальда принимает следующий вид:

W={\frac {{({\widehat {\theta }}-\theta _{0})}^{2}}{\operatorname {var} ({\hat {\theta }})}}

которое при нулевой гипотезе следует асимптотическому χ ² -распределению с одной степенью свободы. Квадратный корень из статистики Вальда с одним ограничением можно понимать как (псевдо) t- соотношение , которое, однако, на самом деле не t- распределено, за исключением особого случая линейной регрессии с нормально распределенными ошибками. ^[12] В общем, это следует асимптотическому распределению по z . ^[13]

{\sqrt {W}}={\frac {{\widehat {\theta }}-\theta _{0}}{\operatorname {se} ({\hat {\theta }})}}

где - стандартная ошибка оценки максимального правдоподобия (MLE), квадратный корень из дисперсии. Есть несколько способов , чтобы проводить последовательную оценки в матрице дисперсии , какой в конечных образцах приводят к альтернативным оценкам стандартных ошибок и связанным с ними статистическими испытаниями и р -значения . ^[14] $\operatorname {se} ({\widehat {\theta }})$

Тест (ы) по нескольким параметрам [ править ]

Тест Вальда можно использовать для проверки одной гипотезы по нескольким параметрам, а также для совместной проверки нескольких гипотез по одному / нескольким параметрам. Пусть наша выборка оценки параметров P (т.е., является P 1 вектор), который , как предполагается следовать асимптотически нормальное распределение с ковариационной матрицей V, . Проверка Q гипотез по параметрам P выражается матрицей Q P R: ${\hat {\theta }}_{n}$ ${\hat {\theta }}_{n}$ $\times$ ${\sqrt {n}}({\hat {\theta }}_{n}-\theta ){\xrightarrow {\mathcal {D}}}N(0,V)$ $\times$

H_{0}:R\theta =r

H_{1}:R\theta \neq r

Статистика теста:

(R{\hat {\theta }}_{n}-r)^{'}[R({\hat {V}}_{n}/n)R^{'}]^{-1}(R{\hat {\theta }}_{n}-r)\quad {\xrightarrow {\mathcal {D}}}\quad \chi _{Q}^{2}

где - оценка ковариационной матрицы. ^[15] ${\hat {V}}_{n}$

Доказательство

Допустим . Тогда по теореме Слуцкого и по свойствам нормального распределения умножение на R имеет распределение: ${\sqrt {n}}({\hat {\theta }}_{n}-\theta ){\xrightarrow {\mathcal {D}}}N(0,V)$

R{\sqrt {n}}({\hat {\theta }}_{n}-\theta )={\sqrt {n}}(R{\hat {\theta }}_{n}-r){\xrightarrow {\mathcal {D}}}N(0,RVR^{'})

Напомним, что квадратичная форма нормального распределения имеет распределение хи-квадрат :

{\sqrt {n}}(R{\hat {\theta }}_{n}-r)^{'}[RVR^{'}]^{-1}{\sqrt {n}}(R{\hat {\theta }}_{n}-r){\xrightarrow {\mathcal {D}}}\chi _{Q}^{2}

Перестановка в итоге дает:

(R{\hat {\theta }}_{n}-r)^{'}[R(V/n)R^{'}]^{-1}(R{\hat {\theta }}_{n}-r)\quad {\xrightarrow {\mathcal {D}}}\quad \chi _{Q}^{2}

Что, если ковариационная матрица неизвестна априори и ее необходимо оценивать на основе данных? Если мы имеем состоятельную оценку из , то по независимости оценки ковариационной и уравнения выше, мы имеем: ${\hat {V}}_{n}\sim \chi _{n-P}^{2}$ $V$

(R{\hat {\theta }}_{n}-r)^{'}[R({\hat {V}}_{n}/n)R^{'}]^{-1}(R{\hat {\theta }}_{n}-r)\quad {\xrightarrow {\mathcal {D}}}\quad F(Q,n-P)

Нелинейная гипотеза [ править ]

В стандартной форме тест Вальда используется для проверки линейных гипотез, которые могут быть представлены одной матрицей R. Если кто-то желает проверить нелинейную гипотезу формы:

H_{0}:c(\theta )=0

H_{1}:c(\theta )\neq 0

Статистика теста становится:

c\left({\hat {\theta }}_{n}\right)'\left[c'\left({\hat {\theta }}_{n}\right)\left({\hat {V}}_{n}/n\right)c'\left({\hat {\theta }}_{n}\right)'\right]^{-1}c\left({\hat {\theta }}_{n}\right)\quad {\xrightarrow {\mathcal {D}}}\quad \chi _{Q}^{2}

где - производная от c, оцененная в выборочном оценщике. Этот результат получается с использованием дельта-метода , который использует аппроксимацию дисперсии первого порядка. $c'({\hat {\theta }}_{n})$

Неинвариантность к повторной параметризации [ править ]

Тот факт, что кто-то использует аппроксимацию дисперсии, имеет недостаток, заключающийся в том, что статистика Вальда не инвариантна к нелинейному преобразованию / повторной параметризации гипотезы: она может давать разные ответы на один и тот же вопрос, в зависимости от того, как вопрос сформулирован. . ^[16]^[5] Например, вопрос, является ли R = 1 таким же, как вопрос, является ли log R = 0; но статистика Вальда для R = 1 не совпадает со статистикой Вальда для log R = 0 (потому что, как правило, нет четкой взаимосвязи между стандартными ошибками R и log R , поэтому ее необходимо аппроксимировать). ^[17]

Альтернативы тесту Вальда [ править ]

Там существуют несколько альтернатив теста Wald, а именно тест отношения правдоподобия и тест множителей Лагранжа (также известный как тест оценки). Роберт Ф. Энгл показал , что эти три испытания, тест Вальда, то тест отношения правдоподобия и тест множителей Лагранжа являются асимптотически эквивалентны . ^[18] Хотя они асимптотически эквивалентны, в конечных выборках они могут достаточно расходиться, чтобы привести к различным выводам.

Есть несколько причин предпочесть тест отношения правдоподобия или множитель Лагранжа критерию Вальда: ^[19]^[20]^[21]

Non-инвариантность: Как указывалось выше, тест Вальда не инвариантно к репараметризации, в то время как тесты отношения правдоподобия даст точно такой же ответ , работать ли мы с R , бревенчатый R или любой другой монотонное преобразование R . ^[5]
Другая причина заключается в том, что тест Вальда использует два приближения (что мы знаем стандартную ошибку и что распределение - χ 2 ), тогда как тест отношения правдоподобия использует одно приближение (что распределение - χ ² ). ^{[ необходима цитата ]}
Тест Вальда требует оценки альтернативной гипотезы, соответствующей «полной» модели. В некоторых случаях модель проще при нулевой гипотезе, поэтому можно предпочесть использовать оценочный тест (также называемый тестом множителя Лагранжа), который имеет то преимущество, что его можно сформулировать в ситуациях, когда вариативность трудно оценить; например, тест Кокрана – Мантеля – Хензеля является оценочным тестом. ^[22]

См. Также [ править ]

Чау-тест
Последовательный тест отношения вероятностей
Тест Суп-Вальда
Студенческий t- критерий
T- критерий Велча

Ссылки [ править ]

^ Фармейр, Людвиг; Кнейб, Томас; Ланг, Стефан; Маркс, Брайан (2013). Регрессия: модели, методы и приложения . Берлин: Springer. п. 663. ISBN 978-3-642-34332-2.
^ Уорд, Майкл Д .; Алквист, Джон С. (2018). Максимальная вероятность социальных наук: стратегии анализа . Издательство Кембриджского университета . п. 36. ISBN 978-1-316-63682-4.
^ Мартин, Вэнс; Херн, Стэн; Харрис, Дэвид (2013). Эконометрическое моделирование с использованием временных рядов: спецификация, оценка и тестирование . Издательство Кембриджского университета. п. 138. ISBN 978-0-521-13981-6.
^ Дэвидсон, Рассел; Маккиннон, Джеймс Г. (1993). «Метод максимального правдоподобия: основные понятия и обозначения». Оценка и вывод в эконометрике . Нью-Йорк: Издательство Оксфордского университета. п. 89. ISBN 0-19-506011-3.
^ a b c Грегори, Аллан В .; Велл, Майкл Р. (1985). «Формулировка тестов Вальда нелинейных ограничений» . Econometrica . 53 (6): 1465–1468. JSTOR 1913221 .
^ Филипс, печатная плата ; Пак, Джун Ю. (1988). «О постановке критериев Вальда нелинейных ограничений». Econometrica . 56 (5): 1065–1083. JSTOR 1911359 .
^ Hayashi, Фумио (2000). Эконометрика . Принстон: Издательство Принстонского университета. С. 489–491. ISBN 1-4008-2383-8.,
^ Лафонтен, Франсин; Уайт, Кеннет Дж. (1986). «Получение любой статистики Вальда, которую вы хотите». Письма по экономике . 21 (1): 35–40. DOI : 10.1016 / 0165-1765 (86) 90117-5 .
^ Hauck, Walter W., Jr .; Доннер, Аллан (1977). «Тест Вальда применительно к гипотезам в логит-анализе». Журнал Американской статистической ассоциации . 72 (360a): 851–853. DOI : 10.1080 / 01621459.1977.10479969 .
^ Король, Максвелл L .; Го, Ким-Ленг (2002). «Улучшения теста Вальда» . Справочник по прикладной эконометрике и статистическому выводу . Нью-Йорк: Марсель Деккер. С. 251–276. ISBN 0-8247-0652-8.
^ Да, Томас Уильям (2020). «Об эффекте Хаука – Доннера в тестах Вальда: обнаружение, переломные моменты и характеристика пространства параметров». arXiv : 2001.08431 . Cite journal requires |journal= (help)
^ Кэмерон, А. Колин ; Триведи, Правин К. (2005). Микроэконометрика: методы и приложения . Нью-Йорк: Издательство Кембриджского университета. п. 137. ISBN 0-521-84805-9.
^ Дэвидсон, Рассел; Маккиннон, Джеймс Г. (1993). «Метод максимального правдоподобия: основные понятия и обозначения». Оценка и вывод в эконометрике . Нью-Йорк: Издательство Оксфордского университета. п. 89. ISBN 0-19-506011-3.
^ Мартин, Вэнс; Херн, Стэн; Харрис, Дэвид (2013). Эконометрическое моделирование с использованием временных рядов: спецификация, оценка и тестирование . Нью-Йорк: Издательство Кембриджского университета. п. 129. ISBN 978-0-521-13981-6.
Перейти ↑ Harrell, Frank E., Jr. (2001). «Раздел 9.3.1». Стратегии регрессионного моделирования . Нью-Йорк: Springer-Verlag. ISBN 0387952322.
^ Страхи, Томас R .; Бенишу, Жак; Гейл, Митчелл Х. (1996). «Напоминание об ошибочности статистики Вальда». Американский статистик . 50 (3): 226–227. DOI : 10.1080 / 00031305.1996.10474384 .
^ Кричли, Фрэнк; Marriott, Пол; Лосось, Марк (1996). «О дифференциальной геометрии теста Вальда с нелинейными ограничениями». Econometrica . 64 (5): 1213–1222. JSTOR 2171963 .
^ Энгл, Роберт Ф. (1983). «Тесты Вальда, отношения правдоподобия и множителя Лагранжа в эконометрике». В Intriligator, MD; Грилихес, З. (ред.). Справочник по эконометрике . II . Эльзевир. С. 796–801. ISBN 978-0-444-86185-6.
Перейти ↑ Harrell, Frank E., Jr. (2001). «Раздел 9.3.3». Стратегии регрессионного моделирования . Нью-Йорк: Springer-Verlag. ISBN 0387952322.
^ Коллетт, Дэвид (1994). Моделирование данных о выживаемости в медицинских исследованиях . Лондон: Чепмен и Холл. ISBN 0412448807.
^ Pawitan, Yudi (2001). По всей вероятности . Нью-Йорк: Издательство Оксфордского университета. ISBN 0198507658.
^ Агрести, Алан (2002). Категориальный анализ данных (2-е изд.). Вайли. п. 232 . ISBN 0471360937.

Дальнейшее чтение [ править ]

Грин, Уильям Х. (2012). Эконометрический анализ (Седьмое международное издание). Бостон: Пирсон. стр. 155 -161. ISBN 978-0-273-75356-8.
Кмента, Ян (1986). Элементы эконометрики (второе изд.). Нью-Йорк: Макмиллан. С. 492–493 . ISBN 0-02-365070-2.
Томас, Р.Л. (1993). Вводная эконометрика: теория и применение (второе изд.). Лондон: Лонгман. С. 73–77. ISBN 0-582-07378-2.

Внешние ссылки [ править ]

Тест Вальда на самые ранние известные варианты использования некоторых слов математики

[1] Фармейр, Людвиг; Кнейб, Томас; Ланг, Стефан; Маркс, Брайан (2013). Регрессия: модели, методы и приложения . Берлин: Springer. п. 663. ISBN 978-3-642-34332-2.

[2] Уорд, Майкл Д .; Алквист, Джон С. (2018). Максимальная вероятность социальных наук: стратегии анализа . Издательство Кембриджского университета . п. 36. ISBN 978-1-316-63682-4.

[3] Мартин, Вэнс; Херн, Стэн; Харрис, Дэвид (2013). Эконометрическое моделирование с использованием временных рядов: спецификация, оценка и тестирование . Издательство Кембриджского университета. п. 138. ISBN 978-0-521-13981-6.

[4] Дэвидсон, Рассел; Маккиннон, Джеймс Г. (1993). «Метод максимального правдоподобия: основные понятия и обозначения». Оценка и вывод в эконометрике . Нью-Йорк: Издательство Оксфордского университета. п. 89. ISBN 0-19-506011-3.

[GregoryVeall1985-5] Грегори, Аллан В .; Велл, Майкл Р. (1985). «Формулировка тестов Вальда нелинейных ограничений» . Econometrica . 53 (6): 1465–1468. JSTOR 1913221 .

[6] Филипс, печатная плата ; Пак, Джун Ю. (1988). «О постановке критериев Вальда нелинейных ограничений». Econometrica . 56 (5): 1065–1083. JSTOR 1911359 .

[7] Hayashi, Фумио (2000). Эконометрика . Принстон: Издательство Принстонского университета. С. 489–491. ISBN 1-4008-2383-8.,

[8] Лафонтен, Франсин; Уайт, Кеннет Дж. (1986). «Получение любой статистики Вальда, которую вы хотите». Письма по экономике . 21 (1): 35–40. DOI : 10.1016 / 0165-1765 (86) 90117-5 .

[9] Hauck, Walter W., Jr .; Доннер, Аллан (1977). «Тест Вальда применительно к гипотезам в логит-анализе». Журнал Американской статистической ассоциации . 72 (360a): 851–853. DOI : 10.1080 / 01621459.1977.10479969 .

[10] Король, Максвелл L .; Го, Ким-Ленг (2002). «Улучшения теста Вальда» . Справочник по прикладной эконометрике и статистическому выводу . Нью-Йорк: Марсель Деккер. С. 251–276. ISBN 0-8247-0652-8.

[11] Да, Томас Уильям (2020). «Об эффекте Хаука – Доннера в тестах Вальда: обнаружение, переломные моменты и характеристика пространства параметров». arXiv : 2001.08431 . Cite journal requires |journal= (help)

[12] Кэмерон, А. Колин ; Триведи, Правин К. (2005). Микроэконометрика: методы и приложения . Нью-Йорк: Издательство Кембриджского университета. п. 137. ISBN 0-521-84805-9.

[13] Дэвидсон, Рассел; Маккиннон, Джеймс Г. (1993). «Метод максимального правдоподобия: основные понятия и обозначения». Оценка и вывод в эконометрике . Нью-Йорк: Издательство Оксфордского университета. п. 89. ISBN 0-19-506011-3.

[14] Мартин, Вэнс; Херн, Стэн; Харрис, Дэвид (2013). Эконометрическое моделирование с использованием временных рядов: спецификация, оценка и тестирование . Нью-Йорк: Издательство Кембриджского университета. п. 129. ISBN 978-0-521-13981-6.

[15] Перейти ↑ Harrell, Frank E., Jr. (2001). «Раздел 9.3.1». Стратегии регрессионного моделирования . Нью-Йорк: Springer-Verlag. ISBN 0387952322.

[16] Страхи, Томас R .; Бенишу, Жак; Гейл, Митчелл Х. (1996). «Напоминание об ошибочности статистики Вальда». Американский статистик . 50 (3): 226–227. DOI : 10.1080 / 00031305.1996.10474384 .

[17] Кричли, Фрэнк; Marriott, Пол; Лосось, Марк (1996). «О дифференциальной геометрии теста Вальда с нелинейными ограничениями». Econometrica . 64 (5): 1213–1222. JSTOR 2171963 .

[18] Энгл, Роберт Ф. (1983). «Тесты Вальда, отношения правдоподобия и множителя Лагранжа в эконометрике». В Intriligator, MD; Грилихес, З. (ред.). Справочник по эконометрике . II . Эльзевир. С. 796–801. ISBN 978-0-444-86185-6.

[19] Перейти ↑ Harrell, Frank E., Jr. (2001). «Раздел 9.3.3». Стратегии регрессионного моделирования . Нью-Йорк: Springer-Verlag. ISBN 0387952322.

[20] Коллетт, Дэвид (1994). Моделирование данных о выживаемости в медицинских исследованиях . Лондон: Чепмен и Холл. ISBN 0412448807.

[21] Pawitan, Yudi (2001). По всей вероятности . Нью-Йорк: Издательство Оксфордского университета. ISBN 0198507658.

[22] Агрести, Алан (2002). Категориальный анализ данных (2-е изд.). Вайли. п. 232 . ISBN 0471360937.

[1]