Тест отношения правдоподобия

В статистике , то тест отношения правдоподобия оценивает степень согласия двух конкурирующих статистических моделей на основе соотношения их вероятностей , в частности один найденную максимизацией по всему пространству параметров и другим распознаваться после наложения некоторых ограничений . Если ограничение (т. Е. Нулевая гипотеза ) подтверждается наблюдаемыми данными , две вероятности не должны отличаться более чем на ошибку выборки . ^[1] Таким образом, тест отношения правдоподобия проверяет, существенно ли отличается это соотношение.от единицы, или, что то же самое, его натуральный логарифм значительно отличается от нуля.

Тест отношения правдоподобия, также известный как тест Уилкса , ^[2] является самым старым из трех классических подходов к проверке гипотез, вместе с тестом Лагранжа мультипликатора и тестом Wald . ^[3] Фактически, последние два могут быть концептуализированы как приближения к тесту отношения правдоподобия и асимптотически эквивалентны. ^[4]^[5]^[6] В случае сравнения двух моделей, каждая из которых не имеет неизвестных параметров , использование критерия отношения правдоподобия может быть оправдано леммой Неймана – Пирсона . Лемма показывает, что тест имеет самую высокую мощность среди всех конкурентов. ^[7]

Определение [ править ]

Общие [ править ]

Предположим, что у нас есть статистическая модель с пространством параметров . Нулевая гипотеза часто утверждается, говоря , что параметр находится в указанном подмножестве из . Альтернативная гипотеза , таким образом , что находится в дополнении с , то есть в , который обозначается . Статистика теста отношения правдоподобия для нулевой гипотезы дается следующим образом: ^[8] ${\ displaystyle \ Theta}$ ${\ displaystyle \ theta}$ ${\ displaystyle \ Theta _ {0}}$ ${\ displaystyle \ Theta}$ ${\ displaystyle \ theta}$ ${\ displaystyle \ Theta _ {0}}$ ${\ displaystyle \ Theta ~ \ backslash ~ \ Theta _ {0}}$ ${\ displaystyle \ Theta _ {0} ^ {\ text {c}}}$ $H_{0}\,:\,\theta \in \Theta _{0}$

\lambda _{\text{LR}}=-2\ln \left[{\frac {~\sup _{\theta \in \Theta _{0}}{\mathcal {L}}(\theta )~}{~\sup _{\theta \in \Theta }{\mathcal {L}}(\theta )~}}\right]

где величина в скобках называется отношением правдоподобия. Здесь обозначение относится к функции супремума . Поскольку все вероятности положительны, и поскольку ограниченный максимум не может превышать неограниченный максимум, отношение правдоподобия ограничено между нулем и единицей. $\sup$

Часто статистика теста отношения правдоподобия выражается как разница между логарифмическими правдоподобиями.

\lambda _{\text{LR}}=-2\left[~\ell (\theta _{0})-\ell ({\hat {\theta }})~\right]

где

\ell ({\hat {\theta }})\equiv \ln \left[~\sup _{\theta \in \Theta }{\mathcal {L}}(\theta )~\right]~

- логарифм максимальной функции правдоподобия и максимальное значение в частном случае, когда нулевая гипотеза верна (но не обязательно значение, которое максимизируется для выборочных данных) и ${\mathcal {L}}$ $\ell (\theta _{0})$ ${\mathcal {L}}$

\theta _{0}\in \Theta _{0}\qquad {\text{ and }}\qquad {\hat {\theta }}\in \Theta ~

обозначают соответствующие аргументы максимумов и разрешенные диапазоны, в которые они встроены. Умножение на −2 математически гарантирует, что (по теореме Уилкса ) асимптотически сходится к χ ²-распределению, если нулевая гипотеза оказывается верной. ^[9] В конечном образце распределение из отношения правдоподобия испытаний , как правило , неизвестно. ^[10] $\lambda _{\text{LR}}$

Тест отношения правдоподобия требует, чтобы модели были вложенными, т. Е. Более сложная модель может быть преобразована в более простую модель путем наложения ограничений на параметры первой. Много общих статистических тестов тесты для вложенными моделей и могут быть сформулированы в виде отношения логарифмического правдоподобия или приближения их: например , в Z -test , то F -test , то G -test , и хи-квадрат тест Пирсона ; иллюстрацию с t- критерием для одного образца см. ниже.

Если модели не вложены друг в друга, то вместо теста отношения правдоподобия используется обобщение теста, которое обычно можно использовать: подробности см. В разделе относительное правдоподобие .

Случай простых гипотез [ править ]

Проверка простой и простой гипотезы имеет полностью определенные модели как для нулевой гипотезы, так и для альтернативной гипотезы, которые для удобства записываются в терминах фиксированных значений условного параметра : $\theta$

{\begin{aligned}H_{0}&:&\theta =\theta _{0},\\H_{1}&:&\theta =\theta _{1}.\end{aligned}}

В этом случае, согласно любой гипотезе, распределение данных полностью определено: нет неизвестных параметров для оценки. Для этого случая доступен вариант теста отношения правдоподобия: ^[11]^[12]

\Lambda (x)={\frac {~{\mathcal {L}}(\theta _{0}\mid x)~}{~{\mathcal {L}}(\theta _{1}\mid x)~}}

В некоторых старых ссылках в качестве определения может использоваться функция, обратная указанной выше. ^[13] Таким образом, отношение правдоподобия невелико, если альтернативная модель лучше, чем нулевая модель.

Тест отношения правдоподобия дает следующее правило принятия решения:

Если , не отвергайте ;

~\Lambda >c~

H_{0}

Если отклонить ;

~\Lambda <c~

H_{0}

Отклонить с вероятностью, если

~q~

~\Lambda =c~.

Значения и обычно выбираются для получения заданного уровня значимости через соотношение $c$ $q$ $\alpha$

~q\cdot \operatorname {P} (\Lambda =c\mid H_{0})~+~\operatorname {P} (\Lambda <c\mid H_{0})~=~\alpha ~.

Нейман-Пирсон лемма утверждает , что этот тест отношения правдоподобия является самым мощным среди всех уровней испытаний для этого случая. ^[7]^[12] $\alpha$

Интерпретация [ править ]

Отношение правдоподобия является функцией данных ; Поэтому, это статистика , хотя необычное в том , что значение статистики зависит от параметра, . Тест отношения правдоподобия отклоняет нулевую гипотезу, если значение этой статистики слишком мало. Насколько мала слишком мала, зависит от уровня значимости теста, т. Е. От того, какая вероятность ошибки типа I считается допустимой (ошибки типа I состоят из отклонения истинной нулевой гипотезы). $x$ $\theta$

Числитель соответствует вероятности наблюдаемого результата при нулевой гипотезе . В знаменателе соответствует максимальной вероятности наблюдаемого результата, различные параметры по всему пространству параметров. Числитель этого отношения меньше знаменателя; Таким образом, отношение правдоподобия находится между 0 и 1. Низкие значения отношения правдоподобия означают, что наблюдаемый результат с гораздо меньшей вероятностью возник при нулевой гипотезе по сравнению с альтернативой. Высокие значения статистики означают, что наблюдаемый результат был почти так же вероятен при нулевой гипотезе, как и альтернативный, и поэтому нулевая гипотеза не может быть отклонена.

Пример [ править ]

Следующий пример адаптирован и сокращен из Stuart, Ord & Arnold (1999 , §22.2).

Предположим, что у нас есть случайная выборка размера $n$ из нормально распределенной популяции. Как среднее значение $μ$ , так и стандартное отклонение $σ$ для популяции неизвестны. Мы хотим проверить, равно ли среднее значение заданному значению $μ 0$ .

Таким образом, наша нулевая гипотеза $H 0 : μ = μ 0,$ а наша альтернативная гипотеза $H 1 : μ \neq μ 0$ . Функция правдоподобия

{\mathcal {L}}(\mu ,\sigma \mid x)=\left(2\pi \sigma ^{2}\right)^{-n/2}\exp \left(-\sum _{i=1}^{n}{\frac {(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right)\,.

С помощью некоторых вычислений (здесь опущенных) можно показать, что

\lambda =\left(1+{\frac {t^{2}}{n-1}}\right)^{-n/2}

где $t$ - t- статистика с $n - 1$ степенями свободы. Следовательно, мы можем использовать известное точное распределение $t n -1,$ чтобы сделать выводы.

Асимптотическое распределение: теорема Уилкса [ править ]

Если распределение отношения правдоподобия, соответствующее конкретной нулевой и альтернативной гипотезе, может быть явно определено, то его можно напрямую использовать для формирования областей принятия решений (для подтверждения или отклонения нулевой гипотезы). В большинстве случаев, однако, очень трудно определить точное распределение отношения правдоподобия, соответствующее конкретным гипотезам. ^{[ необходима цитата ]}

Предполагая, что $H 0$ истинно, существует фундаментальный результат Сэмюэля С. Уилкса : по мере приближения размера выборки , тестовая статистика, определенная выше, будет асимптотически распределена по хи-квадрат ( ) со степенями свободы, равными разнице размерностей и . ^[14] Это означает, что для большого количества гипотез мы можем вычислить отношение правдоподобия для данных, а затем сравнить наблюдаемое со значением, соответствующим желаемой статистической значимости, как приблизительное значение. $n$ ∞ {\displaystyle \infty } $\lambda _{\text{LR}}$ $\chi ^{2}$ $\Theta$ $\Theta _{0}$ $\lambda$ $\lambda _{\text{LR}}$ $\chi ^{2}$ статистический тест. Существуют и другие расширения. ^{[ какой? ]}

См. Также [ править ]

Информационный критерий Акаике
Байесовский фактор
Тест Йохансена
Выбор модели
Тест близости Вуонга
Sup-LR тест
Показатели ошибки при проверке гипотез

Ссылки [ править ]

^ Король, Гэри (1989). Объединяющая политическая методология: теория вероятности статистического вывода . Нью-Йорк: Издательство Кембриджского университета. п. 84. ISBN 0-521-36697-6.
^ Ли, Бинг; Бабу, Дж. Йогеш (2019). Аспирантура по статистическому выводу . Springer. п. 331. ISBN. 978-1-4939-9759-6.
^ Маддала, GS ; Лахири, Каджал (2010). Введение в эконометрику (Четвертое изд.). Нью-Йорк: Вили. п. 200.
^ Запально, A. (1982). «Отношение правдоподобия, тесты множителей Вальда и Лагранжа: пояснительная записка». Американский статистик . 36 (3a): 153–157. DOI : 10.1080 / 00031305.1982.10482817 .
^ Пиклз, Эндрю (1985). Введение в анализ правдоподобия . Норидж: WH Hutchins & Sons. С. 24–27 . ISBN 0-86094-190-6.
^ Северини, Томас А. (2000). Методы правдоподобия в статистике . Нью-Йорк: Издательство Оксфордского университета. С. 120–121. ISBN 0-19-850650-3.
^ a b Neyman, J .; Пирсон, ES (1933), «О проблеме наиболее эффективных проверок статистических гипотез» (PDF) , Philosophical Transactions of the Royal Society of London A , 231 (694–706): 289–337, Bibcode : 1933RSPTA.231 ..289N , DOI : 10.1098 / rsta.1933.0009 , JSTOR 91247
^ Кох, Карл-Рудольф (1988). Оценка параметров и проверка гипотез в линейных моделях . Нью-Йорк: Спрингер. п. 306 . ISBN 0-387-18840-1.
^ Силвей, SD (1970). Статистический вывод . Лондон: Чепмен и Холл. С. 112–114. ISBN 0-412-13820-4.
^ Миттельхаммер, Рон К .; Судья, Джордж Г .; Миллер, Дуглас Дж. (2000). Эконометрические основы . Нью-Йорк: Издательство Кембриджского университета. п. 66 . ISBN 0-521-62394-4.
^ Настроение, AM; Graybill, FA; Бос, округ Колумбия (1974). Введение в теорию статистики (3-е изд.). Макгроу-Хилл . §9.2.
^ а б Стюарт, А .; Ord, K .; Арнольд, С. (1999), Расширенная теория статистики Кендалла , 2A , Арнольд , §§20.10–20.13
^ Кокс, DR ; Хинкли Д.В. (1974), Теоретическая статистика , Chapman & Hall , p. 92, ISBN 0-412-12420-3
Перейти ↑ Wilks, SS (1938). «Распределение большой выборки отношения правдоподобия для проверки сложных гипотез» . Анналы математической статистики . 9 (1): 60–62. DOI : 10.1214 / АОМ / 1177732360 .

Дальнейшее чтение [ править ]

Гловер, Скотт; Диксон, Питер (2004), «Отношения правдоподобия: простая и гибкая статистика для эмпирических психологов», Psychonomic Bulletin & Review , 11 (5): 791–806, doi : 10.3758 / BF03196706
Хелд, Леонхард; Сабанес Бове, Даниэль (2014), Прикладной статистический вывод - вероятность и Байес , Springer
Kalbfleisch, JG (1985), Вероятность и статистический вывод , 2 , Springer-Verlag
Перлман, Майкл Д .; Ву, Ланг (1999), "новые испытания молодого императора", Статистическая наука , 14 (4): 355-381, DOI : 10,1214 / сс / 1009212517
Perneger, Томас В. (2001), "Просеивание доказательства: отношения правдоподобия альтернативы значений P", BMJ , 322 (7295): 1184-5, DOI : 10.1136 / bmj.322.7295.1184 , PMC 1120301 , PMID 11379590
Пинейро, Хосе К.; Бейтс, Дуглас М. (2000), Модели со смешанными эффектами в S и S-PLUS , Springer-Verlag , стр. 82–93.
Соломон, Дэниел Л. (1975), «Заметка об неэквивалентности тестов Неймана-Пирсона и обобщенного отношения правдоподобия для проверки простого нуля по сравнению с простой альтернативной гипотезой» (PDF) , The American Statistician , 29 (2) : 101-102, DOI : 10,1080 / 00031305.1975.10477383

Внешние ссылки [ править ]

Описано практическое применение теста отношения правдоподобия.
Пакет R: тест последовательного отношения вероятностей Уолда
Онлайн-клинический калькулятор прогнозных значений и коэффициентов правдоподобия Ричарда Лоури

[1] Король, Гэри (1989). Объединяющая политическая методология: теория вероятности статистического вывода . Нью-Йорк: Издательство Кембриджского университета. п. 84. ISBN 0-521-36697-6.

[2] Ли, Бинг; Бабу, Дж. Йогеш (2019). Аспирантура по статистическому выводу . Springer. п. 331. ISBN. 978-1-4939-9759-6.

[3] Маддала, GS ; Лахири, Каджал (2010). Введение в эконометрику (Четвертое изд.). Нью-Йорк: Вили. п. 200.

[4] Запально, A. (1982). «Отношение правдоподобия, тесты множителей Вальда и Лагранжа: пояснительная записка». Американский статистик . 36 (3a): 153–157. DOI : 10.1080 / 00031305.1982.10482817 .

[5] Пиклз, Эндрю (1985). Введение в анализ правдоподобия . Норидж: WH Hutchins & Sons. С. 24–27 . ISBN 0-86094-190-6.

[6] Северини, Томас А. (2000). Методы правдоподобия в статистике . Нью-Йорк: Издательство Оксфордского университета. С. 120–121. ISBN 0-19-850650-3.

[NeymanPearson1933-7] Neyman, J .; Пирсон, ES (1933), «О проблеме наиболее эффективных проверок статистических гипотез» (PDF) , Philosophical Transactions of the Royal Society of London A , 231 (694–706): 289–337, Bibcode : 1933RSPTA.231 ..289N , DOI : 10.1098 / rsta.1933.0009 , JSTOR 91247

[8] Кох, Карл-Рудольф (1988). Оценка параметров и проверка гипотез в линейных моделях . Нью-Йорк: Спрингер. п. 306 . ISBN 0-387-18840-1.

[9] Силвей, SD (1970). Статистический вывод . Лондон: Чепмен и Холл. С. 112–114. ISBN 0-412-13820-4.

[10] Миттельхаммер, Рон К .; Судья, Джордж Г .; Миллер, Дуглас Дж. (2000). Эконометрические основы . Нью-Йорк: Издательство Кембриджского университета. п. 66 . ISBN 0-521-62394-4.

[11] Настроение, AM; Graybill, FA; Бос, округ Колумбия (1974). Введение в теорию статистики (3-е изд.). Макгроу-Хилл . §9.2.

[Stuart_et_al._20.10–20.13-12] а б Стюарт, А .; Ord, K .; Арнольд, С. (1999), Расширенная теория статистики Кендалла , 2A , Арнольд , §§20.10–20.13

[13] Кокс, DR ; Хинкли Д.В. (1974), Теоретическая статистика , Chapman & Hall , p. 92, ISBN 0-412-12420-3

[14] Перейти ↑ Wilks, SS (1938). «Распределение большой выборки отношения правдоподобия для проверки сложных гипотез» . Анналы математической статистики . 9 (1): 60–62. DOI : 10.1214 / АОМ / 1177732360 .

[1]