Тест отношения правдоподобия

В статистике , то тест отношения правдоподобия оценивает степень согласия двух конкурирующих статистических моделей на основе соотношения их вероятностей , в частности один найденную максимизацией по всему пространству параметров и другим распознаваться после наложения некоторых ограничений . Если ограничение (т. Е. Нулевая гипотеза ) подтверждается наблюдаемыми данными , две вероятности не должны отличаться более чем на ошибку выборки . ^[1] Таким образом, тест отношения правдоподобия проверяет, существенно ли отличается это соотношение.от единицы, или, что то же самое, его натуральный логарифм значительно отличается от нуля.

Тест отношения правдоподобия - самый старый из трех классических подходов к проверке гипотез, вместе с тестом множителя Лагранжа и тестом Вальда . ^[2] Фактически, последние два могут быть концептуализированы как приближения к тесту отношения правдоподобия и асимптотически эквивалентны. ^{[3] [4] [5]} В случае сравнения двух моделей, каждая из которых не имеет неизвестных параметров , использование критерия отношения правдоподобия может быть оправдано леммой Неймана – Пирсона . Лемма показывает, что тест имеет наивысшую мощность среди всех конкурентов. ^[6]

Определение [ править ]

Общие [ править ]

Предположим, что у нас есть статистическая модель с пространством параметров . Нулевая гипотеза часто утверждается, говоря , что параметр находится в указанном подмножестве из . Альтернативная гипотеза , таким образом , что находится в дополнении с , то есть в , который обозначается . Статистика теста отношения правдоподобия для нулевой гипотезы дается следующим образом: ^[7]${\ displaystyle \ Theta}$${\ displaystyle \ theta}$${\ displaystyle \ Theta _ {0}}$${\ displaystyle \ Theta}$${\ displaystyle \ theta}$${\ displaystyle \ Theta _ {0}}$${\ displaystyle \ Theta ~ \ backslash ~ \ Theta _ {0}}$${\ displaystyle \ Theta _ {0} ^ {\ text {c}}}$${\displaystyle H_{0}\,:\,\theta \in \Theta _{0}}$

${\displaystyle \lambda _{\text{LR}}=-2\ln \left[{\frac {~\sup _{\theta \in \Theta _{0}}{\mathcal {L}}(\theta )~}{~\sup _{\theta \in \Theta }{\mathcal {L}}(\theta )~}}\right]}$

где величина в скобках называется отношением правдоподобия. Здесь обозначение относится к функции супремума . Поскольку все вероятности положительны и ограниченный максимум не может превышать неограниченный максимум, отношение правдоподобия ограничено между нулем и единицей.${\displaystyle \sup }$

Часто статистика теста отношения правдоподобия выражается как разница между логарифмическими правдоподобиями.

${\displaystyle \lambda _{\text{LR}}=-2\left[~\ell (\theta _{0})-\ell ({\hat {\theta }})~\right]}$

куда

${\displaystyle \ell ({\hat {\theta }})\equiv \ln \left[~\sup _{\theta \in \Theta }{\mathcal {L}}(\theta )~\right]~}$

- логарифм максимальной функции правдоподобия и максимальное значение в частном случае, когда нулевая гипотеза верна (но не обязательно значение, которое максимизируется для выборочных данных) и${\displaystyle {\mathcal {L}}}$${\displaystyle \ell (\theta _{0})}$${\displaystyle {\mathcal {L}}}$

${\displaystyle \theta _{0}\in \Theta _{0}\qquad {\text{ and }}\qquad {\hat {\theta }}\in \Theta ~}$

обозначают соответствующие аргументы максимумов и допустимые диапазоны, в которые они встроены. Умножение на −2 математически гарантирует, что (по теореме Уилкса ) асимптотически сходится к χ ²-распределению, если нулевая гипотеза оказывается верной. ^[8] В конечном образце распределение из отношения правдоподобия испытаний , как правило , неизвестно. ^[9]${\displaystyle \lambda _{\text{LR}}}$

Тест отношения правдоподобия требует, чтобы модели были вложенными, т.е. более сложная модель может быть преобразована в более простую модель путем наложения ограничений на параметры первой. Много общих статистических тестов тесты для вложенными моделей и могут быть сформулированы в виде отношения логарифмического правдоподобия или приближения их: например , в Z -test , то F -test , то G -test , и хи-квадрат тест Пирсона ; иллюстрацию с однократным t- критерием см. ниже.

Если модели не вложены друг в друга, то вместо теста отношения правдоподобия используется обобщение теста, которое обычно можно использовать: подробности см. В разделе относительное правдоподобие .

Случай простых гипотез [ править ]

Проверка простой гипотезы по сравнению с простой имеет полностью определенные модели как для нулевой гипотезы, так и для альтернативной гипотезы, которые для удобства записаны в терминах фиксированных значений условного параметра :${\displaystyle \theta }$

${\displaystyle {\begin{aligned}H_{0}&:&\theta =\theta _{0},\\H_{1}&:&\theta =\theta _{1}.\end{aligned}}}$

В этом случае, согласно любой гипотезе, распределение данных полностью определено: нет неизвестных параметров для оценки. Для этого случая доступен вариант теста отношения правдоподобия: ^{[10] [11]}

${\displaystyle \Lambda (x)={\frac {~{\mathcal {L}}(\theta _{0}\mid x)~}{~{\mathcal {L}}(\theta _{1}\mid x)~}}}$

В некоторых более старых ссылках в качестве определения может использоваться функция, обратная функции выше. ^[12] Таким образом, отношение правдоподобия невелико, если альтернативная модель лучше, чем нулевая модель.

Тест отношения правдоподобия дает следующее правило принятия решения:

Если , не отвергайте ;${\displaystyle ~\Lambda >c~}$${\displaystyle H_{0}}$

Если отклонить ;${\displaystyle ~\Lambda <c~}$${\displaystyle H_{0}}$

Отклонить с вероятностью, если${\displaystyle ~q~}$${\displaystyle ~\Lambda =c~.}$

Значения и обычно выбираются для получения заданного уровня значимости с помощью отношения${\displaystyle c}$${\displaystyle q}$ ${\displaystyle \alpha }$

${\displaystyle ~q\cdot \operatorname {P} (\Lambda =c\mid H_{0})~+~\operatorname {P} (\Lambda <c\mid H_{0})~=~\alpha ~.}$

Нейман-Пирсон лемма утверждает , что этот тест отношения правдоподобия является самым мощным среди всех уровней испытаний для этого случая. ^{[6] [11]}${\displaystyle \alpha }$

Интерпретация [ править ]

Отношение правдоподобия является функцией данных ; Поэтому, это статистика , хотя необычное в том , что значение статистики зависит от параметра, . Тест отношения правдоподобия отклоняет нулевую гипотезу, если значение этой статистики слишком мало. Насколько мала слишком мала, зависит от уровня значимости теста, т. Е. От того, какая вероятность ошибки типа I считается допустимой (ошибки типа I состоят из отклонения истинной нулевой гипотезы).${\displaystyle x}$${\displaystyle \theta }$

Числитель соответствует вероятности наблюдаемого результата при нулевой гипотезе . В знаменателе соответствует максимальной вероятности наблюдаемого результата, различные параметры по всему пространству параметров. Числитель этого отношения меньше знаменателя; Таким образом, отношение правдоподобия находится между 0 и 1. Низкие значения отношения правдоподобия означают, что наблюдаемый результат с гораздо меньшей вероятностью возник при нулевой гипотезе по сравнению с альтернативой. Высокие значения статистики означают, что наблюдаемый результат был почти так же вероятен при нулевой гипотезе, как и альтернативный, и поэтому нулевая гипотеза не может быть отклонена.

Пример [ править ]

Следующий пример адаптирован и сокращен из Stuart, Ord & Arnold (1999 , §22.2).

Предположим, что у нас есть случайная выборка размера n из нормально распределенной популяции. Как среднее значение μ , так и стандартное отклонение σ для популяции неизвестны. Мы хотим проверить, равно ли среднее значение заданному значению μ ₀ .

Таким образом, наша нулевая гипотеза H ₀ :  μ = μ _0,  а наша альтернативная гипотеза H ₁ :  μ ≠ μ ₀  . Функция правдоподобия

${\displaystyle {\mathcal {L}}(\mu ,\sigma \mid x)=\left(2\pi \sigma ^{2}\right)^{-n/2}\exp \left(-\sum _{i=1}^{n}{\frac {(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right)\,.}$

С помощью некоторых вычислений (здесь опущенных) можно показать, что

${\displaystyle \lambda =\left(1+{\frac {t^{2}}{n-1}}\right)^{-n/2}}$

где t - t- статистика с n  - 1 степенями свободы. Следовательно, мы можем использовать известное точное распределение t _{n −1,} чтобы сделать выводы.

Асимптотическое распределение: теорема Уилкса [ править ]

Если распределение отношения правдоподобия, соответствующее конкретной нулевой и альтернативной гипотезе, может быть явно определено, то его можно напрямую использовать для формирования областей принятия решений (для подтверждения или отклонения нулевой гипотезы). Однако в большинстве случаев очень трудно определить точное распределение отношения правдоподобия, соответствующее конкретным гипотезам. ^{[ необходима цитата ]}

Предполагая, что H ₀ истинно, существует фундаментальный результат Сэмюэля С. Уилкса : по мере приближения размера выборки статистическая статистика теста будет асимптотически иметь распределение хи-квадрат ( ) со степенями свободы, равными разнице размерностей и . ^[13] Это означает, что для большого количества гипотез мы можем вычислить отношение правдоподобия для данных, а затем сравнить со значением, соответствующим желаемой статистической значимости, в качестве приблизительного статистического теста. Существуют и другие расширения. ^[${\displaystyle n}$ ∞ {\displaystyle \infty } ${\displaystyle -2\log(\lambda )}$ ${\displaystyle \chi ^{2}}$${\displaystyle \Theta }$${\displaystyle \Theta _{0}}$${\displaystyle \lambda }$${\displaystyle -2\log(\lambda )}$${\displaystyle \chi ^{2}}$^{который? ]}

См. Также [ править ]

• Информационный критерий Акаике
• Фактор Байеса
• Тест Йохансена
• Выбор модели
• Тест близости Вуонга
• Sup-LR тест
• Показатели ошибки при проверке гипотез

Ссылки [ править ]

Дальнейшее чтение [ править ]

• Гловер, Скотт; Диксон, Питер (2004), «Отношения правдоподобия: простая и гибкая статистика для эмпирических психологов», Psychonomic Bulletin & Review , 11 (5): 791–806, doi : 10.3758 / BF03196706
• Хелд, Леонард; Сабанес Бове, Даниэль (2014), Прикладной статистический вывод - правдоподобие и Байес , Springer
• Kalbfleisch, JG (1985), Вероятность и статистический вывод , 2 , Springer-Verlag
• Перлман, Майкл Д .; Ву, Ланг (1999), "новые испытания молодого императора", Статистическая наука , 14 (4): 355-381, DOI : 10,1214 / сс / 1009212517
• Perneger, Томас В. (2001), "Просеивание доказательства: отношения правдоподобия альтернативы значений P", BMJ , 322 (7295): 1184-5, DOI : 10.1136 / bmj.322.7295.1184 , PMC  1120301 , PMID  11379590
• Пинейро, Хосе К.; Бейтс, Дуглас М. (2000), Модели со смешанными эффектами в S и S-PLUS , Springer-Verlag , стр. 82–93.
• Соломон, Дэниел Л. (1975), «Заметка об неэквивалентности тестов Неймана-Пирсона и обобщенного отношения правдоподобия для проверки простого нуля и простой альтернативной гипотезы» (PDF) , The American Statistician , 29 (2) : 101-102, DOI : 10,1080 / 00031305.1975.10477383

Внешние ссылки [ править ]

• Описание практического применения теста отношения правдоподобия
• Пакет R: тест последовательного отношения вероятностей Уолда
• Он-лайн клинический калькулятор прогнозных значений и коэффициентов правдоподобия Ричарда Лоури