В статистике , то Неймана-Пирсона лемма была введена Ежи Нейман и Эгон Пирсон в газете в 1933 году [1] Неймана-Пирсона лемма является частью теории Неймана-Пирсона статистических испытаний, который ввел понятия , как ошибки второго вид , степенная функция и индуктивное поведение. [2] [3] [4] Предыдущая теория проверки значимости Фишера постулировала только одну гипотезу. Представляя конкурирующую гипотезу, метод статистической проверки Неймана-Пирсона позволяет исследовать два типа ошибок.. Тривиальные случаи, когда кто-то всегда отвергает или принимает нулевую гипотезу, мало интересны, но они действительно доказывают, что нельзя отказываться от контроля над одним типом ошибок при калибровке другого. Соответственно, Нейман и Пирсон продолжили ограничивать свое внимание классом всех тесты уровня с последующей минимизацией ошибки типа II, традиционно обозначаемой . Их основополагающая статья 1933 года, включающая лемму Неймана-Пирсона, является завершением этих усилий, не только показывая существование тестов с наибольшей мощностью, которые сохраняют заранее заданный уровень ошибки типа I (), но также предоставляет способ построения таких тестов. Теорема Карлина-Рубина расширяет лемму Неймана-Пирсона на условия, включающие составные гипотезы с монотонными отношениями правдоподобия.
Предложение
Рассмотрим тест с гипотезами а также , где функция плотности вероятности (или функция массы вероятности ) равна для . Обозначив область отклонения, лемма Неймана-Пирсона утверждает, что наиболее мощный (MP) тест удовлетворяет следующему: для некоторого ,
если ,
если ,
для префикса уровня значимости .
Кроме того, если существует хотя бы один тест MP, удовлетворяющий двум условиям, лемма Неймана-Пирсона утверждает, что каждый существующий -уровневый тест МП должен подчиняться неравенствам отношения правдоподобия. Обратите внимание, что самый мощный тест не всегда может быть уникальным, как следует из леммы. На самом деле его может и не быть. [5]
На практике отношение правдоподобия часто используется непосредственно для построения тестов - см. Тест отношения правдоподобия . Однако его также можно использовать, чтобы предложить конкретную статистику тестов, которая может представлять интерес, или предложить упрощенные тесты - для этого рассматривается алгебраическое манипулирование соотношением, чтобы увидеть, есть ли в нем ключевая статистика, связанная с размером отношения ( т.е. соответствует ли большая статистика малому отношению или большому).
Доказательство
Определите область отклонения нулевой гипотезы для теста Неймана – Пирсона (NP) как
где выбирается так, чтобы
Любой альтернативный тест будет иметь другую область отклонения, которую мы обозначим как .
Вероятность попадания данных в любой регион или же данный параметр является
Для теста с критической областью иметь уровень значимости , это должно быть правдой, что , следовательно
Будет полезно разбить их на интегралы по отдельным областям:
где является дополнением в области R . Параметр, эти два выражения и указанное выше неравенство дают
Возможности двух тестов: а также , и мы хотим доказать, что:
Однако, как показано выше, это эквивалентно:
Ниже мы покажем выполнение указанного неравенства :
Пример
Позволять быть случайной выборкой из распределение, где среднее известно, и предположим, что мы хотим проверить против . Вероятность для этого набора нормально распределенных данных равна
Мы можем вычислить отношение правдоподобия, чтобы найти ключевую статистику в этом тесте и ее влияние на результат теста:
Это соотношение зависит только от данных через . Следовательно, согласно лемме Неймана – Пирсона, наиболее действенная проверка гипотез этого типа для этих данных будет зависеть только от. Также при осмотре мы видим, что если, тогда является убывающей функцией от. Итак, мы должны отклонить если достаточно большой. Порог отклонения зависит от размера теста. В этом примере можно показать, что статистика теста является масштабированной случайной величиной с распределением хи-квадрат, и можно получить точное критическое значение.
Применение в экономике
Вариант леммы Неймана – Пирсона нашел применение в, казалось бы, несвязанной области экономики стоимости земли. Одна из фундаментальных проблем теории потребителей - вычисление функции спроса потребителя с учетом цен. В частности, с учетом неоднородности земельного участка, меры цены на землю и показателя субъективной полезности земли проблема потребителя состоит в том, чтобы рассчитать лучший земельный участок, который он может купить, то есть земельный участок с наибольшей полезностью, цена которого не больше его бюджета. Оказывается, эта проблема очень похожа на проблему поиска наиболее мощного статистического теста, поэтому можно использовать лемму Неймана – Пирсона. [6]
Использование в электротехнике
Неймана-Пирсона лемма является весьма полезным в электронике , а именно в области разработки и использования радиолокационных систем, цифровых систем связи , а также в обработке сигналов систем. В радиолокационных системах используется лемма Неймана – Пирсона, чтобы сначала установить частоту пропущенных обнаружений на желаемый (низкий) уровень, а затем минимизировать частоту ложных срабатываний , или наоборот. Ни ложные срабатывания, ни пропущенные срабатывания не могут быть установлены на произвольно низкие значения, включая ноль. Все вышеперечисленное относится и ко многим системам обработки сигналов.
Использование в физике элементарных частиц
Лемма Неймана – Пирсона применяется к построению специфических для анализа отношений правдоподобия, используемых, например, для проверки подписей новой физики по сравнению с номинальным предсказанием Стандартной модели в наборах данных протон-протонных столкновений, собранных на LHC . [7]
^ Уолд: Глава II: Теория Неймана-Пирсона проверки статистической гипотезы: Уолд: Глава II: Теория Неймана-Пирсона проверки статистической гипотезы
↑ Империя Шанса: Империя Шанса
^ Статистический вывод: Казелла, Джордж, Бергер, Роджер Л.
^Берлиант М. (1984). «Характеристика спроса на землю». Журнал экономической теории . 33 (2): 289–300. DOI : 10.1016 / 0022-0531 (84) 90091-7 .
^ван Дайк, Дэвид А. (2014). «Роль статистики в открытии бозона Хиггса». Ежегодный обзор статистики и ее применение . 1 (1): 41–59. DOI : 10.1146 / annurev-statistics-062713-085841 .