Принцип правдоподобия

В статистике , то принцип максимального правдоподобия является предположение , что, учитывая статистическую модель , все доказательства в выборке , имеющих отношение к параметрам модели содержится в функции правдоподобия .

Функция правдоподобия возникает из функции плотности вероятности, рассматриваемой как функция ее аргумента параметризации распределения. Например, рассмотрим модель, которая дает функцию плотности вероятности ƒ _X ( x  |  θ ) наблюдаемой случайной величины X как функцию параметра  θ . Тогда для конкретного значения x элемента X функция ( θ  |  x ) =  ƒ _X ( x  |  θ ) является функцией правдоподобия  θ${\ Displaystyle {\ mathcal {L}}}$: он дает меру того, насколько «вероятно» любое конкретное значение θ , если мы знаем, что X имеет значение  x . Функция плотности может быть плотностью по отношению к счетной мере, то есть функцией массы вероятности .

Две функции правдоподобия эквивалентны, если одна является скалярным числом, кратным другой. ^[a] Принцип правдоподобия таков : вся информация из данных, которая имеет отношение к выводам о значении параметров модели, находится в классе эквивалентности, к которому принадлежит функция правдоподобия. Принцип сильного правдоподобия применяет тот же критерий к таким случаям, как последовательные эксперименты, где доступная выборка данных является результатом применения правила остановки к наблюдениям ранее в эксперименте. ^[1]

Пример [ править ]

Предполагать

• X - количество успехов в двенадцати независимых испытаниях Бернулли с вероятностью θ успеха в каждом испытании, и
• Y - количество независимых испытаний Бернулли, необходимое для достижения трех успехов, опять же с вероятностью θ (= 1/2 для подбрасывания монеты) успеха в каждом испытании.

Тогда наблюдение, что X = 3, индуцирует функцию правдоподобия

${\displaystyle {\mathcal {L}}(\theta \mid X=3)={\binom {12}{3}}\theta ^{3}(1-\theta )^{9}=220\theta ^{3}(1-\theta )^{9},}$

а наблюдение, что Y = 12, индуцирует функцию правдоподобия

${\displaystyle {\mathcal {L}}(\theta \mid Y=12)={\binom {11}{2}}\theta ^{3}(1-\theta )^{9}=55\theta ^{3}(1-\theta )^{9}.}$

Принцип правдоподобия гласит, что, поскольку данные в обоих случаях одинаковы, выводы, сделанные в отношении значения θ, также должны быть одинаковыми. Кроме того, весь выводимый контент в данных о значении θ содержится в двух вероятностях и является одинаковым, если они пропорциональны друг другу. Так обстоит дело в приведенном выше примере, что отражает тот факт, что разница между наблюдением X = 3 и наблюдением Y = 12 заключается не в фактических данных, а просто в плане эксперимента . В частности, в одном случае человек заранее решил попробовать двенадцать раз; в другом - продолжать попытки, пока не будут достигнуты три успеха. Вывод о θ должны быть одинаковыми, и это отражается в том факте, что две вероятности пропорциональны друг другу.

Однако это не всегда так. Использование частотных методов, включающих p-значения, приводит к различным выводам для двух приведенных выше случаев ^[2], показывая, что результат частотных методов зависит от экспериментальной процедуры и, таким образом, нарушает принцип правдоподобия.

Закон вероятности [ править ]

Связанное с этим понятие - это закон правдоподобия , представление о том, что степень, в которой свидетельство поддерживает одно значение параметра или гипотезу по сравнению с другим, указывается соотношением их правдоподобий, их отношением правдоподобия . То есть,

${\displaystyle \Lambda ={{\mathcal {L}}(a\mid X=x) \over {\mathcal {L}}(b\mid X=x)}={P(X=x\mid a) \over P(X=x\mid b)}}$

- это степень, в которой наблюдение x поддерживает значение параметра или гипотезу a относительно b . Если это соотношение равно 1, свидетельство безразлично; если больше 1, свидетельство поддерживает значение a против b ; а если меньше, то наоборот.

В байесовской статистике это соотношение известно как фактор Байеса , а правило Байеса можно рассматривать как применение закона вероятности к умозаключениям.

В частотном выводе отношение правдоподобия используется в тесте отношения правдоподобия , но также используются и другие тесты , не связанные с правдоподобием. Нейман-Пирсон лемма утверждает , тест отношения правдоподобия является самым мощным тестом для сравнения два простых гипотез при заданном уровне значимости , что дает основание для частотного закона вероятности.

Сочетание принципа правдоподобия с законом правдоподобия приводит к тому, что значение параметра, которое максимизирует функцию правдоподобия, является значением, которое наиболее убедительно подтверждается свидетельствами. Это основа широко используемого метода максимального правдоподобия .

История [ править ]

Принцип правдоподобия был впервые идентифицирован под этим названием в печати в 1962 году (Барнард и др., Бирнбаум и Сэвидж и др.), Но аргументы в пользу того же принципа, без названия, и его использование в приложениях восходят к работам от Р. Фишера в 1920 - х годах. Закон правдоподобия был назван этим именем И. Хакингом (1965). Совсем недавно AWF Edwards отстаивал принцип правдоподобия как общий принцип вывода . Принцип правдоподобия был применен к философии науки Р. Рояллом. ^[3]

Бирнбаум доказал , что принцип правдоподобия следует из двух более примитивных и , казалось бы , разумных принципов, в принципе условности и принцип достаточности :

• Принцип обусловленности гласит, что если эксперимент выбран случайным процессом, независимым от состояний природы , то только фактически выполненный эксперимент имеет отношение к выводам о нем .${\displaystyle \theta }$${\displaystyle \theta }$
• Принцип достаточности говорит , что если есть достаточная статистика для , и если в двух экспериментах с данными и мы имеем , то свидетельство о даются два экспериментами то же самое.${\displaystyle T(X)}$${\displaystyle \theta }$${\displaystyle x_{1}}$${\displaystyle x_{2}}$${\displaystyle T(x_{1})=T(x_{2})\,}$${\displaystyle \theta }$

Аргументы за и против [ править ]

Некоторые широко используемые методы традиционной статистики, например многие тесты значимости , не согласуются с принципом правдоподобия.

Давайте кратко рассмотрим некоторые аргументы за и против принципа правдоподобия.

Исходный аргумент Бирнбаума [ править ]

Доказательство Бирнбаумом принципа правдоподобия оспаривается философами науки, включая Дебору Мэйо ^{[4] [5],} и статистиками, включая Майкла Эванса. ^[6] С другой стороны, Грег Ганденбергер представил новое доказательство принципа правдоподобия, в котором рассматриваются некоторые контраргументы против исходного доказательства. ^[7]

Аргументы экспериментального дизайна на основе принципа правдоподобия [ править ]

Нереализованные события играют роль в некоторых общих статистических методах. Например, результат теста значимости зависит от p- значения , вероятности того, что результат будет экстремальным или более экстремальным, чем наблюдение, и эта вероятность может зависеть от плана эксперимента. Следовательно, в той мере, в какой принимается принцип правдоподобия, такие методы отвергаются.

Некоторые классические тесты значимости не основаны на вероятности. Ниже приведен простые и более сложный пример тех, используя широко цитируемый пример , называемый дополнительной тормозной проблемой .

Пример 1 - простая версия

Предположим, я говорю вам, что я подбросил монету 12 раз и в процессе заметил 3 решки. Вы можете сделать некоторые выводы о вероятности выпадения орла и о том, была ли монета честной.

Предположим, теперь я говорю, что подбрасывал монету, пока не заметил 3 орла, и подбрасывал ее 12 раз. Сделаете ли вы какой-нибудь другой вывод?

Функция правдоподобия в обоих случаях одинакова: она пропорциональна

${\displaystyle p^{3}(1-p)^{9}\,.}$

Итак, согласно принципу правдоподобия , в любом случае вывод должен быть одинаковым.

Пример 2 - более подробная версия той же статистики

Предположим, что несколько ученых оценивают вероятность определенного исхода (который мы будем называть «успехом») в экспериментальных испытаниях. Согласно общепринятому мнению, если нет предвзятости в сторону успеха или неудачи, вероятность успеха будет равна половине. Ученый Адам провел 12 испытаний и получил 3 успеха и 9 неудач. Одним из таких успехов было 12-е и последнее наблюдение. Затем Адам покинул лабораторию.

Билл, коллега по той же лаборатории, продолжил работу Адама и опубликовал результаты Адама вместе с тестом значимости. Он проверил нулевую гипотезу о том, что p , вероятность успеха, равна половине, по сравнению с p <0,5  . Вероятность наблюдаемого результата, что из 12 испытаний 3 или что-то меньшее (то есть более экстремальное) были успешными, если H ₀ истинно, составляет

${\displaystyle \left[{12 \choose 9}+{12 \choose 10}+{12 \choose 11}+{12 \choose 12}\right]\left({1 \over 2}\right)^{12}}$

который 299/4096= 7,3%  . Таким образом, нулевая гипотеза не отклоняется на уровне значимости 5%.

Шарлотта, другой ученый, читает статью Билла и пишет письмо, в котором говорится, что, возможно, Адам продолжал попытки, пока не получил 3 успеха, и в этом случае вероятность необходимости проведения 12 или более экспериментов определяется выражением

${\displaystyle 1-\left[{10 \choose 2}\left({1 \over 2}\right)^{11}+{9 \choose 2}\left({1 \over 2}\right)^{10}+\cdots +{2 \choose 2}\left({1 \over 2}\right)^{3}\right]}$

который 134/4096= 3,27%  . Теперь результат является статистически значимым на 5% уровне. Обратите внимание, что между этими двумя анализами нет противоречия; оба вычисления верны.

Для этих ученых, является ли результат значимым или нет, зависит от плана эксперимента, а не от вероятности (в смысле функции правдоподобия) того, что значение параметра будет 1/2 .

Резюме проиллюстрированных вопросов

Некоторые считают результаты такого рода аргументами против принципа правдоподобия. Для других он иллюстрирует ценность принципа правдоподобия и является аргументом против проверки значимости.

Подобные темы появляются при сравнении точного критерия Фишера с хи-квадрат тест Пирсона .

История вольтметра [ править ]

Аргумент в пользу принципа правдоподобия приводится Эдвардсом в его книге « Вероятность» . Он цитирует следующую историю Дж. У. Пратта, здесь слегка сокращенную. Обратите внимание, что функция правдоподобия зависит только от того, что произошло на самом деле, а не от того, что могло произойти.

Инженер составляет случайную выборку электронных ламп и измеряет их напряжения. Диапазон измерений от 75 до 99 вольт. Статистик вычисляет выборочное среднее и доверительный интервал для истинного среднего. Позже статистика обнаруживает, что вольтметр показывает только до 100 вольт, так что технически население, похоже, « подвергается цензуре».». Если статистика ортодоксальна, это требует нового анализа. Однако инженер говорит, что у него есть еще одно показание счетчика до 1000 вольт, которое он использовал бы, если бы какое-либо напряжение было выше 100. Это облегчение для статистиков, потому что это означает, что население фактически не подвергалось цензуре. Но позже статистик констатирует, что второй счетчик на момент проведения измерений не работал. Инженер сообщает статистику, что он не задерживал бы исходные измерения, пока второй счетчик не был установлен, и статистик сообщает ему, что требуются новые измерения. Инженер поражен. « Далее вы будете спрашивать о моем осциллографе! ”

Возврат к примеру 2 в предыдущем разделе

Эта история может быть переведена на приведенное выше правило остановки Адама следующим образом: Адам остановился сразу после 3 успехов, потому что его босс Билл проинструктировал его сделать это. После публикации Биллом статистического анализа Адам понимает, что он пропустил более позднее указание Билла провести вместо этого 12 испытаний, и что статья Билла основана на этой второй инструкции. Адам очень рад, что он получил свои 3 успеха после ровно 12 испытаний, и объясняет своей подруге Шарлотте, что случайно выполнил вторую инструкцию. Позже Адам с удивлением слышит о письме Шарлотты, объясняя, что теперь результат значительный.

См. Также [ править ]

• Принцип обусловленности
• Статистика правдоподобия

Заметки [ править ]

Ссылки [ править ]

Внешние ссылки [ править ]

• Энтони У. Ф. Эдвардс. « Вероятность ».
• Джефф Миллер. Самые ранние известные варианты использования некоторых слов математики (L)
• Джон Олдрич. Вероятность и вероятность статистических методов Р. А. Фишера для научных работников