Функция правдоподобия

В статистике , то функция правдоподобия (часто называют просто вероятность ) измеряет степень согласия в виде статистической модели для выборки данных для заданных значений искомых параметров . Он формируется из совместного распределения вероятностей выборки, но рассматривается и используется только как функция параметров, таким образом обрабатывая случайные величины как фиксированные на наблюдаемых значениях. ^[а]

Функция правдоподобия описывает гиперповерхность , пик которой, если он существует, представляет собой комбинацию значений параметров модели, которые максимизируют вероятность получения полученной выборки. ^[1] Процедура получения этих аргументов максимума функции правдоподобия известна как оценка максимального правдоподобия , которая для удобства вычислений обычно выполняется с использованием натурального логарифма правдоподобия, известного как функция логарифма правдоподобия . Кроме того, форма и кривизна поверхности вероятности представляют информацию об устойчивости.оценок, поэтому функция правдоподобия часто строится как часть статистического анализа. ^[2]

Случай использования вероятности впервые был сделан Р. А. Фишер , ^[3] , который считал , что это будет самодостаточной основой для статистического моделирования и вывода. Позже Барнард и Бирнбаум возглавили школу мысли, которая отстаивала принцип правдоподобия , постулируя, что вся соответствующая информация для вывода содержится в функции правдоподобия. ^{[4] [5]} Но как в частотной, так и в байесовской статистике функция правдоподобия играет фундаментальную роль. ^[6]

Определение [ править ]

Функция правдоподобия обычно определяется по-разному для дискретных и непрерывных распределений вероятностей. Также возможно общее определение, как обсуждается ниже.

Дискретное распределение вероятностей [ править ]

Позвольте быть дискретной случайной величиной с функцией массы вероятности, зависящей от параметра . Тогда функция${\ displaystyle X}$ ${\ displaystyle p}$${\ displaystyle \ theta}$

${\ displaystyle {\ mathcal {L}} (\ theta \ mid x) = p _ {\ theta} (x) = P _ {\ theta} (X = x),}$

рассматривается как функция от , является функцией правдоподобия , учитывая результат случайной величины . Иногда вероятность «значения из для значения параметра » записывается в виде Р ( Х = х | & thetas ; ) или Р ( Х = х ; θ ) . не следует путать с ; вероятность равна вероятности того, что конкретный результат наблюдается, когда истинное значение параметра равно , и, следовательно, она равна плотности вероятности по исходу${\ displaystyle \ theta}$ ${\ displaystyle x}$${\ displaystyle X}$${\ displaystyle x}$${\ displaystyle X}$${\ displaystyle \ theta}$ ${\ Displaystyle {\ mathcal {L}} (\ theta \ mid x)}$${\ Displaystyle р (\ тета \ середина х)}$${\ displaystyle x}$${\ displaystyle \ theta}$${\ displaystyle x}$, а не над параметром .${\ displaystyle \ theta}$

Пример [ править ]

Рисунок 1. Функция правдоподобия ( ) для вероятности выпадения монеты один на один (без предварительного знания честности монеты), учитывая, что мы наблюдали HH.${\ displaystyle p _ {\ text {H}} ^ {2}}$

Рис. 2. Функция правдоподобия ( ) для вероятности выпадения монеты один на один (без предварительного знания честности монеты), учитывая, что мы наблюдали HHT.${\ displaystyle p _ {\ text {H}} ^ {2} (1-p _ {\ text {H}})}$

Рассмотрим простую статистическую модель подбрасывания монеты: единственный параметр, который выражает «честность» монеты. Параметр - это вероятность того, что монета упадет орлом («H») при подбрасывании. может принимать любое значение в диапазоне от 0,0 до 1,0. Для совершенно справедливой монеты , .${\ displaystyle p _ {\ text {H}}}$${\ displaystyle p _ {\ text {H}}}$${\displaystyle p_{\text{H}}=0.5}$

Представьте, что вы дважды подбрасываете честную монету и наблюдаете следующие данные: две решки за два подбрасывания («HH»). Если предположить, что каждый последующий подбрасывание монеты iid , то вероятность наблюдения HH равна

${\displaystyle P({\text{HH}}\mid p_{\text{H}}=0.5)=0.5^{2}=0.25.}$

Следовательно, учитывая наблюдаемые данные HH, вероятность того, что параметр модели будет равен 0,5, составляет 0,25. Математически это записывается как${\displaystyle p_{\text{H}}}$

${\displaystyle {\mathcal {L}}(p_{\text{H}}=0.5\mid {\text{HH}})=0.25.}$

Это не то же самое, что сказать, что вероятность того , что с учетом наблюдения HH, равна 0,25. (Для этого мы могли бы применить теорему Байеса , которая подразумевает, что апостериорная вероятность пропорциональна правдоподобию, умноженному на априорную вероятность.)${\displaystyle p_{\text{H}}=0.5}$

Предположим, что монета не честная, но вместо этого она есть . Тогда вероятность выпадения двух орлов равна${\displaystyle p_{\text{H}}=0.3}$

${\displaystyle P({\text{HH}}\mid p_{\text{H}}=0.3)=0.3^{2}=0.09.}$

Следовательно

${\displaystyle {\mathcal {L}}(p_{\text{H}}=0.3\mid {\text{HH}})=0.09.}$

В более общем плане для каждого значения мы можем вычислить соответствующую вероятность. Результат таких расчетов показан на рисунке 1.${\displaystyle p_{\text{H}}}$

На рисунке 1 интеграл правдоподобия на интервале [0, 1] равен 1/3. Это иллюстрирует важный аспект вероятностей: вероятности не должны интегрироваться (или суммироваться) до 1, в отличие от вероятностей.

Непрерывное распределение вероятностей [ править ]

Позвольте быть случайной величиной с абсолютно непрерывным распределением вероятностей с функцией плотности, зависящей от параметра . Тогда функция${\displaystyle X}$ ${\displaystyle f}$${\displaystyle \theta }$

${\displaystyle {\mathcal {L}}(\theta \mid x)=f_{\theta }(x),\,}$

рассматривается как функция , является функция правдоподобия (из , учитывая исход из ). Иногда функция плотности для «значения из для значения параметра » записывается в виде . не следует путать с ; правдоподобие равно плотности вероятности для конкретного исхода, когда истинное значение параметра равно , и, следовательно, оно равно плотности вероятности по исходу , а не по параметру .${\displaystyle \theta }$${\displaystyle \theta }$ ${\displaystyle x}$${\displaystyle X}$${\displaystyle x}$${\displaystyle X}$${\displaystyle \theta }$ ${\displaystyle f(x\mid \theta )}$${\displaystyle {\mathcal {L}}(\theta \mid x)}$${\displaystyle f(\theta \mid x)}$${\displaystyle x}$${\displaystyle \theta }$${\displaystyle x}$${\displaystyle \theta }$

В общем [ править ]

В теоретико-мерной теории вероятности , то функция плотности определяются как производная Радона-Никодим распределения вероятностей по отношению к общим мерам доминирующих. ^[7] Функция правдоподобия состоит в том, что плотность интерпретируется как функция параметра (возможно, вектора), а не возможных результатов. ^[8] Это обеспечивает функцию правдоподобия для любой статистической модели со всеми распределениями, будь то дискретное, абсолютно непрерывное, смешанное или что-то еще. (Вероятности будут сопоставимы, например, для оценки параметров, только если они являются производными Радона – Никодима по одной и той же доминирующей мере.)

Вышеупомянутое обсуждение вероятности с дискретными вероятностями является частным случаем этого с использованием счетной меры , которая делает вероятность любого отдельного результата равной плотности вероятности для этого результата.

Если нет события (нет данных), вероятность и, следовательно, правдоподобие равны 1; ^{[ необходима цитата ] у} любого нетривиального события будет меньшая вероятность.

Функция правдоподобия параметризованной модели [ править ]

Среди множества приложений мы рассматриваем здесь одно, имеющее большое теоретическое и практическое значение. Учитывая параметризованное семейство из функций плотности вероятности (или массовые функций вероятности в случае дискретных распределений)

${\displaystyle x\mapsto f(x\mid \theta ),\!}$

где - параметр, функция правдоподобия имеет вид${\displaystyle \theta }$

${\displaystyle \theta \mapsto f(x\mid \theta ),\!}$

написано

${\displaystyle {\mathcal {L}}(\theta \mid x)=f(x\mid \theta ),\!}$

где - наблюдаемый результат эксперимента. Другими словами, если рассматривать как функцию с фиксированным, это функция плотности вероятности, а если рассматривать как функцию с фиксированным, это функция правдоподобия.${\displaystyle x}$${\displaystyle f(x\mid \theta )}$${\displaystyle x}$${\displaystyle \theta }$${\displaystyle \theta }$${\displaystyle x}$

Это не то же самое, что вероятность того, что эти параметры являются правильными для наблюдаемой выборки. Попытка интерпретировать вероятность гипотезы с учетом наблюдаемых свидетельств как вероятность гипотезы - обычная ошибка с потенциально катастрофическими последствиями. См. Пример этого в заблуждении прокурора .

С геометрической точки зрения, если мы рассматриваем как функцию двух переменных, то семейство вероятностных распределений можно рассматривать как семейство кривых, параллельных оси -оси, а семейство функций правдоподобия - это ортогональные кривые, параллельные оси -оси.${\displaystyle f(x\mid \theta )}$${\displaystyle x}$${\displaystyle \theta }$

Вероятность непрерывного распределения [ править ]

Использование плотности вероятности при указании функции правдоподобия выше оправдано следующим образом. Для данного наблюдения вероятность для интервала , где - константа, дается выражением . Заметьте, что${\displaystyle x_{j}}$${\displaystyle [x_{j},x_{j}+h]}$${\displaystyle h>0}$${\displaystyle {\mathcal {L}}(\theta \mid x\in [x_{j},x_{j}+h])}$

${\displaystyle \operatorname {argmax} _{\theta }{\mathcal {L}}(\theta \mid x\in [x_{j},x_{j}+h])=\operatorname {argmax} _{\theta }{\frac {1}{h}}{\mathcal {L}}(\theta \mid x\in [x_{j},x_{j}+h])}$,

так как положительный и постоянный. Потому что${\displaystyle h}$

${\displaystyle \operatorname {argmax} _{\theta }{\frac {1}{h}}{\mathcal {L}}(\theta \mid x\in [x_{j},x_{j}+h])=\operatorname {argmax} _{\theta }{\frac {1}{h}}\Pr(x_{j}\leq x\leq x_{j}+h\mid \theta )=\operatorname {argmax} _{\theta }{\frac {1}{h}}\int _{x_{j}}^{x_{j}+h}f(x\mid \theta )\,dx,}$

где - функция плотности вероятности, отсюда следует, что${\displaystyle f(x\mid \theta )}$

${\displaystyle \operatorname {argmax} _{\theta }{\mathcal {L}}(\theta \mid x\in [x_{j},x_{j}+h])=\operatorname {argmax} _{\theta }{\frac {1}{h}}\int _{x_{j}}^{x_{j}+h}f(x\mid \theta )\,dx}$.

Первая фундаментальная теорема исчисления и правило Лопиталя вместе обеспечивают, что

${\displaystyle {\begin{aligned}&\lim _{h\to 0^{+}}{\frac {1}{h}}\int _{x_{j}}^{x_{j}+h}f(x\mid \theta )\,dx=\lim _{h\to 0^{+}}{\frac {{\frac {d}{dh}}\int _{x_{j}}^{x_{j}+h}f(x\mid \theta )\,dx}{\frac {dh}{dh}}}\\[4pt]={}&\lim _{h\to 0^{+}}{\frac {f(x_{j}+h\mid \theta )}{1}}=f(x_{j}\mid \theta ).\end{aligned}}}$

потом

${\displaystyle {\begin{aligned}&\operatorname {argmax} _{\theta }{\mathcal {L}}(\theta \mid x_{j})=\operatorname {argmax} _{\theta }\left[\lim _{h\to 0^{+}}{\mathcal {L}}(\theta \mid x\in [x_{j},x_{j}+h])\right]\\[4pt]={}&\operatorname {argmax} _{\theta }\left[\lim _{h\to 0^{+}}{\frac {1}{h}}\int _{x_{j}}^{x_{j}+h}f(x\mid \theta )\,dx\right]=\operatorname {argmax} _{\theta }f(x_{j}\mid \theta ).\end{aligned}}}$

Следовательно,

${\displaystyle \operatorname {argmax} _{\theta }{\mathcal {L}}(\theta \mid x_{j})=\operatorname {argmax} _{\theta }f(x_{j}\mid \theta ),\!}$

и, таким образом, максимизация плотности вероятности в сумме максимизирует вероятность конкретного наблюдения .${\displaystyle x_{j}}$${\displaystyle x_{j}}$

Вероятности для смешанных непрерывно-дискретных распределений [ править ]

Вышеизложенное можно расширить простым способом, чтобы можно было рассматривать распределения, содержащие как дискретные, так и непрерывные компоненты. Предположим, что распределение состоит из ряда дискретных вероятностных масс и плотности , где сумма всех 's, добавленных к интегралу от , всегда равна единице. Предполагая, что можно отличить наблюдение, соответствующее одной из дискретных масс вероятности, от наблюдения, соответствующего компоненту плотности, функция правдоподобия для наблюдения непрерывного компонента может быть обработана способом, показанным выше. Для наблюдения от дискретного компонента функция правдоподобия для наблюдения от дискретного компонента просто${\displaystyle p_{k}\theta }$${\displaystyle f(x\mid \theta )}$${\displaystyle p}$${\displaystyle f}$

${\displaystyle {\mathcal {L}}(\theta \mid x)=p_{k}(\theta ),\!}$

где - индекс дискретной вероятностной массы, соответствующей наблюдению , поскольку максимизация вероятностной массы (или вероятности) в сумме максимизирует вероятность конкретного наблюдения.${\displaystyle k}$${\displaystyle x}$${\displaystyle x}$

Тот факт, что функция правдоподобия может быть определена способом, включающим несоизмеримые вклады (плотность и вероятностная масса), возникает из способа определения функции правдоподобия с точностью до константы пропорциональности, где эта «константа» может изменяться с наблюдением , но не с параметром .${\displaystyle x}$${\displaystyle \theta }$

Условия регулярности [ править ]

В контексте оценки параметров обычно предполагается, что функция правдоподобия подчиняется определенным условиям, известным как условия регулярности. Эти условия предполагаются в различных доказательствах, включающих функции правдоподобия, и их необходимо проверять в каждом конкретном приложении. Для оценки максимального правдоподобия крайне важно наличие глобального максимума функции правдоподобия. По теореме экстремальных значений , в непрерывной функции правдоподобия на через компактные пространства параметров достаточно для существования оценки максимального правдоподобия. ^[9]В то время как предположение о непрерывности обычно выполняется, предположение о компактности пространства параметров часто не выполняется, поскольку границы истинных значений параметров неизвестны. В этом случае ключевую роль играет вогнутость функции правдоподобия.

Более конкретно, если функция правдоподобия дважды непрерывно дифференцируема на k -мерном пространстве параметров, которое предполагается открытым связным подмножеством , существует уникальный максимум, если${\displaystyle \Theta }$ ${\displaystyle \mathbb {R} ^{k}}$${\displaystyle {\hat {\theta }}\in \Theta }$

${\displaystyle \mathbf {H} (\theta )=\left\{{\frac {\partial ^{2}L}{\partial \theta _{i}\partial \theta _{j}}}\right\}}$является отрицательно определенной на каждый , для которых градиент равен нулю, и${\displaystyle \theta \in \Theta }$${\displaystyle \nabla L=\left\{\partial L/\partial \theta _{i}\right\}}$

${\displaystyle \lim _{\theta \to \partial \Theta }L(\theta )=0}$, то есть функция правдоподобия приближается к константе на границе пространства параметров, которое может включать бесконечно удаленные точки, если не ограничено.${\displaystyle \Theta }$

Mäkeläinen et al. докажите этот результат, используя теорию Морса , неформально обращаясь к собственности горного перевала. ^[10] Маскареньяс повторяет свое доказательство, используя теорему о горном перевале . ^[11]

В доказательствах непротиворечивости и асимптотической нормальности оценки максимального правдоподобия делаются дополнительные предположения относительно плотностей вероятностей, которые составляют основу конкретной функции правдоподобия. Эти условия были впервые установлены Чандой. ^[12] В частности, почти для всех и для всех ,${\displaystyle x}$${\displaystyle \theta \in \Theta }$

${\displaystyle {\frac {\partial \log f}{\partial \theta _{r}}}\,,\quad {\frac {\partial ^{2}\log f}{\partial \theta _{r}\partial \theta _{s}}}\,,\quad {\frac {\partial ^{3}\log f}{\partial \theta _{r}\partial \theta _{s}\partial \theta _{t}}}}$

существуют для всех , чтобы гарантировать существование расширения Тейлора . Во-вторых, почти для всех и для всех должно быть, что${\displaystyle r,s,t=1,2,\ldots ,k}$${\displaystyle x}$${\displaystyle \theta \in \Theta }$

${\displaystyle \left|{\frac {\partial f}{\partial \theta _{r}}}\right|<F_{r}(x)\,,\quad \left|{\frac {\partial ^{2}f}{\partial \theta _{r}\partial \theta _{s}}}\right|<F_{rs}(x)\,,\quad \left|{\frac {\partial ^{3}f}{\partial \theta _{r}\partial \theta _{s}\partial \theta _{t}}}\right|<H_{rst}(x)}$

где такое что . Эта ограниченность производных необходима для дифференцирования под знаком интеграла . И, наконец, предполагается, что информационная матрица ,${\displaystyle H}$${\displaystyle \int _{-\infty }^{\infty }H_{rst}(z)\mathrm {d} z\leq M<\infty }$

${\displaystyle \mathbf {I} (\theta )=\int _{-\infty }^{\infty }{\frac {\partial \log f}{\partial \theta _{r}}}{\frac {\partial \log f}{\partial \theta _{s}}}f\mathrm {d} z}$

является положительно определенным и конечно. Это гарантирует, что оценка имеет конечную дисперсию. ^[13]${\displaystyle \left|\mathbf {I} (\theta )\right|}$

Вышеуказанных условий достаточно, но не обязательно. То есть модель, которая не удовлетворяет этим условиям регулярности, может иметь или не иметь оценку максимального правдоподобия упомянутых выше свойств. Кроме того, в случае неодинаково или неодинаково распределенных наблюдений может потребоваться допустить дополнительные свойства.

Отношение правдоподобия и относительное правдоподобие [ править ]

Отношение правдоподобия [ править ]

Отношение правдоподобия представляет собой отношение любых два заданных вероятностей, часто записываются в виде:

${\displaystyle \Lambda (\theta _{1}:\theta _{2}\mid x)={\frac {{\mathcal {L}}(\theta _{1}\mid x)}{{\mathcal {L}}(\theta _{2}\mid x)}}}$

Отношение правдоподобия занимает центральное место в статистике правдоподобия : закон правдоподобия утверждает, что степень, в которой данные (рассматриваемые как свидетельства) подтверждают одно значение параметра по сравнению с другим, измеряется отношением правдоподобия.

В частотном выводе отношение правдоподобия является основой для статистического теста , так называемого теста отношения правдоподобия . Согласно лемме Неймана – Пирсона , это самый мощный тест для сравнения двух простых гипотез на заданном уровне значимости . Многие другие тесты можно рассматривать как тесты отношения правдоподобия или их приближения. ^[14] Асимптотическое распределение логарифмического отношения правдоподобия, рассматриваемого как тестовая статистика, дается теоремой Уилкса .

Отношение правдоподобия также имеет центральное значение в байесовском выводе , где оно известно как байесовский фактор и используется в правиле Байеса . С точки зрения шансов , правило Байеса состоит в том, что апостериорные шансы двух альтернатив, а для данного события - это априорные шансы, умноженные на отношение правдоподобия. В виде уравнения:${\displaystyle A_{1}}$${\displaystyle A_{2}}$${\displaystyle B}$

${\displaystyle O(A_{1}:A_{2}\mid B)=O(A_{1}:A_{2})\cdot \Lambda (A_{1}:A_{2}\mid B).}$

Отношение правдоподобия не используется напрямую в статистике на основе AIC. Вместо этого используется относительная вероятность моделей (см. Ниже).

Различие к соотношению шансов [ править ]

Отношение правдоподобия двух моделей для одного и того же события можно сравнить с вероятностью двух событий для одной и той же модели. В терминах параметризованной функции массы вероятности отношение правдоподобия двух значений параметра и при заданном исходе равно:${\displaystyle p_{\theta }(x)}$${\displaystyle \theta _{1}}$${\displaystyle \theta _{2}}$${\displaystyle x}$

${\displaystyle \Lambda (\theta _{1}:\theta _{2}\mid x)=p_{\theta _{1}}(x):p_{\theta _{2}}(x),}$

в то время как вероятность двух исходов и , учитывая значение параметра , составляет:${\displaystyle x_{1}}$${\displaystyle x_{2}}$${\displaystyle \theta }$

${\displaystyle O(x_{1}:x_{2}\mid \theta )=p_{\theta }(x_{1}):p_{\theta }(x_{2}).}$

Это подчеркивает разницу между вероятностью и вероятностью: по вероятности сравниваются модели (параметры), фиксируя данные; в то время как в шансах сравниваются события (результаты, данные), придерживаясь фиксированной модели.

Отношение шансов - это отношение двух условных шансов (события при наличии или отсутствии другого события). Однако отношение шансов также можно интерпретировать как отношение двух отношений правдоподобия, если одно из событий считает более наблюдаемым, чем другое. См. Соотношение шансов диагностики , где результат диагностического теста легче увидеть, чем наличие или отсутствие основного заболевания .

Функция относительного правдоподобия [ править ]

Поскольку фактическое значение функции правдоподобия зависит от выборки, часто бывает удобно работать со стандартизированной мерой. Предположим, что оценка максимального правдоподобия для параметра θ равна . Относительные вероятности других значений θ могут быть найдены путем сравнения вероятностей этих других значений с вероятностью . Относительная вероятность того, из & thetas определяется как ^{[15] [16] [17] [18] [19]}${\displaystyle {\hat {\theta }}}$${\displaystyle {\hat {\theta }}}$

${\displaystyle R(\theta )={\frac {{\mathcal {L}}(\theta \mid x)}{{\mathcal {L}}({\hat {\theta }}\mid x)}}.}$

Таким образом, относительное правдоподобие - это отношение правдоподобия (обсуждавшееся выше) с фиксированным знаменателем . Это соответствует стандартизации вероятности иметь максимум 1.${\displaystyle {\mathcal {L}}({\hat {\theta }})}$

Область вероятности [ править ]

Область правдоподобия является множество всех значений & thetas , относительная вероятность того, больше или равно заданному порогу. С точки зрения процентов, область правдоподобия p % для θ определяется как ^{[15] [17] [20]}

${\displaystyle \left\{\theta :R(\theta )\geq {\frac {p}{100}}\right\}.}$

Если θ - единственный действительный параметр, область правдоподобия p % обычно будет включать интервал реальных значений. Если область действительно содержит интервал, то он называется интервалом правдоподобия . ^{[15] [17] [21]}

Интервалы правдоподобия и, в более общем смысле, области правдоподобия используются для оценки интервалов в статистике правдоподобия: они аналогичны доверительным интервалам в частотной статистике и достоверным интервалам в байесовской статистике. Интервалы правдоподобия интерпретируются непосредственно с точки зрения относительного правдоподобия, а не с точки зрения вероятности охвата (частотность) или апостериорной вероятности (байесовство).

Для данной модели интервалы правдоподобия можно сравнить с доверительными интервалами. Если θ - единственный действительный параметр, то при определенных условиях интервал правдоподобия 14,65% (примерно 1: 7 правдоподобия) для θ будет таким же, как доверительный интервал 95% (вероятность охвата 19/20). ^{[15] [20]} В несколько иной формулировке, подходящей для использования логарифма правдоподобия (см. Теорему Уилкса ), тестовая статистика вдвое превышает разницу логарифмических правдоподобий, а распределение вероятностей тестовой статистики приблизительно равно хи. квадрат распределения со степенями свободы (df), равный разнице df между двумя моделями (следовательно, e ⁻²интервал правдоподобия такой же, как и доверительный интервал 0,954; предполагая, что разница в df равна 1). ^{[20] [21]}

Вероятность устранения мешающих параметров [ править ]

Во многих случаях вероятность является функцией более чем одного параметра, но интерес фокусируется на оценке только одного или, в лучшем случае, нескольких из них, а остальные рассматриваются как мешающие параметры . Было разработано несколько альтернативных подходов для устранения таких мешающих параметров, так что вероятность может быть записана как функция только интересующего параметра (или параметров): основными подходами являются профильная, условная и предельная вероятность. ^{[22] [23]} Эти подходы также полезны, когда поверхность правдоподобия высокой размерности необходимо уменьшить до одного или двух интересующих параметров, чтобы получить график .

Вероятность профиля [ править ]

Можно уменьшить размеры, сконцентрировав функцию правдоподобия для подмножества параметров, выразив мешающие параметры как функции интересующих параметров и заменив их в функции правдоподобия. ^{[24] [25]} В общем, для функции правдоподобия, зависящей от вектора параметров, на который можно разделить , и где соответствие может быть определено явно, концентрация снижает вычислительную нагрузку на исходную задачу максимизации. ^[26]${\displaystyle \mathbf {\theta } }$${\displaystyle \mathbf {\theta } =\left(\mathbf {\theta } _{1}:\mathbf {\theta } _{2}\right)}$${\displaystyle \mathbf {\hat {\theta }} _{2}=\mathbf {\hat {\theta }} _{2}\left(\mathbf {\theta } _{1}\right)}$

Например, в линейной регрессии с нормально распределенными ошибками , вектор коэффициентов может быть разделен на (и, следовательно, матрицу плана ). Максимизация по дает функцию оптимального значения . Используя этот результат, оценка максимального правдоподобия для может быть получена как${\displaystyle \mathbf {y} =\mathbf {X} \beta +u}$${\displaystyle \beta =\left[\beta _{1}:\beta _{2}\right]}$ ${\displaystyle \mathbf {X} =\left[\mathbf {X} _{1}:\mathbf {X} _{2}\right]}$${\displaystyle \beta _{2}}$${\displaystyle \beta _{2}(\beta _{1})=\left(\mathbf {X} _{2}^{\mathsf {T}}\mathbf {X} _{2}\right)^{-1}\mathbf {X} _{2}^{\mathsf {T}}\left(\mathbf {y} -\mathbf {X} _{1}\beta _{1}\right)}$${\displaystyle \beta _{1}}$

${\displaystyle {\hat {\beta }}_{1}=\left(\mathbf {X} _{1}^{\mathsf {T}}\left(\mathbf {I} -\mathbf {P} _{2}\right)\mathbf {X} _{1}\right)^{-1}\mathbf {X} _{1}^{\mathsf {T}}\left(\mathbf {I} -\mathbf {P} _{2}\right)\mathbf {y} }$

где есть проекция матрица из . Этот результат известен как теорема Фриша – Во – Ловелла .${\displaystyle \mathbf {P} _{2}=\mathbf {X} _{2}\left(\mathbf {X} _{2}^{\mathsf {T}}\mathbf {X} _{2}\right)^{-1}\mathbf {X} _{2}^{\mathsf {T}}}$${\displaystyle \mathbf {X} _{2}}$

Поскольку графически процедура концентрации эквивалентна срезанию поверхности правдоподобия по гребню значений мешающего параметра, который максимизирует функцию правдоподобия, создавая изометрический профиль функции правдоподобия для данного , результат этой процедуры также известен как профиль вероятность . ^{[27] [28]} Помимо построения графика, вероятность профиля также может использоваться для вычисления доверительных интервалов, которые часто имеют лучшие свойства для малых выборок, чем те, которые основаны на асимптотических стандартных ошибках, рассчитанных на основе полного правдоподобия. ^{[29] [30]}${\displaystyle \beta _{2}}$ ${\displaystyle \beta _{1}}$

Условная вероятность [ править ]

Иногда можно найти достаточную статистику для мешающих параметров, и обусловливание этой статистики приводит к вероятности, которая не зависит от мешающих параметров. ^[31]

Один пример встречается в таблицах 2 × 2, где обусловленность всех четырех предельных итогов приводит к условному правдоподобию, основанному на нецентральном гипергеометрическом распределении . Эта форма кондиционирования также является основой точного теста Фишера .

Предельная вероятность [ править ]

Иногда мы можем удалить мешающие параметры, рассматривая вероятность, основанную только на части информации в данных, например, используя набор рангов, а не числовые значения. Другой пример встречается в линейных смешанных моделях , где рассмотрение вероятности остатков только после подгонки фиксированных эффектов приводит к оценке максимального правдоподобия остатков компонентов дисперсии.

Частичная вероятность [ править ]

Частичное правдоподобие - это адаптация полного правдоподобия, при которой только часть параметров (интересующие параметры) встречается в нем. ^[32] Это ключевой компонент модели пропорциональных опасностей : при использовании ограничения функции риска вероятность не отражает форму опасности во времени.

Продукты вероятности [ править ]

Вероятность, заданная двумя или более независимыми событиями , является продуктом вероятностей каждого из отдельных событий:

${\displaystyle \Lambda (A\mid X_{1}\land X_{2})=\Lambda (A\mid X_{1})\cdot \Lambda (A\mid X_{2})}$

Это следует из определения независимости в вероятности: вероятности двух независимых событий, произошедших с учетом модели, являются произведением вероятностей.

Это особенно важно, когда события происходят от независимых и одинаково распределенных случайных величин , таких как независимые наблюдения или выборка с заменой . В такой ситуации функция правдоподобия превращается в продукт индивидуальных функций правдоподобия.

Пустой продукт имеет значение 1, которое соответствует правдоподобию при отсутствии события, равному 1: перед любыми данными вероятность всегда равна 1. Это похоже на единообразный априор в байесовской статистике, но в статистике правдоподобия это не является неправильным. ранее, потому что вероятности не интегрированы.

Журнал правдоподобия [ править ]

Функция логарифмического правдоподобия - это логарифмическое преобразование функции правдоподобия, часто обозначаемое строчной буквой l или , в отличие от прописной L, или правдоподобия. Поскольку логарифмы являются строго возрастающими функциями, максимизация правдоподобия эквивалентна максимизации логарифма правдоподобия. Но для практических целей удобнее работать с функцией логарифмического правдоподобия в оценке максимального правдоподобия , в частности , так как большинство распространенных распределения вероятностей -notably экспоненциального семейство -Ести только логарифмический вогнутым , ^{[33] [34]} и вогнутости${\displaystyle \ell }$${\displaystyle {\mathcal {L}}}$от целевой функции играет роль ключа в максимизации .

Учитывая независимость каждого события, общая логарифмическая вероятность пересечения равна сумме логарифмических правдоподобий отдельных событий. Это аналогично тому факту, что общая логарифмическая вероятность является суммой логарифмических вероятностей отдельных событий. Помимо математического удобства, процесс добавления логарифма правдоподобия имеет интуитивно понятную интерпретацию, которая часто выражается как «поддержка» данных. Когда параметры оцениваются с использованием логарифма правдоподобия для оценки максимального правдоподобия , каждая точка данных используется путем добавления к общей логарифмической вероятности. Поскольку данные можно рассматривать как свидетельство, подтверждающее оценочные параметры, этот процесс можно интерпретировать как « добавление дополнительных свидетельств в пользу подтверждения »,а логарифм правдоподобия - это «вес доказательств». Интерпретируя отрицательную логарифмическую вероятность как информационное содержание или неожиданность , поддержка (логарифмическая вероятность) модели при данном событии является негативом неожиданности события при данной модели: модель поддерживается событием в той мере, в какой что событие неудивительно, учитывая модель.

Логарифм отношения правдоподобия равен разности логарифма правдоподобия:

${\displaystyle \log {\frac {L(A)}{L(B)}}=\log L(A)-\log L(B)=\ell (A)-\ell (B).}$

Точно так же, как вероятность без события, равная 1, логарифмическая вероятность без события равна 0, что соответствует значению пустой суммы: без каких-либо данных нет поддержки для каких-либо моделей.

Уравнения правдоподобия [ править ]

Если функция логарифмического правдоподобия является гладкой , ее градиент по отношению к параметру, известному как оценка и записанному , существует и позволяет применять дифференциальное исчисление . Основной способ максимизировать дифференцируемую функцию - найти стационарные точки (точки, в которых производная равна нулю); поскольку производная суммы - это просто сумма производных, но производная продукта требует правила произведения , легче вычислить стационарные точки логарифмической вероятности независимых событий, чем вероятности независимых событий.${\displaystyle s_{n}(\theta )\equiv \nabla _{\theta }\ell _{n}(\theta )}$

Уравнения, определяемые стационарной точкой функции оценки, служат в качестве оценочных уравнений для оценщика максимального правдоподобия.

${\displaystyle s_{n}(\theta )=\mathbf {0} }$

В этом смысле, блок оценки максимального правдоподобия неявно определяется значением при от обратной функции , где является d - мерное евклидово пространство . Используя теорему об обратной функции , можно показать, что она хорошо определена в открытой окрестности около с вероятностью, приближающейся к единице, и является непротиворечивой оценкой . Как следствие, существует такая последовательность , что асимптотически почти наверняка , и . ^[35] Аналогичный результат можно получить с помощью теоремы Ролля . ^[36]${\displaystyle \mathbf {0} }$ ${\displaystyle s_{n}^{-1}:\mathbb {E} ^{d}\to \Theta }$${\displaystyle \mathbb {E} ^{d}}$${\displaystyle s_{n}^{-1}}$${\displaystyle \mathbf {0} }$${\displaystyle {\hat {\theta }}_{n}=s_{n}^{-1}(\mathbf {0} )}$${\displaystyle \theta }$${\displaystyle \left\{{\hat {\theta }}_{n}\right\}}$${\displaystyle s_{n}({\hat {\theta }}_{n})=\mathbf {0} }$${\displaystyle {\hat {\theta }}_{n}{\xrightarrow {\text{p}}}\theta _{0}}$^[37]

Вторая производная, вычисленная в , известная как информация Фишера , определяет кривизну поверхности правдоподобия ^[38] и, таким образом, указывает точность оценки. ^[39]${\displaystyle {\hat {\theta }}}$

Экспоненциальные семейства [ править ]

Логарифм правдоподобия также особенно полезен для экспоненциальных семейств распределений, которые включают многие из общих параметрических распределений вероятностей . Функция распределения вероятностей (и, следовательно, функция правдоподобия) для экспоненциальных семейств содержит произведения факторов, включающих возведение в степень . Логарифм такой функции представляет собой сумму произведений, которую снова легче дифференцировать, чем исходную функцию.

Экспоненциальное семейство - это семейство, функция плотности вероятности которого имеет вид (для некоторых функций запись для внутреннего продукта ):${\displaystyle \langle -,-\rangle }$

${\displaystyle p(x\mid {\boldsymbol {\theta }})=h(x)\exp {\Big (}\langle {\boldsymbol {\eta }}({\boldsymbol {\theta }}),\mathbf {T} (x)\rangle -A({\boldsymbol {\theta }}){\Big )}.}$

Каждый из этих терминов имеет интерпретацию, ^[b] но простой переход от вероятности к правдоподобию и логарифм дает сумму:

${\displaystyle \ell ({\boldsymbol {\theta }}\mid x)=\langle {\boldsymbol {\eta }}({\boldsymbol {\theta }}),\mathbf {T} (x)\rangle -A({\boldsymbol {\theta }})+\log h(x).}$

Каждый и соответствует изменению координат , поэтому в этих координатах логарифмическая вероятность экспоненциального семейства определяется простой формулой:${\displaystyle {\boldsymbol {\eta }}({\boldsymbol {\theta }})}$${\displaystyle h(x)}$

${\displaystyle \ell ({\boldsymbol {\eta }}\mid x)=\langle {\boldsymbol {\eta }},\mathbf {T} (x)\rangle -A({\boldsymbol {\eta }}).}$

Другими словами, логарифмическая вероятность экспоненциального семейства - это внутреннее произведение натурального параметра и достаточной статистики за вычетом коэффициента нормализации ( логарифмической функции распределения ) . Так, например, оценка максимального правдоподобия может быть вычислена, принимая производные достаточной статистики T и лог-разбиение функции A .${\displaystyle {\boldsymbol {\eta }}}$ ${\displaystyle \mathbf {T} (x)}$${\displaystyle A({\boldsymbol {\eta }})}$

Пример: гамма-распределение [ править ]

Гамма - распределение является экспоненциальной семья с двумя параметрами, и . Функция правдоподобия${\displaystyle \alpha }$${\displaystyle \beta }$

${\displaystyle {\mathcal {L}}(\alpha ,\beta \mid x)={\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}x^{\alpha -1}e^{-\beta x}.}$

Нахождение оценки максимального правдоподобия для одного наблюдаемого значения выглядит довольно сложной задачей. С его логарифмом работать намного проще:${\displaystyle \beta }$${\displaystyle x}$

${\displaystyle \log {\mathcal {L}}(\alpha ,\beta \mid x)=\alpha \log \beta -\log \Gamma (\alpha )+(\alpha -1)\log x-\beta x.\,}$

Чтобы максимизировать логарифмическую вероятность, мы сначала берем частную производную по :${\displaystyle \beta }$

${\displaystyle {\frac {\partial \log {\mathcal {L}}(\alpha ,\beta \mid x)}{\partial \beta }}={\frac {\alpha }{\beta }}-x.}$

Если имеется несколько независимых наблюдений , то совместное логарифмическое правдоподобие будет суммой индивидуальных логарифмических правдоподобий, а производная этой суммы будет суммой производных каждой индивидуальной логарифмической вероятности:${\displaystyle x_{1},\ldots ,x_{n}}$

${\displaystyle {\begin{aligned}&{\frac {\partial \log {\mathcal {L}}(\alpha ,\beta \mid x_{1},\ldots ,x_{n})}{\partial \beta }}\\={}&{\frac {\partial \log {\mathcal {L}}(\alpha ,\beta \mid x_{1})}{\partial \beta }}+\cdots +{\frac {\partial \log {\mathcal {L}}(\alpha ,\beta \mid x_{n})}{\partial \beta }}={\frac {n\alpha }{\beta }}-\sum _{i=1}^{n}x_{i}.\end{aligned}}}$

Чтобы завершить процедуру максимизации совместной логарифмической вероятности, уравнение устанавливается на ноль и решается для :${\displaystyle \beta }$

${\displaystyle {\widehat {\beta }}={\frac {\alpha }{\bar {x}}}.}$

Здесь обозначает оценку максимального правдоподобия, а - выборочное среднее значение наблюдений.${\displaystyle {\widehat {\beta }}}$${\displaystyle \textstyle {\bar {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}}$

Предпосылки и интерпретация [ править ]

Исторические заметки [ править ]

Термин «вероятность» используется в английском языке, по крайней мере, с позднего среднеанглийского языка . ^[40] Его формальное использование для обозначения конкретной функции в математической статистике было предложено Рональдом Фишером , ^[41] в двух научно - исследовательских работах , опубликованных в 1921 г. ^[42] и 1922 г. ^[43] В 1921 году документ представил то , что сегодня называется " интервал правдоподобия »; в статье 1922 г. был введен термин « метод максимального правдоподобия ». Цитата Фишера:

[В] в 1922 году я предложил термин «вероятность» ввиду того факта, что в отношении [параметра] это не вероятность и не подчиняется законам вероятности, хотя в то же время имеет отношение к проблеме рационального выбора среди возможных значений [параметра], аналогичное тому, которое вероятность имеет к проблеме предсказания событий в азартных играх. . . Однако в то время как в отношении психологического суждения вероятность имеет некоторое сходство с вероятностью, эти два понятия полностью различны. . . . » ^[44]

Понятие вероятности не следует путать с вероятностью, как упомянул сэр Рональд Фишер.

Я подчеркиваю это, потому что, несмотря на то, что я всегда делал акцент на различии между вероятностью и правдоподобием, все же существует тенденция рассматривать вероятность как своего рода вероятность. Таким образом, первый результат состоит в том, что существуют две разные меры рациональной веры, подходящие для разных случаев. Зная совокупность, мы можем выразить наше неполное знание или ожидание выборки в терминах вероятности; зная выборку, мы можем выразить наши неполные знания о совокупности с точки зрения вероятности. ^[45]

Изобретение Фишером статистического правдоподобия было реакцией на более раннюю форму рассуждений, называемую обратной вероятностью . ^[46] Использование им термина «вероятность» зафиксировало значение этого термина в математической статистике.

AWF Edwards (1972) установил аксиоматическую основу для использования логарифмического отношения правдоподобия в качестве меры относительной поддержки одной гипотезы по сравнению с другой. Тогда опорная функция - это натуральный логарифм функции правдоподобия. Оба термина используются в филогенетике , но не были приняты в общей трактовке темы статистических данных. ^[47]

Интерпретации при разных основаниях [ править ]

Среди статистиков нет единого мнения о том, что должно лежать в основе статистики . Для основания были предложены четыре основные парадигмы: частотный , байесовский , правдоподобный и основанный на AIC . ^[6] Для каждого из предложенных оснований интерпретация вероятности различна. Четыре интерпретации описаны в подразделах ниже.

Частичная интерпретация [ править ]

Байесовская интерпретация [ править ]

В байесовском выводе , хотя можно говорить о вероятности любого утверждения или случайной величины при наличии другой случайной величины: например, вероятности значения параметра или статистической модели (см. Предельное правдоподобие ) при определенных данных или других доказательствах, ^{[48 ] [49] [50] [51]} функция правдоподобия остается той же самой сущностью с дополнительными интерпретациями (i) условной плотности данных с учетом параметра (поскольку параметр в этом случае является случайной величиной) и (ii) a мера или количество информации, приносимой данными о значении параметра или даже модели. ^{[48] [49] [50][51] [52]} Из-за введения структуры вероятности в пространстве параметров или в наборе моделей возможно, что значение параметра или статистическая модель имеют большое значение правдоподобия для заданных данных, но все же имеют низкое вероятность или наоборот. ^{[50] [52]} Это часто имеет место в медицине. ^[53] Следуя правилу Байеса , вероятность, рассматриваемая как условная плотность, может быть умножена на априорную плотность вероятности параметра, а затем нормализована, чтобы получить апостериорную плотность вероятности . ^{[48] [49] [50] [51] [52]}В более общем смысле вероятность неизвестной величины при наличии другой неизвестной величины пропорциональна вероятности данной . ^{[48] [49] [50] [51] [52]}${\displaystyle X}$${\displaystyle Y}$${\displaystyle Y}$${\displaystyle X}$

Правдоподобная интерпретация [ править ]

Эта статья включает в себя список общих ссылок , но он остается в значительной степени непроверенным, поскольку в нем отсутствует достаточное количество соответствующих встроенных ссылок . Пожалуйста, помогите улучшить эту статью, добавив более точные цитаты. ( Апрель 2019 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

В частотной статистике функция правдоподобия сама по себе является статистикой, которая суммирует одну выборку из совокупности, расчетное значение которой зависит от выбора нескольких параметров θ ₁ ... θ _p , где p - количество параметров в некоторых уже выбранных статистическая модель . Значение правдоподобия служит показателем качества для выбора, используемого для параметров, и набор параметров с максимальной вероятностью является лучшим выбором с учетом имеющихся данных.

Конкретный расчет правдоподобия - это вероятность того, что наблюдаемая выборка будет присвоена, при условии, что выбранная модель и значения нескольких параметров θ дают точное приближение частотного распределения популяции, из которой была взята наблюдаемая выборка. С эвристической точки зрения логично, что хороший выбор параметров - это те, которые делают выборку фактически наблюдаемой максимально возможной апостериорной вероятностью того, что произошло. Теорема Уилкса количественно определяет эвристическое правило, показывая, что разница в логарифме правдоподобия, порожденного значениями параметров оценки, и логарифмом правдоподобия, порожденного "истинными" (но неизвестными) значениями параметров совокупности, равнаχ² распределено .

Оценка максимального правдоподобия каждой независимой выборки - это отдельная оценка «истинного» набора параметров, описывающего выбранную совокупность. Последовательные оценки из многих независимых выборок будут сгруппированы вместе с «истинным» набором значений параметров, скрытых где-то среди них. Разница в логарифмах правдоподобия максимального правдоподобия и смежных наборов параметров может использоваться для построения доверительной области на графике, координатами которого являются параметры θ ₁ ... θ _p . Область окружает оценку максимального правдоподобия, и все точки (наборы параметров) в этой области отличаются по логарифмической вероятности не более чем на некоторое фиксированное значение. Распределение χ², данное Уилксомтеоремапреобразует региональные различия логарифма правдоподобия в «уверенность» в том, что «истинный» набор параметров популяции находится внутри. Искусство выбора фиксированной разницы логарифмического правдоподобия состоит в том, чтобы сделать достоверность приемлемо высокой, сохраняя при этом приемлемо малую область (узкий диапазон оценок).

По мере того, как наблюдается больше данных, вместо того, чтобы использоваться для независимых оценок, они могут быть объединены с предыдущими выборками для создания единой объединенной выборки, и эта большая выборка может использоваться для новой оценки максимального правдоподобия. По мере увеличения размера объединенной выборки размер области правдоподобия с той же степенью достоверности уменьшается. В конце концов, либо размер доверительной области почти равен единице, либо была отобрана вся генеральная совокупность; в обоих случаях набор оцениваемых параметров по существу совпадает с набором параметров совокупности.

Интерпретация на основе AIC [ править ]

В парадигме AIC вероятность интерпретируется в контексте теории информации . ^{[54] [55] [56]}

См. Также [ править ]

Заметки [ править ]

Ссылки [ править ]

Дальнейшее чтение [ править ]

• Аззалини, Адельчи (1996). "Вероятность". Статистический вывод, основанный на правдоподобии . Чепмен и Холл. С. 17–50. ISBN 0-412-60650-X.
• Боос, Деннис Д .; Стефанский, Л.А. (2013). «Построение и оценка правдоподобия». Основные статистические выводы: теория и методы . Нью-Йорк: Спрингер. С. 27–124. DOI : 10.1007 / 978-1-4614-4818-1_2 . ISBN 978-1-4614-4817-4.
• Эдвардс, AWF (1992) [1972]. Вероятность (Расширенная ред.). Издательство Университета Джона Хопкинса . ISBN 0-8018-4443-6.
• Кинг, Гэри (1989). «Модель правдоподобия вывода» . Объединяющая политическая методология: теория вероятности статистического вывода . Издательство Кембриджского университета. С. 59–94. ISBN 0-521-36697-6.
• Линдси, Дж. К. (1996). «Вероятность» . Параметрический статистический вывод . Издательство Оксфордского университета. С. 69–139. ISBN 0-19-852359-9.
• Роде, Чарльз А. (2014). Вводный статистический вывод с функцией правдоподобия . Берлин: Springer. ISBN 978-3-319-10460-7.
• Ройалл, Ричард (1997). Статистические данные: парадигма вероятности . Лондон: Чепмен и Холл. ISBN 0-412-04411-0.
• Уорд, Майкл Д .; Алквист, Джон С. (2018). «Функция правдоподобия: более глубокое погружение» . Максимальная вероятность социальных наук: стратегии анализа . Издательство Кембриджского университета . С. 21–28. ISBN 978-1-316-63682-4.

Внешние ссылки [ править ]

Поищите вероятность в Викисловаре, бесплатном словаре.

• Функция правдоподобия в Planetmath
• «Лог-вероятность» . Statlect .