Монотонное отношение правдоподобия

Монотонное отношение правдоподобия в распределениях и${\ displaystyle f (x)}$${\ displaystyle g (x)}$

Отношение функций плотности, указанных выше, увеличивается в параметре , поэтому удовлетворяет свойству монотонного отношения правдоподобия .${\ displaystyle x}$${\ Displaystyle е (х) / г (х)}$

В статистике , то монотонное отношение правдоподобия свойство является свойством отношений двух функций плотности вероятности (PDF). Формально распределения ƒ ( x ) и g ( x ) обладают свойством, если

${\ displaystyle {\ text {для каждого}} x_ {1}> x_ {0}, \ quad {\ frac {f (x_ {1})} {g (x_ {1})}} \ geq {\ frac {f (x_ {0})} {g (x_ {0})}}}$

то есть, если отношение аргумента не убывает .${\ displaystyle x}$

Если функции дифференцируемы по первому признаку, свойство иногда может быть указано

${\ displaystyle {\ frac {\ partial} {\ partial x}} \ left ({\ frac {f (x)} {g (x)}} \ right) \ geq 0}$

Для двух распределений, удовлетворяющих определению относительно некоторого аргумента x, мы говорим, что они «имеют MLRP в x ». Для семейства распределений, которые все удовлетворяют определению относительно некоторой статистики T ( X ), мы говорим, что они «имеют MLR в T ( X )».

Интуиция [ править ]

MLRP используется для представления процесса генерации данных, в котором существует прямая связь между величиной некоторой наблюдаемой переменной и распределением, из которого она извлекается. Если удовлетворяет MLRP в отношении , чем выше наблюдаемое значение , тем больше вероятность, что оно было получено из распределения, а не . Как обычно для монотонных отношений, монотонность отношения правдоподобия полезна в статистике, особенно при использовании оценки максимального правдоподобия . Кроме того, семейства распределений с MLR обладают рядом хороших стохастических свойств, таких как стохастическое доминирование первого порядка и возрастающие отношения рисков.${\ displaystyle f (x)}$${\ displaystyle g (x)}$${\ displaystyle x}$${\ displaystyle f}$${\ displaystyle g}$ . К сожалению, как это обычно бывает, сила этого предположения достигается ценой реализма. Многие процессы в мире не демонстрируют монотонного соответствия между вводом и выводом.

Пример: усердно работать или отдыхать [ править ]

Предположим, вы работаете над проектом и можете усердно работать или бездельничать. Назовите свой выбор по усилиям и качеству полученного проекта . Если MLRP соответствует распределению q в зависимости от ваших усилий , то чем выше качество, тем больше вероятность, что вы усердно работали. И наоборот, чем ниже качество, тем больше вероятность, что вы ослабили.${\ displaystyle e}$${\ displaystyle q}$${\ displaystyle e}$

1. Выберите усилие, где H означает высокое, L означает низкое${\ displaystyle e \ in \ {H, L \}}$
2. Наблюдайте за взятым из . По закону Байеса с униформой приора,${\ displaystyle q}$${\ Displaystyle е (д \ мид е)}$

   ${\displaystyle \Pr[e=H\mid q]={\frac {f(q\mid H)}{f(q\mid H)+f(q\mid L)}}}$

3. Предположим, удовлетворяет требованиям MLRP. Переставляя, вероятность того, что рабочий много работал, равна${\displaystyle f(q\mid e)}$

${\displaystyle {\frac {1}{1+f(q\mid L)/f(q\mid H)}}}$

который, благодаря MLRP, монотонно увеличивается (потому что уменьшается ). Следовательно, если какой-либо работодатель проводит «анализ эффективности», он может сделать вывод о поведении своего сотрудника по достоинствам его работы.${\displaystyle q}$${\displaystyle f(q\mid L)/f(q\mid H)}$${\displaystyle q}$

Семейства дистрибутивов, удовлетворяющих MLR [ править ]

Статистические модели часто предполагают, что данные генерируются распределением из некоторого семейства распределений, и стремятся определить это распределение. Эта задача упрощается, если семейство имеет свойство монотонного отношения правдоподобия (MLRP).

Говорят, что семейство функций плотности, индексируемое параметром, принимающим значения в упорядоченном наборе , имеет монотонное отношение правдоподобия (MLR) в статистике, если для любого ,${\displaystyle \{f_{\theta }(x)\}_{\theta \in \Theta }}$${\displaystyle \theta }$${\displaystyle \Theta }$ ${\displaystyle T(X)}$${\displaystyle \theta _{1}<\theta _{2}}$

${\displaystyle {\frac {f_{\theta _{2}}(X=x_{1},x_{2},x_{3},\dots )}{f_{\theta _{1}}(X=x_{1},x_{2},x_{3},\dots )}}}$  - неубывающая функция от .${\displaystyle T(X)}$

Тогда мы говорим, что семейство дистрибутивов "имеет MLR ".${\displaystyle T(X)}$

Список семей [ править ]

Семья	${\displaystyle T(X)}$  в котором есть MLR${\displaystyle f_{\theta }(X)}$
Экспоненциальный${\displaystyle [\lambda ]}$	${\displaystyle \sum x_{i}}$ наблюдения
Биномиальный${\displaystyle [n,p]}$	${\displaystyle \sum x_{i}}$ наблюдения
Пуассон${\displaystyle [\lambda ]}$	${\displaystyle \sum x_{i}}$ наблюдения
Нормальный${\displaystyle [\mu ,\sigma ]}$	если известно, наблюдения${\displaystyle \sigma }$${\displaystyle \sum x_{i}}$

Проверка гипотез [ править ]

Если семейство случайных величин имеет MLRP в , равномерно наиболее мощный критерий может быть легко определено для гипотезы против .${\displaystyle T(X)}$${\displaystyle H_{0}:\theta \leq \theta _{0}}$${\displaystyle H_{1}:\theta >\theta _{0}}$

Пример: усилия и результат [ править ]

Пример: Пусть будет входом в стохастическую технологию - например, усилие рабочего - и ее выход, вероятность которого описывается функцией плотности вероятности. Тогда свойство монотонного отношения правдоподобия (MLRP) семейства выражается следующим образом: для любой , тот факт, что подразумевает, что соотношение увеличивается в .${\displaystyle e}$${\displaystyle y}$${\displaystyle f(y;e).}$${\displaystyle f}$${\displaystyle e_{1},e_{2}}$${\displaystyle e_{2}>e_{1}}$${\displaystyle f(y;e_{2})/f(y;e_{1})}$${\displaystyle y}$

Связь с другими статистическими свойствами [ править ]

Монотонные вероятности используются в нескольких областях статистической теории, включая точечную оценку и проверку гипотез , а также в вероятностных моделях .

Экспоненциальные семейства [ править ]

Однопараметрические экспоненциальные семейства имеют монотонные функции правдоподобия. В частности, одномерное экспоненциальное семейство функций плотности вероятности или функций массы вероятности с

${\displaystyle f_{\theta }(x)=c(\theta )h(x)\exp(\pi (\theta )T(x))}$

имеет монотонное неубывающее отношение правдоподобия в достаточной статистике T ( x ), при условии, что оно не убывает.${\displaystyle \pi (\theta )}$

Наиболее мощные тесты: теорема Карлина – Рубина [ править ]

Монотонные функции правдоподобия используются для построения равномерно наиболее мощных тестов согласно теореме Карлина – Рубина . ^[1] Рассмотрим скалярное измерение, имеющее функцию плотности вероятности, параметризованную скалярным параметром θ , и определим отношение правдоподобия . Если является монотонно неубывающим для любой пары (это означает, что чем больше , тем больше вероятность ), то пороговый тест:${\displaystyle \ell (x)=f_{\theta _{1}}(x)/f_{\theta _{0}}(x)}$${\displaystyle \ell (x)}$${\displaystyle x}$${\displaystyle \theta _{1}\geq \theta _{0}}$${\displaystyle x}$${\displaystyle H_{1}}$

${\displaystyle \varphi (x)={\begin{cases}1&{\text{if }}x>x_{0}\\0&{\text{if }}x<x_{0}\end{cases}}}$

где выбрано так, чтобы${\displaystyle x_{0}}$${\displaystyle \operatorname {E} _{\theta _{0}}\varphi (X)=\alpha }$

UMP-тест размера α для тестирования${\displaystyle H_{0}:\theta \leq \theta _{0}{\text{ vs. }}H_{1}:\theta >\theta _{0}.}$

Обратите внимание, что точно такой же тест также является UMP для тестирования. ${\displaystyle H_{0}:\theta =\theta _{0}{\text{ vs. }}H_{1}:\theta >\theta _{0}.}$

Медианная объективная оценка [ править ]

Монотонные функции правдоподобия используются для построения несмещенных по медиане оценок с использованием методов, указанных Иоганном Пфанцаглом и другими. ^{[2] [3]} Одна из таких процедур является аналогом процедуры Рао – Блэквелла для оценок без смещения в среднем : процедура выполняется для меньшего класса распределений вероятностей, чем процедура Рао – Блэквелла для оценки без смещения в среднем, но для большего класс функций потерь . ^{[3] ( стр. 713 )}

Анализ продолжительности жизни: анализ выживаемости и надежность [ править ]

Если семейство распределений имеет свойство монотонного отношения правдоподобия в ,${\displaystyle f_{\theta }(x)}$${\displaystyle T(X)}$

1. в семье монотонно снижается уровень опасности в (но не обязательно в )${\displaystyle \theta }$${\displaystyle T(X)}$
2. семья имеет первый порядок (и , следовательно , второй порядок) стохастическое доминирование в , и лучшее байесовском обновлении увеличивается в .${\displaystyle x}$${\displaystyle \theta }$${\displaystyle T(X)}$

Но не наоборот: ни монотонная степень риска, ни стохастическое доминирование не подразумевают MLRP.

Доказательства [ править ]

Пусть семейство распределений удовлетворяет MLR по x , так что для и :${\displaystyle f_{\theta }}$${\displaystyle \theta _{1}>\theta _{0}}$${\displaystyle x_{1}>x_{0}}$

${\displaystyle {\frac {f_{\theta _{1}}(x_{1})}{f_{\theta _{0}}(x_{1})}}\geq {\frac {f_{\theta _{1}}(x_{0})}{f_{\theta _{0}}(x_{0})}},}$

или эквивалентно:

${\displaystyle f_{\theta _{1}}(x_{1})f_{\theta _{0}}(x_{0})\geq f_{\theta _{1}}(x_{0})f_{\theta _{0}}(x_{1}).\,}$

Дважды интегрировав это выражение, получим:

1. К в отношении${\displaystyle x_{1}}$${\displaystyle x_{0}}$ ${\displaystyle {\begin{aligned}&\int _{\min _{x}\in X}^{x_{1}}f_{\theta _{1}}(x_{1})f_{\theta _{0}}(x_{0})\,dx_{0}\\[6pt]\geq {}&\int _{\min _{x}\in X}^{x_{1}}f_{\theta _{1}}(x_{0})f_{\theta _{0}}(x_{1})\,dx_{0}\end{aligned}}}$ интегрировать и переставлять, чтобы получить ${\displaystyle {\frac {f_{\theta _{1}}}{f_{\theta _{0}}}}(x)\geq {\frac {F_{\theta _{1}}}{F_{\theta _{0}}}}(x)}$		2. От по отношению к${\displaystyle x_{0}}$${\displaystyle x_{1}}$ ${\displaystyle {\begin{aligned}&\int _{x_{0}}^{\max _{x}\in X}f_{\theta _{1}}(x_{1})f_{\theta _{0}}(x_{0})\,dx_{1}\\[6pt]\geq {}&\int _{x_{0}}^{\max _{x}\in X}f_{\theta _{1}}(x_{0})f_{\theta _{0}}(x_{1})\,dx_{1}\end{aligned}}}$ интегрировать и переставлять, чтобы получить ${\displaystyle {\frac {1-F_{\theta _{1}}(x)}{1-F_{\theta _{0}}(x)}}\geq {\frac {f_{\theta _{1}}}{f_{\theta _{0}}}}(x)}$

Стохастическое доминирование первого порядка [ править ]

Объедините два приведенных выше неравенства, чтобы получить доминирование первого порядка:

${\displaystyle F_{\theta _{1}}(x)\leq F_{\theta _{0}}(x)\ \forall x}$

Монотонная степень опасности [ править ]

Используйте только второе неравенство, приведенное выше, чтобы получить монотонную степень риска:

${\displaystyle {\frac {f_{\theta _{1}}(x)}{1-F_{\theta _{1}}(x)}}\leq {\frac {f_{\theta _{0}}(x)}{1-F_{\theta _{0}}(x)}}\ \forall x}$

Использует [ редактировать ]

Экономика [ править ]

MLR является важным условием распределения агентов по типам в конструкции механизмов . ^{[ необходима цитата ]} Большинство решений для моделей проектирования механизмов предполагают, что распределение типов удовлетворяет требованиям MLR, чтобы воспользоваться преимуществом общего метода решения. ^{[ необходима цитата ]}

Ссылки [ править ]