Оценка максимального правдоподобия

В статистике, оценка максимального правдоподобия ( MLE ) представляет собой метод оценки на параметры о наличии распределения вероятностей по максимизации а функция правдоподобия , так что в соответствии с предполагаемой статистической модели наблюдаемых данных является наиболее вероятным. Точки в пространстве параметров , который максимизирует функцию правдоподобия называются оценкой максимального правдоподобия. ^[1] Логика максимального правдоподобия интуитивно понятна и гибка, и как таковой метод стал доминирующим средством статистического вывода .^{[2] [3] [4]}

Если функция правдоподобия дифференцируема , можно применить тест производной для определения максимумов. В некоторых случаях условия первого порядка функции правдоподобия могут быть решены явно; например, обычная оценка методом наименьших квадратов максимизирует вероятность модели линейной регрессии . ^{[5] Однако в} большинстве случаев для нахождения максимума функции правдоподобия необходимы численные методы.

С точки зрения байесовского вывода , MLE является частным случаем максимальной апостериорной оценки (MAP), которая предполагает однородное априорное распределение параметров. В частотном выводе MLE - это частный случай оценки экстремума , целевая функция которого - вероятность.

Принципы [ править ]

Со статистической точки зрения данный набор наблюдений представляет собой случайную выборку из неизвестной совокупности . Цель оценки максимального правдоподобия состоит в том, чтобы сделать выводы о совокупности, которая с наибольшей вероятностью сгенерировала выборку ^{[6], в} частности, о совместном распределении вероятностей случайных величин , не обязательно независимых и одинаково распределенных. С каждым распределением вероятностей связан уникальный вектор параметров, который индексирует распределение вероятностей в параметрическом семействе , которое называется пространством параметров , конечномерным подмножеством евклидова пространства.${\ displaystyle \ left \ {y_ {1}, y_ {2}, \ ldots \ right \}}$${\ displaystyle \ theta = \ left [\ theta _ {1}, \, \ theta _ {2}, \, \ ldots, \, \ theta _ {k} \ right] ^ {\ mathsf {T}}}$ ${\ Displaystyle \ {е (\ cdot \,; \ theta) \ mid \ theta \ in \ Theta \}}$${\ displaystyle \ Theta}$. Оценка совместной плотности в наблюдаемой выборке данных дает действительную функцию,${\displaystyle \mathbf {y} =(y_{1},y_{2},\ldots ,y_{n})}$

${\displaystyle L_{n}(\theta )=L_{n}(\theta ;\mathbf {y} )=f_{n}(\mathbf {y} ;\theta )}$

которая называется функцией правдоподобия . Для независимых и одинаково распределенных случайных величин , будет произведение одномерных функций плотности .${\displaystyle f_{n}(\mathbf {y} ;\theta )}$

Цель оценки максимального правдоподобия состоит в том, чтобы найти значения параметров модели, которые максимизируют функцию правдоподобия по пространству параметров ^[6], т. Е.

${\displaystyle {\hat {\theta }}={\underset {\theta \in \Theta }{\operatorname {arg\;max} }}\,{\widehat {L}}_{n}(\theta \,;\mathbf {y} )}$

Интуитивно это выбирает значения параметров, которые делают наблюдаемые данные наиболее вероятными. Конкретное значение, которое максимизирует функцию правдоподобия, называется оценкой максимального правдоподобия. Кроме того, если определенная таким образом функция является измеримой , то она называется оценщиком максимального правдоподобия . Обычно это функция, определенная в пространстве выборки , т. Е. Принимающая данную выборку в качестве аргумента. Достаточное , но не необходимое условие его существование для функции правдоподобия быть непрерывной по параметру пространства , которое компактно . ^[7] Для открытого${\displaystyle {\hat {\theta }}={\hat {\theta }}_{n}(\mathbf {y} )\in \Theta }$${\displaystyle L_{n}}$${\displaystyle {\hat {\theta }}_{n}:\mathbb {R} ^{n}\to \Theta }$${\displaystyle \Theta }$ ${\displaystyle \Theta }$ функция правдоподобия может увеличиваться, даже не достигнув супремум-значения.

На практике часто бывает удобно работать с натуральным логарифмом функции правдоподобия, называемым логарифмом правдоподобия :

${\displaystyle \ell (\theta \,;\mathbf {y} )=\ln L_{n}(\theta \,;\mathbf {y} ).}$

Поскольку логарифм является монотонной функцией , максимум происходит при том же значении, что и максимум . ^[8] Если это дифференцируемое в , то необходимые условия для возникновения максимума (или минимума) являются${\displaystyle \ell (\theta \,;\mathbf {y} )}$${\displaystyle \theta }$${\displaystyle L_{n}}$${\displaystyle \ell (\theta \,;\mathbf {y} )}$${\displaystyle \theta }$

${\displaystyle {\frac {\partial \ell }{\partial \theta _{1}}}=0,\quad {\frac {\partial \ell }{\partial \theta _{2}}}=0,\quad \ldots ,\quad {\frac {\partial \ell }{\partial \theta _{k}}}=0,}$

известные как уравнения правдоподобия. Для некоторых моделей эти уравнения могут быть решены в явном виде , но в целом решение задачи максимизации в замкнутой форме неизвестно или доступно, а MLE можно найти только с помощью численной оптимизации . Другая проблема заключается в том, что в конечных выборках может существовать несколько корней для уравнений правдоподобия. ^[9] Является ли идентифицированный корень уравнений правдоподобия (локальным) максимумом, зависит от того, является ли матрица частных и кросс-частных производных второго порядка, так называемая матрица Гессе${\displaystyle {\widehat {\theta \,}}}$${\displaystyle {\widehat {\theta \,}}}$

${\displaystyle \mathbf {H} \left({\widehat {\theta \,}}\right)={\begin{bmatrix}\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}\,\partial \theta _{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}\,\partial \theta _{k}}}\right|_{\theta ={\widehat {\theta \,}}}\\\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}\,\partial \theta _{1}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}\,\partial \theta _{k}}}\right|_{\theta ={\widehat {\theta \,}}}\\\vdots &\vdots &\ddots &\vdots \\\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}\,\partial \theta _{1}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}\,\partial \theta _{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}\end{bmatrix}},}$

является отрицательным полуопределенным при , поскольку это указывает на локальную вогнутость . Удобно, что наиболее распространенные распределения вероятностей - в частности, экспоненциальное семейство - логарифмически вогнуты . ^{[10] [11]}${\displaystyle {\widehat {\theta \,}}}$

Ограниченное пространство параметров [ править ]

Хотя область определения функции правдоподобия - пространство параметров - обычно является конечномерным подмножеством евклидова пространства , иногда в процесс оценки необходимо включать дополнительные ограничения . Пространство параметров может быть выражено как

${\displaystyle \Theta =\left\{\theta :\theta \in \mathbb {R} ^{k},\;h(\theta )=0\right\}}$,

где - вектор-функция, отображаемая в . Оценка истинного параметра, принадлежащего тогда, на практике означает найти максимум функции правдоподобия с учетом ограничения .${\displaystyle h(\theta )=\left[h_{1}(\theta ),h_{2}(\theta ),\ldots ,h_{r}(\theta )\right]}$${\displaystyle \mathbb {R} ^{k}}$${\displaystyle \mathbb {R} ^{r}}$${\displaystyle \theta }$${\displaystyle \Theta }$ ${\displaystyle h(\theta )=0}$

Теоретически наиболее естественным подходом к этой задаче оптимизации с ограничениями является метод подстановки, то есть «заполнение» ограничений для набора таким образом, что оно является взаимно однозначной функцией от самого себя, и повторная параметризация функции правдоподобия установив . ^[12] Из-за инвариантности оценки максимального правдоподобия свойства MLE также применимы к ограниченным оценкам. ^[13] Например, в многомерном нормальном распределении ковариационной матрица должна быть положительно определена ; это ограничение можно наложить заменой , где${\displaystyle h_{1},h_{2},\ldots ,h_{r}}$${\displaystyle h_{1},h_{2},\ldots ,h_{r},h_{r+1},\ldots ,h_{k}}$${\displaystyle h^{\ast }=\left[h_{1},h_{2},\ldots ,h_{k}\right]}$${\displaystyle \mathbb {R} ^{k}}$${\displaystyle \phi _{i}=h_{i}(\theta _{1},\theta _{2},\ldots ,\theta _{k})}$ ${\displaystyle \Sigma }$${\displaystyle \Sigma =\Gamma ^{\mathsf {T}}\Gamma }$${\displaystyle \Gamma }$является вещественной верхнетреугольной матрицей и является ее транспонированной . ^[14]${\displaystyle \Gamma ^{\mathsf {T}}}$

На практике ограничения обычно вводятся с использованием метода Лагранжа, который с учетом ограничений, определенных выше, приводит к уравнениям ограниченного правдоподобия

${\displaystyle {\frac {\partial \ell }{\partial \theta }}-{\frac {\partial h(\theta )^{\mathsf {T}}}{\partial \theta }}\lambda =0}$и ,${\displaystyle h(\theta )=0}$

где - вектор-столбец множителей Лагранжа, а - матрица Якоби частных производных размера k × r . ^[12] Естественно, если ограничения не являются обязательными на максимум, множители Лагранжа должны быть равны нулю. ^[15] Это, в свою очередь, позволяет провести статистический тест «достоверности» ограничения, известный как тест множителя Лагранжа .${\displaystyle \lambda =\left[\lambda _{1},\lambda _{2},\ldots ,\lambda _{r}\right]^{\mathsf {T}}}$${\displaystyle {\frac {\partial h(\theta )^{\mathsf {T}}}{\partial \theta }}}$

Свойства [ править ]

Блок оценка максимального правдоподобия является экстремум оценки , полученной путем максимизации, в зависимости от & thetas , в целевой функции . Если данные независимы и одинаково распределены , то мы имеем ${\displaystyle {\widehat {\ell \,}}(\theta \,;x)}$

${\displaystyle {\widehat {\ell \,}}(\theta \,;x)={\frac {1}{n}}\sum _{i=1}^{n}\ln f(x_{i}\mid \theta ),}$

это примерный аналог ожидаемой логарифмической вероятности , где это ожидание берется относительно истинной плотности.${\displaystyle \ell (\theta )=\operatorname {\mathbb {E} } [\,\ln f(x_{i}\mid \theta )\,]}$

Оценщики максимального правдоподобия не имеют оптимальных свойств для конечных выборок в том смысле, что (при оценке на конечных выборках) другие оценщики могут иметь большую концентрацию вокруг истинного значения параметра. ^[16] Однако, как и другие методы оценки, оценка максимального правдоподобия обладает рядом привлекательных ограничивающих свойств : по мере увеличения размера выборки до бесконечности последовательности оценок максимального правдоподобия обладают следующими свойствами:

• Согласованность : последовательность MLE сходится по вероятности к оцениваемому значению.
• Функциональная инвариантность: Если максимальная оценка правдоподобия , и если это любое преобразование , то оценка максимального правдоподобия является .${\displaystyle {\hat {\theta }}}$${\displaystyle \theta }$${\displaystyle g(\theta )}$${\displaystyle \theta }$${\displaystyle \alpha =g(\theta )}$${\displaystyle {\hat {\alpha }}=g({\hat {\theta }})}$
• Эффективность , т. Е. Достигается нижняя граница Крамера – Рао, когда размер выборки стремится к бесконечности. Это означает, что ни одна последовательная оценка не имеет более низкой асимптотической среднеквадратической ошибки, чем MLE (или другие оценки, достигающие этой границы), что также означает, что MLE имеет асимптотическую нормальность .
• Эффективность второго порядка после коррекции смещения.

Последовательность [ править ]

В условиях, описанных ниже, оценка максимального правдоподобия является согласованной . Согласованность означает, что если данные были сгенерированы и у нас есть достаточно большое количество наблюдений n , то можно найти значение θ ₀ с произвольной точностью. С математической точки зрения это означает, что, когда n стремится к бесконечности, оценщик сходится по вероятности к своему истинному значению:${\displaystyle f(\cdot \,;\theta _{0})}$${\displaystyle {\widehat {\theta \,}}}$

${\displaystyle {\widehat {\theta \,}}_{\mathrm {mle} }\ {\xrightarrow {\text{p}}}\ \theta _{0}.}$

При немного более сильных условиях оценка почти наверняка (или сильно ) сходится :

${\displaystyle {\widehat {\theta \,}}_{\mathrm {mle} }\ {\xrightarrow {\text{a.s.}}}\ \theta _{0}.}$

В практических приложениях данные никогда не генерируются . Скорее, это модель, часто в идеализированной форме, процесса, порождаемого данными. В статистике распространен афоризм о том, что все модели ошибочны . Таким образом, в практических приложениях истинной согласованности не происходит. Тем не менее, согласованность часто считается желательным свойством для оценщика.${\displaystyle f(\cdot \,;\theta _{0})}$${\displaystyle f(\cdot \,;\theta _{0})}$

Для согласования достаточно следующих условий. ^[17]

Условие доминирования можно использовать в случае iid- наблюдений. В не н.о.р. случае, равномерная сходимость по вероятности можно проверить, показав , что последовательность является стохастически эквинепрерывно . Если кто-то хочет продемонстрировать, что оценка ML почти наверняка сходится к θ ₀ , то почти наверняка должно быть наложено более сильное условие равномерной сходимости:${\displaystyle {\widehat {\ell \,}}(\theta \mid x)}$${\displaystyle {\widehat {\theta \,}}}$

${\displaystyle \sup _{\theta \in \Theta }\left\|\;{\widehat {\ell \,}}(\theta \mid x)-\ell (\theta )\;\right\|\ \xrightarrow {\text{a.s.}} \ 0.}$

Кроме того, если (как предполагалось выше) данные были сгенерированы , то при определенных условиях также может быть показано, что оценщик максимального правдоподобия сходится по распределению к нормальному распределению. В частности, ^[18]${\displaystyle f(\cdot \,;\theta _{0})}$

${\displaystyle {\sqrt {n}}\left({\widehat {\theta \,}}_{\mathrm {mle} }-\theta _{0}\right)\ \xrightarrow {d} \ {\mathcal {N}}\left(0,\,I^{-1}\right)}$

где I - информационная матрица Фишера .

Функциональная инвариантность [ править ]

Оценщик максимального правдоподобия выбирает значение параметра, которое дает наблюдаемым данным наибольшую возможную вероятность (или плотность вероятности в непрерывном случае). Если параметр состоит из нескольких компонентов, то мы определяем их отдельные оценки максимального правдоподобия как соответствующий компонент MLE полного параметра. В соответствии с этим, если является MLE для , и если есть любое преобразование , то MLE для по определению ^[19]${\displaystyle {\widehat {\theta \,}}}$${\displaystyle \theta }$${\displaystyle g(\theta )}$${\displaystyle \theta }$${\displaystyle \alpha =g(\theta )}$

${\displaystyle {\widehat {\alpha }}=g(\,{\widehat {\theta \,}}\,).\,}$

Это максимизирует так называемую вероятность профиля :

${\displaystyle {\bar {L}}(\alpha )=\sup _{\theta :\alpha =g(\theta )}L(\theta ).\,}$

MLE также инвариантен по отношению к некоторым преобразованиям данных. Если где равно один к одному и не зависит от оцениваемых параметров, то функции плотности удовлетворяют${\displaystyle y=g(x)}$${\displaystyle g}$

${\displaystyle f_{Y}(y)={\frac {f_{X}(x)}{|g'(x)|}}}$

и, следовательно, функции правдоподобия для и отличаются только фактором, не зависящим от параметров модели.${\displaystyle X}$${\displaystyle Y}$

Например, параметры MLE логарифмически нормального распределения такие же, как параметры нормального распределения, подогнанного к логарифму данных.

Эффективность [ править ]

Как предполагалось выше, данные были сгенерированы к тому времени при определенных условиях, также можно показать, что оценщик максимального правдоподобия сходится по распределению к нормальному распределению. Он √ n -согласован и асимптотически эффективен, что означает, что он достигает границы Крамера – Рао . В частности, ^[18]${\displaystyle ~f(\cdot \,;\theta _{0})~,}$ 

${\displaystyle {\sqrt {n\,}}\,\left({\widehat {\theta \,}}_{\text{mle}}-\theta _{0}\right)\ \ \xrightarrow {d} \ \ {\mathcal {N}}\left(0,\ {\mathcal {I}}^{-1}\right)~,}$

где - информационная матрица Фишера :${\displaystyle ~{\mathcal {I}}~}$

${\displaystyle {\mathcal {I}}_{jk}=\operatorname {\mathbb {E} } \,{\biggl [}\;-{\frac {\partial ^{2}\ln f_{\theta _{0}}(X_{t})}{\partial \theta _{j}\,\partial \theta _{k}}}\;{\biggr ]}~.}$

В частности, это означает, что смещение оценщика максимального правдоподобия равно нулю с точностью до порядка1/√ п .

Эффективность второго порядка после коррекции смещения [ править ]

Однако, когда мы рассматриваем члены более высокого порядка в разложении распределения этой оценки, то получается, что θ _MLE имеет смещение порядка ¹ / _п . Это смещение равно (покомпонентно) ^[20]

${\displaystyle b_{h}\;\equiv \;\operatorname {\mathbb {E} } {\biggl [}\;\left({\widehat {\theta }}_{\mathrm {mle} }-\theta _{0}\right)_{h}\;{\biggr ]}\;=\;{\frac {1}{\,n\,}}\,\sum _{i,j,k=1}^{m}\;{\mathcal {I}}^{hi}\;{\mathcal {I}}^{jk}\left({\frac {1}{\,2\,}}\,K_{ijk}\;+\;J_{j,ik}\right)}$

где (с надстрочными индексами) обозначает ( j, k ) -й компонент обратной информационной матрицы Фишера , а${\displaystyle {\mathcal {I}}^{jk}}$${\displaystyle {\mathcal {I}}^{-1}}$

${\displaystyle {\frac {1}{\,2\,}}\,K_{ijk}\;+\;J_{j,ik}\;=\;\operatorname {\mathbb {E} } \,{\biggl [}\;{\frac {1}{2}}{\frac {\partial ^{3}\ln f_{\theta _{0}}(X_{t})}{\partial \theta _{i}\;\partial \theta _{j}\;\partial \theta _{k}}}+{\frac {\;\partial \ln f_{\theta _{0}}(X_{t})\;}{\partial \theta _{j}}}\,{\frac {\;\partial ^{2}\ln f_{\theta _{0}}(X_{t})\;}{\partial \theta _{i}\,\partial \theta _{k}}}\;{\biggr ]}~.}$

Используя эти формулы, можно оценить смещение второго порядка оценки максимального правдоподобия и скорректировать это смещение путем его вычитания:

${\displaystyle {\widehat {\theta \,}}_{\text{mle}}^{*}={\widehat {\theta \,}}_{\text{mle}}-{\widehat {b\,}}~.}$

Этот оценщик объективен с точки зрения условий заказа. 1/ п , и называется оценщиком максимального правдоподобия с поправкой на смещение.

Эта скорректированная на смещение оценщика эффективна второго порядка (по крайней мере, в пределах изогнутого экспоненциального семейства), что означает, что она имеет минимальную среднеквадратичную ошибку среди всех оценщиков с поправкой на смещение второго порядка, вплоть до членов порядка1/ п ²  . Можно продолжить этот процесс, то есть получить член коррекции смещения третьего порядка и так далее. Однако оценщик максимального правдоподобия не эффективен для третьего порядка. ^[21]

Связь с байесовским выводом [ править ]

Оценщик максимального правдоподобия совпадает с наиболее вероятным байесовским оценщиком при условии равномерного априорного распределения по параметрам . Действительно, максимальная апостериорная оценка - это параметр θ, который максимизирует вероятность θ с учетом данных, заданных теоремой Байеса:

${\displaystyle \operatorname {\mathbb {P} } (\theta \mid x_{1},x_{2},\ldots ,x_{n})={\frac {f(x_{1},x_{2},\ldots ,x_{n}\mid \theta )\operatorname {\mathbb {P} } (\theta )}{\operatorname {\mathbb {P} } (x_{1},x_{2},\ldots ,x_{n})}}}$

где - априорное распределение для параметра θ, а где - вероятность усреднения данных по всем параметрам. Поскольку знаменатель не зависит от θ , байесовская оценка получается максимизацией по θ . Если мы дополнительно предположим, что априорное распределение является равномерным, байесовская оценка получается путем максимизации функции правдоподобия . Таким образом, байесовская оценка совпадает с оценкой максимального правдоподобия для равномерного априорного распределения .${\displaystyle \operatorname {\mathbb {P} } (\theta )}$${\displaystyle \operatorname {\mathbb {P} } (x_{1},x_{2},\ldots ,x_{n})}$${\displaystyle f(x_{1},x_{2},\ldots ,x_{n}\mid \theta )\operatorname {\mathbb {P} } (\theta )}$${\displaystyle \operatorname {\mathbb {P} } (\theta )}$${\displaystyle f(x_{1},x_{2},\ldots ,x_{n}\mid \theta )}$${\displaystyle \operatorname {\mathbb {P} } (\theta )}$

Применение оценки максимального правдоподобия в теории принятия решений Байеса [ править ]

Во многих практических приложениях машинного обучения оценка максимального правдоподобия используется в качестве модели для оценки параметров.

Теория байесовских решений заключается в разработке классификатора, который минимизирует общий ожидаемый риск, особенно, когда затраты (функция потерь), связанные с различными решениями, равны, классификатор минимизирует ошибку по всему распределению. ^[22]

Таким образом, правило принятия решений Байеса формулируется как

"решите, если решите иначе "${\displaystyle \;w_{1}\;}$${\displaystyle ~\operatorname {\mathbb {P} } (w_{1}|x)\;>\;\operatorname {\mathbb {P} } (w_{2}|x)~;~}$${\displaystyle \;w_{2}\;}$

где находятся прогнозы разных классов. С точки зрения минимизации ошибки это также можно сформулировать как${\displaystyle \;w_{1}\,,w_{2}\;}$

${\displaystyle w={\underset {w}{\operatorname {arg\;max} }}\;\int _{-\infty }^{\infty }\operatorname {\mathbb {P} } ({\text{ error}}\mid x)\operatorname {\mathbb {P} } (x)\,\operatorname {d} x~}$

где

${\displaystyle \operatorname {\mathbb {P} } ({\text{ error}}\mid x)=\operatorname {\mathbb {P} } (w_{1}\mid x)~}$

если мы решим и если мы решим${\displaystyle \;w_{2}\;}$${\displaystyle \;\operatorname {\mathbb {P} } ({\text{ error}}\mid x)=\operatorname {\mathbb {P} } (w_{2}|x)\;}$${\displaystyle \;w_{1}\;.}$

Применяя теорему Байеса

${\displaystyle \operatorname {\mathbb {P} } (w_{i}\mid x)={\frac {\operatorname {\mathbb {P} } (x\mid w_{i})\operatorname {\mathbb {P} } (w_{i})}{\operatorname {\mathbb {P} } (x)}}}$,

и если мы дополнительно предположим функцию потерь ноль или один, которая является одинаковой потерей для всех ошибок, правило принятия решения Байеса можно переформулировать следующим образом:

${\displaystyle h_{\text{Bayes}}={\underset {w}{\operatorname {arg\;max} }}\,{\bigl [}\,\operatorname {\mathbb {P} } (x\mid w)\,\operatorname {\mathbb {P} } (w)\,{\bigr ]}\;,}$

где - прогноз, а - априорная вероятность .${\displaystyle h_{\text{Bayes}}}$${\displaystyle \;\operatorname {\mathbb {P} } (w)\;}$

Связь с минимизацией расхождения Кульбака – Лейблера и кросс-энтропии [ править ]

Нахождение, которое максимизирует вероятность, асимптотически эквивалентно нахождению, которое определяет распределение вероятностей ( ), которое имеет минимальное расстояние, в терминах расхождения Кульбака – Лейблера , до реального распределения вероятностей, из которого были сгенерированы наши данные (т. Е. Сгенерированы ). ^[23] В идеальном мире P и Q одинаковы (и единственное, что неизвестно, это то, что определяет P), но даже если это не так и модель, которую мы используем, неверно указана, все же MLE даст нам «ближайший» распределение (в пределах ограничения модели Q, которая зависит от ) к реальному распределению . ^[24]${\displaystyle {\hat {\theta }}}$${\displaystyle {\hat {\theta }}}$${\displaystyle Q_{\hat {\theta }}}$${\displaystyle P_{\theta _{0}}}$${\displaystyle \theta }$${\displaystyle {\hat {\theta }}}$${\displaystyle P_{\theta _{0}}}$

Поскольку кросс-энтропия - это просто энтропия Шеннона плюс расхождение KL, и поскольку энтропия постоянна, то MLE также асимптотически минимизирует кросс-энтропию. ^[25]${\displaystyle P_{\theta _{0}}}$

Примеры [ править ]

Дискретное равномерное распределение [ править ]

Рассмотрим случай, когда n билетов с номерами от 1 до n помещены в коробку и один выбран случайным образом ( см. Равномерное распределение ); Таким образом, размер выборки равен 1. Если п неизвестна, то оценке максимального правдоподобия по п есть число м на нарисованном билете. (Вероятность равно 0 для п  <  м , ¹ / _п для п  ≥  м , и это является наибольшей , когда п  =  т . Заметим , что оценка максимального правдоподобия по п${\displaystyle {\widehat {n}}}$встречается на нижнем пределе возможных значений { m ,  m  + 1, ...}, а не где-то в «середине» диапазона возможных значений, что привело бы к меньшему смещению.) Ожидаемое значение числа m на выписанном билете, и, следовательно, ожидаемое значение равно ( n  + 1) / 2. В результате при размере выборки 1 оценка максимального правдоподобия для n будет систематически занижать n на ( n  - 1) / 2.${\displaystyle {\widehat {n}}}$

Дискретное распределение, пространство с конечными параметрами [ править ]

Предположим, кто-то хочет определить, насколько пристрастна несправедливая монета . Назовем вероятность подбрасывания « головы » р . Затем цель состоит в том, чтобы определить p .

Предположим, монета подбрасывается 80 раз: т.е. выборка может быть чем-то вроде x ₁  = H, x ₂  = T, ..., x ₈₀  = T, и наблюдается подсчет количества голов «H».

Вероятность подбрасывания решки равна 1 -  p (так что здесь p равно θ ). Предположим , что результат 49 голов и 31  хвосты , и предположим , что монета была взята из коробки , содержащей три монеты: один , который дает головки с вероятностью р  = ¹ / ₃ , один , который дает головки с вероятностью р  = ¹ / ₂ , а другой который дает головку с вероятностью р  = ² / ₃. Монеты потеряли свои этикетки, поэтому неизвестно, какая именно. Используя оценку максимального правдоподобия, можно найти монету с наибольшим правдоподобием, учитывая наблюдаемые данные. Используя функцию вероятности массовой из биномиального распределения с образцом размером , равный 80, число успехов , равными 49 , но при разных значениях р ( «вероятности успеха»), функция правдоподобия ( как определено ниже) принимает одно из трех значений:

${\displaystyle {\begin{aligned}\operatorname {\mathbb {P} } {\bigl [}\;\mathrm {H} =49\mid p={\tfrac {1}{3}}\;{\bigr ]}&={\binom {80}{49}}({\tfrac {1}{3}})^{49}(1-{\tfrac {1}{3}})^{31}\approx 0.000,\\[6pt]\operatorname {\mathbb {P} } {\bigl [}\;\mathrm {H} =49\mid p={\tfrac {1}{2}}\;{\bigr ]}&={\binom {80}{49}}({\tfrac {1}{2}})^{49}(1-{\tfrac {1}{2}})^{31}\approx 0.012,\\[6pt]\operatorname {\mathbb {P} } {\bigl [}\;\mathrm {H} =49\mid p={\tfrac {2}{3}}\;{\bigr ]}&={\binom {80}{49}}({\tfrac {2}{3}})^{49}(1-{\tfrac {2}{3}})^{31}\approx 0.054~.\end{aligned}}}$

Правдоподобия достигает максимума при р  = ² / ₃ , и таким образом это является оценка максимального правдоподобия для  р .

Дискретное распределение, непрерывное пространство параметров [ править ]

Теперь предположим, что была только одна монета, но ее p могло быть любым значением 0 ≤ p ≤ 1. Максимизируемая функция правдоподобия:

${\displaystyle L(p)=f_{D}(\mathrm {H} =49\mid p)={\binom {80}{49}}p^{49}(1-p)^{31}~,}$

и максимизация осуществляется по всем возможным значениям 0 ≤ p ≤ 1.

Один из способов максимизировать эту функцию - дифференцировать по p и установить на ноль:

${\displaystyle {\begin{aligned}0&={\frac {\partial }{\partial p}}\left({\binom {80}{49}}p^{49}(1-p)^{31}\right)~,\\[8pt]0&=49p^{48}(1-p)^{31}-31p^{49}(1-p)^{30}\\[8pt]&=p^{48}(1-p)^{30}\left[49(1-p)-31p\right]\\[8pt]&=p^{48}(1-p)^{30}\left[49-80p\right]~.\end{aligned}}}$

Это продукт трех терминов. Первое слагаемое равно 0 , когда р  = 0. второй равен 0 , когда р  = 1. третий равен нулю , когда р  = ⁴⁹ / ₈₀ . Решение , которое максимизирует вероятность того , очевидно , р  = ⁴⁹ / ₈₀ (так как р  = 0 и р  = 1 , в результате вероятности 0). Таким образом, оценка максимального правдоподобия для р является ⁴⁹ / ₈₀ .

Этот результат легко обобщить, заменив букву s вместо 49, чтобы обозначить наблюдаемое количество «успехов» наших испытаний Бернулли , и букву, такую ​​как n, вместо 80, чтобы обозначить количество испытаний Бернулли. Точно такой же расчет дает ^ы / _п , который является оценкой максимального правдоподобия для любой последовательности п испытаний Бернулли , приводящих к ев «успехам».

Непрерывное распределение, непрерывное пространство параметров [ править ]

Для нормального распределения, имеющего функцию плотности вероятности${\displaystyle {\mathcal {N}}(\mu ,\sigma ^{2})}$

${\displaystyle f(x\mid \mu ,\sigma ^{2})={\frac {1}{{\sqrt {2\pi \sigma ^{2}}}\ }}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right),}$

соответствующая функция плотности вероятности для выборки из n независимых одинаково распределенных нормальных случайных величин (вероятность) равна

${\displaystyle f(x_{1},\ldots ,x_{n}\mid \mu ,\sigma ^{2})=\prod _{i=1}^{n}f(x_{i}\mid \mu ,\sigma ^{2})=\left({\frac {1}{2\pi \sigma ^{2}}}\right)^{n/2}\exp \left(-{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right).}$

Это семейство распределений имеет два параметра: θ  = ( μ ,  σ ) ; поэтому мы максимизируем вероятность по обоим параметрам одновременно или, если возможно, по отдельности.${\displaystyle {\mathcal {L}}(\mu ,\sigma )=f(x_{1},\ldots ,x_{n}\mid \mu ,\sigma )}$

Поскольку сама функция логарифма является непрерывной строго возрастающей функцией в диапазоне правдоподобия, значения, которые максимизируют вероятность, также будут максимизировать ее логарифм (сама логарифм правдоподобия не обязательно строго возрастает). Логарифм правдоподобия можно записать следующим образом:

${\displaystyle \log {\Bigl (}{\mathcal {L}}(\mu ,\sigma ){\Bigr )}=-{\frac {\,n\,}{2}}\log(2\pi \sigma ^{2})-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}(\,x_{i}-\mu \,)^{2}}$

(Примечание: логарифмическая вероятность тесно связана с информационной энтропией и информацией Фишера .)

Теперь мы вычисляем производные этого логарифмического правдоподобия следующим образом.

${\displaystyle {\begin{aligned}0&={\frac {\partial }{\partial \mu }}\log {\Bigl (}{\mathcal {L}}(\mu ,\sigma ){\Bigr )}=0-{\frac {\;-2\!n({\bar {x}}-\mu )\;}{2\sigma ^{2}}}.\end{aligned}}}$

где - выборочное среднее . Это решается${\displaystyle {\bar {x}}}$

${\displaystyle {\widehat {\mu }}={\bar {x}}=\sum _{i=1}^{n}{\frac {\,x_{i}\,}{n}}.}$

Это действительно максимум функции, поскольку это единственная точка поворота в μ, а вторая производная строго меньше нуля. Его математическое ожидание равно параметру μ данного распределения,

${\displaystyle \operatorname {\mathbb {E} } {\bigl [}\;{\widehat {\mu }}\;{\bigr ]}=\mu ,\,}$

что означает, что оценка максимального правдоподобия несмещена.${\displaystyle {\widehat {\mu }}}$

Аналогично продифференцируем логарифмическую вероятность по σ и приравняем нулю:

${\displaystyle {\begin{aligned}0&={\frac {\partial }{\partial \sigma }}\log {\Bigl (}{\mathcal {L}}(\mu ,\sigma ){\Bigr )}=-{\frac {\,n\,}{\sigma }}+{\frac {1}{\sigma ^{3}}}\sum _{i=1}^{n}(\,x_{i}-\mu \,)^{2}.\end{aligned}}}$

который решается

${\displaystyle {\widehat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}.}$

Подставляя оценку, получаем${\displaystyle \mu ={\widehat {\mu }}}$

${\displaystyle {\widehat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}^{2}-{\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}x_{i}x_{j}.}$

Чтобы вычислить его математическое ожидание, удобно переписать выражение в терминах случайных величин с нулевым средним ( статистическая ошибка ) . Выражение оценки в этих переменных дает${\displaystyle \delta _{i}\equiv \mu -x_{i}}$

${\displaystyle {\widehat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(\mu -\delta _{i})^{2}-{\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}(\mu -\delta _{i})(\mu -\delta _{j}).}$

Упрощая приведенное выше выражение, используя факты, которые и , позволяют нам получить${\displaystyle \operatorname {\mathbb {E} } {\bigl [}\;\delta _{i}\;{\bigr ]}=0}$${\displaystyle \operatorname {E} {\bigl [}\;\delta _{i}^{2}\;{\bigr ]}=\sigma ^{2}}$

${\displaystyle \operatorname {\mathbb {E} } {\bigl [}\;{\widehat {\sigma }}^{2}\;{\bigr ]}={\frac {\,n-1\,}{n}}\sigma ^{2}.}$

Это означает, что оценка смещена. Однако последовательна.${\displaystyle {\widehat {\sigma }}}$${\displaystyle {\widehat {\sigma }}}$

Формально мы говорим , что оценка максимального правдоподобия для является${\displaystyle \theta =(\mu ,\sigma ^{2})}$

${\displaystyle {\widehat {\theta \,}}=\left({\widehat {\mu }},{\widehat {\sigma }}^{2}\right).}$

В этом случае MLE могут быть получены индивидуально. Как правило, это может быть не так, и MLE должны быть получены одновременно.

Нормальная логарифмическая вероятность в максимуме принимает особенно простую форму:

${\displaystyle \log {\Bigl (}{\mathcal {L}}({\widehat {\mu }},{\widehat {\sigma }}){\Bigr )}={\frac {\,-n\;\;}{2}}{\bigl (}\,\log(2\pi {\widehat {\sigma }}^{2})+1\,{\bigr )}}$

Можно показать, что это максимальное логарифмическое правдоподобие одинаково для более общих наименьших квадратов , даже для нелинейных наименьших квадратов . Это часто используется при определении правдоподобия на основе приблизительных доверительных интервалов и доверительные областей , которые обычно более точным , чем те , которые используют асимптотическую нормальность описанную выше.

Несамостоятельные переменные [ править ]

Может случиться так, что переменные коррелированы, то есть не независимы. Две случайные величины и независимы только в том случае, если их совместная функция плотности вероятности является произведением отдельных функций плотности вероятности, т. Е.${\displaystyle y_{1}}$${\displaystyle y_{2}}$

${\displaystyle f(y_{1},y_{2})=f(y_{1})f(y_{2})\,}$

Предположим, кто-то строит гауссовский вектор порядка n из случайных величин , где каждая переменная имеет средние значения, равные . Кроме того, пусть ковариационная матрица обозначается . Совместная функция плотности вероятности этих n случайных величин следует многомерному нормальному распределению, задаваемому формулой:${\displaystyle (y_{1},\ldots ,y_{n})}$${\displaystyle (\mu _{1},\ldots ,\mu _{n})}$${\displaystyle {\mathit {\Sigma }}}$

${\displaystyle f(y_{1},\ldots ,y_{n})={\frac {1}{(2\pi )^{n/2}{\sqrt {\det({\mathit {\Sigma }})}}}}\exp \left(-{\frac {1}{2}}\left[y_{1}-\mu _{1},\ldots ,y_{n}-\mu _{n}\right]{\mathit {\Sigma }}^{-1}\left[y_{1}-\mu _{1},\ldots ,y_{n}-\mu _{n}\right]^{\mathrm {T} }\right)}$

В двумерном случае совместная функция плотности вероятности определяется выражением:

${\displaystyle f(y_{1},y_{2})={\frac {1}{2\pi \sigma _{1}\sigma _{2}{\sqrt {1-\rho ^{2}}}}}\exp \left[-{\frac {1}{2(1-\rho ^{2})}}\left({\frac {(y_{1}-\mu _{1})^{2}}{\sigma _{1}^{2}}}-{\frac {2\rho (y_{1}-\mu _{1})(y_{2}-\mu _{2})}{\sigma _{1}\sigma _{2}}}+{\frac {(y_{2}-\mu _{2})^{2}}{\sigma _{2}^{2}}}\right)\right]}$

В этом и других случаях, когда существует совместная функция плотности, функция правдоподобия определяется, как указано выше, в разделе « Принципы », с использованием этой плотности.

Пример [ править ]

${\displaystyle X_{1},\ X_{2},\ldots ,\ X_{m}}$- счета в ячейках / ящиках от 1 до m; каждая коробка имеет различную вероятность (думаю , из коробки быть больше или меньше) и фиксируем количество шаров , которые падают быть : . Вероятность каждой коробки , с ограничением: . В этом случае s не являются независимыми, совместная вероятность вектора называется полиномиальной и имеет вид:${\displaystyle n}$${\displaystyle x_{1}+x_{2}+\cdots +x_{m}=n}$${\displaystyle p_{i}}$${\displaystyle p_{1}+p_{2}+\cdots +p_{m}=1}$${\displaystyle X_{i}}$ ${\displaystyle x_{1},\ x_{2},\ldots ,x_{m}}$

${\displaystyle f(x_{1},x_{2},\ldots ,x_{m}\mid p_{1},p_{2},\ldots ,p_{m})={\frac {n!}{\Pi x_{i}!}}\Pi p_{i}^{x_{i}}={\binom {n}{x_{1},x_{2},\ldots ,x_{m}}}p_{1}^{x_{1}}p_{2}^{x_{2}}\cdots p_{m}^{x_{m}}}$

Каждый ящик, взятый отдельно от всех остальных, является биномом и является его продолжением.

Логарифмическая вероятность этого:

${\displaystyle \ell (p_{1},p_{2},\ldots ,p_{m})=\log n!-\sum _{i=1}^{m}\log x_{i}!+\sum _{i=1}^{m}x_{i}\log p_{i}}$

Необходимо принять во внимание ограничение и использовать множители Лагранжа:

${\displaystyle L(p_{1},p_{2},\ldots ,p_{m},\lambda )=\ell (p_{1},p_{2},\ldots ,p_{m})+\lambda \left(1-\sum _{i=1}^{m}p_{i}\right)}$

Приравнивая все производные к нулю, получается наиболее естественная оценка

${\displaystyle {\hat {p}}_{i}={\frac {x_{i}}{n}}}$

Максимальное увеличение вероятности журнала с ограничениями и без них может быть неразрешимой проблемой в закрытой форме, тогда мы должны использовать итерационные процедуры.

Итерационные процедуры [ править ]

За исключением особых случаев, уравнения правдоподобия

${\displaystyle {\frac {\partial \ell (\theta ;\mathbf {y} )}{\partial \theta }}=0}$

не может быть решена явно для оценщика . Вместо этого их нужно решать итеративно : начиная с первоначального предположения (скажем ), нужно получить сходящуюся последовательность . Доступно множество методов для такого рода задач оптимизации , ^{[26] [27],} но наиболее часто используемые из них - это алгоритмы, основанные на формуле обновления вида${\displaystyle {\widehat {\theta }}={\widehat {\theta }}(\mathbf {y} )}$${\displaystyle \theta }$${\displaystyle {\widehat {\theta }}_{1}}$${\displaystyle \left\{{\widehat {\theta }}_{r}\right\}}$

${\displaystyle {\widehat {\theta }}_{r+1}={\widehat {\theta }}_{r}+\eta _{r}\mathbf {d} _{r}\left({\widehat {\theta }}\right)}$

где вектор указывает направление спуска в г - м «шаг» и скалярные захватывает «длина шага,» ^{[28] [29]} , также известный как скорости обучения . ^[30]${\displaystyle \mathbf {d} _{r}\left({\widehat {\theta }}\right)}$${\displaystyle \eta _{r}}$

Метод градиентного спуска [ править ]

(Примечание: здесь проблема максимизации, поэтому знак перед градиентом переворачивается)

${\displaystyle \eta _{r}\in \mathbb {R} ^{+}}$ это достаточно мало для сходимости и ${\displaystyle \mathbf {d} _{r}\left({\widehat {\theta }}\right)=\nabla \ell \left({\widehat {\theta }}_{r};\mathbf {y} \right)}$

Метод градиентного спуска требует вычисления градиента на r-й итерации, но не требует вычисления обратной производной второго порядка, то есть матрицы Гессе. Следовательно, он в вычислительном отношении быстрее, чем метод Ньютона-Рафсона.

Метод Ньютона – Рафсона [ править ]

${\displaystyle \eta _{r}=1}$ а также ${\displaystyle \mathbf {d} _{r}\left({\widehat {\theta }}\right)=-\mathbf {H} _{r}^{-1}\left({\widehat {\theta }}\right)\mathbf {s} _{r}\left({\widehat {\theta }}\right)}$

где это оценка и является обратным из матрицы Гессе функции логарифмического правдоподобия, и оценивали г - й итерации. ^{[31] [32]} Но поскольку вычисление матрицы Гессе требует больших вычислительных ресурсов , было предложено множество альтернатив. Популярный алгоритм Берндта – Холла – Холла – Хаусмана аппроксимирует гессиан внешним произведением ожидаемого градиента, так что${\displaystyle \mathbf {s} _{r}({\widehat {\theta }})}$${\displaystyle \mathbf {H} _{r}^{-1}\left({\widehat {\theta }}\right)}$

${\displaystyle \mathbf {d} _{r}\left({\widehat {\theta }}\right)=-\left[{\frac {1}{n}}\sum _{t=1}^{n}{\frac {\partial \ell (\theta ;\mathbf {y} )}{\partial \theta }}\left({\frac {\partial \ell (\theta ;\mathbf {y} )}{\partial \theta }}\right)^{\mathsf {T}}\right]^{-1}\mathbf {s} _{r}\left({\widehat {\theta }}\right)}$

Квазиньютоновские методы [ править ]

В других квазиньютоновских методах используются более сложные обновления секущей для аппроксимации матрицы Гессе.

Формула Дэвидона – Флетчера – Пауэлла [ править ]

Формула DFP находит симметричное, положительно определенное решение, наиболее близкое к текущему приблизительному значению производной второго порядка:

${\displaystyle \mathbf {H} _{k+1}=\left(I-\gamma _{k}y_{k}s_{k}^{\mathsf {T}}\right)\mathbf {H} _{k}\left(I-\gamma _{k}s_{k}y_{k}^{\mathsf {T}}\right)+\gamma _{k}y_{k}y_{k}^{\mathsf {T}},}$

где

${\displaystyle y_{k}=\nabla \ell (x_{k}+s_{k})-\nabla \ell (x_{k}),}$

${\displaystyle \gamma _{k}={\frac {1}{y_{k}^{T}s_{k}}},}$

${\displaystyle s_{k}=x_{k+1}-x_{k}.}$

Алгоритм Бройдена – Флетчера – Гольдфарба – Шанно [ править ]

BFGS также дает решение, которое является симметричным и положительно определенным:

${\displaystyle B_{k+1}=B_{k}+{\frac {y_{k}y_{k}^{\mathsf {T}}}{y_{k}^{\mathsf {T}}s_{k}}}-{\frac {B_{k}s_{k}s_{k}^{\mathsf {T}}B_{k}^{\mathsf {T}}}{s_{k}^{\mathsf {T}}B_{k}s_{k}}}\ ,}$

где

${\displaystyle y_{k}=\nabla \ell (x_{k}+s_{k})-\nabla \ell (x_{k}),}$

${\displaystyle s_{k}=x_{k+1}-x_{k}.}$

Сходимость метода BFGS не гарантируется, если функция не имеет квадратичного разложения Тейлора вблизи оптимума. Тем не менее, BFGS может иметь приемлемую производительность даже для экземпляров неплавной оптимизации.

Оценка Фишера [ править ]

Другой популярный метод - замена гессиана информационной матрицей Фишера , что дает нам алгоритм оценки Фишера. Эта процедура является стандартной при оценке многих методов, таких как обобщенные линейные модели .${\displaystyle {\mathcal {I}}(\theta )=\operatorname {\mathbb {E} } \left[\mathbf {H} _{r}\left({\widehat {\theta }}\right)\right]}$

Несмотря на свою популярность, квазиньютоновские методы могут сходиться к стационарной точке, которая не обязательно является локальным или глобальным максимумом ^[33], а скорее является локальным минимумом или седловой точкой . Следовательно, важно оценить достоверность полученного решения уравнений правдоподобия, проверив, что гессиан, вычисленный в решении, является как отрицательно определенным, так и хорошо обусловленным . ^[34]

История [ править ]

Первыми пользователями с максимальной вероятностью были Карл Фридрих Гаусс , Пьер-Симон Лаплас , Торвальд Н. Тиле и Фрэнсис Исидро Эджворт . ^{[35] [36]} Однако его широкое распространение возросло между 1912 и 1922 годами, когда Рональд Фишер рекомендовал, широко популяризировал и тщательно проанализировал оценку максимального правдоподобия (с бесплодными попытками доказательства ). ^[37]

Оценка максимального правдоподобия наконец вышла за рамки эвристического обоснования в доказательстве, опубликованном Сэмюэлем С. Уилксом в 1938 году, теперь называемом теоремой Уилкса . ^[38] Теорема показывает, что ошибка логарифма значений правдоподобия для оценок из нескольких независимых наблюдений асимптотически χ  2 -распределена , что позволяет удобно определять доверительную область вокруг любой оценки параметров. Единственная сложная часть доказательства Уилкса зависит от ожидаемого значения информационной матрицы Фишера , которое обеспечивается теоремой, доказанной Фишером . ^[39]Уилкс продолжал улучшать общность теоремы на протяжении всей своей жизни, и его наиболее общее доказательство было опубликовано в 1962 году ^[40].

Обзоры разработки метода оценки максимального правдоподобия были предоставлены рядом авторов. ^{[41] [42] [43] [44] [45] [46] [47] [48]}

См. Также [ править ]

Понятия, связанные с данным [ править ]

• Информационный критерий Акаике , критерий сравнения статистических моделей, основанный на MLE.
• Экстремальная оценка , более общий класс оценок, к которому принадлежит MLE.
• Информация Фишера , информационная матрица, ее связь с ковариационной матрицей оценок ML
• Среднеквадратичная ошибка , мера того, насколько `` хороша '' оценка параметра распределения (будь то оценка максимального правдоподобия или какая-либо другая оценка)
• RANSAC , метод оценки параметров математической модели по данным, которые содержат выбросы.
• Теорема Рао – Блэквелла , которая дает процесс нахождения наилучшей возможной несмещенной оценки (в смысле наличия минимальной среднеквадратичной ошибки ); MLE часто является хорошей отправной точкой для процесса
• Теорема Уилкса предоставляет средства для оценки размера и формы области примерно равновероятных оценок значений параметров совокупности, используя информацию из одной выборки, с использованием распределения хи-квадрат.

Другие методы оценки [ править ]

• Обобщенный метод моментов - это методы, относящиеся к уравнению правдоподобия при оценке максимального правдоподобия.
• M-оценка , подход, используемый в надежной статистике
• Максимальная апостериорная оценка (MAP) для контраста в способе вычисления оценок, когда постулируется априорное знание.
• Оценка максимального интервала , связанный метод, который во многих ситуациях более надежен.
• Оценка максимальной энтропии
• Метод моментов (статистика) , еще один популярный метод нахождения параметров распределений.
• Метод опоры , разновидность техники максимального правдоподобия
• Оценка минимального расстояния
• Методы частичного правдоподобия для панельных данных
• Квазимаксимальная оценка правдоподобия, оценка MLE, которая неверно указана, но все же согласована
• Ограниченная максимальная вероятность , вариация с использованием функции правдоподобия, рассчитанной на основе преобразованного набора данных.

Ссылки [ править ]