Оценка максимального интервала

Метод максимального интервала пытается найти такую ​​функцию распределения, чтобы интервалы D _{( i )} были примерно одинаковой длины. Это достигается за счет максимизации их среднего геометрического .

В статистических данных , оценка максимального расстояния ( СКО или ССП ), или максимальное произведение интервал оценки (MPS) , представляет собой способ оценки параметров одномерной статистической модели . ^[1] Способ требует максимизации среднего геометрического от расстояний в данных, которые являются различия между значениями интегральной функции распределения на соседних точек данных.

Концепция, лежащая в основе метода, основана на интегральном преобразовании вероятностей , в котором набор независимых случайных выборок, полученных из любой случайной величины, должен в среднем быть равномерно распределен относительно кумулятивной функции распределения случайной величины. Метод MPS выбирает значения параметров, которые делают наблюдаемые данные как можно более однородными, в соответствии с конкретной количественной мерой однородности.

Один из наиболее распространенных методов оценки параметров распределения на основе данных, метод максимального правдоподобия (MLE), может давать сбой в различных случаях, например при использовании определенных смесей непрерывных распределений. ^[2] В этих случаях может оказаться успешным метод оценки максимального интервала.

Помимо его использования в чистых математиках и статистике, пробные применения метода были сообщены с использованием данных из таких областей, как гидрология , ^[3] эконометрика , ^[4] магнитно - резонансной томографии , ^[5] и других. ^[6]

История и использование [ править ]

Метод MSE был разработан независимо Расселом Ченгом и Ником Амином из Института науки и технологий Уэльского университета и Бо Раннеби из Шведского университета сельскохозяйственных наук . ^[2] Авторы объяснили, что из-за интегрального преобразования вероятности при истинном параметре «интервал» между каждым наблюдением должен быть равномерно распределен. Это означало бы, что разница между значениями кумулятивной функции распределения при последовательных наблюдениях должна быть одинаковой. Это тот случай, который максимизирует среднее геометрическое таких интервалов, поэтому решение для параметров, которые максимизируют среднее геометрическое, приведет к достижению «наилучшего» соответствия, как определено таким образом.Раннеби (1984) обосновал этот метод, продемонстрировав, что это оценка дивергенции Кульбака – Лейблера , аналогичная оценке максимального правдоподобия , но с более надежными свойствами для некоторых классов задач.

Существуют определенные распределения, особенно с тремя или более параметрами, чьи вероятности могут стать бесконечными на определенных путях в пространстве параметров . Использование максимальной вероятности для оценки этих параметров часто не работает, когда один параметр стремится к определенному значению, которое приводит к бесконечности вероятности, что делает другие параметры несовместимыми. Однако метод максимальных интервалов, зависящий от разницы между точками кумулятивной функции распределения, а не индивидуальных точек правдоподобия, не имеет этой проблемы и будет возвращать достоверные результаты по гораздо более широкому набору распределений. ^[1]

Распределения, которые имеют тенденцию к проблемам правдоподобия, часто используются для моделирования физических явлений. Холл и др. (2004) стремятся проанализировать методы борьбы с наводнениями, для чего требуются точные модели воздействия наводнений на реки. Распределения, которые лучше моделируют эти эффекты, представляют собой трехпараметрические модели, которые страдают от проблемы бесконечного правдоподобия, описанной выше, что привело к исследованию Холлом процедуры максимального разнесения. Вонг и Ли (2006) , сравнивая метод с максимальной вероятностью, использовали различные наборы данных, начиная от набора самых старых возрастов смерти в Швеции между 1905 и 1958 годами до набора, содержащего максимальные годовые скорости ветра.

Определение [ править ]

Для iid случайной выборки { x ₁ , ..., x _n } размера n из одномерного распределения с непрерывной кумулятивной функцией распределения F ( x ; θ ₀ ), где θ ₀ ∈ Θ - неизвестный параметр, который необходимо оценить , пусть { x ₍₁₎ , ..., x _{( n )} } - соответствующая упорядоченная выборка, которая является результатом сортировки всех наблюдений от наименьшего к наибольшему. Для удобства обозначим также x ₍₀₎= −∞ и x _{( n +1)} = + ∞.

Определите интервалы как «промежутки» между значениями функции распределения в соседних упорядоченных точках: ^[7]

${\displaystyle D_{i}(\theta )=F(x_{(i)};\,\theta )-F(x_{(i-1)};\,\theta ),\quad i=1,\ldots ,n+1.}$

Тогда максимальное расстояние между оценщик от & thetas ; ₀ определяется как значение , которое максимизирует логарифм от среднего геометрического выборочных расстояний:

${\displaystyle {\hat {\theta }}={\underset {\theta \in \Theta }{\operatorname {arg\,max} }}\;S_{n}(\theta ),\quad {\text{where }}\ S_{n}(\theta )=\ln \!\!{\sqrt[{n+1}]{D_{1}D_{2}\cdots D_{n+1}}}={\frac {1}{n+1}}\sum _{i=1}^{n+1}\ln {D_{i}}(\theta ).}$

В силу неравенства среднего арифметического и геометрического , функция S _n ( θ ) ограничена сверху величиной −ln ( n +1), поэтому максимум должен существовать, по крайней мере, в смысле супремума .

Отметим, что некоторые авторы определяют функцию S _n ( θ ) несколько иначе. В частности, Ranneby (1984) умножает каждый D _я на коэффициенте ( п + 1), тогда как Ченг и Стивенс (1989) опускает ¹ / _{п +1} фактора в передней части суммы и добавить - знак в «» чтобы превратить максимизацию в минимизацию. Поскольку это константы по отношению к θ , модификации не изменяют положение максимума функции S _n .

Примеры [ править ]

В этом разделе представлены два примера расчета оценки максимального интервала.

Пример 1 [ править ]

Предположим, что два значения x ₍₁₎ = 2, x ₍₂₎ = 4 были взяты из экспоненциального распределения F ( x ; λ ) = 1 - e ^{- xλ} , x ≥ 0 с неизвестным параметром λ > 0. Для построения MSE мы должны сначала найти интервалы:

Процесс продолжается путем нахождения λ, которое максимизирует среднее геометрическое значение столбца «разность». Используя соглашение, игнорирующее получение корня ( n +1) -го, это превращается в максимизацию следующего произведения: (1 - e ^{−2 λ} ) · (e ^{−2 λ} - e ^{−4 λ} ) · (e ^{−4 λ} ). Полагая μ = e ^{−2 λ} , задача сводится к нахождению максимума μ ⁵ −2 μ ⁴ + μ ³ . Дифференцируя, μ должно удовлетворять 5 μ ⁴ −8 μ³ +3 μ ² = 0. Это уравнение имеет корни 0, 0,6 и 1. Поскольку μ на самом деле является e ^{−2 λ} , оно должно быть больше нуля, но меньше единицы. Поэтому единственное приемлемое решение -

${\displaystyle \mu =0.6\quad \Rightarrow \quad \lambda _{\text{MSE}}={\frac {\ln 0.6}{-2}}\approx 0.255,}$

что соответствует экспоненциальному распределению со средним значением ¹ / _Л ≈ 3.915. Для сравнения: оценка максимального правдоподобия λ является обратной величиной выборочного среднего, 3, поэтому λ _MLE = ⅓ ≈ 0,333.

Пример 2 [ править ]

Предположим, что { x ₍₁₎ , ..., x _{( n )} } - это упорядоченная выборка из равномерного распределения U ( a , b ) с неизвестными конечными точками a и b . Кумулятивная функция распределения равна F ( x ; a , b ) = ( x - a ) / ( b - a ), когда x ∈ [ a , b ]. Таким образом, индивидуальные интервалы задаются выражением

${\displaystyle D_{1}={\frac {x_{(1)}-a}{b-a}},\ \ D_{i}={\frac {x_{(i)}-x_{(i-1)}}{b-a}}\ {\text{for }}i=2,\ldots ,n,\ \ D_{n+1}={\frac {b-x_{(n)}}{b-a}}\ \ }$

Вычисляя среднее геометрическое и затем логарифмируя, статистика S _n будет равна

${\displaystyle S_{n}(a,b)={\tfrac {1}{n+1}}\ln(x_{(1)}-a)+\sum _{i=2}^{n}\ln(x_{(i)}-x_{(i-1)})+{\tfrac {1}{n+1}}\ln(b-x_{(n)})-\ln(b-a)}$

Здесь только три члена зависят от параметров a и b . Дифференцируя по этим параметрам и решая полученную линейную систему, максимальные оценки интервалов будут

${\displaystyle {\hat {a}}={\frac {nx_{(1)}-x_{(n)}}{n-1}},\ \ {\hat {b}}={\frac {nx_{(n)}-x_{(1)}}{n-1}}.}$

Это, как известно, несмещенные оценки с равномерно минимальной дисперсией (UMVU) для непрерывного равномерного распределения. ^[1] Для сравнения, оценки максимального правдоподобия для этой проблемы и подпружинены и имеют более высокий средний квадрат ошибки .${\displaystyle \scriptstyle {\hat {a}}=x_{(1)}}$${\displaystyle \scriptstyle {\hat {b}}=x_{(n)}}$

Свойства [ править ]

Последовательность и эффективность [ править ]

Оценщик максимального интервала является последовательным оценщиком в том смысле, что он сходится по вероятности к истинному значению параметра θ ₀ , когда размер выборки увеличивается до бесконечности. ^[2] Согласованность оценки максимального интервала сохраняется при гораздо более общих условиях, чем для оценок максимального правдоподобия . В частности, в случаях, когда базовое распределение имеет J-образную форму, максимальная вероятность не удастся, если MSE будет успешным. ^[1] Примером J-образной плотности является распределение Вейбулла , в частности, сдвинутый Вейбулл , с параметром формы меньше 1. Плотность будет стремиться к бесконечности, посколькуx приближается к параметру местоположения, делая оценки других параметров несовместимыми.

Оценщики максимального интервала также, по крайней мере, асимптотически эффективны, как и оценщики максимального правдоподобия, если последние существуют. Однако MSE могут существовать в тех случаях, когда MLE отсутствуют. ^[1]

Чувствительность [ править ]

Оценщики максимального разнесения чувствительны к близко разнесенным наблюдениям, особенно к привязкам. ^[8] Учитывая

${\displaystyle X_{i+k}=X_{i+k-1}=\cdots =X_{i},\,}$

мы получили

${\displaystyle D_{i+k}(\theta )=D_{i+k-1}(\theta )=\cdots =D_{i+1}(\theta )=0.\,}$

Когда связи происходят из-за нескольких наблюдений, повторяющиеся интервалы (те, которые в противном случае были бы нулевыми) должны быть заменены соответствующей вероятностью. ^[1] То есть, следует заменить на , как и${\displaystyle f_{i}(\theta )}$${\displaystyle D_{i}(\theta )}$

${\displaystyle \lim _{x_{i}\to x_{i-1}}{\frac {\int _{x_{i-1}}^{x_{i}}f(t;\theta )\,dt}{x_{i}-x_{i-1}}}=f(x_{i-1},\theta )=f(x_{i},\theta ),}$

с тех пор .${\displaystyle x_{i}=x_{i-1}}$

Когда связи возникают из-за ошибки округления, Cheng & Stephens (1989) предлагают другой метод устранения эффектов. ^{[примечание 1]} Учитывая r связанных наблюдений от x _i до x _{i + r −1} , пусть δ представляет ошибку округления . Тогда все истинные значения должны попадать в диапазон . Соответствующие точки распределения должны теперь находиться между и . Ченг и Стивенс предлагают предположить, что округленные значения равномерно распределены в этом интервале, определяя${\displaystyle x\pm \delta }$${\displaystyle y_{L}=F(x-\delta ,{\hat {\theta }})}$${\displaystyle y_{U}=F(x+\delta ,{\hat {\theta }})}$

${\displaystyle D_{j}={\frac {y_{U}-y_{L}}{r-1}}\quad (j=i+1,\ldots ,i+r-1).}$

Метод MSE также чувствителен к вторичной кластеризации. ^[8] Одним из примеров этого явления является случай, когда считается, что набор наблюдений исходит из одного нормального распределения , но на самом деле происходит из смеси нормалей с разными средними значениями. Второй пример - это когда считается, что данные получены из экспоненциального распределения , но на самом деле получены из гамма-распределения . В последнем случае в нижней части хвоста могут быть меньшие расстояния. Высокое значение M ( θ ) указывало бы на этот вторичный эффект кластеризации и предполагало бы необходимость более внимательного изучения данных. ^[8]

Тест Морана [ править ]

Статистика S _n ( θ ) также является формой статистики Морана или Морана-Дарлинга, M ( θ ), которую можно использовать для проверки согласия . ^{[примечание 2]} Было показано, что статистика, определяемая как

${\displaystyle S_{n}(\theta )=M_{n}(\theta )=-\sum _{j=1}^{n+1}\ln {D_{j}(\theta )},}$

является асимптотически нормальным , и что существует хи-квадрат приближение для малых выборок. ^[8] В случае, когда мы знаем истинный параметр , Cheng & Stephens (1989) показывают, что статистика имеет нормальное распределение с${\displaystyle \theta ^{0}}$${\displaystyle \scriptstyle M_{n}(\theta )}$

${\displaystyle {\begin{aligned}\mu _{M}&\approx (n+1)(\ln(n+1)+\gamma )-{\frac {1}{2}}-{\frac {1}{12(n+1)}},\\\sigma _{M}^{2}&\approx (n+1)\left({\frac {\pi ^{2}}{6}}-1\right)-{\frac {1}{2}}-{\frac {1}{6(n+1)}},\end{aligned}}}$

где γ - постоянная Эйлера – Маскерони , приблизительно равная 0,57722. ^{[заметка 3]}

Распределение также можно аппроксимировать распределением , где${\displaystyle A}$

${\displaystyle A=C_{1}+C_{2}\chi _{n}^{2}\,}$,

в котором

${\displaystyle {\begin{aligned}C_{1}&=\mu _{M}-{\sqrt {\frac {\sigma _{M}^{2}n}{2}}},\\C_{2}&={\sqrt {\frac {\sigma _{M}^{2}}{2n}}},\\\end{aligned}}}$

и где следует распределение хи-квадрат со степенями свободы . Следовательно, чтобы проверить гипотезу о том, что случайная выборка значений происходит из распределения , можно вычислить статистику . Затем следует отклонить со значимостью, если значение больше критического значения соответствующего распределения хи-квадрат. ^[8]${\displaystyle \chi _{n}^{2}}$${\displaystyle n}$ ${\displaystyle H_{0}}$${\displaystyle n}$${\displaystyle F(x,\theta )}$${\displaystyle T(\theta )={\frac {M(\theta )-C_{1}}{C_{2}}}}$${\displaystyle H_{0}}$ ${\displaystyle \alpha }$

Где θ ₀ оценивается , Cheng & Stephens (1989) показали, что оно имеет такое же асимптотическое среднее значение и дисперсию, что и в известном случае. Однако используемый тестовый статистический показатель требует добавления поправочного члена смещения и составляет:${\displaystyle {\hat {\theta }}}$${\displaystyle S_{n}({\hat {\theta }})=M_{n}({\hat {\theta }})}$

${\displaystyle T({\hat {\theta }})={\frac {M({\hat {\theta }})+{\frac {k}{2}}-C_{1}}{C_{2}}},}$

где - количество параметров в оценке.${\displaystyle k}$

Обобщенный максимальный интервал [ править ]

Альтернативные меры и интервалы [ править ]

Раннеби и Экстрём (1997) обобщили метод MSE для аппроксимации других мер, помимо меры Кульбака – Лейблера. Экстрём (1997) дополнительно расширил этот метод, чтобы исследовать свойства оценок с использованием интервалов более высокого порядка, где интервал m- порядка будет определяться как .${\displaystyle F(X_{j+m})-F(X_{j})}$

Многовариантные распределения [ править ]

Раннеби и др. (2005) обсуждают расширенные методы максимального интервала для многомерного случая. Поскольку нет естественного порядка для , они обсуждают два альтернативных подхода: геометрический подход, основанный на ячейках Дирихле, и вероятностный подход, основанный на метрике «шар ближайшего соседа».${\displaystyle \mathbb {R} ^{k}(k>1)}$

См. Также [ править ]

• Дивергенция Кульбака – Лейблера.
• Максимальная вероятность
• Распределение вероятностей

Заметки [ править ]

Ссылки [ править ]

Цитаты [ править ]

Процитированные работы [ править ]