Распределение с тяжелым хвостом

Эта статья может быть слишком технической, чтобы ее могло понять большинство читателей . Пожалуйста, помогите улучшить его, чтобы он был понятен неспециалистам , не удаляя технические детали. ( Май 2020 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

В теории вероятностей , распределение тяжелых хвостов являются вероятностными распределениями , чьи хвосты не экспоненциально ограничены: ^[1] , то есть они имеют более тяжелые хвосты , чем экспоненциальное распределение . Во многих приложениях интерес представляет правый хвост распределения, но у распределения может быть тяжелый левый хвост или оба хвоста могут быть тяжелыми.

Есть три важных подкласса распределений с тяжелым хвостом: распределения с толстым хвостом, распределения с длинным хвостом и субэкспоненциальные распределения . На практике все обычно используемые распределения с тяжелыми хвостами относятся к субэкспоненциальному классу.

По-прежнему существует некоторое расхождение в использовании термина « тяжелый хвост» . Используются еще два других определения. Некоторые авторы используют этот термин для обозначения тех распределений, у которых не все моменты мощности конечны; и некоторые другие к тем распределениям, которые не имеют конечной дисперсии . Определение, данное в этой статье, является наиболее общим в использовании и включает в себя все распределения, охватываемые альтернативными определениями, а также такие распределения, как логнормальное, которые обладают всеми их силовыми моментами, но которые обычно считаются с тяжелыми хвостами. . (Иногда тяжелый хвост используется для любого распределения, которое имеет более тяжелые хвосты, чем нормальное распределение.)

Определения [ править ]

Определение распределения с тяжелым хвостом [ править ]

Распределение случайной величины X с функцией распределения F называется тяжелым (правым) хвостом, если функция, производящая момент X , M _X ( t ), бесконечна для всех t  > 0. ^[2]

Это означает

${\ displaystyle \ int _ {- \ infty} ^ {\ infty} e ^ {tx} \, dF (x) = \ infty \ quad {\ mbox {для всех}} t> 0.}$ ^[3]

Следствием этого является то, что

${\displaystyle \lim _{x\to \infty }e^{tx}\Pr[X>x]=\infty \quad {\mbox{for all }}t>0.\,}$ ^[2]

Это также записывается в терминах функции распределения хвостов

${\displaystyle {\overline {F}}(x)\equiv \Pr[X>x]\,}$

в качестве

${\displaystyle \lim _{x\to \infty }e^{tx}{\overline {F}}(x)=\infty \quad {\mbox{for all }}t>0.\,}$

Определение длиннохвостого распределения [ править ]

Распределение случайной величины X с функцией распределения F называется длинным правым хвостом ^[1], если для всех t  > 0

${\displaystyle \lim _{x\to \infty }\Pr[X>x+t\mid X>x]=1,\,}$

или эквивалентно

${\displaystyle {\overline {F}}(x+t)\sim {\overline {F}}(x)\quad {\mbox{as }}x\to \infty .\,}$

Это имеет интуитивную интерпретацию для правосторонней распределенной величины с длинным хвостом, согласно которой, если величина с длинным хвостом превышает некоторый высокий уровень, вероятность того, что она превысит любой другой более высокий уровень, приближается к 1.

Все распределения с длинным хвостом имеют тяжелый хвост, но обратное неверно, и можно построить распределения с длинным хвостом, которые не являются длиннохвостыми.

Субэкспоненциальные распределения [ править ]

Субэкспоненциальность определяется в терминах сверток распределений вероятностей . Для двух независимых, одинаково распределенных случайных величин с общей функцией распределения свертка с самой собой представляет собой квадрат свертки с использованием интегрирования Лебега – Стилтьеса по формуле :${\displaystyle X_{1},X_{2}}$${\displaystyle F}$${\displaystyle F}$${\displaystyle F^{*2}}$

${\displaystyle \Pr[X_{1}+X_{2}\leq x]=F^{*2}(x)=\int _{0}^{x}F(x-y)\,dF(y),}$

а n- кратная свертка определяется индуктивно по правилу:${\displaystyle F^{*n}}$

${\displaystyle F^{*n}(x)=\int _{0}^{x}F(x-y)\,dF^{*n-1}(y).}$

Функция распределения хвоста определяется как .${\displaystyle {\overline {F}}}$${\displaystyle {\overline {F}}(x)=1-F(x)}$

Распределение на положительной полупрямой субэкспоненциально ^{[1] [4] [5],} если${\displaystyle F}$

${\displaystyle {\overline {F^{*2}}}(x)\sim 2{\overline {F}}(x)\quad {\mbox{as }}x\to \infty .}$

Это означает , ^[6] , что для любого ,${\displaystyle n\geq 1}$

${\displaystyle {\overline {F^{*n}}}(x)\sim n{\overline {F}}(x)\quad {\mbox{as }}x\to \infty .}$

Вероятностная интерпретация ^[6] этого является то, что для суммы независимых случайных величин с общим распределением ,${\displaystyle n}$ ${\displaystyle X_{1},\ldots ,X_{n}}$${\displaystyle F}$

${\displaystyle \Pr[X_{1}+\cdots +X_{n}>x]\sim \Pr[\max(X_{1},\ldots ,X_{n})>x]\quad {\text{as }}x\to \infty .}$

Это часто называют принципом большого одиночного прыжка ^[7] или принципом катастрофы. ^[8]

Распределение по всей реальной прямой является субэкспоненциальным, если распределение является субэкспоненциальным . ^[9] Вот это функция индикатора положительной полуоси. В качестве альтернативы случайная величина, поддерживаемая на реальной линии, является субэкспоненциальной тогда и только тогда, когда является субэкспоненциальной.${\displaystyle F}$${\displaystyle FI([0,\infty ))}$${\displaystyle I([0,\infty ))}$${\displaystyle X}$${\displaystyle X^{+}=\max(0,X)}$

Все субэкспоненциальные распределения имеют длинный хвост, но могут быть построены примеры длиннохвостых распределений, которые не являются субэкспоненциальными.

Распространенные распределения с тяжелым хвостом [ править ]

Все обычно используемые распределения с тяжелым хвостом являются субэкспоненциальными. ^[6]

К односторонним относятся:

• распределение Парето ;
• Лог-нормальное распределение ;
• распределение Lévy ;
• распределение Вейбулла с параметром формы больше 0 , но меньше , чем 1;
• распределение Burr ;
• лог-логистическое распределение ;
• распределение лог-гамма ;
• распределение Фреше ;
• распределение лог-Коши , иногда описывается как имеющий «супер-тяжелый хвост» , так как он обладает логарифмической распад производящий более тяжелый хвост , чем распределение Парето. ^{[10] [11]}

К двусторонним относятся:

• Распределение Коши само по себе является частным случаем как устойчивого распределения, так и t-распределения;
• Семейство распределений стабильных , ^[12] за исключением особого случая нормального распределения в пределах этого семейства. Некоторые стабильные дистрибутивы являются односторонними (или поддерживаются половинной линией), см., Например, распределение Леви . См. Также финансовые модели с длиннохвостым распределением и кластеризацией волатильности .
• Распределение Стьюдента .
• Асимметричное каскадное распределение. ^[13]

Связь с распределениями с толстым хвостом [ править ]

Распределение курдючного является распределением , при котором функция плотности вероятности, при большом х, стремится к нулю , как сила . Поскольку такая степень всегда ограничена снизу функцией плотности вероятности экспоненциального распределения, распределения с толстыми хвостами всегда имеют тяжелые хвосты. Однако у некоторых распределений есть хвост, который стремится к нулю медленнее, чем экспоненциальная функция (это означает, что они имеют тяжелый хвост), но быстрее, чем степень (что означает, что они не имеют толстого хвоста). Примером может служить логнормальное распределение ^{[ противоречивое ]} . Однако многие другие распределения с «тяжелым хвостом», такие как лог-логистическое распределение и распределение Парето , также имеют «толстый хвост».${\displaystyle x^{-a}}$

Оценка хвостового индекса ^{[ когда он определяется как? ]} [ редактировать ]

Существуют параметрический (см. Эмбрехтс и др. ^[6] ) и непараметрический (см., Например, Новак ^[14] ) подходы к проблеме оценки хвостового индекса.

Для оценки хвостового индекса с использованием параметрического подхода некоторые авторы используют распределение GEV или распределение Парето ; они могут применять оценку максимального правдоподобия (MLE).

Оценщик хвостового индекса Пиканда [ править ]

При случайной последовательности независимых и одинаковых функций плотности область максимального притяжения ^[15] обобщенной плотности экстремальных значений , где . Если и , то оценка хвостового индекса Пикандса равна ^{[6] [15]}${\displaystyle (X_{n},n\geq 1)}$${\displaystyle F\in D(H(\xi ))}$${\displaystyle H}$${\displaystyle \xi \in \mathbb {R} }$${\displaystyle \lim _{n\to \infty }k(n)=\infty }$${\displaystyle \lim _{n\to \infty }{\frac {k(n)}{n}}=0}$

${\displaystyle \xi _{(k(n),n)}^{\text{Pickands}}={\frac {1}{\ln 2}}\ln \left({\frac {X_{(n-k(n)+1,n)}-X_{(n-2k(n)+1,n)}}{X_{(n-2k(n)+1,n)}-X_{(n-4k(n)+1,n)}}}\right)}$

где . Эта оценка сходится по вероятности к .${\displaystyle X_{(n-k(n)+1,n)}=\max \left(X_{n-k(n)+1},\ldots ,X_{n}\right)}$${\displaystyle \xi }$

Оценка индекса хвоста Хилла [ править ]

Пусть - последовательность независимых и одинаково распределенных случайных величин с функцией распределения , максимальная область притяжения обобщенного распределения экстремальных значений , где . Образец путь , где находится образец размера. Если это промежуточная последовательность порядка, то есть , и , затем Хилл хвост Индекс оценки является ^[16]${\displaystyle (X_{t},t\geq 1)}$${\displaystyle F\in D(H(\xi ))}$ ${\displaystyle H}$${\displaystyle \xi \in \mathbb {R} }$${\displaystyle {X_{t}:1\leq t\leq n}}$${\displaystyle n}$${\displaystyle \{k(n)\}}$${\displaystyle k(n)\in \{1,\ldots ,n-1\},}$${\displaystyle k(n)\to \infty }$${\displaystyle k(n)/n\to 0}$

${\displaystyle \xi _{(k(n),n)}^{\text{Hill}}=\left({\frac {1}{k(n)}}\sum _{i=n-k(n)+1}^{n}\ln(X_{(i,n)})-\ln(X_{(n-k(n)+1,n)})\right)^{-1},}$

где это -й порядок статистика о . Эта оценка сходится по вероятности к и является асимптотически нормальной при условии, что она ограничена на основе свойства регулярной вариации более высокого порядка ^[17] . ^[18] Согласованность и асимптотическая нормальность распространяются на большой класс зависимых и разнородных последовательностей, ^{[19] [20]} независимо от того , наблюдаются ли они , вычисленные остатки или отфильтрованные данные из большого класса моделей и оценок, включая неверно указанные модели и модели с ошибками, которые зависят. ^{[21] [22] [23]}${\displaystyle X_{(i,n)}}$${\displaystyle i}$${\displaystyle X_{1},\dots ,X_{n}}$${\displaystyle \xi }$${\displaystyle k(n)\to \infty }$${\displaystyle X_{t}}$Обратите внимание, что оценки хвостового индекса Пиканда и Хилла обычно используют логарифм статистики порядка. ^[24]

Оценка отношения хвостового индекса [ править ]

Оценщик отношения (RE-эстиматор) хвостового индекса был введен Голди и Смитом. ^[25] Он построен аналогично оценке Хилла, но использует неслучайный «параметр настройки».

Сравнение оценок типа Хилла и RE можно найти в Новаке. ^[14]

Программное обеспечение [ править ]

• aest , инструмент C для оценки индекса тяжелого хвоста. ^[26]

Оценка плотности хвостов [ править ]

Непараметрические подходы к оценке функций плотности вероятности с тяжелыми и сверхтяжелыми хвостами были даны в Марковиче. ^[27]Это подходы, основанные на переменной полосе пропускания и оценках ядра с длинным хвостом; о предварительном преобразовании данных в новую случайную величину через конечные или бесконечные интервалы, что более удобно для оценки, а затем обратного преобразования полученной оценки плотности; и "подход сборки по кусочкам", который обеспечивает определенную параметрическую модель для хвоста плотности и непараметрическую модель для аппроксимации режима плотности. Для непараметрических оценок требуется соответствующий выбор параметров настройки (сглаживания), таких как ширина полосы частот ядерных оценок и ширина ячейки гистограммы. Хорошо известными методами такого выбора, основанными на данных, являются перекрестная проверка и ее модификации, методы, основанные на минимизации среднеквадратичной ошибки (MSE) и ее асимптотики, а также их верхних границ.^[28]Метод расхождения, который использует хорошо известные непараметрические статистики, такие как статистика Колмогорова-Смирнова, фон Мизеса и Андерсона-Дарлинга, в качестве метрики в пространстве функций распределения (dfs) и квантилей более поздних статистик как известная неопределенность или значение расхождения, может быть найдено в. ^[27] Bootstrap - это еще один инструмент для поиска параметров сглаживания с использованием аппроксимации неизвестной MSE с помощью различных схем выбора повторной выборки, см., например, ^[29]

См. Также [ править ]

• Лептокуртическое распределение
• Обобщенное распределение экстремальных значений
• Обобщенное распределение Парето
• Выброс
• Длинный хвост
• Сила закона
• Семь состояний случайности
• Распределение жирных хвостов
  • Распределение Талеб и Святой Грааль распределение

Ссылки [ править ]