В теории вероятностей и статистике , то экспоненциальное распределение является распределение вероятностей времени между событиями в пуассоновском точечном процессе , то есть процесс , в котором события происходят непрерывно и независимо друг от друга с постоянной средней скоростью. Это частный случай гамма-распределения . Это непрерывный аналог геометрического распределения , и его ключевое свойство - отсутствие памяти . Помимо того, что он используется для анализа точечных процессов Пуассона, он встречается в различных других контекстах.
Функция плотности вероятности | |||
Кумулятивная функция распределения | |||
Параметры | ставка, или обратная шкала | ||
---|---|---|---|
Служба поддержки | |||
CDF | |||
Квантиль | |||
Иметь в виду | |||
Медиана | |||
Режим | |||
Дисперсия | |||
Асимметрия | |||
Бывший. эксцесс | |||
Энтропия | |||
MGF | |||
CF | |||
Информация Fisher | |||
Расхождение Кульбака-Лейблера |
Экспоненциальное распределение - это не то же самое, что класс экспоненциальных семейств распределений, который представляет собой большой класс вероятностных распределений, который включает экспоненциальное распределение в качестве одного из его членов, но также включает нормальное распределение , биномиальное распределение , гамма-распределение , Пуассон , и много других.
Определения
Функция плотности вероятности
Функция плотности вероятности (pdf) экспоненциального распределения имеет вид
Здесь λ > 0 - параметр распределения, часто называемый параметром скорости . Распределение поддерживается на интервале [0, ∞). Если случайная величина X имеет это распределение, мы пишем X ~ Exp ( λ ).
Экспоненциальное распределение демонстрирует бесконечную делимость .
Кумулятивная функция распределения
Интегральная функция распределения задается
Альтернативная параметризация
Экспоненциальное распределение иногда параметризуется с помощью параметра масштаба β = 1 / λ , который также является средним:
Характеристики
Среднее, дисперсия, моменты и медиана
Среднее или ожидаемое значение экспоненциально распределенной случайной величины X с параметром скорости λ определяется выражением
В свете примеров, приведенных ниже , это имеет смысл: если вы получаете телефонные звонки со средней скоростью 2 в час, то вы можете ожидать полчаса для каждого звонка.
Дисперсия из X задается
поэтому стандартное отклонение равно среднему.
В моменты из X , для даны
В центральные моменты из X , для даны
где ! п является subfactorial из п
Медианный из X задается
где ln обозначает натуральный логарифм . Таким образом, абсолютная разница между средним и медианным значением составляет
в соответствии с неравенством среднего среднего .
Без памяти
Экспоненциально распределенная случайная величина T подчиняется соотношению
Это можно увидеть, рассматривая дополнительную кумулятивную функцию распределения :
Когда T интерпретируется как время ожидания возникновения события относительно некоторого начального времени, это соотношение подразумевает, что, если T обусловлено невозможностью наблюдения за событием в течение некоторого начального периода времени s , распределение оставшегося времени ожидания совпадает с исходным безусловным распределением. Например, если событие не произошло через 30 секунд, условная вероятность того, что возникновение займет еще не менее 10 секунд, равна безусловной вероятности наблюдения события более чем через 10 секунд после начального времени.
Экспоненциальное распределение и геометрическое распределение - единственные распределения вероятностей без памяти .
Следовательно, экспоненциальное распределение также обязательно является единственным непрерывным распределением вероятностей, которое имеет постоянную интенсивность отказов .
Квантили
Функция квантиля (обратная кумулятивная функция распределения) для Exp ( λ ) равна
Таким образом, квартилями являются:
- первый квартиль: ln (4/3) / λ
- медиана : ln (2) / λ
- третий квартиль: ln (4) / λ
И, как следствие, межквартильный размах равен ln (3) / λ .
Дивергенция Кульбака – Лейблера.
Направлено Кульбак-Либлер расхождение в нац из («аппроксимирующее» распределение) от («истинное» распределение) определяется как
Максимальное распределение энтропии
Среди всех непрерывных распределений вероятностей с опорой [0, ∞) и средним μ экспоненциальное распределение с λ = 1 / μ имеет наибольшую дифференциальную энтропию . Другими словами, это максимальное распределение вероятностей энтропии для случайной переменной X, которая больше или равна нулю и для которой E [ X ] фиксировано. [1]
Распределение минимума экспоненциальных случайных величин
Пусть X 1 , ..., X n - независимые экспоненциально распределенные случайные величины со скоростными параметрами λ 1 , ..., λ n . потом
также имеет экспоненциальное распределение с параметром
Это можно увидеть, рассматривая дополнительную кумулятивную функцию распределения :
Индекс переменной, которая достигает минимума, распределяется согласно категориальному распределению.
Доказательство выглядит следующим образом:
Обратите внимание, что
не распределяется экспоненциально. [2]
Совместные моменты экспоненциальной порядковой статистики iid
Позволять быть независимые и одинаково распределенные экспоненциальные случайные величины с параметром скорости λ . Позволятьобозначают соответствующую статистику порядка . Для , совместный момент статистики заказов а также дан кем-то
Это можно увидеть, применив закон полного ожидания и свойство без памяти:
Первое уравнение следует из закона полного ожидания . Второе уравнение использует тот факт, что если мы поставим условие, должно следовать, что . Третье уравнение полагается на свойство без памяти для замены с участием .
Сумма двух независимых экспоненциальных случайных величин
Функция распределения вероятностей (PDF) суммы двух независимых случайных величин представляет собой свертку их индивидуальных PDF . Если а также являются независимыми экспоненциальными случайными величинами с соответствующими параметрами скорости а также то плотность вероятности дан кем-то
Энтропия этого распределения доступна в закрытой форме: при условии, что (без ограничения общности), то
где - постоянная Эйлера-Маскерони , аэто функция дигаммы . [3]
В случае равных параметров скорости результатом является распределение Эрланга с формой 2 и параметромчто, в свою очередь, является частным случаем гамма-распределения .
Связанные дистрибутивы
- Если тогда | X - μ | ~ Exp (β).
- Если X ~ Парето (1, λ), то log ( X ) ~ Exp (λ).
- Если X ~ SkewLogistic (θ), то.
- Если X i ~ U (0, 1), то
- Экспоненциальное распределение - это предел масштабированного бета-распределения :
- Экспоненциальное распределение - это частный случай распределения Пирсона 3-го типа .
- Если X ~ Exp (λ) и X i ~ Exp (λ i ), то:
- , закрытие при масштабировании на положительный фактор.
- 1 + X ~ Benktander Weibull (λ, 1), который сводится к усеченному экспоненциальному распределению.
- ke X ~ Парето ( k , λ).
- е -X ~ Beta (λ, 1).
- 1/kе X ~ PowerLaw ( k , λ)
- , распределение Рэлея
- , распределение Вейбулла
- μ - β log (λ X ) ∼ Gumbel (μ, β) .
- , геометрическое распределение на 0,1,2,3, ...
- , геометрическое распределение на 1,2,3,4, ...
- Если также Y ~ Erlang ( n , λ) или тогда
- Если также λ ~ Gamma ( k , θ) (форма, параметризация масштаба), то маргинальное распределение X равно Lomax ( k , 1 / θ), гамма- смесь
- λ 1 X 1 - λ 2 Y 2 ~ Лаплас (0, 1) .
- min { X 1 , ..., X n } ~ Exp (λ 1 + ... + λ n ).
- Если также λ i = λ, то:
- Erlang ( k , λ) = Gamma ( k , λ −1 ) = Gamma ( k , λ) (в параметризации ( k , θ) и (α, β) соответственно) с целочисленным параметром формы k.
- X i - X j ~ Лаплас (0, λ - 1 ).
- Если также X i независимы, то:
- ~ U (0, 1)
- имеет функцию плотности вероятности . Это можно использовать для получения доверительного интервала для.
- Если также λ = 1:
- , логистическая дистрибуция
- μ - σ log ( X ) ~ GEV (μ, σ, 0) .
- Далее, если тогда ( К-распределение )
- Если также λ = 1/2, то X ∼ χ2
2; т.е. X имеет распределение хи-квадрат с 2 степенями свободы . Следовательно:
- Если а также ~ Пуассон ( X ), тогда( геометрическое распределение )
- Распределение Хойта может быть получено из экспоненциального распределения и распределения арксинуса
Другие связанные дистрибутивы:
- Гиперэкспоненциальное распределение - распределение, плотность которого представляет собой взвешенную сумму экспоненциальных плотностей.
- Гипоэкспоненциальное распределение - распределение общей суммы экспоненциальных случайных величин.
- exGaussian распределение - сумма экспоненциального распределения и нормального распределения .
Статистические выводы
Ниже предположим, что случайная величина X экспоненциально распределена с параметром скорости λ, иявляются п независимые выборок из X , с выборочным средним.
Оценка параметров
Оценка максимального правдоподобия для λ строится следующим образом:
Функция правдоподобия для λ, учитывая независимую и одинаково распределенную выборку x = ( x 1 , ..., x n ), взятую из переменной, составляет:
где:
- выборочное среднее.
Производная логарифма функции правдоподобия:
Следовательно, оценка максимального правдоподобия для параметра скорости составляет:
Это не несмещенная оценка из хотя является несмещенной [4] MLE [5] оценкой и среднее значение распределения.
Предвзятость равно
что дает скорректированную смещением оценку максимального правдоподобия
Приближенный минимизатор ожидаемой квадратичной ошибки
Предположим, у вас есть как минимум три образца. Если мы ищем минимизатор ожидаемой среднеквадратичной ошибки (см. Также: Компромисс смещения и дисперсии ), который аналогичен оценке максимального правдоподобия (то есть мультипликативной поправке к оценке правдоподобия), мы имеем:
Это выводится из среднего значения и дисперсии обратного гамма-распределения :. [6]
Информация Fisher
Информация Фишера , обозначенная, для оценки параметра скорости дается как:
Подключение раздачи и решения дает:
Это определяет количество информации, которую несет каждый независимый образец экспоненциального распределения о неизвестном параметре скорости. .
Доверительные интервалы
Доверительный интервал 100 (1 - α)% для параметра скорости экспоненциального распределения определяется следующим образом: [7]
что также равно:
где χ2
п , вявляется 100 ( р ) процентиля в распределение хи-квадрат с v степенями свободы , п число наблюдений раз между прибытия в образце, и х-бар средний образец. Простое приближение к точным конечным точкам интервала можно получить, используя нормальное приближение к χ2
п , враспределение. Это приближение дает следующие значения для 95% доверительного интервала:
Это приближение может быть приемлемым для образцов, содержащих не менее 15-20 элементов. [8]
Байесовский вывод
Конъюгат до экспоненциального распределения является гамма - распределение (из которых экспоненциальное распределение является частным случаем). Полезна следующая параметризация функции плотности гамма-вероятности:
Затем апостериорное распределение p может быть выражено через функцию правдоподобия, определенную выше, и априорную гамму:
Теперь апостериорная плотность p задана с точностью до отсутствующей нормирующей константы. Поскольку он имеет форму гамма-PDF, его можно легко заполнить и получить:
Здесь гиперпараметр α можно интерпретировать как количество предыдущих наблюдений, а β как сумму предыдущих наблюдений. Апостериорное значение здесь:
Возникновение и приложения
Возникновение событий
Экспоненциальное распределение возникает естественным образом при описании длительностей времен между приходами в однородном пуассоновском процессе .
Экспоненциальное распределение можно рассматривать как непрерывный аналог геометрического распределения , которое описывает количество попыток Бернулли, необходимых для изменения состояния дискретного процесса. Напротив, экспоненциальное распределение описывает время, в течение которого непрерывный процесс меняет состояние.
В реальных сценариях предположение о постоянной скорости (или вероятности в единицу времени) редко выполняется. Например, скорость входящих телефонных звонков зависит от времени суток. Но если мы сосредоточимся на временном интервале, в течение которого скорость примерно постоянна, например, с 14 до 16 часов в рабочие дни, экспоненциальное распределение можно использовать в качестве хорошей приблизительной модели для времени до следующего телефонного звонка. Подобные предостережения применимы к следующим примерам, которые дают приблизительно экспоненциально распределенные переменные:
- Время до распада радиоактивной частицы или время между щелчками счетчика Гейгера
- Время до следующего телефонного звонка
- Время до дефолта (по выплате держателям долга компании) в сокращенной форме Моделирование кредитного риска
Экспоненциальные переменные также можно использовать для моделирования ситуаций, когда определенные события происходят с постоянной вероятностью на единицу длины, например расстояние между мутациями в цепи ДНК или между авариями на дороге.
В теории очередей время обслуживания агентов в системе (например, сколько времени требуется кассиру банка и т. Д. Для обслуживания клиента) часто моделируется как экспоненциально распределенные переменные. (Прибытие заявок, например, также моделируется распределением Пуассона, если поступления независимы и распределяются одинаково.) Продолжительность процесса, который можно представить как последовательность нескольких независимых задач, следует распределению Эрланга (которое является распределением суммы нескольких независимых переменных с экспоненциальным распределением). Теория надежности и надежность техники также широко использовать экспоненциальное распределение. Из-за того, что это распределение не имеет памяти , оно хорошо подходит для моделирования участка кривой ванны с постоянным уровнем опасности, используемого в теории надежности. Это также очень удобно, потому что в модель надежности очень легко добавить интенсивность отказов . Однако экспоненциальное распределение не подходит для моделирования общего срока службы организмов или технических устройств, потому что «интенсивность отказов» здесь непостоянна: больше отказов происходит как для очень молодых, так и для очень старых систем.
В физике , если вы наблюдаете газ при фиксированной температуре и давлении в однородном гравитационном поле , высота различных молекул также подчиняется приблизительному экспоненциальному распределению, известному как барометрическая формула . Это следствие упомянутого ниже свойства энтропии.
В гидрологии экспоненциальное распределение используется для анализа экстремальных значений таких переменных, как месячные и годовые максимальные значения суточных осадков и объемов речного стока. [10]
- На синем рисунке показан пример подгонки экспоненциального распределения к ранжированным годовым максимальным однодневным осадкам, показывающий также пояс уверенности 90% на основе биномиального распределения . Данные об осадках представлены в виде точек на графике как часть кумулятивного частотного анализа .
Прогноз
Наблюдая за выборкой из n точек данных из неизвестного экспоненциального распределения, общей задачей является использование этих выборок для прогнозирования будущих данных из того же источника. Распространенным прогнозирующим распределением по будущим выборкам является так называемое дополнительное распределение, формируемое путем включения подходящей оценки параметра скорости λ в экспоненциальную функцию плотности. Обычный выбор оценки - это оценка, обеспечиваемая принципом максимального правдоподобия, и использование этого дает прогнозирующую плотность для будущей выборки x n +1 , обусловленную наблюдаемыми выборками x = ( x 1 , ..., x n ) дано
Байесовский подход обеспечивает прогнозирующее распределение, которое учитывает неопределенность оцениваемого параметра, хотя это может существенно зависеть от выбора априорного значения.
Прогностическое распределение, свободное от проблем выбора априорных значений, возникающих при субъективном байесовском подходе, является
что можно рассматривать как
- частотное доверительное распределение , полученное из распределения ключевой величины; [11]
- прогнозируемую вероятность профиля, полученную путем исключения параметра λ из совместной вероятности x n +1 и λ путем максимизации; [12]
- объективное байесовское прогнозирующее апостериорное распределение, полученное с использованием неинформативного априорного распределения Джеффри 1 / λ ;
- прогнозирующее распределение условного нормализованного максимального правдоподобия (CNML), исходя из теоретических соображений. [13]
Точность прогнозирующего распределения может быть измерена с использованием расстояния или расхождения между истинным экспоненциальным распределением с параметром скорости λ 0 и прогнозируемым распределением на основе выборки x . Дивергенции Кульбака-Либлер является широко используемым, параметризация свободный мерой разности двух распределений. Обозначив Δ ( λ 0 || p ) расхождение Кульбака – Лейблера между экспонентой с параметром скорости λ 0 и прогнозным распределением p, можно показать, что
где математическое ожидание берется относительно экспоненциального распределения с параметром скорости λ 0 ∈ (0, ∞) , а ψ (·) - дигамма-функция. Ясно, что прогнозирующее распределение CNML строго превосходит распределение плагинов максимального правдоподобия с точки зрения среднего расхождения Кульбака – Лейблера для всех размеров выборки n > 0 .
Вычислительные методы
Генерация экспоненциальных переменных
Концептуально очень простой метод генерации экспоненциальных переменных основан на выборке с обратным преобразованием : для заданной случайной переменной U, взятой из равномерного распределения на единичном интервале (0, 1), переменная
имеет экспоненциальное распределение, где F −1 - функция квантиля , определяемая формулой
Более того, если U равномерно на (0, 1), то и 1 - U равномерно . Это означает, что можно генерировать экспоненциальные переменные следующим образом:
Другие методы генерации экспоненциальных переменных обсуждаются Кнутом [14] и Деврой. [15]
Также доступен быстрый метод создания набора готовых экспоненциальных переменных без использования процедуры сортировки. [15]
Смотрите также
- Мертвое время - применение экспоненциального распределения к анализу детектора частиц.
- Распределение Лапласа , или «двойное экспоненциальное распределение».
- Отношения между распределениями вероятностей
- Экспоненциальное распределение Маршалла – Олкина.
Рекомендации
- ^ Park, Sung Y .; Бера, Анил К. (2009). "Модель условной гетероскедастичности авторегрессии максимальной энтропии" (PDF) . Журнал эконометрики . Эльзевьер: 219–230. Архивировано из оригинального (PDF) 07 марта 2016 года . Проверено 2 июня 2011 .
- ^ Майкл, Луго. «Ожидание максимума экспонент» (PDF) . Архивировано из оригинального (PDF) 20 декабря 2016 года . Проверено 13 декабря +2016 .
- ^ Экфорд, Эндрю В .; Томас, Питер Дж. (2016). «Энтропия суммы двух независимых, неодинаково распределенных экспоненциальных случайных величин». arXiv : 1609.02911 .
- ^ Ричард Арнольд Джонсон; Дин В. Уичерн (2007). Прикладной многомерный статистический анализ . Пирсон Прентис Холл. ISBN 978-0-13-187715-3. Проверено 10 августа 2012 года .
- ^ Электронный справочник статистических методов NIST / SEMATECH
- ^ Эльфесси, Абдулазиз; Рейнеке, Дэвид М. (2001). «Байесовский взгляд на классическую оценку: экспоненциальное распределение» . Журнал статистики образования . 9 (1). DOI : 10.1080 / 10691898.2001.11910648 .
- ^ Росс, Шелдон М. (2009). Введение в вероятность и статистику для инженеров и ученых (4-е изд.). Ассошиэйтед Пресс. п. 267. ISBN. 978-0-12-370483-2.
- ^ Герриеро, В. (2012). "Распределение степенного закона: метод многомасштабной логической статистики" . Журнал современной математики Frontier (JMMF) . 1 : 21–28.
- ^ «Cumfreq, бесплатная компьютерная программа для кумулятивного частотного анализа» .
- ^ Ритзема (ред.), HP (1994). Частотный и регрессионный анализ . Глава 6 в: Принципы и применение дренажа, Публикация 16, Международный институт мелиорации и улучшения земель (ILRI), Вагенинген, Нидерланды. С. 175–224 . ISBN 90-70754-33-9.CS1 maint: дополнительный текст: список авторов ( ссылка )
- ^ Лоулесс, JF; Фредетт, М. (2005). «Частотные предсказания интервалов и предсказывающих распределений» . Биометрика . 92 (3): 529–542. DOI : 10.1093 / Biomet / 92.3.529 .
- ^ Бьорнстад, Дж. Ф. (1990). «Прогнозируемое правдоподобие: обзор» . Статист. Sci . 5 (2): 242–254. DOI : 10,1214 / сс / 1177012175 .
- ^ DF Schmidt и E. Makalic, « Универсальные модели для экспоненциального распределения », IEEE Transactions on Information Theory , Volume 55, Number 7, pp. 3087–3090, 2009 doi : 10.1109 / TIT.2009.2018331
- ^ Дональд Э. Кнут (1998). Искусство программирования , том 2: получисловые алгоритмы , 3-е изд. Бостон: Аддисон – Уэсли. ISBN 0-201-89684-2 . См. Раздел 3.4.1, с. 133.
- ^ a b Люк Деврой (1986). Генерация неоднородной случайной величины . Нью-Йорк: Springer-Verlag. ISBN 0-387-96305-7 . См. Главу IX , раздел 2, стр. 392–401.
Внешние ссылки
- "Экспоненциальное распределение" , Энциклопедия математики , EMS Press , 2001 [1994]
- Онлайн-калькулятор экспоненциального распределения