В теории вероятностей , теории больших отклонений относится асимптотическое поведение удаленных хвостами последовательностей вероятностных распределений. Хотя некоторые основные идеи теории можно проследить до Лапласа , формализация началась со страховой математики, а именно с теории разорения с Крамером и Лундбергом . Единая формализация теории больших уклонений была разработана в 1966 году в статье Варадхана . [1] Теория больших уклонений формализует эвристические идеи концентрации мер и широко обобщает понятие сходимости вероятностных мер .
Грубо говоря, теория больших отклонений занимается экспоненциальным снижением вероятностных показателей определенных видов экстремальных или хвостовых событий.
Вводные примеры
Элементарный пример
Рассмотрим последовательность независимых подбрасываний честной монеты. Возможный исход может быть орлом или решкой. Обозначим возможный исход i-го судебного разбирательства через, где мы кодируем голову как 1 и хвост как 0. Теперь пусть обозначают среднее значение после судебные процессы, а именно
- .
потом лежит между 0 и 1. Из закона больших чисел следует, что с ростом N распределение сходится к (ожидаемая стоимость одного подбрасывания монеты).
Более того, по центральной предельной теореме следует, что приблизительно нормально распределяется для больших . Центральная предельная теорема может предоставить более подробную информацию о поведениичем закон больших чисел. Например, мы можем приблизительно найти хвостовую вероятность, , что больше, чем , для фиксированного значения. Однако приближение центральной предельной теоремой может быть неточным, если далеко от пока не достаточно большой. Кроме того, он не предоставляет информацию о сходимости вероятностей хвоста, поскольку. Однако теория больших отклонений может дать ответы на такие проблемы.
Уточним это утверждение. Для заданного значения, вычислим хвостовую вероятность. Определять
- .
Обратите внимание, что функция - выпуклая неотрицательная функция, равная нулю при и увеличивается как подходы . Это отрицательная величина энтропии Бернулли с; то, что это подходит для подбрасывания монеты, следует из свойства асимптотического равнораспределения, примененного к испытанию Бернулли . Тогда по неравенству Чернова можно показать, что. [2] Эта оценка довольно точна в том смысле, что нельзя заменить на большее число, которое привело бы к строгому неравенству для всех положительных . [3] (Однако экспоненциальную оценку все же можно уменьшить на субэкспоненциальный множитель порядка; это следует из приближения Стирлинга, примененного к биномиальному коэффициенту, входящему в распределение Бернулли .) Следовательно, мы получаем следующий результат:
- .
Вероятность экспоненциально затухает как со скоростью, зависящей от x . Эта формула аппроксимирует любую хвостовую вероятность выборочного среднего значений переменных iid и дает его сходимость по мере увеличения количества выборок.
Большие отклонения для сумм независимых случайных величин
В приведенном выше примере подбрасывания монеты мы явно предполагали, что каждое подбрасывание - это независимое испытание, и вероятность получить голову или хвост всегда одинакова.
Позволять быть независимыми и одинаково распределенными (iid) случайными величинами, общее распределение которых удовлетворяет определенному условию роста. Тогда существует следующий предел:
- .
Здесь
- ,
как прежде.
Функция называется « функцией скорости » или «функцией Крамера», а иногда и «функцией энтропии».
Вышеупомянутый предел означает, что для больших ,
- ,
что является основным результатом теории больших уклонений. [4] [5]
Если мы знаем распределение вероятностей можно получить явное выражение для функции скорости. Это дается преобразованием Лежандра – Фенхеля , [6]
- ,
где
называется кумулянтной производящей функцией (CGF) иобозначает математическое ожидание .
Если следует нормальному распределению , функция скорости становится параболой с вершиной в среднем нормальном распределении.
Если является цепью Маркова , то может иметь место изложенный выше вариант основного результата о больших уклонениях. [ необходима цитата ]
Формальное определение
Учитывая польское пространство позволять - последовательность вероятностных борелевских мер на, пусть последовательность положительных действительных чисел такая, что , и, наконец, пусть- полунепрерывный снизу функционал на Последовательность считается, что удовлетворяет принципу большого отклонения от скорости и оценить тогда и только тогда, когда для каждого измеримого по Борелю множества ,
- ,
где а также обозначают соответственно замыкание и внутренность из. [ необходима цитата ]
Краткая история
Первые строгие результаты, касающиеся больших отклонений, были получены шведским математиком Харальдом Крамером , который применил их для моделирования страхового бизнеса. [7] С точки зрения страховой компании, ежемесячный доход фиксируется (ежемесячная премия), но претензии поступают случайным образом. Чтобы компания была успешной в течение определенного периода времени (желательно много месяцев), общая прибыль должна превышать общую сумму требований. Таким образом, чтобы оценить премию, необходимо задать следующий вопрос: «Что выбрать в качестве премии? так что за месяцев общая претензия должно быть меньше чем ? " Это явно тот же вопрос, который задает теория больших отклонений. Крамер дал решение этого вопроса для iid случайных величин , где функция скорости выражается в виде степенного ряда .
Очень неполный список математиков, добившихся важных успехов, включает Петрова , [8] Санова , [9 ] С.С. Варадхана (который получил премию Абеля за свой вклад в теорию), Д. Руэля , О. Э. Ланфорда , Амира Дембо , и Офер Зейтуни . [10]
Приложения
Принципы больших отклонений могут быть эффективно применены для сбора информации из вероятностной модели. Таким образом, теория больших отклонений находит свое применение в теории информации и управлении рисками . В физике наиболее известные приложения теории больших уклонений возникают в термодинамике и статистической механике (в связи с установлением связи энтропии с функцией скорости).
Большие отклонения и энтропия
Функция скорости связана с энтропией в статистической механике. Эвристически это можно увидеть следующим образом. В статистической механике энтропия конкретного макросостояния связана с количеством микросостояний, которое соответствует этому макросостоянию. В нашем примере с подбрасыванием монеты среднее значениеможет обозначать конкретное макросостояние. И особая последовательность орла и решки, которая дает начало определенному значениюобразует особое микрогосударство. Грубо говоря, макросостояние, имеющее большее количество вызывающих его микросостояний, имеет более высокую энтропию. А состояние с более высокой энтропией имеет больше шансов быть реализованным в реальных экспериментах. Макросостояние со средним значением 1/2 (столько же орлов, сколько хвостов) имеет наибольшее количество микросостояний, порождающих его, и это действительно состояние с самой высокой энтропией. И в большинстве практических ситуаций мы действительно получим это макросостояние для большого количества испытаний. С другой стороны, «функция скорости» измеряет вероятность появления определенного макросостояния. Чем меньше функция скорости, тем выше вероятность появления макросостояния. В нашем подбрасывании монеты значение «функции курса» для среднего значения, равного 1/2, равно нулю. Таким образом, можно рассматривать «функцию скорости» как отрицательную величину «энтропии».
Существует связь между «функцией скорости» в теории больших уклонений и дивергенцией Кульбака – Лейблера , эта связь устанавливается теоремой Санова (см. Санов [9] и Новак, [11] гл. 14.5).
В частном случае большие отклонения тесно связаны с понятием пределов Громова – Хаусдорфа . [12]
Смотрите также
- Принцип большого отклонения
- Теорема Крамера о большом уклонении
- Неравенство Чернова
- Теорема Санова
- Принцип сжатия (теория больших отклонений) , результат того, как принципы больших отклонений « продвигаются вперед »
- Теорема Фрейдлина – Вентцелля , принцип больших уклонений для диффузий It
- Принцип Лапласа, принцип больших уклонений в R d
- Метод Лапласа
- Теорема Шильдера , принцип больших уклонений для броуновского движения
- Лемма Варадхана
- Теория экстремальных ценностей
- Большие отклонения гауссовских случайных функций
Рекомендации
- ^ SRS Varadhan, Асимптотические вероятности и дифференциальные уравнения , Comm. Pure Appl. Математика. 19 (1966), 261-286.
- ^ "Большие отклонения для анализа производительности: очереди, связь и вычисления", Шварц, Адам, 1953 - TN: 1228486
- ^ Варадхан, SRS, Летопись вероятности 2008, Vol. 36, № 2, 397–419, [1]
- ^ http://math.nyu.edu/faculty/varadhan/Spring2012/Chapters1-2.pdf
- ^ SRS Varadhan, Большие отклонения и приложения (SIAM, Филадельфия, 1984)
- ^ Touchette, Хьюго (1 июля 2009). «Подход больших уклонений в статистической механике». Отчеты по физике . 478 (1–3): 1–69. arXiv : 0804.0327 . Bibcode : 2009PhR ... 478 .... 1T . DOI : 10.1016 / j.physrep.2009.05.002 .
- ^ Крамера, H. (1944). О новой предельной теореме теории вероятностей. Успехи математических наук, (10), 166-178.
- ^ Петров В.В. (1954) Обобщение предельной теоремы Крамера. Успехи Матем. Наук, т. 9, No 4 (62), 195--202.
- ^ a b Санов И.Н. (1957) О вероятности больших отклонений случайных величин. Матем. Сборник, т. 42 (84), 11--44.
- ^ Дембо А., и Зейтунь, О. (2009). Техника больших отклонений и приложения (Том 38). Springer Science & Business Media
- ^ Новак SY (2011) Экстремальные методы ценности с приложениями к финансам. Чепмен и Холл / CRC Press. ISBN 978-1-4398-3574-6 .
- ^ Котани М., Сунада Т. Большое отклонение и касательный конус на бесконечности кристаллической решетки , Матем. Z. 254, (2006), 837-870.
Библиография
- Специальная приглашенная статья: «Большие отклонения». Автор: SRS Varadhan The Annals of Probability 2008, Vol. 36, № 2, 397-419 DOI : 10,1214 / 07-AOP348
- Энтропия, большие отклонения и статистическая механика. Автор RS Ellis, Springer Publication. ISBN 3-540-29059-1
- Большие отклонения для анализа производительности Алана Вайса и Адама Шварца. Чепмен и Холл ISBN 0-412-06311-5
- Методы больших отклонений и их применение Амир Дембо и Офер Зейтуни. Springer ISBN 0-387-98406-2
- Случайные возмущения динамических систем М. И. Фрейдлина и А. Д. Вентцелля. Springer ISBN 0-387-98362-7
- «Большие уклонения для двумерного уравнения Навье-Стокса с мультипликативным шумом», С.С. Шритаран, П. Сундар, Стохастические процессы и их приложения, Vol. 116 (2006) 1636–1659. [2]
- «Большие отклонения для модели турбулентности со стохастической оболочкой», У. Манна, С.С. Шритаран, П. Сундар, NoDEA Nonlinear Differential Equations Appl. 16 (2009), нет. 4, 493–521. [3]
Внешние ссылки
- Элементарное введение в теорию больших уклонений