Метод Штейна - это общий метод теории вероятностей для получения оценок расстояния между двумя распределениями вероятностей относительно метрики вероятности . Он был введен Чарльзом Стейном , который впервые опубликовал его в 1972 году [1], чтобы получить оценку между распределением суммы-зависимая последовательность случайных величин и стандартное нормальное распределение в колмогоровской (равномерной) метрике и, следовательно, для доказательства не только центральной предельной теоремы , но и оценок скорости сходимости для данной метрики.
История
В конце 1960-х годов, неудовлетворенный известными к тому времени доказательствами конкретной центральной предельной теоремы , Чарльз Стейн для своей лекции по статистике разработал новый способ доказательства теоремы . [2] Его основополагающая статья была представлена в 1970 году на шестом симпозиуме в Беркли и опубликована в соответствующих трудах. [1]
Позже его докторская степень. студент Луи Чен Сяо Юнь модифицировал метод, чтобы получить результаты аппроксимации для распределения Пуассона ; [3] поэтому метод Стейна, применяемый к проблеме пуассоновской аппроксимации, часто называют методом Стейна-Чена .
Вероятно, наиболее важным вкладом является монография Штейна (1986), в которой он представляет свой взгляд на метод и концепцию вспомогательной рандомизации , в частности с использованием заменяемых пар , а также статьи Барбура (1988) и Гетце (1991), представила так называемую интерпретацию генератора , которая позволила легко адаптировать метод ко многим другим распределениям вероятностей. Важным вкладом была также статья Болтхаузена (1984) о так называемой комбинаторной центральной предельной теореме . [ необходима цитата ]
В 1990-х годах этот метод был адаптирован к множеству распределений, таким как гауссовские процессы Барбура (1990), биномиальное распределение Эмом (1991), пуассоновские процессы Барбура и Брауна (1992), гамма-распределение Люка (1994). , и много других.
Базовый подход
Вероятностные метрики
Метод Штейна - это способ ограничить расстояние между двумя распределениями вероятностей с помощью определенной метрики вероятности .
Пусть метрика задана в виде
Здесь, а также вероятностные меры на измеримом пространстве , а также случайные величины с распределением а также соответственно, - обычный оператор ожидания и это набор функций из к набору действительных чисел. Набордолжен быть достаточно большим, чтобы приведенное выше определение действительно давало метрику .
Важными примерами являются метрика общей вариации , где мы позволяемсостоят из всех индикаторных функций измеримых множеств, метрики Колмогорова (равномерной) для вероятностных мер на действительных числах, где мы рассматриваем все индикаторные функции полупрямой, и метрики Липшица (Вассерштейна первого порядка; Канторовича) , где лежащая в основе пространство само является метрическим пространством, и мы берем множествобыть всеми липшицевыми функциями с липшицевой константой 1. Однако заметим, что не всякая метрика может быть представлена в виде (1.1).
В дальнейшем представляет собой сложное распределение (например, распределение суммы зависимых случайных величин), которое мы хотим аппроксимировать гораздо более простым и управляемым распределением (например, стандартное нормальное распределение).
Оператор Штейна
Предположим теперь, что распределение фиксированное распределение; в дальнейшем мы, в частности, рассмотрим случай, когда - стандартное нормальное распределение, которое служит классическим примером.
В первую очередь нам понадобится оператор , действующий на функции из множеству действительных чисел и 'характеризует' распределение в том смысле, что имеет место следующая эквивалентность:
Мы называем такой оператор оператором Штейна .
Для стандартного нормального распределения лемма Стейна дает такой оператор:
Таким образом, мы можем взять
Таких операторов, вообще говоря, бесконечно много, и вопрос о том, какой из них выбрать, остается открытым. Однако кажется, что для многих распределений есть особенно хорошее , например (2.3) для нормального распределения.
Есть разные способы найти операторы Штейна. [4]
Уравнение Штейна
близко к относительно если разность ожиданий в (1.1) близка к 0. Теперь мы надеемся, что оператор демонстрирует то же поведение: если тогда , и, надеюсь, если у нас есть .
Обычно можно определить функцию такой, что
Мы называем (3.1) уравнением Штейна . Замена от и ожидая в отношении , мы получили
Теперь все усилия окупаются, только если левую часть (3.2) легче связать, чем правую. Как ни странно, так бывает часто.
Если - стандартное нормальное распределение, и мы используем (2.3), то соответствующее уравнение Стейна имеет вид
Если вероятностное распределение Q имеет абсолютно непрерывную (относительно меры Лебега) плотность q, то [4]
Решение уравнения Штейна
Аналитические методы . Уравнение (3.3) легко решается явно:
Генераторный метод . Если является генератором марковского процесса (см. Barbour (1988), Götze (1991)), тогда решение (3.2) есть
где обозначает ожидание по отношению к процессу начат в . Однако еще предстоит доказать, что решение (4.2) существует для всех искомых функций.
Свойства решения уравнения Штейна.
Обычно стараются дать границы и его производные (или отличия) с точки зрения и его производные (или разности), то есть неравенства вида
для некоторых конкретных (обычно или же соответственно, в зависимости от вида оператора Штейна), где часто - норма супремума. Здесь,обозначает дифференциальный оператор , но в дискретных настройках обычно относится к разностному оператору . Константы может содержать параметры распределения . Если они есть, их часто называют факторами Штейна .
В случае (4.1) для нормы супремума можно доказать, что
где последняя оценка, конечно, применима, только если дифференцируемо (или, по крайней мере, липшицево, что, например, не так, если мы рассматриваем метрику полной вариации или метрику Колмогорова!). Поскольку стандартное нормальное распределение не имеет дополнительных параметров, в этом конкретном случае константы не содержат дополнительных параметров.
Если у нас есть оценки в общей форме (5.1), мы обычно можем рассматривать многие вероятностные метрики вместе. Часто можно начать со следующего шага ниже, если границы вида (5.1) уже доступны (что имеет место для многих распределений).
Абстрактная аппроксимационная теорема
Теперь мы можем ограничить левую часть (3.1). Поскольку этот шаг сильно зависит от формы оператора Штейна, мы непосредственно рассматриваем случай стандартного нормального распределения.
На этом этапе мы могли напрямую подключить случайную переменную , которое мы хотим аппроксимировать, и попытаемся найти верхнюю границу. Однако часто бывает полезно сформулировать более общую теорему. Рассмотрим здесь случай локальной зависимости.
Предположить, что представляет собой сумму случайных величин таких, что и дисперсия . Предположим, что для каждого, есть набор , такое что не зависит от всех случайных величин с участием . Мы называем это множество "окрестностью". Так же пусть быть набором таким, что все с участием независимы от всех , . Мы можем думать о как соседи по соседству с , так сказать, район второго порядка. Для набора теперь определите сумму .
Используя разложение Тейлора, можно доказать, что
Отметим, что, если мы будем следовать этой линии рассуждений, мы сможем оценить (1.1) только для функций, где ограничена в силу третьего неравенства (5.2) (и действительно, если имеет разрывы, так будет ). Чтобы получить оценку, аналогичную (6.1), которая содержит только выражения а также аргумент гораздо сложнее, а результат не так прост, как (6.1); однако это можно сделать.
Теорема А . Если как описано выше, для липшицевой метрики что
Доказательство . Напомним, что липшицева метрика имеет вид (1.1) где функции липшицевы с константой Липшица 1, поэтому . Объединение этого с (6.1) и последней оценкой в (5.2) доказывает теорему.
Таким образом, грубо говоря, мы доказали, что для вычисления липшицевости расстояния между со структурой локальной зависимости и стандартным нормальным распределением нам нужно знать только третьи моменты и размер кварталов а также .
Применение теоремы
Мы можем рассматривать случай сумм независимых и одинаково распределенных случайных величин с помощью теоремы A.
Предположить, что , а также . Мы можем взять. Из теоремы A получаем, что
Для сумм случайных величин другой подход, связанный с методом Штейнса, известен как преобразование нулевого смещения .
Подключения к другим методам
- Устройство Линдеберга . Линдеберг (1922) представил устройство, в котором разница
представлен в виде суммы пошаговых различий.
- Метод Тихомирова . Ясно, что подход, основанный на (1.1) и (3.1), не использует характеристические функции . Однако Тихомиров (1980) представил доказательство центральной предельной теоремы, основанное на характеристических функциях и дифференциальном операторе, аналогичном (2.3). Основное наблюдение состоит в том, что характеристическая функция стандартного нормального распределения удовлетворяет дифференциальному уравнению для всех . Таким образом, если характеристическая функция из таково, что мы ожидаем, что и, следовательно, что близка к нормальному распределению. Тихомиров утверждает в своей статье, что его вдохновила основополагающая статья Штейна.
Смотрите также
Заметки
- ^ а б Стейн, К. (1972). «Граница ошибки нормального приближения к распределению суммы зависимых случайных величин» . Труды Шестого симпозиума Беркли по математической статистике и теории вероятностей, Том 2 . Калифорнийский университет Press . С. 583–602. Руководство по ремонту 0402873 . Zbl 0278.60026 .
- ^ Чарльз Штайн: инвариант, прямой и «претенциозный». Архивировано 5 июля 2007 г. в Wayback Machine . Интервью, данное в 2003 году в Сингапуре
- ^ Чен, LHY (1975). «Пуассоновское приближение для зависимых испытаний» . Анналы вероятности . 3 (3): 534–545. DOI : 10.1214 / AOP / 1176996359 . JSTOR 2959474 . Руководство по ремонту 0428387 . Zbl 0335.60016 .
- ^ а б Новак, SY (2011). Методы экстремальной ценности с приложениями к финансам . Монографии по статистике и прикладной теории вероятностей. 122 . CRC Press . Гл. 12. ISBN 978-1-43983-574-6.
Рекомендации
- Барбур, AD (1988). «Метод Штейна и сходимость пуассоновского процесса». Журнал прикладной теории вероятностей . 25 : 175–184. DOI : 10.2307 / 3214155 . JSTOR 3214155 .
- Барбур, AD (1990). «Метод Штейна для диффузионных приближений». Теория вероятностей и смежные области . 84 (3): 297–322. DOI : 10.1007 / BF01197887 .
- Барбур, А. Д. и Браун, Т. К. (1992). «Метод Штейна и аппроксимация точечных процессов». Случайные процессы и их приложения . 43 (1): 9–31. DOI : 10.1016 / 0304-4149 (92) 90073-Y .
- Больтаузен, Э. (1984). «Оценка остатка в комбинаторной центральной предельной теореме». Zeitschrift für Wahrscheinlichkeitstheorie und verwandte Gebiete . 66 (3): 379–386. DOI : 10.1007 / BF00533704 .
- Эм, В. (1991). «Биномиальное приближение к биномиальному распределению Пуассона». Статистика и вероятностные письма . 11 (1): 7–16. DOI : 10.1016 / 0167-7152 (91) 90170-V .
- Гётце, Ф. (1991). «О скорости сходимости в многомерной CLT» . Летопись вероятности . 19 (2): 724–739. DOI : 10.1214 / AOP / 1176990448 .
- Линдеберг, JW (1922). "Eine neue Herleitung des Exponentialgesetzes in der Wahrscheinlichkeitsrechung" . Mathematische Zeitschrift . 15 (1): 211–225. DOI : 10.1007 / BF01494395 .
- Лук, HM (1994). Метод Штейна для гамма-распределения и связанные с ним статистические приложения . Диссертация.
- Новак, SY (2011). Экстремальные методы с приложениями для финансирования . Монографии по статистике и прикладной теории вероятностей. 122 . CRC Press . ISBN 978-1-43983-574-6.
- Стейн, К. (1986). Примерный расчет ожиданий . Конспект лекций-Серия монографий. 7 . Институт математической статистики . ISBN 0-940600-08-0.
- Тихомиров, АН (1980). «Скорость сходимости в центральной предельной теореме для слабо зависимых случайных величин». Теория вероятностей и ее применения . 25 : 800–818. Английский перевод в Тихомиров, АН (1981). «О скорости сходимости в центральной предельной теореме для слабозависимых случайных величин». Теория вероятностей и ее приложения . 25 (4): 790–809. DOI : 10.1137 / 1125092 .
Литература
Следующий текст является расширенным и дает исчерпывающий обзор нормального случая.
- Чен, LHY, Голдштейн, Л., и Шао, QM (2011). Нормальное приближение по методу Штейна . www.springer.com. ISBN 978-3-642-15006-7.CS1 maint: несколько имен: список авторов ( ссылка )
Еще одна продвинутая книга, но имеющая некоторый вводный характер, - это
- изд. Барбур, А.Д. и Чен, LHY (2005). Введение в метод Штейна . Серия конспектов лекций, Институт математических наук, Национальный университет Сингапура. 4 . Издательство Сингапурского университета. ISBN 981-256-280-Х.CS1 maint: несколько имен: список авторов ( ссылка ) CS1 maint: дополнительный текст: список авторов ( ссылка )
Стандартный справочник - книга Штейна,
- Стейн, К. (1986). Примерный расчет ожиданий . Конспект лекций Института математической статистики, серия монографий, 7. Хейворд, Калифорния: Институт математической статистики. ISBN 0-940600-08-0.
который содержит много интересного материала, но может быть немного трудным для понимания при первом чтении.
Несмотря на свой возраст, существует несколько стандартных вводных книг о методе Штейна. В следующем недавнем учебнике есть глава (глава 2), посвященная введению метода Штейна:
- Росс, Шелдон и Пекез, Эрол (2007). Второй вариант вероятности . ISBN 978-0-9795704-0-7.
Хотя книга
- Барбур, А.Д., Холст, Л. и Янсон, С. (1992). Пуассоновское приближение . Оксфордские исследования вероятностей. 2 . Clarendon Press Oxford University Press. ISBN 0-19-852235-5.CS1 maint: несколько имен: список авторов ( ссылка )
по большей части относится к приближению Пуассона, тем не менее, он содержит много информации о подходе генератора, в частности, в контексте приближения процесса Пуассона.
В следующем учебнике есть глава (глава 10), посвященная введению метода Пуассона Штейна:
- Шелдон М. Росс (1995). Случайные процессы . Вайли. ISBN 978-0471120629.