В теории вероятностей существует несколько различных понятий сходимости случайных величин . Конвергенция из последовательностей от случайных величин к некоторому пределу случайной величины является важным понятием в теории вероятностей и ее приложения к статистике и случайным процессам . Те же концепции известны в более общей математике как стохастическая сходимость.и они формализуют идею о том, что иногда можно ожидать, что последовательность по существу случайных или непредсказуемых событий установится в поведение, которое по существу не меняется при изучении элементов, находящихся достаточно далеко в последовательности. Различные возможные понятия сходимости относятся к тому, как можно охарактеризовать такое поведение: два легко понимаемых поведения заключаются в том, что последовательность в конечном итоге принимает постоянное значение и что значения в последовательности продолжают изменяться, но могут быть описаны неизменным распределением вероятностей.
Фон [ править ]
«Стохастическая конвергенция» формализует идею о том, что иногда можно ожидать, что последовательность существенно случайных или непредсказуемых событий превратится в шаблон. Например, шаблон может быть
- Сходимость в классическом смысле к фиксированному значению, возможно, сама являющаяся результатом случайного события.
- Растущее сходство результатов с тем, что произвела бы чисто детерминированная функция.
- Растущее предпочтение определенному результату
- Растущее "отвращение" к тому, чтобы далеко отклониться от определенного результата.
- Распределение вероятностей, описывающее следующий исход, может становиться все более похожим на определенное распределение.
Некоторые менее очевидные, более теоретические закономерности могут быть
- Что ряд, сформированный путем вычисления ожидаемого значения расстояния результата от определенного значения, может сходиться к 0
- Что дисперсия случайной величины, описывающей следующее событие, становится все меньше и меньше.
Эти другие типы шаблонов, которые могут возникнуть, отражены в различных типах стохастической сходимости, которые были изучены.
Хотя приведенное выше обсуждение относилось к сходимости одного ряда к предельному значению, понятие сходимости двух рядов по отношению друг к другу также важно, но с этим легко справиться, изучив последовательность, определяемую либо как разность, либо как отношение из двух серий.
Например, если среднее значение n независимых случайных величин Y i , i = 1, ..., n , имеющих одинаковое конечное среднее значение и дисперсию , задается выражением
тогда, когда n стремится к бесконечности, X n сходится по вероятности (см. ниже) к общему среднему μ случайных величин Y i . Этот результат известен как слабый закон больших чисел . Другие формы сходимости важны в других полезных теоремах, включая центральную предельную теорему .
Далее мы предполагаем, что ( X n ) - это последовательность случайных величин, а X - случайная величина, и все они определены в одном вероятностном пространстве .
Конвергенция в распределении[ редактировать ]
Фабрика игральных костей | |
---|---|
Предположим, только что построили новую фабрику игральных костей. Первые несколько игральных костей получаются довольно предвзятыми из-за несовершенства производственного процесса. Результат выбрасывания любого из них будет иметь распределение, заметно отличающееся от желаемого равномерного распределения . По мере совершенствования фабрики игральные кости становятся все менее и менее загруженными, а результаты подбрасывания только что произведенной кости будут все более и более точно соответствовать равномерному распределению. | |
Подбрасывание монет | |
Пусть X n будет долей орлов после подбрасывания несмещенной монеты n раз. Тогда X 1 имеет распределение Бернулли с математическим ожиданием μ = 0,5 и дисперсией σ 2 = 0,25 . Все последующие случайные величины X 2 , X 3 , ... будут распределены биномиально . По мере увеличения n это распределение будет постепенно приобретать форму, все более похожую на колоколообразную кривую нормального распределения. Если мы сдвинем и изменим масштаб X nсоответственно, тогда будет сходиться по распределению к стандартной нормали, результат, который следует из знаменитой центральной предельной теоремы . | |
Графический пример | |
Предположим, что { X i } - последовательность идентификаторов однородных U (−1, 1) случайных величин. Позвольте быть их (нормализованными) суммами. Тогда согласно центральной предельной теореме распределение Z n приближается к нормальному N (0,1/3) распространение. Эта сходимость показана на рисунке: с увеличением n форма функции плотности вероятности приближается к гауссовой кривой. |
При таком способе сходимости мы все больше ожидаем увидеть следующий результат в последовательности случайных экспериментов, которые все лучше и лучше моделируются заданным распределением вероятностей .
Сходимость в распределении - это самая слабая форма сходимости, которую обычно обсуждают, поскольку она подразумевается всеми другими типами сходимости, упомянутыми в этой статье. Однако на практике очень часто используется конвергенция распределения; чаще всего возникает из-за применения центральной предельной теоремы .
Определение [ править ]
Говорят, что последовательность X 1 , X 2 , ... вещественных случайных величин сходится по распределению , или сходится слабо , или сходится по закону к случайной величине X, если
для каждого числа , на которых F является непрерывным . Здесь F n и F - кумулятивные функции распределения случайных величин X n и X соответственно.
Требование, чтобы учитывались только точки непрерывности F , является существенным. Например, если X n распределены равномерно на интервалах (0,1/п) , то эта последовательность сходится по распределению к вырожденной случайной величине X = 0 . В самом деле, F n ( x ) = 0 для всех n, когда x ≤ 0 , и F n ( x ) = 1 для всех x ≥1/пкогда n > 0 . Однако для этой предельной случайной величины F (0) = 1 , даже если F n (0) = 0 для всех n . Таким образом, сходимость cdfs не выполняется в точке x = 0, где F разрывной.
Сходимость распределения можно обозначить как
( 1 )
где закон (распределение вероятностей) из X . Например, если X является стандартным нормальным, мы можем писать .
Для случайных векторов { X 1 , X 2 , ...} ⊂ R k сходимость по распределению определяется аналогично. Мы говорим, что эта последовательность сходится по распределению к случайному k -вектору X, если
для каждого A ⊂ R к , который является множеством непрерывности из X .
Определение сходимости в распределении может быть расширено от случайных векторов до более общих случайных элементов в произвольных метрических пространствах и даже до «случайных величин», которые не поддаются измерению - ситуация, которая возникает, например, при изучении эмпирических процессов . Это «слабая сходимость законов без определения законов» - кроме асимптотической. [1]
В этом случае предпочтительнее термин слабая сходимость (см. Слабую сходимость мер ), и мы говорим, что последовательность случайных элементов { X n } слабо сходится к X (обозначается X n ⇒ X ), если
для всех непрерывных ограниченных функций h . [2] Здесь E * обозначает внешнее математическое ожидание , то есть математическое ожидание «наименьшей измеримой функции g, которая доминирует над h ( X n ) ».
Свойства [ править ]
- Так как Р ( ) = Pr ( Х ≤ ) , сходимость по распределению средств , что вероятность X п быть в заданном диапазоне приблизительно равна вероятности того, что значение X находится в этом диапазоне, при условии п является достаточно большой .
- В общем, сходимость в распределении не означает, что последовательность соответствующих функций плотности вероятности также будет сходиться. В качестве примера можно рассмотреть случайные величины с плотностями f n ( x ) = (1 - cos (2 πnx )) 1 (0,1) . Эти случайные величины сходятся по распределению к однородному U (0, 1), тогда как их плотности вообще не сходятся. [3]
- Однако, согласно теореме Шеффе , сходимость функций плотности вероятности означает сходимость по распределению. [4]
- Контаминация лемма дает несколько эквивалентных определений сходимости по распределению. Хотя эти определения менее интуитивны, они используются для доказательства ряда статистических теорем. Лемма утверждает, что { X n } сходится по распределению к X тогда и только тогда, когда выполняется любое из следующих утверждений: [5]
- для всех точек непрерывности ;
- для всех ограниченных , непрерывных функций (где означает оператор математического ожидания);
- для всех ограниченных липшицевых функций ;
- для всех неотрицательных, непрерывных функций ;
- за каждый открытый комплект ;
- за каждый закрытый комплект ;
- для всех непрерывных множеств случайной величины ;
- для любой ограниченной сверху полунепрерывной сверху функции ; [ необходима цитата ]
- для любой ограниченной снизу полунепрерывной снизу функции . [ необходима цитата ]
- Теорема о непрерывном отображении утверждает, что для непрерывной функции g , если последовательность { X n } сходится по распределению к X , то { g ( X n )} сходится по распределению к g ( X ) .
- Однако обратите внимание, что сходимость в распределении { X n } к X и { Y n } к Y, как правило, не означает сходимости в распределении { X n + Y n } к X + Y или { X n Y n } к XY .
- Теорема непрерывности Леви : порядковые { Х п } сходится по распределению к X тогда и только тогдакогда последовательность соответствующих характеристических функций { φ п } сходится точечно к характеристической функции ф из X .
- Конвергенция распределения метризуемый по метрике Леви-Прохорова .
- Естественным связующим звеном с сходимостью по распределению является теорема Скорохода о представлении .
Сходимость в вероятности [ править ]
Рост человека | |
---|---|
Рассмотрим следующий эксперимент. Сначала выберите случайного человека на улице. Пусть X будет его / ее ростом, который предположительно является случайной величиной. Затем попросите других людей оценить эту высоту на глаз. Пусть X n будет средним значением первых n ответов. Тогда ( при условии , что нет систематической ошибки ) по закону больших чисел , последовательность X п сходится по вероятности к случайной величине X . | |
Прогнозирование генерации случайных чисел | |
Предположим, что генератор случайных чисел генерирует псевдослучайное число с плавающей запятой от 0 до 1. Пусть случайная величина X представляет распределение возможных выходных данных алгоритма. Поскольку псевдослучайное число генерируется детерминированно, его следующее значение не является действительно случайным. Предположим, что, наблюдая за последовательностью случайно сгенерированных чисел, вы можете вывести закономерность и делать все более точные прогнозы относительно того, каким будет следующее случайно сгенерированное число. Пусть X n будет вашим предположением о значении следующего случайного числа после наблюдения первых n случайных чисел. По мере того, как вы узнаете закономерность и ваши предположения станут более точными, не только распределение X nсходится к распределению X , но результаты X п будут сходиться к итогам X . |
Основная идея такого типа сходимости заключается в том, что вероятность «необычного» исхода становится все меньше и меньше по мере развития последовательности.
Концепция сходимости по вероятности очень часто используется в статистике. Например, оценка называется согласованной, если она сходится по вероятности к оцениваемому количеству. Сходимость по вероятности - это также тип сходимости, установленный слабым законом больших чисел .
Определение [ править ]
Последовательность { X n } случайных величин сходится по вероятности к случайной величине X, если для всех ε > 0
Более точно, пусть Р п (ε) вероятность того, что Х п находится вне шара радиуса ε с центром в точке X . Тогда говорят, что X n сходится по вероятности к X, если для любого ε > 0 и любого δ > 0 существует число N (которое может зависеть от ε и δ ) такое, что для всех n ≥ N , P n (ε) < δ (определение предела).
Обратите внимание, что для выполнения условия невозможно, чтобы для каждого n случайные величины X и X n были независимыми (и, таким образом, сходимость по вероятности является условием для совместных cdfs, в отличие от сходимости по распределению, которая является условие на отдельные cdf), если X не является детерминированным, как для слабого закона больших чисел. В то же время случай детерминированного X не может, когда детерминированное значение является точкой разрыва (не изолированной), обрабатываться сходимостью в распределении, где точки разрыва должны быть явно исключены.
Сходимость по вероятности обозначается добавлением буквы p над стрелкой, обозначающей сходимость, или использованием оператора предела вероятности "plim":
( 2 )
Для случайных элементов { X n } на сепарабельном метрическом пространстве ( S , d ) сходимость по вероятности определяется аналогично [6]
Свойства [ править ]
- Сходимость по вероятности подразумевает сходимость по распределению. [доказательство]
- В противоположном направлении сходимость в распределении подразумевает сходимость по вероятности, когда предельная случайная величина X является константой. [доказательство]
- Сходимость по вероятности не означает почти надежной сходимости. [доказательство]
- Теорема о непрерывном отображении утверждает, что для любой непрерывной функции g (·), если , то также .
- Сходимость по вероятности определяет топологию пространства случайных величин над фиксированным вероятностным пространством. Эта топология метризуемая по Ky вентилятор метрики : [7]
- или поочередно по этой метрике
- .
Почти верное схождение [ править ]
Пример 1 | |
---|---|
Рассмотрим животное какого-нибудь недолговечного вида. Мы фиксируем количество пищи, которую съедает это животное за день. Эта последовательность чисел будет непредсказуемой, но мы можем быть совершенно уверены, что однажды число станет нулевым, а потом останется нулевым навсегда. | |
Пример 2 | |
Представьте себе человека, который каждое утро подбрасывает семь монет. Каждый день он жертвует один фунт на благотворительность за каждую появившуюся голову. Однако в первый раз он остановится навсегда. Пусть X 1 , X 2 ,… будут ежедневными суммами получаемой от него благотворительности. Мы можем быть почти уверены, что однажды эта сумма будет равна нулю, а после этого останется нулевой навсегда. Однако, когда мы рассматриваем любое конечное количество дней, существует ненулевая вероятность того, что условие завершения не наступит. |
Этот тип стохастической сходимости больше всего похож на поточечную сходимость, известную из элементарного реального анализа .
Определение [ править ]
Сказать , что последовательность X п сходится почти наверное или почти везде или с вероятностью 1 или сильно в направлении X означает , что
Это означает, что значения X n приближаются к значению X в том смысле (см. Почти наверняка ), что события, для которых X n не сходится к X, имеют вероятность 0. Использование вероятностного пространства и концепции случайной величины как функция от Ω к R , это эквивалентно утверждению
Используя понятие верхнего предела последовательности множеств , почти наверное сходимость также может быть определена следующим образом:
Почти верная сходимость часто обозначается добавлением букв как над стрелкой, обозначающей сходимость:
( 3 )
Для типичных случайных элементов { X n } на метрическом пространстве сходимость почти наверняка определяется аналогично:
Свойства [ править ]
- Почти наверное сходимость подразумевает сходимость по вероятности (по лемме Фату ) и, следовательно, сходимость по распределению. Это понятие сходимости используется в усиленном законе больших чисел .
- Концепция почти надежной сходимости не исходит из топологии пространства случайных величин. Это означает, что в пространстве случайных величин нет такой топологии, что почти наверное сходящиеся последовательности являются в точности сходящимися последовательностями относительно этой топологии. В частности, нет метрики почти наверное сходимости.
Несомненная сходимость или поточечная сходимость [ править ]
Для того, чтобы сказать , что последовательность случайных величин ( Х п ) , определенных над одной и той же вероятностном пространстве (т.е. случайный процесс ) сходится , конечно , или везде , или точечно в направлении X средств
где Ω - пространство выборки основного вероятностного пространства, в котором определены случайные величины.
Это понятие поточечной сходимости последовательности функций, расширенной до последовательности случайных величин . (Обратите внимание, что случайные величины сами по себе являются функциями).
Уверенная сходимость случайной величины подразумевает все другие виды сходимости, указанные выше, но в теории вероятностей нет выгоды от использования надежной сходимости по сравнению с использованием почти надежной сходимости. Разница между ними существует только на множествах с нулевой вероятностью. Поэтому очень редко используется понятие верной сходимости случайных величин.
Сходимость в среднем [ править ]
Для действительного числа r ≥ 1 мы говорим, что последовательность X n сходится в r -м среднем (или в L r -норме ) к случайной величине X , если r -ые абсолютные моменты E (| X n | r ) и E (| X | r ) X n и X существуют, и
где оператор E обозначает математическое ожидание . Сходимость по r -ому среднему говорит нам, что математическое ожидание r -ой степени разности между и сходится к нулю.
Этот тип сходимости часто обозначается добавлением буквы L r над стрелкой, обозначающей сходимость:
( 4 )
Наиболее важными случаями сходимости r -го среднего являются:
- Когда Х п сходится в г -го среднее по X для г = 1, мы говорим , что Х п сходится в среднем к X .
- Когда Х п сходится в г -го среднее по X для г = 2, мы говорим , что Х п сходится в среднем квадратичном (или в среднем квадратичном ) в X .
Сходимость по r -ому среднему при r ≥ 1 влечет сходимость по вероятности (по неравенству Маркова ). Кроме того, если r > s ≥ 1, сходимость по r -ому среднему означает сходимость по s -ому среднему. Следовательно, сходимость в среднем квадрате означает сходимость в среднем.
Также стоит отметить, что если
- ,
( 4 )
тогда
Свойства [ править ]
При условии, что вероятностное пространство заполнено :
- Если и , то почти наверняка .
- Если и , то почти наверняка.
- Если и , то почти наверняка.
- Если и , то (для любых действительных чисел a и b ) и .
- Если и , то (для любых действительных чисел a и b ) и .
- Если и , то (для любых действительных чисел a и b ).
- Ни одно из приведенных выше утверждений не относится к сходимости в распределении.
Цепочка следствий между различными понятиями конвергенции отмечена в соответствующих разделах. Они, если использовать обозначения стрелок:
Эти свойства вместе с рядом других особых случаев сведены в следующий список:
- Почти наверное сходимость подразумевает сходимость по вероятности: [8] [доказательство]
- Сходимость по вероятности подразумевает, что существует подпоследовательность, которая почти наверняка сходится: [9]
- Сходимость по вероятности подразумевает сходимость по распределению: [8] [доказательство]
- Сходимость по среднему значению r -го порядка подразумевает сходимость по вероятности:
- Сходимость по среднему значению r -го порядка подразумевает сходимость по среднему значению более низкого порядка, если оба порядка больше или равны единице:
- при условии, что r ≥ s ≥ 1.
- Если X n сходится по распределению к константе c , то X n сходится по вероятности к c : [8] [доказательство]
- при условии, что c - константа.
- Если X n сходится по распределению к X, а разница между X n и Y n сходится по вероятности к нулю, то Y n также сходится по распределению к X : [8] [доказательство]
- Если X n сходится по распределению к X, а Y n сходится по распределению к константе c , то объединенный вектор ( X n , Y n ) сходится по распределению к : [8] [доказательство]
- при условии, что c - константа.
- Обратите внимание, что условие, что Y n сходится к константе, важно, если бы оно сходилось к случайной величине Y, тогда мы не смогли бы заключить, что ( X n , Y n ) сходится к .
- Если X n сходится по вероятности к X, а Y n сходится по вероятности к Y , то объединенный вектор ( X n , Y n ) сходится по вероятности к ( X , Y ) : [8] [доказательство]
- Если X n сходится по вероятности к X , и если P (| X n | ≤ b ) = 1 для всех n и некоторого b , то X n сходится по r- му среднему к X для всех r ≥ 1 . Другими словами, если X n сходится по вероятности к X и все случайные величины X n почти наверняка ограничены сверху и снизу, то X n сходится к X также в любом r- м среднем.[ необходима цитата ]
- Почти верное представление . Обычно сходимость в распределении почти наверняка не означает сходимости. Однако для данной последовательности { X n }, которая сходится по распределению к X 0, всегда можно найти новое вероятностное пространство (Ω, F , P) и случайные величины { Y n , n = 0, 1, ... } определенное на нем таким образом, что Y n по распределению равно X n для каждого n ≥ 0 , а Y n сходится к Y 0 почти наверняка. [10] [11]
- Если для всех ε > 0,
- то мы говорим , что X п сходится почти полностью , или почти по вероятности к X . Когда X п сходится почти полностью в направлении X , то он сходится почти наверное к X . Другими словами, если X п сходится по вероятности к X достаточно быстро (т.е. выше последовательность хвостовых вероятностей суммируется для всех е > 0 ), то Х п также сходится почти наверное к X . Это прямое следствие леммы Бореля – Кантелли .
- Если S n является суммой n реальных независимых случайных величин:
- то S n сходится почти наверняка тогда и только тогда, когда S n сходится по вероятности.
- Теорема о мажорируемой сходимости дает достаточные условия для того, чтобы из почти наверное сходимости следовала L 1 -сходимость:
( 5 )
- Необходимым и достаточным условием сходимости L 1 является равномерная интегрируемость последовательности ( X n ) .
См. Также [ править ]
В Wikibook Econometric Theory есть страница по теме: Сходимость случайных величин. |
- Доказательства сходимости случайных величин.
- Конвергенция мер
- Сходимость по мере
- Непрерывный случайный процесс : вопрос непрерывности случайного процесса - это, по сути, вопрос сходимости, и многие из тех же понятий и соотношений, которые использовались выше, применимы к вопросу непрерывности.
- Асимптотическое распределение
- Большой O в вероятностной нотации
- Теорема Скорохода о представлении
- Теорема Твиди о сходимости
- Теорема Слуцкого
- Теорема о непрерывном отображении
Заметки [ править ]
- ^ Bickel et al. 1998 , А.8, стр. 475
- ↑ van der Vaart & Wellner 1996 , p. 4
- ↑ Romano & Siegel 1985 , Пример 5.26
- ^ Durrett, Рик (2010). Вероятность: теория и примеры . п. 84.
- ^ ван дер Ваарт 1998 , лемма 2.2
- ↑ Дадли 2002 , Глава 9.2, стр. 287
- Перейти ↑ Dudley 2002 , p. 289
- ^ a b c d e f ван дер Ваарт 1998 , теорема 2.7
- Перейти ↑ Gut, Allan (2005). Вероятность: аспирантура . Теорема 3.4: Спрингер. ISBN 978-0-387-22833-4.CS1 maint: location (link)
- ^ Ван дер Ваарт 1998 , Th.2.19
- ^ Fristedt & Gray 1997 , теорема 14.5
Ссылки [ править ]
- Бикель, Питер Дж .; Клаассен, Крис А.Дж.; Ритов, Яаков; Веллнер, Джон А. (1998). Эффективное и адаптивное оценивание полупараметрических моделей . Нью-Йорк: Springer-Verlag. ISBN 978-0-387-98473-5.
- Биллингсли, Патрик (1986). Вероятность и мера . Серия Уайли по вероятности и математической статистике (2-е изд.). Вайли.
- Биллингсли, Патрик (1999). Сходимость вероятностных мер (2-е изд.). Джон Вили и сыновья. С. 1–28 . ISBN 978-0-471-19745-4.
- Дадли, Р.М. (2002). Реальный анализ и вероятность . Кембридж, Великобритания: Издательство Кембриджского университета. ISBN 978-0-521-80972-6.
- Фристедт, Берт; Грей, Лоуренс (1997). Современный подход к теории вероятностей . Нью-Йорк: Springer Science + Business Media. DOI : 10.1007 / 978-1-4899-2837-5 . ISBN 978-1-4899-2837-5.
- Гримметт, Г.Р .; Стирзакер, Д.Р. (1992). Вероятность и случайные процессы (2-е изд.). Кларендон Пресс, Оксфорд. С. 271–285. ISBN 978-0-19-853665-9.
- Якобсен, М. (1992). Videregående Sandsynlighedsregning (Расширенная теория вероятностей) (3-е изд.). HCØ-tryk, Копенгаген. С. 18–20. ISBN 978-87-91180-71-2.
- Леду, Мишель; Талагранд, Мишель (1991). Вероятность в банаховых пространствах . Берлин: Springer-Verlag. С. xii + 480. ISBN 978-3-540-52013-9. Руководство по ремонту 1102015 .
- Романо, Джозеф П .; Сигел, Эндрю Ф. (1985). Контрпримеры в вероятности и статистике . Великобритания: Chapman & Hall. ISBN 978-0-412-98901-8.
- ван дер Ваарт, Аад В .; Веллнер, Джон А. (1996). Слабая конвергенция и эмпирические процессы . Нью-Йорк: Springer-Verlag. ISBN 978-0-387-94640-5.
- ван дер Ваарт, Аад В. (1998). Асимптотическая статистика . Нью-Йорк: Издательство Кембриджского университета. ISBN 978-0-521-49603-2.
- Уильямс, Д. (1991). Вероятность с мартингейлами . Издательство Кембриджского университета. ISBN 978-0-521-40605-5.
- Wong, E .; Гайек, Б. (1985). Случайные процессы в технических системах . Нью-Йорк: Спрингер – Верлаг.
- https://www.ma.utexas.edu/users/gordanz/notes/weak.pdf
Эта статья включает материал из статьи Citizendium « Стохастическая конвергенция », которая находится под лицензией Creative Commons Attribution-ShareAlike 3.0 Unported License, но не GFDL .