В теории вероятностей , то закон больших чисел ( ЗБЧ ) является теоремой , которая описывает результат выполнения тот же эксперимент большого количества раз. Согласно закону, среднее значение результатов, полученных в результате большого количества испытаний, должно быть близко к ожидаемому значению и будет иметь тенденцию приближаться к ожидаемому значению по мере выполнения большего количества испытаний. [1]
LLN важен, потому что он гарантирует стабильные долгосрочные результаты для средних значений некоторых случайных событий. [1] [2] Например, в то время как казино может потерять деньги за одно вращение колеса рулетки , его прибыль будет иметь тенденцию к предсказуемому проценту на большом количестве вращений. Любая выигрышная серия игрока в конечном итоге будет преодолена параметрами игры. Важно помнить, что закон применяется только (как следует из названия), когда учитывается большое количество наблюдений. Не существует принципа, согласно которому небольшое количество наблюдений будет совпадать с ожидаемым значением или что серия одного значения будет немедленно «уравновешена» другими (см . Заблуждение игрока ).
Примеры
Например, один бросок правильного шестигранного кубика дает одно из чисел 1, 2, 3, 4, 5 или 6, каждое с равной вероятностью . Следовательно, математическое ожидание среднего значения рулонов составляет:
Согласно закону больших чисел, если бросается большое количество шестигранных игральных костей, среднее из их значений (иногда называемое выборочным средним ), вероятно, будет близко к 3,5, причем точность возрастает по мере того, как бросается больше кубиков.
Из закона больших чисел следует, что эмпирическая вероятность успеха в серии испытаний Бернулли будет сходиться с теоретической вероятностью. Для случайной величины Бернулли ожидаемое значение - это теоретическая вероятность успеха, а среднее значение n таких переменных (при условии, что они независимы и одинаково распределены (iid) ) - это именно относительная частота.
Например, справедливое подбрасывание монеты - это испытание Бернулли. Когда честная монета подбрасывается один раз, теоретическая вероятность того, что выпадет орел, равна 1 ⁄ 2 . Следовательно, согласно закону больших чисел, доля орлов в "большом" количестве подбрасываний монеты "должна быть" примерно 1 ⁄ 2 . В частности, доля голов после n флипов почти наверняка сведется к 1 ⁄ 2, когда n приближается к бесконечности.
Хотя пропорция орла (и решки) приближается к 1/2, почти наверняка абсолютная разница в количестве орлов и решек станет большой по мере того, как количество подбрасываний становится большим. То есть вероятность того, что абсолютная разница является малым числом, приближается к нулю по мере того, как количество переворотов становится большим. Кроме того, почти наверняка отношение абсолютной разницы к количеству флипов будет приближаться к нулю. Интуитивно ожидаемая разница растет, но медленнее, чем количество переворотов.
Еще один хороший пример LLN - метод Монте-Карло . Эти методы представляют собой широкий класс вычислительных алгоритмов, которые полагаются на повторную случайную выборку для получения численных результатов. Чем больше количество повторений, тем лучше приближение. Причина, по которой этот метод важен, в основном состоит в том, что иногда трудно или невозможно использовать другие подходы. [3]
Ограничение
Среднее значение результатов, полученных в результате большого количества испытаний, в некоторых случаях может не совпадать. Например, среднее значение n результатов, взятых из распределения Коши или некоторых распределений Парето (α <1), не будет сходиться при увеличении n ; Причина - тяжелые хвосты . Распределение Коши и распределение Парето представляют два случая: распределение Коши не имеет математического ожидания [4], тогда как математическое ожидание распределения Парето (α <1) бесконечно. [5] Другой пример: случайные числа равны тангенсу угла, равномерно распределенного между -90 ° и + 90 °. Медиана равна нулю, но ожидаемое значение не существует, и на самом деле среднее значение п такие переменные имеют такое же распределение , как одной такой переменной. Он не сходится по вероятности к нулю (или любому другому значению), когда n стремится к бесконечности.
История
Итальянский математик Джероламо Кардано (1501–1576) без доказательств заявил, что точность эмпирической статистики имеет тенденцию улучшаться с увеличением количества попыток. [6] Затем это было формализовано как закон больших чисел. Специальная форма LLN (для двоичной случайной величины) была впервые доказана Якобом Бернулли . [7] Ему потребовалось более 20 лет, чтобы разработать достаточно строгое математическое доказательство, которое было опубликовано в его Ars Conjectandi (Искусство догадываться ) в 1713 году. Он назвал это своей «Золотой теоремой», но она стала широко известной как « Теорема Бернулли ». . Это не следует путать с принципом Бернулли , названным в честь племянника Якоба Бернулли Даниэля Бернулли . В 1837 году С. Д. Пуассон далее описал его под названием « la loi des grands nombres » («закон больших чисел»). [8] [9] В дальнейшем он был известен под обоими названиями, но наиболее часто использовался «закон больших чисел».
После Бернулли и Пуассона опубликовали свои усилия, и другие математики также способствовали уточнению закона, в том числе Чебышева , [10] Марков , Борель , Cantelli и Колмогоров и Хинчин . Марков показал, что закон может применяться к случайной величине, которая не имеет конечной дисперсии при другом более слабом предположении, а Хинчин показал в 1929 году, что если ряд состоит из независимых одинаково распределенных случайных величин, достаточно, чтобы математическое ожидание существовало для слабый закон больших чисел, чтобы быть верным. [11] [12] Эти дальнейшие исследования привели к появлению двух известных форм LLN. Один из них называется «слабым» законом, а другой - «сильным» законом по отношению к двум различным способам сходимости совокупных выборочных средних к ожидаемому значению; в частности, как объясняется ниже, сильная форма подразумевает слабую. [11]
Формы
Ниже описаны две различные версии закона больших чисел . Их называют усиленным законом больших чисел и слабым законом больших чисел . [13] [1] Приведено для случая, когда X 1 , X 2 , ... - бесконечная последовательность независимых и одинаково распределенных (iid) интегрируемых по Лебегу случайных величин с математическим ожиданием E ( X 1 ) = E ( X 2 ) = ... = µ , обе версии закона утверждают, что - с виртуальной достоверностью - выборочное среднее
сходится к ожидаемому значению:
( закон. 1 )
(Интегрируемость по Лебегу X j означает, что математическое ожидание E ( X j ) существует согласно интегрированию Лебега и конечно. Это не означает, что соответствующая вероятностная мера абсолютно непрерывна относительно меры Лебега .)
На основе (ненужного, см. Ниже) предположения о конечной дисперсии (для всех ) и отсутствие корреляции между случайными величинами, дисперсия среднего n случайных величин
Обратите внимание на это предположение о конечной дисперсии это не обязательно . Большая или бесконечная дисперсия замедлит сходимость, но LLN все равно сохраняется. Это предположение часто используется, потому что оно упрощает и сокращает доказательства.
Взаимная независимость случайных величин может быть заменена попарной независимостью в обеих версиях закона. [14]
Разница между сильной и слабой версиями связана с утверждаемым способом конвергенции. Для интерпретации этих режимов см. Сходимость случайных величин .
Слабый закон
Слабый закон больших чисел (также называемый Хинчин законом «s) утверждает , что выборочные средние сходится по вероятности в стороне ожидаемого значения [15]
( закон. 2 )
То есть, для любого положительного числа е ,
Интерпретируя этот результат, слабый закон утверждает, что для любого указанного ненулевого запаса, независимо от того, насколько он мал, с достаточно большой выборкой будет очень высокая вероятность того, что среднее значение наблюдений будет близко к ожидаемому значению; то есть в пределах поля.
Как упоминалось ранее, слабый закон применяется в случае случайных величин iid, но он также применяется в некоторых других случаях. Например, дисперсия может быть разной для каждой случайной переменной в ряду, при этом ожидаемое значение остается постоянным. Если дисперсии ограничены, то применяется закон, как показал Чебышев еще в 1867 году. (Если ожидаемые значения изменяются в течение ряда, то мы можем просто применить закон к среднему отклонению от соответствующих ожидаемых значений. Тогда закон утверждает, что это сходится по вероятности к нулю.) Фактически, доказательство Чебышева работает до тех пор, пока дисперсия среднего первых n значений стремится к нулю, когда n стремится к бесконечности. [12] В качестве примера предположим, что каждая случайная величина в ряду следует гауссовскому распределению со средним нулем, но с дисперсией, равной, который не ограничен. На каждом этапе среднее значение будет нормально распределенным (как среднее значение набора нормально распределенных переменных). Дисперсия суммы равна сумме дисперсий, которая является асимптотической к. Таким образом, дисперсия среднего асимптотика и уходит в ноль.
Существуют также примеры применения слабого закона, даже если ожидаемого значения не существует.
Сильный закон
Усиленный закон больших чисел (также называемый Колмогоров закон «s) утверждает , что выборочные средние сходится почти наверное к ожидаемому значению [16]
( закон. 3 )
Это,
Это означает, что вероятность того, что по мере того, как число испытаний n стремится к бесконечности, среднее значение наблюдений сходится к ожидаемому значению, равна единице.
Доказательство более сложное, чем доказательство слабого закона. [17] Этот закон оправдывает интуитивную интерпретацию ожидаемого значения (только для интегрирования Лебега) случайной величины при многократной выборке в качестве «долгосрочного среднего».
Почти наверное сходимость также называется сильной сходимостью случайных величин. Эта версия называется усиленным законом, потому что случайные величины, которые сходятся сильно (почти наверняка), гарантированно сходятся слабо (по вероятности). Однако известно, что слабый закон выполняется в определенных условиях, когда сильный закон не выполняется, и тогда сходимость является только слабой (по вероятности). См. Раздел # Различия между слабым и сильным законом .
Усиленный закон больших чисел сам по себе можно рассматривать как частный случай поточечно-эргодической теоремы .
Сильный закон применяется к независимым одинаково распределенным случайным величинам, имеющим ожидаемое значение (например, слабый закон). Это было доказано Колмогоровым в 1930 году. Это применимо и в других случаях. Колмогоров также показал в 1933 году, что если переменные независимы и одинаково распределены, то для того, чтобы среднее почти наверняка сходилось на чем-то (это можно считать еще одним утверждением сильного закона), необходимо, чтобы они имели ожидаемое значение ( и тогда, конечно, среднее почти наверняка сходится на этом). [18]
Если слагаемые независимы, но не распределены одинаково, то
при условии, что каждый X k имеет конечный второй момент и
Это утверждение известно как усиленный закон Колмогорова , см., Например, Sen & Singer (1993 , теорема 2.3.10).
Пример ряда, в котором применяется слабый закон, но не сильный, - это когда X k равно плюс или минус(начиная с достаточно большого k, чтобы знаменатель был положительным) с вероятностью 1/2 для каждого. [18] Тогда дисперсия X k равнаУсиленный закон Колмогорова неприменим, потому что частичная сумма в его критерии до k = n асимптотична и это безгранично.
Если мы заменим случайные величины на гауссовские переменные с такой же дисперсией, а именно тогда среднее значение в любой точке также будет нормально распределено. Ширина распределения среднего будет стремиться к нулю (асимптотика стандартного отклонения), но для данного ε существует вероятность, которая не стремится к нулю с n, в то время как среднее значение через некоторое время после n- го испытания вернется к ε. Поскольку ширина распределения среднего не равна нулю, оно должно иметь положительную нижнюю границу p (ε), что означает, что существует вероятность не менее p (ε) того, что среднее значение достигнет ε после n испытаний. Это произойдет с вероятностью p (ε) / 2 перед некоторым m, зависящим от n . Но даже после m существует вероятность, по крайней мере, p (ε), что это произойдет. (Похоже, это означает, что p (ε) = 1 и среднее значение будет достигать ε бесконечное число раз.)
Отличия слабого закона от сильного
В слабом законе говорится , что в течение указанного большого п , средняявероятно, будет около μ . Таким образом, остается возможность, чтопроисходит бесконечное количество раз, хотя и с нечастыми интервалами. (Не обязательно для всех п).
В усиленном законе показывает , что это почти наверняка не произойдет. В частности, отсюда следует, что с вероятностью 1 для любого ε > 0 выполняется неравенствовыполняется для всех достаточно больших n . [19]
Сильный закон не выполняется в следующих случаях, но слабый закон выполняется. [20] [21] [22]
1. Пусть X - экспоненциально распределенная случайная величина с параметром 1. Случайная величинане имеет ожидаемого значения согласно интегрированию Лебега, но, используя условную сходимость и интерпретируя интеграл как интеграл Дирихле , который является несобственным интегралом Римана , мы можем сказать:
2. Пусть x - геометрическое распределение с вероятностью 0,5. Случайная величинане имеет ожидаемого значения в обычном смысле, потому что бесконечный ряд не является абсолютно сходящимся, но, используя условную сходимость, мы можем сказать:
3. Если кумулятивная функция распределения случайной величины равна
- тогда он не имеет ожидаемого значения, но слабый закон верен. [23] [24]
Единый закон больших чисел
Предположим, что f ( x , θ ) - некоторая функция, определенная для θ ∈ Θ и непрерывная по θ . Тогда для любого фиксированного θ последовательность { f ( X 1 , θ ), f ( X 2 , θ ), ...} будет последовательностью независимых и одинаково распределенных случайных величин, так что выборочное среднее этой последовательности сходится по вероятности к E [ f ( X , θ )]. Это поточечная (по θ ) сходимость.
Единообразный закон больших чисел утверждает , что условия , при которых сходимость случается равномерно в & thetas . Если [25] [26]
- Θ компактно,
- f ( x , θ ) непрерывна при каждом θ ∈ Θ для почти всех x s и измерима функция x при каждом θ .
- существует доминирующая функция d ( x ) такая, что E [ d ( X )] <∞, и
Тогда E [ f ( X , θ )] непрерывно по θ и
Этот результат полезен для получения согласованности большого класса оценок (см. Экстремальная оценка ).
Закон больших чисел Бореля
Закон больших чисел Бореля , названный в честь Эмиля Бореля , гласит, что если эксперимент повторяется большое количество раз, независимо при идентичных условиях, то доля случаев, когда любое конкретное событие происходит, приблизительно равна вероятности его возникновения в любом конкретном случае. пробный; чем больше количество повторений, тем лучше приближение. Точнее, если E обозначает рассматриваемое событие, p - вероятность его возникновения, а N n ( E ) - количество раз, которое E встречается в первых n испытаниях, то с вероятностью единица, [27]
Эта теорема обеспечивает строгое интуитивное представление о вероятности как долгосрочной относительной частоте возникновения события. Это частный случай любого из нескольких более общих законов больших чисел в теории вероятностей.
Неравенство Чебышева . Пусть X - случайная величина с конечным ожидаемым значением μ и конечной ненулевой дисперсией σ 2 . Тогда для любого действительного числа к > 0 ,
Доказательство слабого закона
Для X 1 , X 2 , ... бесконечной последовательности iid случайных величин с конечным математическим ожиданием E ( X 1 ) = E ( X 2 ) = ... = µ <∞, нас интересует сходимость выборки в среднем
Слабый закон больших чисел гласит:
Теорема: |
| ( закон. 2 ) |
Доказательство с использованием неравенства Чебышева в предположении конечной дисперсии
В этом доказательстве используется предположение о конечной дисперсии (для всех ). Независимость случайных величин подразумевает отсутствие корреляции между ними, и мы имеем
Общее среднее значение μ последовательности - это среднее значение выборочного среднего:
Используя неравенство Чебышева на приводит к
Это может быть использовано для получения следующего:
Когда n приближается к бесконечности, выражение приближается к 1. И по определению сходимости по вероятности мы получили
( закон. 2 )
Доказательство с использованием сходимости характеристических функций.
По теореме Тейлора для комплексных функций , с характеристической функцией любой случайной величины, X , с конечным средним ц, может быть записана в виде
Все X 1 , X 2 , ... имеют одинаковую характеристическую функцию, поэтому мы будем просто обозначать этот ф X .
Среди основных свойств характеристических функций:
- если X и Y независимы.
Эти правила можно использовать для вычисления характеристической функции через φ X :
Предел е его μ является характеристической функцией постоянной случайной величины ц, и , следовательно , по теореме непрерывности Леви , сходится по распределению к μ:
μ - константа, из которой следует, что сходимость по распределению к μ и сходимость по вероятности к μ эквивалентны (см. Сходимость случайных величин ). Следовательно,
( закон. 2 )
Это показывает, что выборочное среднее сходится по вероятности к производной характеристической функции в начале координат, пока последняя существует.
Последствия
Закон больших чисел обеспечивает ожидание неизвестного распределения от реализации последовательности, но также и любой особенности распределения вероятностей. [1] Применяя закон больших чисел Бореля , можно легко получить вероятностную функцию массы. Для каждого события в целевой функции вероятности и масс можно аппроксимировать вероятность возникновения события пропорциональностью того, сколько раз происходит какое-либо указанное событие. Чем больше количество повторов, тем лучше приближение. Что касается непрерывного случая:, для небольшого положительного h. Таким образом, для больших n:
С помощью этого метода можно покрыть всю ось x сеткой (с размером сетки 2h) и получить гистограмму, которая называется гистограммой .
Смотрите также
- Асимптотическое свойство равнораспределения
- Центральная предельная теорема
- Теорема о бесконечной обезьяне
- Закон средних чисел
- Закон повторного логарифма
- Закон действительно больших чисел
- Линди эффект
- Регресс к среднему
- Сортировка
Заметки
- ^ a b c d Деккинг, Мишель (2005). Современное введение в вероятность и статистику . Springer. стр. 181 -190. ISBN 9781852338961.
- ^ Яо, Кай; Гао, Цзиньву (2016). «Закон больших чисел для неопределенных случайных величин». Транзакции IEEE в нечетких системах . 24 (3): 615–621. DOI : 10.1109 / TFUZZ.2015.2466080 . ISSN 1063-6706 . S2CID 2238905 .
- ^ Kroese, Dirk P .; Бреретон, Тим; Таймре, Томас; Ботев, Здравко И. (2014). «Почему метод Монте-Карло так важен сегодня». Междисциплинарные обзоры Wiley: вычислительная статистика . 6 (6): 386–392. DOI : 10.1002 / wics.1314 .
- ^ Деккинг, Мишель (2005). Современное введение в вероятность и статистику . Springer. С. 92 . ISBN 9781852338961.
- ^ Деккинг, Мишель (2005). Современное введение в вероятность и статистику . Springer. С. 63 . ISBN 9781852338961.
- ^ Млодинов, Л. Прогулка пьяницы. Нью-Йорк: Рэндом Хаус, 2008. стр. 50.
- ^ Якоб Бернулли, Ars Conjectandi: Usum & Applicationem Praecedentis Doctrinae в Civilibus, Moralibus & Oeconomicis , 1713, Глава 4, (Перевод на английский язык Оскаром Шейниным)
- ^ Пуассон называет «закон больших чисел» ( la loi des grands nombres ) в: SD Poisson, Probabilité des jugements en matière criminelle et en matière civile, precédées des règles générales du Calcul des probabilitiés (Париж, Франция, 37 : Bachelier, 1837). , стр. 7 . Он пытается доказать закон, состоящий из двух частей, на стр. 139–143 и стр. 277 и далее.
- ↑ Взлом, Ян. (1983) «Трещины XIX века в концепции детерминизма», Журнал истории идей , 44 (3), 455-475 JSTOR 2709176
- ^ Чебичеф, П. (1846). "Démonstration élémentaire d'une proposition générale de la théorie des probabilités" . Journal für die reine und angewandte Mathematik . 1846 (33): 259–267. DOI : 10.1515 / crll.1846.33.259 . S2CID 120850863 .
- ^ а б Сенета 2013 .
- ^ а б Юрий Прохоров . «Закон больших чисел» . Энциклопедия математики .
- ^ Бхаттачарья, Раби; Линь, Лижень; Патрангенару, Виктор (2016). Курс математической статистики и теории больших выборок . Тексты Springer в статистике. Нью-Йорк, штат Нью-Йорк: Springer New York. DOI : 10.1007 / 978-1-4939-4032-5 . ISBN 978-1-4939-4030-1.
- ^ Этемади, Новая Зеландия (1981). «Элементарное доказательство сильного закона больших чисел». Wahrscheinlichkeitstheorie Verw Gebiete . 55 (1): 119–122. DOI : 10.1007 / BF01013465 . S2CID 122166046 .
- ^ Лоэва 1977 , глава 1.4, стр. 14
- ^ Лоэва 1977 , глава 17.3, стр. 251
- ^ «Строгий закон больших чисел - Что нового» . Terrytao.wordpress.com . Проверено 9 июня 2012 .
- ^ а б Юрий Прохоров. «Сильный закон больших чисел» . Энциклопедия математики .
- ^ Росс (2009)
- ^ Леманн, Эрих Л; Романо, Джозеф П. (30 марта 2006 г.). Слабый закон сходится к постоянному . ISBN 9780387276052.
- ^ «ЗАПИСКА О СЛАБОМ ЗАКОНЕ БОЛЬШИХ ЧИСЕЛ ДЛЯ ОБМЕННЫХ СЛУЧАЙНЫХ ПЕРЕМЕННЫХ» (PDF) . Джувл Хун Хонг и Сунг Хо Ли. Архивировано из оригинального (PDF) 01.07.2016 . Проверено 28 июня 2014 .
- ^ «слабый закон больших чисел: доказательство с использованием характеристических функций против доказательства с использованием усеченных ПЕРЕМЕННЫХ» .
- ^ Мукерджи, Саян. «Закон больших чисел» (PDF) . Архивировано из оригинального (PDF) 09 марта 2013 года . Проверено 28 июня 2014 .
- ^ Дж. Гейер, Чарльз. «Закон больших чисел» (PDF) .
- ^ Ньюи и Макфадден 1994 , лемма 2.4
- ^ Дженнрих, Роберт И. (1969). "Асимптотические свойства нелинейных оценщиков методом наименьших квадратов" . Летопись математической статистики . 40 (2): 633–643. DOI : 10.1214 / АОМ / 1177697731 .
- ^ Аналитическая техника для доказательства строгого закона Бореля больших чисел Вэнь, L. Am Math Month 1991
Рекомендации
- Гримметт, Г.Р .; Стирзакер, Д.Р. (1992). Вероятность и случайные процессы, 2-е издание . Кларендон Пресс, Оксфорд. ISBN 0-19-853665-8.
- Ричард Дарретт (1995). Вероятность: теория и примеры, 2-е издание . Duxbury Press.
- Мартин Якобсен (1992). Videregående Sandsynlighedsregning (Расширенная теория вероятностей), 3-е издание . HCØ-tryk, Копенгаген. ISBN 87-91180-71-6.
- Лоэв, Мишель (1977). Теория вероятностей 1 (4-е изд.). Springer Verlag.
- Ньюи, Уитни К .; Макфадден, Дэниел (1994). Оценка большой выборки и проверка гипотез . Справочник по эконометрике, т. IV, гл. 36. Elsevier Science. С. 2111–2245.CS1 maint: ref дублирует значение по умолчанию ( ссылка )
- Росс, Шелдон (2009). Первый курс вероятности (8-е изд.). Пресса Прентис Холл. ISBN 978-0-13-603313-4.
- Sen, P.K; Певица, JM (1993). Методы большой выборки в статистике . Chapman & Hall, Inc.CS1 maint: ref дублирует значение по умолчанию ( ссылка )
- Сенета, Юджин (2013), «Трехсотлетняя история закона больших чисел», Бернулли , 19 (4): 1088–1121, arXiv : 1309.6488 , doi : 10.3150 / 12-BEJSP12 , S2CID 88520834
Внешние ссылки
- "Закон больших чисел" , Математическая энциклопедия , EMS Press , 2001 [1994]
- Вайсштейн, Эрик В. «Слабый закон больших чисел» . MathWorld .
- Вайсштейн, Эрик В. «Сильный закон больших чисел» . MathWorld .
- Анимация закона больших чисел Ихуэй Се с использованием анимации пакета R
- Генеральный директор Apple Тим Кук сказал то, что заставило бы статистиков съежиться . «Мы не верим в такие законы, как законы больших чисел. Я думаю, это своего рода старая догма, которую кто-то придумал [..]», - сказал Тим Кук и в то же время: «Однако закон больших чисел не имеет ничего общего с крупными компаниями, большими доходами или высокими темпами роста. Закон больших чисел является фундаментальной концепцией в теории вероятностей и статистике, связывая вместе теоретические вероятности, которые мы можем вычислить, с фактическими результатами экспериментов, которые мы эмпирически выполнить. объяснил Business Insider