Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску

В теории вероятностей , то центральная предельная теорема ( ЦПТ ) устанавливает , что во многих ситуациях, когда независимые случайные величины , которые добавляются, их должным образом нормированный сумма стремится к нормальному распределению (неформально кривой колокола ) , даже если исходные переменные сами не являются нормально распределенными . Теорема является ключевым понятием в теории вероятностей, потому что она подразумевает, что вероятностные и статистические методы, работающие для нормальных распределений, могут быть применимы ко многим задачам, связанным с другими типами распределений.

Если - случайные выборки, взятые из генеральной совокупности с общим средним и конечной дисперсией , а если - выборочное среднее , то ограничивающая форма распределения - это стандартное нормальное распределение. [1]

Например, предположим, что получена выборка, содержащая много наблюдений , причем каждое наблюдение генерируется случайным образом, не зависящим от значений других наблюдений, и что вычисляется среднее арифметическое наблюдаемых значений. Если эта процедура выполняется много раз, центральная предельная теорема гласит, что распределение вероятностей среднего будет близко приближаться к нормальному распределению. Простым примером этого является то, что если кто- то подбрасывает монету много раз , вероятность получить заданное количество орлов будет приближаться к нормальному распределению со средним значением, равным половине общего количества подбрасываний. На пределе бесконечного числа флипов это будет нормальное распределение.

Центральная предельная теорема имеет несколько вариантов. В общем виде случайные величины должны быть одинаково распределены. В вариантах сходимость среднего к нормальному распределению также происходит для неидентичных распределений или для независимых наблюдений, если они соответствуют определенным условиям.

Самая ранняя версия этой теоремы о том, что нормальное распределение может использоваться в качестве приближения к биномиальному распределению , - это теорема де Муавра – Лапласа .

Независимые последовательности [ править ]

Распределение «сглаживается» суммированием , показывая исходную плотность распределения и три последующих суммирования; подробнее см. иллюстрацию к центральной предельной теореме .
Какой бы ни была форма распределения населения, выборочное распределение стремится к гауссову, а его дисперсия задается центральной предельной теоремой. [2]

Классический CLT [ править ]

Пусть будет случайной выборкой размера, то есть последовательностью независимых и одинаково распределенных (iid) случайных величин, взятых из распределения ожидаемого значения, данного и конечной дисперсии, заданного . Предположим, нас интересует выборочное среднее

этих случайных величин. По закону больших чисел выборочные средние почти наверняка сходятся (и, следовательно, также сходятся по вероятности ) к ожидаемому значению как . Классическая центральная предельная теорема описывает размер и форму распределения стохастических флуктуаций вокруг детерминированного числа во время этой сходимости. Точнее, он утверждает, что по мере увеличения распределение разницы между средним значением выборки и его пределом при умножении на коэффициент (то есть ) аппроксимирует нормальное распределение со средним значением 0 и дисперсией . Для достаточно большого n, распределение близко к нормальному распределению со средним значением и дисперсией . Полезность теоремы заключается в том, что распределение приближается к нормальному, независимо от формы распределения индивида . Формально теорему можно сформулировать следующим образом:

Линдеберг – Леви CLT. Предположим , это последовательность iid случайных величин с и . Затем по мере приближения к бесконечности случайные величины сходятся по распределению к нормальному : [3]

В случае , сходимость в средствах распределения , что кумулятивные функции распределения по сходиться точечно к ВПРУ от распределения: для каждого вещественного числа  ,

где - стандартный нормальный cdf, оцениваемый в  . Сходимость равномерна в том смысле, что

где обозначает точную верхнюю грань (или супремум ) множества. [4]

Ляпунов ЦЛТ [ править ]

Теорема названа в честь русского математика Александра Ляпунова . В этом варианте центральной предельной теоремы случайные величины должны быть независимыми, но не обязательно одинаково распределенными. Теорема также требует, чтобы случайные величины имели моменты некоторого порядка и чтобы скорость роста этих моментов ограничивалась условием Ляпунова, приведенным ниже.

Ляпунов ЦЛТ. [5] Предположим , это последовательность независимых случайных величин, каждая из которых имеет конечное ожидаемое значение и дисперсию . Определять

Если для некоторых , условие Ляпунова

выполняется, то сумма сходится по распределению к стандартной нормальной случайной величине, которая стремится к бесконечности:

На практике обычно проще всего проверить условие Ляпунова .

Если последовательность случайных величин удовлетворяет условию Ляпунова, то она также удовлетворяет условию Линдеберга. Однако обратное утверждение неверно.

Lindeberg CLT [ править ]

В тех же условиях и с теми же обозначениями, что и выше, условие Ляпунова можно заменить следующим, более слабым (из Линдеберга в 1920 г.).

Предположим, что для каждого

где - индикаторная функция . Тогда распределение стандартизированных сумм

сходится к стандартному нормальному распределению .

Многомерный CLT [ править ]

Доказательства, использующие характеристические функции, могут быть распространены на случаи, когда каждый индивидуум является случайным вектором в , со средним вектором и матрицей ковариации (среди компонентов вектора), и эти случайные векторы независимы и одинаково распределены. Суммирование этих векторов производится покомпонентно. Многомерная центральная предельная теорема утверждает, что при масштабировании суммы сходятся к многомерному нормальному распределению . [6]

Позволять

быть k -вектором. Жирный шрифт означает, что это случайный вектор, а не случайная (одномерная) переменная. Тогда сумма случайных векторов будет

и в среднем

и поэтому

Многомерная центральная предельная теорема утверждает, что

где ковариационная матрица равна

Скорость сходимости определяется следующим результатом типа Берри – Эссеена :

Теорема. [7] Позвольте быть независимыми -значными случайными векторами, каждый из которых имеет нулевое среднее значение. Пиши и считай обратимым. Пусть будет -мерный гауссовский с тем же средним и ковариационной матрицей, что и . Тогда для всех множеств выпуклых ,

где - универсальная постоянная ,, и обозначает евклидову норму на .

Неизвестно, нужен ли фактор . [8]

Обобщенная теорема [ править ]

Центральная предельная теорема утверждает, что сумма ряда независимых и одинаково распределенных случайных величин с конечной дисперсией будет стремиться к нормальному распределению по мере роста числа переменных. Обобщение Гнеденко и Колмогорова утверждает, что сумма ряда случайных величин со степенным хвостом ( паретианским хвостом ) распределений, убывающими как где (и, следовательно, имеющими бесконечную дисперсию), будет стремиться к устойчивому распределению по мере увеличения числа слагаемых. . [9] [10] Если тогда сумма сходится к устойчивому распределению с параметром устойчивости, равным 2, то есть к распределению Гаусса.[11]

Зависимые процессы [ править ]

CLT при слабой зависимости [ править ]

Полезным обобщением последовательности независимых одинаково распределенных случайных величин является случайный процесс смешивания в дискретное время; «смешивание» означает, грубо говоря, что случайные величины, удаленные друг от друга во времени, почти независимы. В эргодической теории и теории вероятностей используется несколько видов перемешивания. См особенно сильное перемешивание (также называемый α-перемешивания) , определенный в котором так называемый сильный коэффициент смешения .

Упрощенная формулировка центральной предельной теоремы при сильном перемешивании: [12]

Теорема. Предположим, что это стационарный и -смешивающийся с и что и . Обозначим , тогда предел

существует, а если то сходится по распределению к .

Фактически,

где ряд абсолютно сходится.

Предположение о том, не может быть опущено, так как асимптотическая нормальность не выполняется для где еще одна стационарной последовательности .

Существует более сильная версия теоремы: [13] предположение заменяется на , а предположение заменяется на

Наличие такового обеспечивает вывод. Энциклопедическое рассмотрение предельных теорем в условиях перемешивания см. ( Bradley 2007 ).

Разница в мартингейле CLT [ править ]

Теорема . Пусть мартингал удовлетворяет

  • по вероятности при n → ∞ ,
  • для каждого е > 0 , а п → ∞ ,

затем сходится по распределению к as . [14] [15]

Внимание: ограниченное ожидание [ разъяснение необходимости ] не следует путать с условным ожиданием .

Замечания [ править ]

Доказательство классической CLT [ править ]

Центральная предельная теорема имеет доказательство с использованием характеристических функций . [16] Это похоже на доказательство (слабого) закона больших чисел .

Предположим, что это независимые и одинаково распределенные случайные величины, каждая из которых имеет среднее значение и конечную дисперсию . Сумма имеет среднее значение и дисперсию . Рассмотрим случайную величину

где на последнем шаге мы определили новые случайные величины , каждая с нулевым средним и единичной дисперсией ( ). Характеристическая функция от задается

где на последнем шаге мы использовали тот факт, что все они одинаково распределены. Характеристическая функция есть, по теореме Тейлора ,

где есть « немного о нотации » для некоторой функции , которая стремится к нулю быстрее . В пределе показательной функции ( ) характеристическая функция равна

В пределе исчезают все члены высшего порядка . Правая часть равна характеристической функции стандартного нормального распределения , из чего следует через теорему Леви о непрерывности, что распределение воли приближается как . Следовательно, выборочное среднее

таково, что

сходится к нормальному распределению , из которого следует центральная предельная теорема.

Сходимость до предела [ править ]

Центральная предельная теорема дает только асимптотическое распределение . В качестве приближения для конечного числа наблюдений оно обеспечивает разумное приближение только тогда, когда оно близко к пику нормального распределения; требуется очень большое количество наблюдений, чтобы простираться до хвоста. [ необходима цитата ]

Сходимость в центральной предельной теореме равномерна, поскольку предельная кумулятивная функция распределения непрерывна. Если третий центральный момент существует и конечен, то скорость сходимости по крайней мере порядка (см. Теорему Берри – Эссеена ). Метод Стейна [17] можно использовать не только для доказательства центральной предельной теоремы, но и для получения оценок скорости сходимости для выбранных метрик. [18]

Сходимость к нормальному распределению монотонна, в том смысле , что энтропия в возрастает монотонно к тому из нормального распределения. [19]

Центральная предельная теорема применима, в частности, к суммам независимых и одинаково распределенных дискретных случайных величин . Сумма дискретных случайных величин по-прежнему является дискретной случайной величиной , так что мы сталкиваемся с последовательностью дискретных случайных величин, чья кумулятивная функция распределения вероятностей сходится к кумулятивной функции распределения вероятностей, соответствующей непрерывной переменной (а именно нормальному распределению ). . Это означает, что если мы построим гистограмму реализаций суммы nнезависимых идентичных дискретных переменных, кривая, которая соединяет центры верхних граней прямоугольников, образующих гистограмму, сходится к гауссовой кривой, когда n приближается к бесконечности, это соотношение известно как теорема де Муавра – Лапласа . В статье о биномиальном распределении подробно описывается такое применение центральной предельной теоремы в простом случае дискретной переменной, принимающей только два возможных значения.

Отношение к закону больших чисел [ править ]

Закон больших чисел, а также центральная предельная теорема являются частичным решением общей проблемы: «Каково предельное поведение S n при стремлении n к бесконечности?» В математическом анализе асимптотические ряды являются одним из самых популярных инструментов, используемых для решения таких вопросов.

Предположим, у нас есть асимптотическое разложение :

Разделив обе части по φ 1 ( п ) и переходя к пределу будет производить 1 , коэффициент термина высшего порядка в разложении, который представляет собой скорость , при которой е ( п ) изменяется в его переднем плане.

Неформально, можно сказать: « е ( п ) возрастает примерно как в 1 φ 1 ( п ) ». Взяв разницу между f ( n ) и ее приближением и затем разделив на следующий член в разложении, мы приходим к более тонкому утверждению о f ( n ) :

Здесь можно сказать, что разница между функцией и ее приближением растет примерно как a 2 φ 2 ( n ) . Идея состоит в том, что разделение функции на соответствующие нормализующие функции и рассмотрение ограничивающего поведения результата может многое рассказать нам об ограничивающем поведении самой исходной функции.

Неформально нечто подобное происходит, когда сумма S n независимых одинаково распределенных случайных величин X 1 ,…, X n изучается в классической теории вероятностей. [ необходима цитата ] Если каждый X i имеет конечное среднее значение μ , то по закону больших чиселS n/пμ . [20] Если вдобавок каждое X i имеет конечную дисперсию σ 2 , то по центральной предельной теореме

где ξ распределяется как N (0, σ 2 ) . Это обеспечивает значения первых двух констант в неформальном расширении

В случае, когда X i не имеет конечного среднего или дисперсии, сходимость смещенной и масштабированной суммы также может происходить с различными коэффициентами центрирования и масштабирования:

или неофициально

Распределения Ξ, которые могут возникать таким образом, называются стабильными . [21] Очевидно, что нормальное распределение является стабильным, но существуют и другие стабильные распределения, например, распределение Коши , для которых не определены среднее значение или дисперсия. Коэффициент масштабирования b n может быть пропорционален n c для любого c1/2; она также может быть умножена на медленно меняющуюся функцию от п . [11] [22]

Закон повторного логарифма специфицирует , что происходит «между» в законе больших чисел и центральной предельной теоремы. В частности, в нем говорится, что нормализующая функция n log log n , промежуточная по размеру между n закона больших чисел и n центральной предельной теоремы, обеспечивает нетривиальное предельное поведение.

Альтернативные утверждения теоремы [ править ]

Функции плотности [ править ]

Плотности суммы двух или более независимых переменных является сверткой их плотностей (если существуют эти плотности). Таким образом, центральную предельную теорему можно интерпретировать как утверждение о свойствах функций плотности при свертке: свертка ряда функций плотности стремится к нормальной плотности по мере неограниченного увеличения числа функций плотности. Эти теоремы требуют более сильных гипотез, чем приведенные выше формы центральной предельной теоремы. Теоремы этого типа часто называют локальными предельными теоремами. См. Конкретную локальную предельную теорему для сумм независимых и одинаково распределенных случайных величин у Петрова [23] .

Характерные функции [ править ]

Поскольку характеристическая функция свертки является произведением характеристических функций задействованных плотностей, центральная предельная теорема имеет еще одну формулировку: произведение характеристических функций ряда функций плотности становится близким к характеристической функции нормальной плотности при неограниченном увеличении числа функций плотности при указанных выше условиях. В частности, к аргументу характеристической функции должен применяться соответствующий коэффициент масштабирования.

Эквивалентное утверждение можно сделать о преобразованиях Фурье , поскольку характеристическая функция по существу является преобразованием Фурье.

Расчет дисперсии [ править ]

Пусть S n будет суммой n случайных величин. Многие центральные предельные теоремы предоставляют такие условия, что S n / Var ( S n ) сходится по распределению к N (0,1) (нормальное распределение со средним 0, дисперсией 1) при n → ∞ . В некоторых случаях можно найти постоянную σ 2 и функцию f (n) такие, что S n / (σ n⋅f ( n ) ) сходится по распределению к N (0,1) какп → ∞ .

Лемма. [24] Предположим , что последовательность вещественных и строго стационарных случайных величин с для всех , и . Построить

  1. Если абсолютно сходится , а потом как где .
  2. Если дополнительно и сходится в распределении к as, то также сходится в распределении к as .

Расширения [ править ]

Произведения положительных случайных величин [ править ]

Логарифм продукта просто сумма логарифмов сомножителей. Следовательно, когда логарифм произведения случайных величин, принимающих только положительные значения, приближается к нормальному распределению, сам продукт приближается к логарифмически нормальному распределению . Многие физические величины (особенно масса или длина, которые зависят от масштаба и не могут быть отрицательными) являются продуктами различных случайных факторов, поэтому они подчиняются логнормальному распределению. Эту мультипликативную версию центральной предельной теоремы иногда называют законом Гибрата .

В то время как центральная предельная теорема для сумм случайных величин требует условия конечной дисперсии, соответствующая теорема для произведений требует соответствующего условия, что функция плотности интегрируема с квадратом. [25]

Вне классических рамок [ править ]

Асимптотическая нормальность, то есть сходимость к нормальному распределению после соответствующего сдвига и изменения масштаба, является явлением гораздо более общим, чем классическая структура, рассмотренная выше, а именно, суммы независимых случайных величин (или векторов). Время от времени появляются новые рамки; единой объединяющей основы пока нет.

Выпуклое тело [ править ]

Теорема. Существует последовательность ε n ↓ 0, для которой выполняется следующее. Пусть n ≥ 1 , и пусть случайные величины X 1 ,…, X n имеют логарифмически вогнутую плотность соединений f такую, что f ( x 1 ,…, x n ) = f (| x 1 |,…, | x n | ) для всех x 1 ,…, x n и E ( X2
к
) = 1
для всех k = 1,…, n . Тогда распределение

является ε n -ближе к N (0,1) по расстоянию полной вариации . [26]

Эти два ε n -блочных распределения имеют плотности (фактически, логарифмически вогнутые плотности), таким образом, общее расстояние дисперсии между ними является интегралом абсолютного значения разницы между плотностями. Сходимость при полной вариации сильнее слабой.

Важным примером логарифмически вогнутой плотности является функция, постоянная внутри данного выпуклого тела и исчезающая снаружи; оно соответствует равномерному распределению на выпуклом теле, что объясняет термин «центральная предельная теорема для выпуклых тел».

Другой пример: f ( x 1 ,…, x n ) = const · exp (- (| x 1 | α +… + | x n | α ) β ), где α > 1 и αβ > 1 . Если β = 1, то f ( x 1 ,…, x n ) факторизуется в const · exp (- | x 1 | α )… exp (- | x n | α ),что означает, что X 1 ,…, X n независимы. Но в целом они зависимы.

Условие f ( x 1 ,…, x n ) = f (| x 1 |,…, | x n |) гарантирует, что X 1 ,…, X n имеют нулевое среднее и некоррелированы ; [ цитата необходима ] тем не менее, они не должны быть независимыми или даже попарно независимыми . [ необходимая цитата ] Между прочим, попарная независимость не может заменить независимость в классической центральной предельной теореме. [27]

Вот результат типа Берри – Эссеена .

Теорема. Пусть X 1 ,…, X n удовлетворяют условиям предыдущей теоремы, тогда [28]

для всех a < b ; здесь C - универсальная (абсолютная) постоянная . Более того, для любых c 1 ,…, c n таких, что c2
1
+… + C2
п
= 1
,

Распределение X 1 +… + X n/пне обязательно быть приблизительно нормальным (на самом деле может быть однородным). [29] Однако распределение c 1 X 1 +… + c n X n близко к N (0,1) (в общем расстоянии вариации) для большинства векторов ( c 1 ,…, c n ) в соответствии с равномерное распределение на сфере c2
1
+… + C2
п
= 1
.

Лакунарные тригонометрические ряды [ править ]

Теорема ( Салем - Зигмунд ): Пусть U - случайная величина, равномерно распределенная на (0,2π) , и X k = r k cos ( n k U + a k ) , где

  • n k удовлетворяют условию лакунарности: существует q > 1 такое, что n k + 1qn k для всех k ,
  • r k такие, что
  • 0 ≤ a k <2π .

Затем [30] [31]

сходится по распределению к N (0,1/2) .

Гауссовы многогранники [ править ]

Теорема. Пусть A 1 ,…, A n - независимые случайные точки на плоскости 2, каждая из которых имеет двумерное стандартное нормальное распределение. Пусть K n - выпуклая оболочка этих точек, а X n - площадь K n. Тогда [32]

сходится по распределению к N (0,1), когда n стремится к бесконечности.

То же самое верно и для всех измерений больше 2.

Многогранник К п называется гауссовой случайной многогранник.

Аналогичный результат справедлив для числа вершин (многогранника Гаусса), числа ребер и фактически граней всех размерностей. [33]

Линейные функции ортогональных матриц [ править ]

Линейная функция матрицы M - это линейная комбинация ее элементов (с заданными коэффициентами), M ↦ tr ( AM ), где A - матрица коэффициентов; см. След (линейная алгебра) # Внутренний продукт .

Случайная ортогональная матрица называется равномерно распределенной, если ее распределение является нормированной мерой Хаара на ортогональной группе O ( n , ) ; см. Матрица вращения # Матрицы равномерного случайного вращения .

Теорема. Пусть M - случайная ортогональная матрица размера n × n, распределенная равномерно, а A - фиксированная матрица размера n × n, такая что tr ( AA *) = n , и пусть X = tr ( AM ) . Тогда [34] распределение X близко к N (0,1) в метрике полной вариации до [ требуется пояснение ] 2 3/п - 1.

Подпоследовательности [ править ]

Теорема. Пусть случайные величины X 1 , X 2 ,… ∈ L 2 (Ω) таковы, что X n → 0 слабо в L 2 (Ω) и X
п
→ 1
слабо в L 1 (Ω) . Тогда существуют целые числа n 1 < n 2 <… такие, что

сходится по распределению к N (0,1), когда k стремится к бесконечности. [35]

Случайное блуждание по кристаллической решетке [ править ]

Центральная предельная теорема может быть установлена ​​для простого случайного блуждания по кристаллической решетке (бесконечный абелев накрывающий граф над конечным графом) и используется для проектирования кристаллических структур.[36] [37]

Приложения и примеры [ править ]

Простой пример [ править ]

Этот рисунок демонстрирует центральную предельную теорему. Средние выборки генерируются с использованием генератора случайных чисел, который извлекает числа от 0 до 100 из равномерного распределения вероятностей. Это показывает, что увеличение размеров выборки приводит к тому, что 500 измеренных выборочных средних более близко распределяются относительно среднего по генеральной совокупности (в данном случае 50). Он также сравнивает наблюдаемые распределения с распределениями, которые можно было бы ожидать от нормализованного гауссовского распределения, и показывает значения хи-квадрат, которые количественно определяют качество соответствия (соответствие хорошее, если приведенное значение хи-квадратзначение меньше или приблизительно равно единице). Входными данными в нормализованную функцию Гаусса является среднее значение выборки (~ 50) и среднее стандартное отклонение выборки, деленное на квадратный корень из размера выборки (~ 28,87 / n ), которое называется стандартным отклонением среднего ( поскольку это относится к разбросу выборочных средств).

Простой пример центральной предельной теоремы - бросание множества одинаковых несмещенных игральных костей. Распределение суммы (или среднего) выпавших чисел будет хорошо аппроксимировано нормальным распределением. Поскольку реальные величины часто представляют собой сбалансированную сумму многих ненаблюдаемых случайных событий, центральная предельная теорема также дает частичное объяснение преобладания нормального распределения вероятностей. Это также оправдывает приближение статистики большой выборки к нормальному распределению в контролируемых экспериментах.

Сравнение функций плотности вероятности ** p ( k ) для суммы n справедливых 6-сторонних игральных костей, чтобы показать их сходимость к нормальному распределению с увеличением n в соответствии с центральной предельной теоремой. На нижнем правом графике сглаженные профили предыдущих графиков масштабируются, накладываются друг на друга и сравниваются с нормальным распределением (черная кривая).
Еще одно моделирование с использованием биномиального распределения. Были сгенерированы случайные 0 и 1, а затем рассчитаны их средние для размеров выборки от 1 до 512. Обратите внимание, что по мере увеличения размера выборки хвосты становятся тоньше, а распределение становится более концентрированным вокруг среднего.

Реальные приложения [ править ]

Опубликованная литература содержит ряд полезных и интересных примеров и приложений, относящихся к центральной предельной теореме. [38] Один источник [39] приводит следующие примеры:

  • Распределение вероятностей для общего расстояния, пройденного случайным блужданием (смещенным или несмещенным), будет иметь тенденцию к нормальному распределению .
  • Подбрасывание большого количества монет приведет к нормальному распределению общего количества решек (или, что эквивалентно, общего количества решек).

С другой точки зрения, центральная предельная теорема объясняет обычное появление «колоколообразной кривой» в оценках плотности, применяемых к реальным данным. В таких случаях, как электронный шум, экзаменационные оценки и т. Д., Мы часто можем рассматривать одно измеренное значение как средневзвешенное значение множества небольших эффектов. Затем, используя обобщения центральной предельной теоремы, мы можем увидеть, что это часто (хотя и не всегда) приводит к окончательному распределению, которое приблизительно нормально.

В общем, чем больше измерение похоже на сумму независимых переменных с равным влиянием на результат, тем более нормальным оно является. Это оправдывает обычное использование этого распределения для замены эффектов ненаблюдаемых переменных в таких моделях, как линейная модель .

Регресс [ править ]

Регрессионный анализ и, в частности, обычный метод наименьших квадратов указывает, что зависимая переменная зависит в соответствии с некоторой функцией от одной или нескольких независимых переменных с дополнительным членом ошибки . Различные типы статистического вывода о регрессии предполагают, что член ошибки имеет нормальное распределение. Это предположение может быть оправдано, если предположить, что член ошибки на самом деле является суммой многих независимых членов ошибки; даже если отдельные члены ошибок не распределены нормально, по центральной предельной теореме их сумма может быть хорошо аппроксимирована нормальным распределением.

Другие иллюстрации [ править ]

Учитывая его важность для статистики, доступен ряд статей и компьютерных пакетов, демонстрирующих сходимость, заложенную в центральной предельной теореме. [40]

История [ править ]

Голландский математик Хенк Теймс пишет: [41]

Центральная предельная теорема имеет интересную историю. Первая версия этой теоремы была постулирована математиком французского происхождения Абрахамом де Муавром, который в замечательной статье, опубликованной в 1733 году, использовал нормальное распределение для аппроксимации распределения числа орлов в результате многих подбрасываний честной монеты. Это открытие намного опередило свое время и было почти забыто, пока известный французский математик Пьер-Симон Лаплас не спас его из безвестности в своей монументальной работе « Аналитическая теория вероятностей»., который был опубликован в 1812 году. Лаплас расширил открытие Де Муавра, аппроксимировав биномиальное распределение нормальным распределением. Но, как и в случае с Де Муавром, открытие Лапласа не привлекло особого внимания в его время. Лишь в конце XIX века важность центральной предельной теоремы была осознана, когда в 1901 году русский математик Александр Ляпунов дал ей общие определения и точно доказал, как она работает математически. В настоящее время центральная предельная теорема считается неофициальным сувереном теории вероятностей.

Сэр Фрэнсис Гальтон описал Центральную предельную теорему следующим образом: [42]

Я не знаю ничего более впечатляющего в воображении, чем чудесная форма космического порядка, выраженная «Законом частоты ошибок». Закон был бы олицетворен греками и обожествлен, если бы они знали о нем. Он царит безмятежно и в полном самоуничижении среди самой дикой неразберихи. Чем больше толпа и чем больше очевидная анархия, тем совершеннее ее власть. Это высший закон безрассудства. Всякий раз, когда берется большая выборка хаотических элементов и выстраивается в порядке их величины, неожиданная и самая красивая форма регулярности оказывается скрытой все время.

Фактический термин «центральная предельная теорема» (на немецком языке: «zentraler Grenzwertsatz») впервые был использован Джорджем Полей в 1920 году в названии статьи. [43] [44] Полиа назвал теорему «центральной» из-за ее важности в теории вероятностей. Согласно Ле Каму, французская школа вероятностей интерпретирует слово центральный в том смысле, что «оно описывает поведение центра распределения в противоположность его хвостам». [44] Реферат статьи Полиа [43] в 1920 г. « О центральной предельной теореме вероятностного исчисления и проблеме моментов » переводится следующим образом.

Возникновение гауссовой плотности вероятности 1 = e - x 2 в повторяющихся экспериментах, в ошибках измерений, которые приводят к комбинации очень многих и очень маленьких элементарных ошибок, в процессах диффузии и т. Д., Можно объяснить, а также хорошо: известно по той же предельной теореме, которая играет центральную роль в исчислении вероятностей. Настоящего первооткрывателя этой предельной теоремы следует назвать Лапласом; вполне вероятно, что его строгое доказательство было впервые дано Чебыщефом, а его наиболее точную формулировку, насколько мне известно, можно найти в статье Ляпунова . ...

Полное изложение истории теоремы с подробным описанием основополагающей работы Лапласа, а также вкладов Коши , Бесселя и Пуассона предоставлено Халдом. [45] Два исторических отчета, один из которых охватывает развитие от Лапласа до Коши, а второй - вклад фон Мизеса , Полиа , Линдеберга , Леви и Крамера в течение 1920-х годов, представлены Гансом Фишером. [46] Ле Кам описывает период около 1935 года. [44] Бернштейн [47] представляет историческую дискуссию, посвященную работе Пафнутия Чебышева.и его ученики Андрей Марков и Александр Ляпунов, которые привели к первым доказательствам CLT в общих условиях.

В течение 1930-х годов были представлены все более общие доказательства Центральной предельной теоремы. Было обнаружено, что многие естественные системы демонстрируют гауссовские распределения - типичным примером является распределение по высоте для людей. Когда в начале 1900-х годов стали применяться статистические методы, такие как дисперсионный анализ, стало все более обычным делом предполагать лежащие в основе распределения Гаусса. [48]

Любопытная сноска к истории центральной предельной теоремы является то , что доказательство результата аналогичны 1922 Линдеберг ЦПТА было предметом Алан Тьюринг «s 1934 стипендий Диссертации на Королевский колледж в Кембриджском университете . Только после отправки работы Тьюринг узнал, что она уже доказана. Следовательно, диссертация Тьюринга не была опубликована. [49]

См. Также [ править ]

  • Асимптотическое свойство равнораспределения
  • Асимптотическое распределение
  • Распределение Бейтса
  • Закон Бенфорда - результат расширения CLT до произведения случайных величин.
  • Теорема Берри – Эссеена
  • Центральная предельная теорема для направленной статистики - Центральная предельная теорема применяется к случаю направленной статистики
  • Дельта-метод - для вычисления предельного распределения функции случайной величины.
  • Теорема Эрдеша – Каца - связывает количество простых делителей целого числа с нормальным распределением вероятностей.
  • Теорема Фишера – Типпета – Гнеденко - предельная теорема для экстремальных значений (таких как max { X n })
  • Распределение Ирвина – Холла
  • Центральная предельная теорема цепи Маркова
  • Нормальное распределение
  • Теорема Твиди о сходимости - теорема, которую можно рассматривать как мост между центральной предельной теоремой и теоремой о сходимости Пуассона [50]

Примечания [ править ]

  1. ^ Монтгомери, Дуглас С .; Рангер, Джордж К. (2014). Прикладная статистика и вероятность для инженеров (6-е изд.). Вайли. п. 241. ISBN. 9781118539712.
  2. ^ Rouaud, Матье (2013). Вероятность, статистика и оценка (PDF) . п. 10.
  3. Биллингсли (1995, стр. 357)
  4. ^ Бауэр (2001, теорема 30.13, стр.199)
  5. ^ Биллингсли (1995, с.362)
  6. ^ Ван дер Ваарт, AW (1998). Асимптотическая статистика . Нью-Йорк: Издательство Кембриджского университета. ISBN 978-0-521-49603-2. LCCN  98015176 .
  7. ^ Райан О'Доннелл (2014, теорема 5.38) http://www.contrib.andrew.cmu.edu/~ryanod/?p=866
  8. ^ Бенткус, В. (2005). "Граница типа Ляпунова ". Теория вероятн. Appl . 49 (2): 311–323. DOI : 10.1137 / S0040585X97981123 .
  9. ^ Войт, Йоханнес (2003). «Раздел 5.4.3» . Статистическая механика финансовых рынков . Тексты и монографии по физике. Springer-Verlag. ISBN 3-540-00978-7.
  10. ^ Гнеденко, Б.В.; Колмогоров, АН (1954). Предельные распределения для сумм независимых случайных величин . Кембридж: Аддисон-Уэсли.
  11. ^ a b Учайкин, Владимир В .; Золотарев В.М. (1999). Случайность и стабильность: стабильные дистрибутивы и их приложения . ВСП. С. 61–62. ISBN 90-6764-301-7.
  12. ^ Биллингсли (1995, теорема 27.5)
  13. ^ Durrett (2004, раздел 7.7 (c), теорема 7.8)
  14. ^ Дарретт (2004, раздел 7.7, теорема 7.4)
  15. ^ Биллингсли (1995, теорема 35.12)
  16. ^ «Введение в случайные процессы в физике» . jhupbooks.press.jhu.edu . Проверено 11 августа 2016 .
  17. Перейти ↑ Stein, C. (1972). «Граница ошибки нормального приближения к распределению суммы зависимых случайных величин» . Труды Шестого симпозиума Беркли по математической статистике и вероятности : 583–602. Руководство по ремонту 0402873 . Zbl 0278.60026 .  
  18. ^ Чен, LHY; Goldstein, L .; Шао, QM (2011). Нормальное приближение по методу Штейна . Springer. ISBN 978-3-642-15006-7.
  19. ^ Artstein, S .; Болл, К .; Barthe, F .; Наор, A. (2004), "Решение задачи Шеннона о монотонности Энтропии" , журнал Американского математического общества , 17 (4): 975-982, DOI : 10,1090 / S0894-0347-04-00459-X
  20. ^ Розенталь, Джеффри Сет (2000). Первый взгляд на строгую теорию вероятностей . World Scientific. Теорема 5.3.4, с. 47. ISBN 981-02-4322-7.
  21. ^ Джонсон, Оливер Томас (2004). Теория информации и центральная предельная теорема . Imperial College Press. п. 88. ISBN 1-86094-473-6.
  22. ^ Бородин, АН; Ибрагимов И.А.; Судаков, В. Н. (1995). Предельные теоремы для функционалов от случайных блужданий . Книжный магазин AMS. Теорема 1.1, с. 8. ISBN 0-8218-0438-3.
  23. Петров, В.В. (1976). Суммы независимых случайных величин . Нью-Йорк-Гейдельберг: Springer-Verlag. гл. 7. ISBN 9783642658099.
  24. ^ Хью, Патрик Чисан (2017). «Асимптотическое распределение вознаграждений, накопленных чередующимися процессами обновления». Статистика и вероятностные письма . 129 : 355–359. DOI : 10.1016 / j.spl.2017.06.027 .
  25. ^ Ремпала, G .; Весоловски Дж. (2002). «Асимптотика произведений сумм и U- статистика» (PDF) . Электронные коммуникации в вероятности . 7 : 47–54. DOI : 10.1214 / ecp.v7-1046 .
  26. ^ Klartag (2007, теорема 1.2)
  27. ^ Дарретт (2004, раздел 2.4, пример 4.5)
  28. ^ Клартаг (2008, теорема 1)
  29. ^ Klartag (2007, теорема 1.1)
  30. ^ Зигмунд, Антони (2003) [1959]. Тригонометрический ряд . Издательство Кембриджского университета. т. II, разд. XVI.5, теорема 5-5. ISBN 0-521-89053-5.
  31. ^ Гапошкин (1966, теорема 2.1.13)
  32. ^ Барани и Vu (2007, теорема 1.1)
  33. ^ Барани и Vu (2007, теорема 1.2)
  34. ^ Мекес, Элизабет (2008). «Линейные функции на классических группах матриц». Труды Американского математического общества . 360 (10): 5355–5366. arXiv : math / 0509441 . DOI : 10.1090 / S0002-9947-08-04444-9 . S2CID 11981408 . 
  35. ^ Гапошкин (1966, п. 1.5)
  36. ^ Kotani, M .; Сунада, Тошиказу (2003). Спектральная геометрия кристаллических решеток . 338 . Современная математика. С. 271–305. ISBN 978-0-8218-4269-0.
  37. ^ Сунада, Тошиказ (2012). Топологическая кристаллография - с точки зрения дискретного геометрического анализа . Обзоры и учебные пособия по прикладным математическим наукам. 6 . Springer. ISBN 978-4-431-54177-6.
  38. ^ Динов, Кристу и Санчес (2008)
  39. ^ "Приложения GCLT деятельности SOCR EduMaterials - Socr" . Wiki.stat.ucla.edu . 2010-05-24 . Проверено 23 января 2017 .
  40. ^ Marasinghe, M .; Микер, В .; Повар, Д .; Шин, Т.С. (август 1994 г.). «Использование графики и моделирования для обучения статистическим концепциям». Документ, представленный на Ежегодном собрании Американской ассоциации статистиков, Торонто, Канада. Cite journal requires |journal= (help)
  41. ^ Хенк, Tijms (2004). Понимание вероятности: правила случайности в повседневной жизни . Кембридж: Издательство Кембриджского университета. п. 169. ISBN. 0-521-54036-4.
  42. ^ Гальтон, Ф. (1889). Естественное наследование . п. 66.
  43. ^ a b Pólya, Джордж (1920). "Über den zentralen Grenzwertsatz der Wahrscheinlichkeitsrechnung und das Momentenproblem" [О центральной предельной теореме вычисления вероятности и проблеме моментов]. Mathematische Zeitschrift (на немецком языке). 8 (3–4): 171–181. DOI : 10.1007 / BF01206525 . S2CID 123063388 . 
  44. ^ a b c Ле Кам, Люсьен (1986). «Центральная предельная теорема около 1935 года» . Статистическая наука . 1 (1): 78–91. DOI : 10,1214 / сс / 1177013818 .
  45. ^ Hald, Andreas (22 апреля 1998). История математической статистики с 1750 по 1930 год (PDF) . Gbv.de . Глава 17. ISBN  978-0471179122.
  46. ^ Фишер, Ганс (2011). История центральной предельной теоремы: от классической к современной теории вероятностей . Источники и исследования по истории математики и физических наук. Нью-Йорк: Спрингер. DOI : 10.1007 / 978-0-387-87857-7 . ISBN 978-0-387-87856-0. Руководство по ремонту  2743162 . Zbl  1226.60004 . (Глава 2: Центральная предельная теорема от Лапласа до Коши: изменения стохастических целей и аналитических методов, Глава 5.2: Центральная предельная теорема в двадцатые годы)
  47. Перейти ↑ Bernstein, SN (1945). «О работах П.Л. Чебышева по теории вероятностей». В Бернштейне., С. Н. (ред.). Научное наследие П.Л. Чебышева. Выпуск первыи: МАТЕМАТИКА [ Научное наследие П. Л. Чебышева. Часть I: Математика . Москва и Ленинград: Академия Наук СССР. п. 174.
  48. ^ Вольфрам, Стивен (2002). Новый вид науки . Wolfram Media, Inc. стр. 977 . ISBN 1-57955-008-8.
  49. ^ Zabell, SL (1995). «Алан Тьюринг и центральная предельная теорема». Американский математический ежемесячник . 102 (6): 483–494. DOI : 10.1080 / 00029890.1995.12004608 .
  50. Перейти ↑ Jørgensen, Bent (1997). Теория моделей дисперсии . Чепмен и Холл. ISBN 978-0412997112.

Ссылки [ править ]

  • Барань, Имре ; Ву, Ван (2007). «Центральные предельные теоремы для гауссовских многогранников». Анналы вероятности . Институт математической статистики. 35 (4): 1593–1621. arXiv : математика / 0610192 . DOI : 10.1214 / 009117906000000791 . S2CID  9128253 .
  • Бауэр, Хайнц (2001). Теория меры и интеграции . Берлин: де Грюйтер. ISBN 3110167190.
  • Биллингсли, Патрик (1995). Вероятность и мера (3-е изд.). Джон Вили и сыновья. ISBN 0-471-00710-2.
  • Брэдли, Ричард (2007). Введение в условия сильного перемешивания (1-е изд.). Хибер-Сити, Юта: Кендрик Пресс. ISBN 978-0-9740427-9-4.
  • Брэдли, Ричард (2005). «Основные свойства условий сильного перемешивания. Обзор и некоторые открытые вопросы». Обзоры вероятностей . 2 : 107–144. arXiv : math / 0511078 . Bibcode : 2005math ..... 11078B . DOI : 10.1214 / 154957805100000104 . S2CID  8395267 .
  • Динов, Иво; Кристу, Николас; Санчес, Хуана (2008). «Центральная предельная теорема: новый апплет SOCR и демонстрационная деятельность» . Журнал статистики образования . КАК. 16 (2): 1–15. DOI : 10.1080 / 10691898.2008.11889560 . PMC  3152447 . PMID  21833159 .
  • Дарретт, Ричард (2004). Вероятность: теория и примеры (3-е изд.). Издательство Кембриджского университета. ISBN 0521765390.
  • Гапошкин, В. Ф. (1966). «Лакунарные ряды и независимые функции». Российские математические обзоры . 21 (6): 1–82. Bibcode : 1966RuMaS..21 .... 1G . DOI : 10.1070 / RM1966v021n06ABEH001196 ..
  • Клартаг, Боаз (2007). «Центральная предельная теорема для выпуклых множеств». Inventiones Mathematicae . 168 (1): 91–131. arXiv : math / 0605014 . Bibcode : 2007InMat.168 ... 91K . DOI : 10.1007 / s00222-006-0028-8 . S2CID  119169773 .
  • Клартаг, Боаз (2008). «Неравенство типа Берри – Эссеена для выпуклых тел с безусловным базисом». Теория вероятностей и смежные области . 145 (1–2): 1–33. arXiv : 0705.0832 . DOI : 10.1007 / s00440-008-0158-6 . S2CID  10163322 .

Внешние ссылки [ править ]

  • Центральная предельная теорема в Академии Хана
  • "Центральная предельная теорема" , Энциклопедия математики , EMS Press , 2001 [1994]
  • Вайсштейн, Эрик В. «Центральная предельная теорема» . MathWorld .