В теории вероятностей , в нормальном (или гауссовой или Гаусса или Лапласа-Гаусса ) распределение представляет собой тип непрерывного распределения вероятностей для вещественной случайной величины . Общий вид его функции плотности вероятности :
Функция плотности вероятности Красная кривая - стандартное нормальное распределение. | |||
Кумулятивная функция распределения | |||
Обозначение | |||
---|---|---|---|
Параметры | = среднее ( местоположение ) = дисперсия (квадратная шкала ) | ||
Служба поддержки | |||
CDF | |||
Квантиль | |||
Иметь в виду | |||
Медиана | |||
Режим | |||
Дисперсия | |||
БЕЗ УМА | |||
Асимметрия | |||
Бывший. эксцесс | |||
Энтропия | |||
MGF | |||
CF | |||
Информация Fisher |
| ||
Расхождение Кульбака-Лейблера |
Параметр - среднее значение или математическое ожидание распределения (а также его медиана и мода ), а параметрэто его стандартное отклонение . [1] дисперсия распределения является. [2] Случайная величина с гауссовым распределением называется нормально распределенной и называется нормальным отклонением .
Нормальные распределения важны в статистике и часто используются в естественных и социальных науках для представления случайных величин с действительными значениями , распределения которых неизвестны. [3] [4] Их важность частично объясняется центральной предельной теоремой . В нем говорится, что при некоторых условиях среднее из многих выборок (наблюдений) случайной величины с конечным средним значением и дисперсией само по себе является случайной величиной, распределение которой сходится к нормальному распределению по мере увеличения количества выборок. Следовательно, физические величины, которые, как ожидается, будут суммой многих независимых процессов, таких как ошибки измерения , часто имеют почти нормальные распределения. [5]
Более того, гауссовские распределения обладают некоторыми уникальными свойствами, которые ценны для аналитических исследований. Например, любая линейная комбинация фиксированного набора нормальных отклонений является нормальным отклонением. Многие результаты и методы, такие как распространение неопределенности и подбор параметров методом наименьших квадратов , могут быть получены аналитически в явной форме, когда соответствующие переменные распределены нормально.
Нормальное распределение иногда неофициально называют кривой колокола . [6] Однако многие другие распределения имеют форму колокола (например, распределение Коши , t Стьюдента и логистические распределения).
Определения
Стандартное нормальное распределение
Простейший случай нормального распределения известен как стандартное нормальное распределение . Это особый случай, когда а также , и описывается этой функцией плотности вероятности : [1]
Здесь фактор гарантирует, что общая площадь под кривой равно единице. [примечание 1] Факторв показателе степени гарантирует, что распределение имеет единичную дисперсию (т. е. дисперсию, равную единице), и, следовательно, также единичное стандартное отклонение. Эта функция симметрична относительно, где она достигает максимального значения и имеет точки перегиба в а также .
Авторы расходятся во мнениях относительно того, какое нормальное распределение следует называть "стандартным". Карл Фридрих Гаусс , например, определил стандартную нормаль как имеющую дисперсию. Это:
С другой стороны, Стивен Стиглер [7] идет еще дальше, определяя стандартную нормаль как имеющую дисперсию:
Общее нормальное распределение
Каждое нормальное распределение является версией стандартного нормального распределения, область определения которого была увеличена в несколько раз. (стандартное отклонение), а затем переведено на (среднее значение):
Плотность вероятности должна быть масштабирована на так что интеграл по-прежнему равен 1.
Если это стандартное нормальное отклонение , то будет иметь нормальное распределение с ожидаемым значением и стандартное отклонение . Это равносильно утверждению, что "стандартное" нормальное распределение можно масштабировать / растягивать с коэффициентом и сдвинут на чтобы получить другое нормальное распределение, называемое . Наоборот, если нормальное отклонение с параметрами а также , то это распределение можно масштабировать и сдвигать по формуле чтобы преобразовать его в "стандартное" нормальное распределение. Эта разновидность также называется стандартизированной формой.
Обозначение
Плотность вероятности стандартного распределения Гаусса (стандартное нормальное распределение с нулевым средним и единичной дисперсией) часто обозначается греческой буквой ( фи ). [8] Альтернативная форма греческой буквы фи,, также используется довольно часто. [1]
Нормальное распределение часто называют или же . [1] [9] Таким образом, когда случайная величина нормально распределяется со средним и стандартное отклонение можно написать
Альтернативные параметризации
Некоторые авторы рекомендуют использовать точность в качестве параметра, определяющего ширину распределения, вместо отклонения или отклонение . Точность обычно определяется как величина, обратная дисперсии,. [10] Тогда формула распределения принимает следующий вид:
Утверждается, что этот выбор имеет преимущества в численных расчетах, когда очень близко к нулю и упрощает формулы в некоторых контекстах, таких как байесовский вывод переменных с многомерным нормальным распределением .
В качестве альтернативы, величина, обратная стандартному отклонению можно определить как точность , и в этом случае выражение нормального распределения становится
По словам Стиглера, эта формулировка выгодна из-за гораздо более простой и легко запоминающейся формулы, а также простых приближенных формул для квантилей распределения.
Нормальные распределения образуют экспоненциальное семейство с естественными параметрами. а также , и естественная статистика x и x 2 . Параметры двойного ожидания для нормального распределения: η 1 = μ и η 2 = μ 2 + σ 2 .
Кумулятивная функция распределения
Кумулятивная функция распределения (CDF) стандартного нормального распределения, как правило , обозначается с заглавной греческой буквой( phi ), [1] - интеграл
Связанная функция ошибок дает вероятность случайной величины с нормальным распределением среднего 0 и дисперсией 1/2, попадающими в диапазон . То есть: [1]
Эти интегралы не могут быть выражены в терминах элементарных функций, и их часто называют специальными функциями . Однако известно много численных приближений; подробнее см. ниже .
Эти две функции тесно связаны, а именно:
Для обычного нормального распределения с плотностью , иметь в виду и отклонение , кумулятивная функция распределения имеет вид
Дополнение к стандартному нормальному CDF, , часто называют Q-функцией , особенно в технических текстах. [11] [12] Он дает вероятность того, что значение стандартной нормальной случайной величины превысит : . Другие определения-функции, все из которых являются простыми преобразованиями , также иногда используются. [13]
График стандартного нормального КОРимеет 2-кратную вращательную симметрию относительно точки (0,1 / 2); это,. Его первообразная (неопределенный интеграл) может быть выражена следующим образом:
CDF стандартного нормального распределения может быть расширен путем интеграции по частям в ряд:
где обозначает двойной факториал .
Асимптотическое разложение ВПР при больших х также может быть получена с помощью интегрирования по частям. Для получения дополнительной информации см. Функция ошибок # Асимптотическое расширение . [14]
Быстрое приближение к CDF стандартного нормального распределения можно найти с помощью приближения ряда Тейлора:
Стандартное отклонение и охват
Около 68% значений, взятых из нормального распределения, находятся в пределах одного стандартного отклонения σ от среднего; около 95% значений лежат в пределах двух стандартных отклонений; и около 99,7% находятся в пределах трех стандартных отклонений. [6] Этот факт известен как правило 68-95-99.7 (эмпирическое) или правило трех сигм .
Точнее, вероятность того, что нормальное отклонение находится в диапазоне между а также дан кем-то
До 12 значащих цифр значения для являются: [15]
OEIS | ||||||
---|---|---|---|---|---|---|
1 | 0,682 689 492 137 | 0,317 310 507 863 |
| OEIS : A178647 | ||
2 | 0,954 499 736 104 | 0,045 500 263 896 |
| OEIS : A110894 | ||
3 | 0,997 300 203 937 | 0,002 699 796 063 |
| OEIS : A270712 | ||
4 | 0,999 936 657 516 | 0,000 063 342 484 |
| |||
5 | 0,999 999 426 697 | 0,000 000 573 303 |
| |||
6 | 0,999 999 998 027 | 0,000 000 001 973 |
|
Для больших , можно использовать приближение .
Квантильная функция
Функция квантиля из распределения является обратной кумулятивной функцией распределения. Функция квантиля стандартного нормального распределения называется пробит-функцией и может быть выражена через обратную функцию ошибок :
Для нормальной случайной величины со средним значением и дисперсия , функция квантиля равна
квантиль стандартного нормального распределения обычно обозначается как . Эти значения используются при проверке гипотез , построении доверительных интервалов и графиков QQ . Нормальная случайная величина превысит с вероятностью , и будет лежать вне интервала с вероятностью . В частности, квантильсоставляет 1,96 ; поэтому нормальная случайная величина будет лежать вне интервала только в 5% случаев.
Следующая таблица дает квантиль такой, что будет лежать в диапазоне с заданной вероятностью . Эти значения полезны для определения интервала допуска для выборочных средних и других статистических оценок с нормальным (или асимптотически нормальным) распределением: [16] [17] ПРИМЕЧАНИЕ: в следующей таблице показаны, нет как определено выше.
0,80 | 1,281 551 565 545 | 0,999 | 3,290 526 731 492 | |
0,90 | 1.644 853 626 951 | 0,9999 | 3,890 591 886 413 | |
0,95 | 1,959 963 984 540 | 0,99999 | 4,417 173 413 469 | |
0,98 | 2,326 347 874 041 | 0,999999 | 4,891 638 475 699 | |
0,99 | 2,575 829 303 549 | 0,9999999 | 5,326 723 886 384 | |
0,995 | 2,807 033 768 344 | 0,99999999 | 5,730 728 868 236 | |
0,998 | 3,090 232 306 168 | 0,999999999 | 6,109 410 204 869 |
Для малых функция квантили имеет полезное асимптотическое разложение
Характеристики
Нормальное распределение - это единственное распределение, у которого кумулянты за пределами первых двух (т. Е. Кроме среднего и дисперсии ) равны нулю. Это также непрерывное распределение с максимальной энтропией для указанного среднего значения и дисперсии. [18] [19] Гири показал, предполагая, что среднее значение и дисперсия конечны, что нормальное распределение является единственным распределением, в котором среднее значение и дисперсия, вычисленные из набора независимых выборок, не зависят друг от друга. [20] [21]
Нормальное распределение является подклассом эллиптических распределений . Нормальное распределение симметрично относительно своего среднего значения и не равно нулю по всей действительной прямой. Как таковая, она может не подходить для переменных, которые по своей природе положительны или сильно искажены, таких как вес человека или цена акции . Такие переменные могут быть лучше описаны другими распределениями, такими как логнормальное распределение или распределение Парето .
Значение нормального распределения практически равно нулю, когда значение находится более чем на несколько стандартных отклонений от среднего (например, разброс в три стандартных отклонения покрывает все, кроме 0,27% от общего распределения). Следовательно, эта модель может быть неподходящей, если ожидается значительная часть выбросов - значений, которые лежат на многих стандартных отклонениях от среднего - а метод наименьших квадратов и другие методы статистического вывода , оптимальные для нормально распределенных переменных, часто становятся крайне ненадежными при применении. таким данным. В этих случаях следует предполагать более тяжелое распределение и применять соответствующие надежные методы статистического вывода .
Гауссово распределение принадлежит к семейству стабильных распределений, которые являются аттракторами сумм независимых одинаково распределенных распределений, независимо от того, конечны ли среднее значение или дисперсия. За исключением гауссова, который является предельным случаем, все стабильные распределения имеют тяжелые хвосты и бесконечную дисперсию. Это один из немногих дистрибутивов, которые стабильны и имеют функции плотности вероятности , которые могут быть выражены аналитически, остальные на распределение Коши и распределение Леви .
Симметрии и производные
Нормальное распределение с плотностью (иметь в виду и стандартное отклонение ) имеет следующие свойства:
- Он симметричен относительно точки который одновременно является модой , медианой и средним значением распределения. [22]
- Он унимодален : его первая производная положительна при отрицательный для и ноль только при
- Площадь под кривой и над -ось равна единице (т.е. равна единице).
- Его первая производная
- Его плотность имеет две точки перегиба (где вторая производная от равен нулю и меняет знак), расположенный на одно стандартное отклонение от среднего, а именно на а также [22]
- Его плотность бревенчато-вогнутая . [22]
- Его плотность бесконечно дифференцируема , даже сверхгладкая порядка 2. [23]
Кроме того, плотность стандартного нормального распределения (т.е. а также ) также имеет следующие свойства:
- Его первая производная
- Его вторая производная
- В более общем смысле, его производная n- я равна где является n- м (вероятностным) многочленом Эрмита . [24]
- Вероятность того, что нормально распределенная переменная с известными а также находится в определенном наборе, можно вычислить, используя тот факт, что дробь имеет стандартное нормальное распределение.
Моменты
Простые и абсолютные моменты переменной ожидаемые значения а также , соответственно. Если ожидаемое значение из равен нулю, эти параметры называются центральными моментами . Обычно нас интересуют только моменты с целым порядком.
Если имеет нормальное распределение, эти моменты существуют и конечны для любого действительная часть которого больше -1. Для любого неотрицательного целого числа, простыми центральными моментами являются: [25]
Здесь обозначает двойной факториал , то есть произведение всех чисел из 1, которые имеют ту же четность, что и
Центральные абсолютные моменты совпадают с простыми моментами для всех четных порядков, но отличны от нуля для нечетных порядков. Для любого неотрицательного целого числа
Последняя формула действительна также для любых нецелых чисел. Когда среднее простой и абсолютный моменты могут быть выражены через конфлюэнтные гипергеометрические функции а также [ необходима цитата ]
Эти выражения остаются в силе, даже если не является целым числом. См. Также обобщенные многочлены Эрмита .
Заказ | Нецентральный момент | Центральный момент |
---|---|---|
1 | ||
2 | ||
3 | ||
4 | ||
5 | ||
6 | ||
7 | ||
8 |
Ожидание при условии, что лежит в интервале дан кем-то
где а также соответственно - плотность и кумулятивная функция распределения . Дляэто известно как обратное соотношение Миллса . Обратите внимание, что выше плотность из используется вместо стандартной нормальной плотности, как в обратном отношении Миллса, поэтому здесь мы имеем вместо .
Преобразование Фурье и характеристическая функция
Преобразование Фурье нормальной плотности со средним и стандартное отклонение это [26]
где это мнимая единица . Если среднее, первый множитель равен 1, а преобразование Фурье, помимо постоянного множителя, представляет собой нормальную плотность в частотной области со средним значением 0 и стандартным отклонением. В частности, стандартное нормальное распределениеявляется собственной функцией преобразования Фурье.
В теории вероятностей преобразование Фурье распределения вероятностей вещественной случайной величины тесно связана с характеристической функцией этой переменной, которая определяется как ожидаемое значение из, как функция действительной переменной ( частотный параметр преобразования Фурье). Это определение может быть аналитически расширено до переменной со сложным значением.. [27] Связь между ними такова:
Производящие функции момента и кумулянта
Производящая функция моментов реальной случайной величины ожидаемое значение , как функция действительного параметра . Для нормального распределения с плотностью, иметь в виду и отклонение , моментная производящая функция существует и равна
Функция генерирования кумулянта представляет собой логарифм порождающей функции момента, а именно :
Поскольку это квадратичный многочлен от , только первые два кумулянта отличны от нуля, а именно среднее и дисперсия .
Оператор Штейна и класс
В рамках метода Штейна оператор Штейна и класс случайной величины находятся а также класс всех абсолютно непрерывных функций .
Предел нулевой дисперсии
В пределе, когда стремится к нулю, плотность вероятности в конечном итоге стремится к нулю при любом , но растет без ограничений, если , а его интеграл остается равным 1. Следовательно, нормальное распределение не может быть определено как обычная функция, когда.
Однако можно определить нормальное распределение с нулевой дисперсией как обобщенную функцию ; в частности, как "дельта-функция" Дирака переведено в среднем , это Тогда его CDF представляет собой ступенчатую функцию Хевисайда, переведенную средним значением, а именно
Максимальная энтропия
Из всех распределений вероятностей по реалам с заданным средним и дисперсия , нормальное распределение это тот, у которого максимальная энтропия . [28] Если- непрерывная случайная величина с плотностью вероятности , то энтропия определяется как [29] [30] [31]
где считается равным нулю всякий раз, когда . Этот функционал можно максимизировать при условии, что распределение правильно нормализовано и имеет заданную дисперсию, с помощью вариационного исчисления . Определена функция с двумя множителями Лагранжа :
где пока рассматривается как некоторая функция плотности со средним и стандартное отклонение .
При максимальной энтропии небольшая вариация о создаст вариацию о что равно 0:
Поскольку это должно выполняться для любых небольших , член в скобках должен быть равен нулю, и решение для дает:
Используя уравнения связей для решения для а также дает плотность нормального распределения:
Энтропия нормального распределения равна
Прочие свойства
- Если характеристическая функция некоторой случайной величины имеет форму , где является многочленом , то теорема Марцинкевича (названная в честь Юзефа Марцинкевича ) утверждает, что может быть не более чем квадратичным многочленом, и поэтому - нормальная случайная величина. [32] Следствием этого результата является то, что нормальное распределение является единственным распределением с конечным числом (двумя) ненулевых кумулянтов .
- Если а также являются совместно нормальными и коррелированы , то они независимы . Требование, чтобы а также должно быть совместно нормально необходимо; без него собственность не удерживается. [33] [34] [доказательство] Для ненормальных случайных величин некоррелированность не означает независимости.
- Кульбак-Либлер дивергенция одного нормального распределения От другого дается: [35]
Расстояние Хеллингера между одинаковыми распределениями равно
- Информационная матрица Фишера для нормального распределения диагоналей и имеет вид
- Конъюгат до средней величины нормального распределения является еще одним нормальным распределением. [36] В частности, если iid и приор , то апостериорное распределение для оценки будет
- Семейство нормальных распределений не только образует экспоненциальное семейство (EF), но фактически образует естественное экспоненциальное семейство (NEF) с квадратичной функцией дисперсии ( NEF-QVF ). Многие свойства нормальных распределений обобщаются на свойства распределений NEF-QVF, распределений NEF или распределений EF в целом. Распределения NEF-QVF состоят из 6 семейств, включая распределения Пуассона, гамма, биномиальные и отрицательные биномиальные распределения, в то время как многие из общих семейств, изучаемых в области вероятности и статистики, являются NEF или EF.
- В информационной геометрии , семейство нормальных распределений образует статистическое многообразие с постоянной кривизной . Это же семейство является плоским относительно (± 1) -связности ∇ и ∇. [37]
Связанные дистрибутивы
Центральная предельная теорема
Центральная предельная теорема утверждает, что при определенных (довольно общих) условиях сумма многих случайных величин будет иметь приблизительно нормальное распределение. В частности, гдеявляются независимыми и одинаково распределенными случайными величинами с одинаковым произвольным распределением, нулевым средним и дисперсией а также их среднее значение масштабируется на
Тогда, как увеличивается, распределение вероятностей будет стремиться к нормальному распределению с нулевым средним и дисперсией .
Теорема распространяется на переменные которые не являются независимыми и / или неодинаково распределенными, если наложены определенные ограничения на степень зависимости и моменты распределений.
Многие статистические данные тестов , баллы и оценщики, встречающиеся на практике, содержат в себе суммы определенных случайных величин, и даже больше оценщиков могут быть представлены в виде сумм случайных величин с помощью функций влияния . Центральная предельная теорема подразумевает, что эти статистические параметры будут иметь асимптотически нормальные распределения.
Центральная предельная теорема также подразумевает, что некоторые распределения могут быть аппроксимированы нормальным распределением, например:
- Биномиальное распределение это примерно нормально со средним и дисперсия для больших и для не слишком близко к 0 или 1.
- Распределение Пуассона с параметром примерно нормально со средним и дисперсия , для больших значений . [38]
- Распределение хи-квадрат примерно нормально со средним и дисперсия , для больших .
- Распределение Стьюдента приблизительно нормально со средним значением 0 и дисперсией 1, когда большой.
Достаточно ли точность этих приближений зависит от цели, для которой они нужны, и скорости сходимости к нормальному распределению. Обычно такие приближения менее точны в хвостах распределения.
Общая оценка сверху ошибки аппроксимации в центральной предельной теореме дается теоремой Берри – Эссеена , улучшения приближения даются разложениями Эджворта .
Эта теорема также может быть использована для обоснования моделирования суммы многих однородных источников шума как гауссовского шума. См. AWGN .
Операции и функции нормальных переменных
Плотность вероятности , кумулятивное распределение и обратное кумулятивное распределение любой функции одной или нескольких независимых или коррелированных нормальных переменных можно вычислить с помощью численного метода трассировки лучей [39] ( код Matlab ). В следующих разделах мы рассмотрим некоторые частные случаи.
Операции с одной нормальной переменной
Если X распределен нормально со средним μ и дисперсией σ 2 , то
- , для любых действительных чисел а также , также нормально распределен, со средним и стандартное отклонение . То есть семейство нормальных распределений замкнуто относительно линейных преобразований.
- Экспонента X распределена логнормально : e X ~ ln ( N ( μ , σ 2 )) .
- Абсолютное значение X имеет сложенное нормальное распределение : | X | ~ N f ( μ , σ 2 ) . Если μ = 0, это называется полунормальным распределением .
- Абсолютное значение нормированных остатков, | X - μ | / σ , имеет распределение хи с одной степенью свободы: | X - μ | / σ ~.
- Квадрат X / σ имеет нецентральное распределение хи-квадрат с одной степенью свободы: X 2 / σ 2 ~( μ 2 / σ 2 ) . Если μ = 0, распределение называется просто хи-квадрат .
- Логарифмическая вероятность нормальной переменной это просто логарифм его функции плотности вероятности :
Поскольку это масштабированный и сдвинутый квадрат стандартной нормальной переменной, он распределяется как масштабированная и сдвинутая переменная хи-квадрат .
- Распределение переменной X, ограниченное интервалом [ a , b ], называется усеченным нормальным распределением .
- ( X - μ ) −2 имеет распределение Леви с местоположением 0 и масштабом σ −2 .
Операции над двумя независимыми нормальными переменными
- Если а также две независимые нормальные случайные величины со средними, и стандартные отклонения , , то их сумма также будет нормально распространяться, [доказательство] со средним и дисперсия .
- В частности, если а также независимые нормальные отклонения с нулевым средним и дисперсией , тогда а также также независимы и нормально распределены, с нулевым средним и дисперсией . Это частный случай поляризационного тождества . [40]
- Если , два независимых нормальных отклонения со средним и отклонение , а также , - произвольные действительные числа, то переменная
также нормально распределяется со средним и отклонение . Отсюда следует, что нормальное распределение устойчиво (с показателем).
Операции над двумя независимыми стандартными нормальными переменными
Если а также - две независимые стандартные нормальные случайные величины со средним 0 и дисперсией 1, то
- Их сумма и разность распределены нормально с нулевым средним и двумя значениями дисперсии: .
- Их продукт следует распределению Произведения [41] с функцией плотности где - модифицированная функция Бесселя второго рода . Это распределение симметрично относительно нуля, неограниченно при, и имеет характеристическую функцию .
- Их соотношение соответствует стандартному распределению Коши :.
- Их евклидова норма имеет распределение Рэлея .
Операции над несколькими независимыми нормальными переменными
- Любая линейная комбинация независимых нормальных отклонений является нормальным отклонением.
- Если являются независимыми стандартными нормальными случайными величинами, то сумма их квадратов имеет распределение хи-квадрат с степени свободы
- Если независимые нормально распределенные случайные величины со средними и отклонения , То их выборочные средний не зависит от образца стандартного отклонения , [42] , которая может быть продемонстрирована с использованием теоремы Баса или теоремы Кохрена . [43] Отношение этих двух величин будет иметь t-распределение Стьюдента с степени свободы:
- Если , являются независимыми стандартными нормальными случайными величинами, то отношение их нормализованных сумм квадратов будет иметь F-распределение с ( n , m ) степенями свободы: [44]
- Квадратичная форма нормального вектора, т.е. квадратичная функциянескольких независимых или коррелированных нормальных переменных, является обобщенной переменной хи-квадрат .
Операции над функцией плотности
Нормальное распределение раскола наиболее непосредственно определяются в терминах присоединения масштабируемых секций функций плотности различных нормальных распределений и масштабировании плотности интеграции в один. Усечен нормальное распределение результатов от перемасштабирования сечения функции одной плотности.
Бесконечная делимость и теорема Крамера
Для любого положительного целого числа , любое нормальное распределение со средним и дисперсия является распределением суммы независимые нормальные отклонения, каждое со средним и дисперсия . Это свойство называется бесконечной делимостью . [45]
Наоборот, если а также являются независимыми случайными величинами и их сумма имеет нормальное распределение, то оба а также должны быть нормальные отклонения. [46]
Этот результат известен как теорема разложения Крамера и эквивалентен утверждению, что свертка двух распределений нормальна тогда и только тогда, когда оба нормальны. Теорема Крамера подразумевает, что линейная комбинация независимых негауссовских переменных никогда не будет иметь точно нормального распределения, хотя она может приближаться к нему сколь угодно близко. [32]
Теорема Бернштейна
Теорема Бернштейна утверждает, что если а также независимы и а также также независимы, то и X, и Y обязательно должны иметь нормальные распределения. [47] [48]
В более общем смысле, если являются независимыми случайными величинами, то две различные линейные комбинации а также будет независимым тогда и только тогда, когда все нормальные и , где обозначает дисперсию . [47]
Расширения
Понятие нормального распределения, являющегося одним из наиболее важных распределений в теории вероятностей, было расширено далеко за пределы стандартных рамок одномерного (то есть одномерного) случая (случай 1). Все эти расширения также называются нормальными или гауссовскими законами, поэтому существует определенная двусмысленность в названиях.
- Многомерное нормальное распределение описывает гауссов закон в K - мерном евклидовом пространстве . Вектор X ∈ R k является многомерно-нормально распределенным, если любая линейная комбинация его компонент ∑k
j = 1a j X j имеет (одномерное) нормальное распределение. Дисперсия X является K × K симметричная положительно определенная матрица V . Многомерное нормальное распределение - это частный случай эллиптических распределений . Таким образом, его локусы изоплотности в случае k = 2 являются эллипсами, а в случае произвольного k - эллипсоидами . - Исправленное распределение Гаусса - это исправленная версия нормального распределения со всеми отрицательными элементами, сброшенными на 0.
- Комплексное нормальное распределение имеет дело с комплексными нормальными векторами. Сложное вектор X ∈ C к называется нормальным , если обе его реальная и мнимая компоненты совместно обладают 2 K - мерное многомерное нормальное распределение. Ковариационная структура X описывается двумя матрицами: в дисперсии матрицы Г, и отношение матрицы C .
- Матричное нормальное распределение описывает случай нормально распределенных матриц.
- Гауссовские процессы - это нормально распределенные случайные процессы . Их можно рассматривать как элементы некоторого бесконечномерного гильбертова пространства H , и, таким образом, они являются аналогами многомерных нормальных векторов для случая k = ∞ . Случайный элемент ч ∈ Н называется нормальной , если для любой константы ∈ H скалярного произведения ( , ч ) имеет (однофакторное) нормальное распределение. Дисперсии структура такого гауссовского случайного элемента может быть описана в терминах линейной ковариационной оператора K: H → H . Несколько гауссовских процессов стали достаточно популярными, чтобы иметь свои собственные имена:
- Броуновское движение ,
- Броуновский мост ,
- Процесс Орнштейна – Уленбека .
- Гауссовское q-распределение - это абстрактная математическая конструкция, которая представляет собой « q-аналог » нормального распределения.
- д-Gaussian является аналогом распределения гауссовой, в том смысле , что оно максимизирует энтропию Tsallis , и один тип распределения Tsallis . Обратите внимание, что это распределение отличается от гауссовского q-распределения, приведенного выше.
Случайная величина X имеет нормальное распределение, состоящее из двух частей, если она имеет распределение
где μ - среднее значение, а σ 1 и σ 2 - стандартные отклонения распределения слева и справа от среднего значения соответственно.
Определены среднее значение, дисперсия и третий центральный момент этого распределения [49].
где E ( X ), V ( X ) и T ( X ) - среднее значение, дисперсия и третий центральный момент соответственно.
Одним из основных практических применений закона Гаусса является моделирование эмпирических распределений многих различных случайных величин, встречающихся на практике. В таком случае возможным расширением могло бы стать более богатое семейство распределений, имеющее более двух параметров и, следовательно, способное более точно соответствовать эмпирическому распределению. Примеры таких расширений:
- Распределение Пирсона - семейство распределений вероятностей с четырьмя параметрами, которые расширяют нормальный закон, чтобы включить различные значения асимметрии и эксцесса.
- Обобщенное нормальное распределение , также известное как экспоненциальное распределение мощности, позволяет хвосты распределения с толще или тоньше асимптотиком.
Статистические выводы
Оценка параметров
Часто бывает так, что мы не знаем параметров нормального распределения, а вместо этого хотим их оценить . То есть имея образец из нормального популяцию мы хотели бы узнать примерные значения параметров а также . Стандартный подход к этой проблеме - метод максимального правдоподобия , который требует максимизации логарифмической функции правдоподобия :
Взяв производные по а также и решение полученной системы условий первого порядка дает оценки максимального правдоподобия :
Выборочное среднее
Оценщик называется выборочным средним , поскольку это среднее арифметическое всех наблюдений. Статистикаявляется полным и достаточным для, И , следовательно , по теореме Лемана-Шеффе ,- оценка с равномерной минимальной дисперсией без смещения (UMVU). [50] В конечных выборках распределяется нормально:
Дисперсия этой оценки равна μμ -элементу обратной информационной матрицы Фишера. . Это означает, что оценка эффективна для конечных выборок . Практическое значение заключается в том , что стандартная ошибка в пропорционально , то есть, если кто-то хочет уменьшить стандартную ошибку в 10 раз, необходимо увеличить количество точек в выборке в 100 раз. Этот факт широко используется при определении размеров выборки для опросов общественного мнения и количества испытания в моделировании Монте-Карло .
С точки зрения асимптотической теории ,является последовательным , то есть, она сходится по вероятности к в виде . Оценка также является асимптотически нормальной , что является простым следствием того факта, что она нормальна в конечных выборках:
Выборочная дисперсия
Оценщик называется дисперсией выборки , поскольку это дисперсия выборки (). На практике вместо. Эта другая оценка обозначается, и также называется выборочной дисперсией , что представляет определенную двусмысленность в терминологии; его квадратный кореньназывается стандартным отклонением выборки . Оценщик отличается от имея ( n - 1) вместо n в знаменателе (так называемая поправка Бесселя ):
Разница между а также становится пренебрежимо малым при больших п ' с. Однако в конечных выборках мотивация использованияв том, что это несмещенная оценка базового параметра, тогда как предвзято. Также по теореме Лемана – Шеффе оценкаявляется равномерно минимальной несмещенной дисперсией (UMVU), [50], что делает его «лучшей» оценкой среди всех несмещенных оценок. Однако можно показать, что смещенная оценка "лучше", чем по критерию среднеквадратичной ошибки (MSE). В конечных выборках оба а также имеют масштабированное распределение хи-квадрат с ( n - 1) степенями свободы:
Первое из этих выражений показывает, что дисперсия равно , что немного больше σσ -элемента обратной информационной матрицы Фишера. Таким образом, не является эффективной оценкой для , и более того, поскольку является UMVU, можно сделать вывод, что эффективная оценка конечной выборки для не существует.
Применяя асимптотическую теорию, обе оценки а также согласованы, то есть сходятся по вероятности к как размер выборки . Обе оценки также являются асимптотически нормальными:
В частности, обе оценки асимптотически эффективны при .
Доверительные интервалы
По теореме Кохрана для нормальных распределений выборочное среднееи выборочная дисперсия s 2 являются независимыми , что означает, что не может быть никакой выгоды при рассмотрении их совместного распределения . Существует также обратная теорема: если в выборке среднее значение выборки и дисперсия выборки независимы, тогда выборка должна быть получена из нормального распределения. Независимость междуи s можно использовать для построения так называемой t-статистики :
Эта величина t имеет t-распределение Стьюдента с ( n - 1) степенями свободы и является вспомогательной статистикой (не зависящей от значений параметров). Обращение распределения этой t- статистики позволит нам построить доверительный интервал для μ ; [51] аналогично, инвертирование распределения χ 2 статистики s 2 даст нам доверительный интервал для σ 2 : [52]
где t k, p и χ 2
к, п являются р - я квантилей из т - и χ 2 -распределений соответственно. Эти доверительные интервалы имеют уровень достоверности 1 - α , что означает, что истинные значения μ и σ 2 выходят за пределы этих интервалов с вероятностью (или уровнем значимости ) α . На практике люди обычно принимают α = 5% , что дает 95% доверительный интервал. Приближенные формулы на изображении выше были получены из асимптотических распределенийи s 2 . Приближенные формулы становятся действительными для больших значений n и более удобны для ручного расчета, поскольку стандартные нормальные квантили z α / 2 не зависят от n . В частности, наиболее популярное значение α = 5% приводит к | z 0,025 | = 1,96 .
Тесты на нормальность
Тесты нормальности оценивают вероятность того, что данный набор данных { x 1 , ..., x n } получен из нормального распределения. Обычно нулевая гипотеза H 0 состоит в том, что наблюдения распределены нормально с неопределенным средним μ и дисперсией σ 2 , в отличие от альтернативы H a, что распределение является произвольным. Для решения этой проблемы было разработано множество тестов (более 40), наиболее известные из них описаны ниже:
Диагностические графики более интуитивно привлекательны, но в то же время субъективны, поскольку они полагаются на неформальное человеческое суждение, чтобы принять или отклонить нулевую гипотезу.
- График QQ , также известный как график нормальной вероятности или график ранжирования, представляет собой график отсортированных значений из набора данных против ожидаемых значений соответствующих квантилей из стандартного нормального распределения. То есть это график точки вида (Φ −1 ( p k ), x ( k ) ), где точки построения p k равны p k = ( k - α ) / ( n + 1-2 α ) и α - константа настройки, которая может принимать значения от 0 до 1. Если нулевая гипотеза верна, нанесенные на график точки должны приблизительно лежать на прямой линии.
- График PP - похож на график QQ, но используется гораздо реже. Этот метод состоит в построении точек (Φ ( z ( k ) ), p k ), где. Для нормально распределенных данных этот график должен лежать на линии под углом 45 ° между (0, 0) и (1, 1).
Тесты согласия :
Моментные тесты :
- К-квадрат Д'Агостино
- Тест Жарка – Бера
- Тест Шапиро-Уилка : он основан на том факте, что линия на графике QQ имеет наклон σ . Тест сравнивает оценку этого наклона методом наименьших квадратов со значением выборочной дисперсии и отклоняет нулевую гипотезу, если эти две величины значительно различаются.
Тесты на основе эмпирической функции распределения :
- Тест Андерсона – Дарлинга
- Тест Лиллиефорса (адаптация теста Колмогорова – Смирнова )
Байесовский анализ нормального распределения
Байесовский анализ нормально распределенных данных осложняется множеством различных возможностей, которые можно рассмотреть:
- Либо среднее значение, либо дисперсия, либо ни то, ни другое может считаться фиксированной величиной.
- Когда дисперсия неизвестна, анализ может быть выполнен непосредственно с точки зрения дисперсии или с точки зрения точности , обратной дисперсии. Причина, по которой формулы выражаются с точки зрения точности, заключается в том, что анализ большинства случаев упрощается.
- Необходимо рассматривать как одномерные, так и многомерные случаи.
- На неизвестные переменные могут быть помещены либо сопряженные, либо неправильные априорные распределения .
- Дополнительный набор случаев возникает в байесовской линейной регрессии , где в базовой модели предполагается, что данные имеют нормальное распределение, а нормальные априорные значения помещаются в коэффициенты регрессии . Результирующий анализ аналогичен базовым случаям независимых одинаково распределенных данных.
Формулы для случаев нелинейной регрессии обобщены в сопряженной предыдущей статье.
Сумма двух квадратичных
Скалярная форма
Следующая вспомогательная формула полезна для упрощения уравнений апостериорного обновления, которые в противном случае становятся довольно утомительными.
Это уравнение переписывает сумму двух квадратов по x , расширяя квадраты, группируя члены по x и завершая квадрат . Обратите внимание на следующие моменты о сложных постоянных факторах, связанных с некоторыми терминами:
- Фактор имеет форму взвешенного среднего по у и г .
- Это показывает, что этот фактор можно рассматривать как результат ситуации, когда величины, обратные величине a и b, складываются напрямую, поэтому, чтобы объединить сами a и b , необходимо возвращать, складывать и возвращать результат снова, чтобы вернуться в оригинальные единицы. Именно такая операция выполняется с помощью среднего гармонического , поэтому неудивительно, чтосоставляет половину гармонического среднего значений a и b .
Векторная форма
Аналогичную формулу можно записать для суммы двух векторных квадратичных: если x , y , z - векторы длины k , а A и B - симметричные , обратимые матрицы размера, тогда
где
Обратите внимание, что форма x ′ A x называется квадратичной формой и является скаляром :
Другими словами, он суммирует все возможные комбинации произведений пар элементов из x с отдельным коэффициентом для каждого. Кроме того, поскольку, только сумма имеет значение для любых недиагональных элементов A , и без потери общности можно предположить, что A является симметричным . Кроме того, если A симметрична, то форма
Сумма отличий от среднего
Еще одна полезная формула выглядит следующим образом:
где
С известной дисперсией
Для набора iid нормально распределенных точек данных X размера n, где каждая отдельная точка x следуетс известной дисперсией σ 2 , то сопряженное до распределение также нормально распределено.
Это можно легко показать, переписав дисперсию как точность , т. Е. Используя τ = 1 / σ 2 . Тогда если а также поступаем следующим образом.
Во-первых, функция правдоподобия (используя приведенную выше формулу для суммы отличий от среднего):
Затем действуем следующим образом:
В приведенном выше выводе мы использовали приведенную выше формулу для суммы двух квадратичных величин и исключили все постоянные множители, не включающие μ . В результате получается ядро нормального распределения со средним значением и точность , т.е.
Это можно записать как набор уравнений байесовского обновления для апостериорных параметров в терминах априорных параметров:
То есть, чтобы объединить n точек данных с общей точностью nτ (или, что то же самое, с общей дисперсией n / σ 2 ) и средним значением значений, получить новую общую точность, просто добавив общую точность данных к предыдущей общей точности, и сформировать новое среднее значение с помощью взвешенного по точности среднего , т. е. средневзвешенного среднего значения данных и предыдущего среднего, каждое из которых взвешено по связанная общая точность. Это имеет логический смысл, если считается, что точность указывает на достоверность наблюдений: в распределении апостериорного среднего каждый из входных компонентов взвешивается по своей достоверности, а достоверность этого распределения является суммой индивидуальных достоверностей. . (Чтобы понять это, сравните выражение «целое больше (или нет) суммы его частей». Кроме того, учтите, что знание апостериорного происходит из комбинации знания априорного и вероятностного , поэтому имеет смысл, что мы более уверены в нем, чем в любом из его компонентов.)
Выше формула показывает , почему это более удобно делать байесовский анализ из сопряженных априорий для нормального распределения с точкой зрения точности. Апостериорная точность - это просто сумма априорной точности и вероятности, а апостериорное среднее вычисляется посредством взвешенного с точностью до среднего, как описано выше. Те же формулы могут быть записаны в терминах дисперсии, взаимно меняя все точности, давая более уродливые формулы
С известным средним
Для набора iid нормально распределенных точек данных X размера n, где каждая отдельная точка x следуетс известным средним ц, то сопряженная до из дисперсии имеет гамма - распределение обратной или масштабируется обратного распределения хи-квадрат . Они эквивалентны, за исключением того, что имеют разные параметризации . Хотя чаще используется обратная гамма, для удобства мы используем масштабированный обратный хи-квадрат. Априор для σ 2 выглядит следующим образом:
Функция правдоподобия сверху, записанная в терминах дисперсии, имеет следующий вид:
где
Потом:
Вышеупомянутое также является масштабированным обратным распределением хи-квадрат, где
или эквивалентно
Повторная параметризация с точки зрения обратного гамма-распределения дает следующий результат:
С неизвестным средним и неизвестной дисперсией
Для набора iid нормально распределенных точек данных X размера n, где каждая отдельная точка x следуетс неизвестным средним μ и неизвестной дисперсией σ 2 комбинированный (многомерный) сопряженный априор помещается над средним и дисперсией, состоящим из нормального-обратного-гамма-распределения . Логически это происходит следующим образом:
- Из анализа случая с неизвестным средним, но известной дисперсией мы видим, что уравнения обновления включают в себя достаточную статистику, вычисленную из данных, состоящих из среднего значения точек данных и общей дисперсии точек данных, вычисленной, в свою очередь, из известной дисперсии. деленное на количество точек данных.
- Из анализа случая с неизвестной дисперсией, но известным средним, мы видим, что уравнения обновления включают достаточную статистику по данным, состоящим из количества точек данных и суммы квадратов отклонений .
- Имейте в виду, что значения апостериорного обновления служат в качестве предварительного распределения при обработке дальнейших данных. Таким образом, мы должны логически думать о наших априорных значениях в терминах только что описанной достаточной статистики с максимально возможной сохранением той же семантики.
- Чтобы справиться со случаем, когда и среднее значение, и дисперсия неизвестны, мы могли бы разместить независимые априорные значения над средним и дисперсией с фиксированными оценками среднего среднего, общей дисперсии, количеством точек данных, используемых для вычисления априорной дисперсии, и суммой квадратов отклонений. . Однако обратите внимание, что в действительности общая дисперсия среднего зависит от неизвестной дисперсии, а сумма квадратов отклонений, которые входят в дисперсию до (кажется), зависит от неизвестного среднего. На практике последняя зависимость относительно не важна: сдвиг фактического среднего сдвигает сгенерированные точки на равную величину, и в среднем квадраты отклонений останутся прежними. Однако это не относится к общей дисперсии среднего: по мере увеличения неизвестной дисперсии общая дисперсия среднего будет пропорционально увеличиваться, и мы хотели бы зафиксировать эту зависимость.
- Это предполагает, что мы создаем условный априор среднего для неизвестной дисперсии с гиперпараметром, определяющим среднее значение псевдонаблюдений, связанных с предыдущим, и другим параметром, определяющим количество псевдонаблюдений. Это число служит параметром масштабирования дисперсии, позволяя контролировать общую дисперсию среднего значения относительно фактического параметра дисперсии. Априор для дисперсии также имеет два гиперпараметра: один определяет сумму квадратов отклонений псевдонаблюдений, связанных с априорными наблюдениями, а другой снова определяет количество псевдонаблюдений. Обратите внимание, что каждый из априорных значений имеет гиперпараметр, определяющий количество псевдонаблюдений, и в каждом случае это контролирует относительную дисперсию этого априорного значения. Они представлены как два отдельных гиперпараметра, так что дисперсию (также известную как достоверность) двух априорных значений можно контролировать отдельно.
- Это немедленно приводит к нормальному-обратному-гамма-распределению , которое является продуктом двух только что определенных распределений с использованием сопряженных априорных значений ( обратное гамма-распределение по дисперсии и нормальное распределение по среднему, обусловленное дисперсией), и с теми же четырьмя только что определенными параметрами.
Приоры обычно определяются следующим образом:
Уравнения обновления могут быть выведены и выглядеть следующим образом:
Соответствующее количество псевдонаблюдений добавляет к ним количество фактических наблюдений. Новый гиперпараметр среднего значения снова является средневзвешенным, на этот раз взвешенным по относительному количеству наблюдений. Наконец, обновление для аналогичен случаю с известным средним, но в этом случае сумма квадратов отклонений берется относительно среднего значения наблюдаемых данных, а не истинного среднего, и в результате необходимо добавить новый «термин взаимодействия», чтобы позаботиться о дополнительного источника ошибок, возникающего из-за отклонения между предыдущим средним значением и средним значением данных.
Предыдущие распределения
Следовательно, совместный приор
Функция правдоподобия из приведенного выше раздела с известной дисперсией:
Записывая это в терминах дисперсии, а не точности, мы получаем:
где
Следовательно, апостериорная (исключение гиперпараметров как обусловливающих факторов):
Другими словами, апостериорное распределение имеет форму произведения нормального распределения по p ( μ | σ 2 ) на обратное гамма-распределение по p (σ 2 ) с параметрами, такими же, как приведенные выше уравнения обновления.
Возникновение и приложения
Возникновение нормального распределения в практических задачах можно условно разделить на четыре категории:
- Точно нормальные распределения;
- Приблизительно нормальные законы, например, когда такое приближение оправдано центральной предельной теоремой ; а также
- Распределения моделируются как нормальные - нормальное распределение - это распределение с максимальной энтропией для данного среднего значения и дисперсии.
- Проблемы регрессии - нормальное распределение находится после достаточно хорошего моделирования систематических эффектов.
Точная нормальность
Некоторые величины в физике распределены нормально, как впервые продемонстрировал Джеймс Клерк Максвелл . Примеры таких количеств:
- Функция плотности вероятности основного состояния в квантовом гармоническом осцилляторе .
- Положение частицы, испытывающей диффузию . Если изначально частица находится в определенной точке (то есть ее распределение вероятностей является дельта-функцией Дирака ), то по прошествии времени t ее местоположение описывается нормальным распределением с дисперсией t , которое удовлетворяет уравнению диффузии . Если исходное положение задается некоторой функцией плотности, То плотность в момент времени т является сверткой из г и нормальный PDF.
Примерная нормальность
Приблизительно нормальные распределения встречаются во многих ситуациях, как объясняется центральной предельной теоремой . Когда результат создается множеством небольших эффектов, действующих аддитивно и независимо , его распределение будет близко к нормальному. Нормальное приближение будет недействительным, если эффекты действуют мультипликативно (а не аддитивно) или если существует единственное внешнее влияние, которое имеет значительно большую величину, чем остальные эффекты.
- В задачах подсчета, где центральная предельная теорема включает приближение от дискретного к континуальному и где участвуют бесконечно делимые и разложимые распределения, такие как
- Биномиальные случайные величины , связанные с переменными двоичного ответа;
- Случайные величины Пуассона , связанные с редкими событиями;
- Тепловое излучение имеет распределение Бозе – Эйнштейна на очень коротких временных масштабах и нормальное распределение на более длительных временных масштабах в соответствии с центральной предельной теоремой.
Предполагаемая нормальность
Я могу признать появление нормальной кривой - кривой ошибок Лапласа - очень ненормальным явлением. В некоторых дистрибутивах он приблизительно равен; по этой причине и из-за его прекрасной простоты мы, вероятно, можем использовать его в качестве первого приближения, особенно в теоретических исследованиях.
- Пирсон (1901)
Существуют статистические методы для эмпирической проверки этого предположения, см. Выше раздел « Проверка нормальности ».
- В биологии , то логарифм различных переменных , как правило, имеют нормальное распределение, то есть, они , как правило, имеют логарифмически нормальное распределение (после разделения на мужских / женских субпопуляций), с примерами в том числе:
- Меры размера живой ткани (длина, рост, площадь кожи, вес); [53]
- Длина из инертных придатки (волосы, когти, ногти, зубы) биологических образцов, в направлении роста ; предположительно толщина коры дерева также попадает в эту категорию;
- Определенные физиологические измерения, такие как артериальное давление у взрослых людей.
- В финансах, в частности в модели Блэка – Шоулза , изменения логарифма обменных курсов, индексов цен и индексов фондового рынка считаются нормальными (эти переменные ведут себя как сложные проценты , а не как простые проценты, и поэтому являются мультипликативными). Некоторые математики , такие как Бенуа Мандельброт утверждал , что лог-Леви распределения , который обладает тяжелыми хвостами бы более подходящей моделью, в частности , для анализа на фондовом рынке аварий . Использование предположения о нормальном распределении в финансовых моделях также подвергалось критике со стороны Нассима Николаса Талеба в его работах.
- Ошибки измерения в физических экспериментах часто моделируются нормальным распределением. Такое использование нормального распределения не означает, что предполагается, что ошибки измерения имеют нормальное распределение, скорее, использование нормального распределения дает наиболее консервативные прогнозы из возможных, учитывая только знания о среднем значении и дисперсии ошибок. [54]
- В стандартизированном тестировании результаты могут иметь нормальное распределение, либо путем выбора количества и сложности вопросов (как в тесте IQ ), либо путем преобразования исходных результатов теста в «выходные» баллы путем подгонки их к нормальному распределению. Например, традиционный диапазон SAT 200–800 основан на нормальном распределении со средним значением 500 и стандартным отклонением 100.
- Многие оценки выводятся из нормального распределения, включая процентильные ранги («процентили» или «квантили»), эквиваленты нормальной кривой , станины , z-значения и T-баллы. Кроме того, некоторые поведенческие статистические процедуры предполагают, что баллы распределяются нормально; например, t-тесты и ANOVA . При градации по колоколообразной кривой назначаются относительные оценки на основе нормального распределения баллов.
- В гидрологии распределение долгосрочного речного стока или осадков, например, месячных и годовых сумм, часто считается практически нормальным в соответствии с центральной предельной теоремой . [55] На синем рисунке, сделанном с помощью CumFreq , показан пример подгонки нормального распределения к ранжированным дождевым осадкам в октябре, показывающий пояс уверенности 90% на основе биномиального распределения . Данные об осадках представлены в виде точек на графике как часть кумулятивного частотного анализа .
Методологические проблемы и экспертная оценка
Джон Иоаннидис утверждает, что использование нормально распределенных стандартных отклонений в качестве стандартов для проверки результатов исследований оставляет фальсифицируемые прогнозы о явлениях, которые обычно не распространяются, непроверенными. Это включает, например, явления, которые появляются только тогда, когда присутствуют все необходимые условия, и одно не может быть заменой другого способом, подобным сложению, и явления, которые не распределены случайным образом. Иоаннидис утверждает, что проверка, ориентированная на стандартное отклонение, дает ложное представление о достоверности гипотез и теорий, в которых некоторые, но не все фальсифицируемые предсказания обычно распределяются, поскольку часть фальсифицируемых предсказаний, против которых есть свидетельства, могут, а в некоторых случаях находятся в ненормальном состоянии. распределенные части диапазона поддающихся проверке прогнозов, а также необоснованное отклонение гипотез, для которых ни одно из поддающихся опровержению прогнозов обычно не распределяется, как если бы они не поддавались сомнению, хотя на самом деле они делают опровержимые прогнозы. Иоаннидис утверждает, что многие случаи признания взаимоисключающих теорий «подтвержденными» исследовательскими журналами вызваны тем, что журналы не принимают эмпирические фальсификации предсказаний, не имеющих нормального распределения, а не потому, что взаимоисключающие теории верны, как они это делают. не может быть, хотя две взаимоисключающие теории могут быть ошибочными, а третья - правильной. [56]
Вычислительные методы
Генерация значений из нормального распределения
В компьютерном моделировании, особенно в приложениях метода Монте-Карло , часто желательно генерировать значения с нормальным распределением. Все перечисленные ниже алгоритмы генерируют стандартные нормальные отклонения, поскольку N ( μ, σ2
) может быть сгенерировано как X = μ + σZ , где Z - стандартная нормаль. Все эти алгоритмы полагаются на наличие генератора случайных чисел U, способного производить однородные случайные величины.
- Самый простой метод основан на свойстве интегрального преобразования вероятности : если U равномерно распределен на (0,1), то Φ −1 ( U ) будет иметь стандартное нормальное распределение. Недостатком этого метода является то, что он основан на вычислении пробит-функции Φ −1 , что не может быть выполнено аналитически. Некоторые приблизительные методы описаны в Hart (1968) и в статье erf . Вичура дает быстрый алгоритм вычисления этой функции до 16 знаков после запятой [57], который используется R для вычисления случайных величин нормального распределения.
- Простой в программировании приближенный подход, основанный на центральной предельной теореме , заключается в следующем: сгенерируйте 12 однородных отклонений U (0,1), сложите их все и вычтите 6 - полученная случайная величина будет иметь приблизительно стандартное нормальное распределение. По правде говоря, это распределение будет Ирвином – Холлом , которое представляет собой 12-секционное полиномиальное приближение одиннадцатого порядка к нормальному распределению. Это случайное отклонение будет иметь ограниченный диапазон (−6, 6). [58]
- В методе Бокса – Мюллера используются два независимых случайных числа U и V, равномерно распределенных на (0,1). Тогда две случайные величины X и Y
- оба будут иметь стандартное нормальное распределение и будут независимыми . Эта формулировка возникает потому, что для двумерного нормального случайного вектора ( X , Y ) квадрат нормы X 2 + Y 2 будет иметь распределение хи-квадрат с двумя степенями свободы, которое является легко генерируемой экспоненциальной случайной величиной, соответствующей величине −2ln ( U ) в этих уравнениях; и угол распределяется равномерно по кругу, выбранный случайной величины V .
- Полярный метод Marsaglia является модификацией метода Бокса-Мюллера , который не требует вычисления синуса и косинуса. В этом методе U и V извлекаются из равномерного (-1,1) распределения, а затем вычисляется S = U 2 + V 2 . Если S больше или равно 1, то метод начинается заново, в противном случае две величины
- возвращаются. Опять же, X и Y - независимые стандартные нормальные случайные величины.
- Метод отношения [59] является методом отклонения. Алгоритм работает следующим образом:
- Создайте два независимых равномерных отклонения U и V ;
- Вычислить X = √ 8 / e ( V - 0,5) / U ;
- Необязательно: если X 2 ≤ 5 - 4 e 1/4 U, тогда принять X и завершить алгоритм;
- Необязательно: если X 2 ≥ 4 e −1,35 / U + 1,4, тогда отклонить X и начать с шага 1;
- Если X 2 ≤ −4 ln U, тогда примите X , в противном случае начните алгоритм заново.
- Два дополнительных шага позволяют избежать вычисления логарифма на последнем шаге в большинстве случаев. Эти шаги можно значительно улучшить [60], так что логарифм вычисляется редко.
- Алгоритм зиккурат [61] быстрее , чем преобразование Бокса-Мюллера и до сих пор точно. Примерно в 97% всех случаев он использует только два случайных числа, одно случайное целое и одно случайное равномерное, одно умножение и if-тест. Только в 3% случаев, когда комбинация этих двух выходит за пределы «ядра зиккурата» (разновидность выборки с отклонением с использованием логарифмов), необходимо использовать экспоненты и более однородные случайные числа.
- Целочисленную арифметику можно использовать для выборки из стандартного нормального распределения. [62] Этот метод точен в том смысле, что он удовлетворяет условиям идеального приближения ; [63] то есть это эквивалентно выборке действительного числа из стандартного нормального распределения и округлению его до ближайшего представимого числа с плавающей запятой.
- Существует также некоторое исследование [64] связи между быстрым преобразованием Адамара и нормальным распределением, так как преобразование использует только сложение и вычитание, и по центральной предельной теореме случайные числа из почти любого распределения будут преобразованы в нормальное распределение. В этом отношении серию преобразований Адамара можно комбинировать со случайными перестановками, чтобы превратить произвольные наборы данных в нормально распределенные данные.
Численные приближения для нормальной функции CDF и нормальной функции квантили
Стандартный нормальный CDF широко используется в научных и статистических вычислениях.
Значения Φ ( x ) могут быть очень точно аппроксимированы различными методами, такими как численное интегрирование , ряд Тейлора , асимптотический ряд и непрерывные дроби . В зависимости от желаемого уровня точности используются разные приближения.
- Зелен и Северо (1964) дают приближение для Φ ( x ) для x> 0 с абсолютной ошибкой | ε ( x ) | <7,5 · 10 −8 (алгоритм 26.2.17 ):
- Харт (1968) перечисляет несколько десятков приближений - с помощью рациональных функций, с экспонентами или без них - для функции erfc () . Его алгоритмы различаются по степени сложности и получаемой точности с максимальной абсолютной точностью до 24 цифр. Алгоритм Уэста (2009) сочетает в себе алгоритм Харта 5666 с приближением непрерывной дроби в хвосте, чтобы обеспечить быстрый алгоритм вычислений с точностью до 16 цифр.
- Коди (1969), вспомнив, что решение Hart68 не подходит для erf, дает решение как для erf, так и для erfc с максимальной относительной погрешностью с помощью рационального приближения Чебышева .
- Марсаглия (2004) предложил простой алгоритм [примечание 2], основанный на разложении в ряд Тейлора.
- GNU Scientific Library вычисляет значения стандартного нормального КОРА , используя алгоритмы и приближение Харта с полиномами Чебышева .
Шор (1982) представил простые аппроксимации, которые могут быть включены в модели стохастической оптимизации инженерных и операционных исследований, такие как проектирование надежности и анализ запасов. Обозначая p = Φ (z), простейшее приближение для функции квантили:
Это приближение обеспечивает для z максимальную абсолютную ошибку 0,026 (для 0,5 ≤ p ≤ 0,9999, что соответствует 0 ≤ z ≤ 3,725). Если p <1/2, замените p на 1 - p и измените знак. Другое приближение, несколько менее точное, - это однопараметрическое приближение:
Последний служил для получения простой аппроксимации интеграла потерь нормального распределения, определяемого формулой
Это приближение особенно точно для правого дальнего хвоста (максимальная ошибка 10 −3 для z≥1,4). Высокоточные приближения для CDF, основанные на методологии моделирования отклика (RMM, Shore, 2011, 2012), показаны в Shore (2005).
Еще несколько приближений можно найти по адресу: Функция ошибок # Приближение с элементарными функциями . В частности, небольшая относительная ошибка во всем домене для CDF и квантильная функция также достигается с помощью явно обратимой формулы Сергея Виницкого в 2008 году.
История
Разработка
Некоторые авторы [65] [66] приписывают открытие нормального распределения де Муавру , который в 1738 г. [примечание 3] опубликовал во втором издании своей « Доктрины шансов » исследование коэффициентов в биноме. расширение из ( + б ) п . Де Муавр доказал, что средний член в этом разложении имеет приблизительную величину, И что «если м или ½ п быть некоторое количество бесконечно велик, то логарифм отношения, которым срок отстоит от середины отрезка л , имеет в среднесрочную перспективу, является. » [67] Хотя эту теорему можно интерпретировать как первое неясное выражение нормального вероятностного закона, Стиглер указывает, что сам де Муавр не интерпретировал свои результаты как нечто большее, чем приблизительное правило для биномиальных коэффициентов, и в частности de Муавру не хватало концепции функции плотности вероятности [68].
В 1823 году Гаусс опубликовал свою монографию « Theoriacommonologyis monitoringum erroribus minimis obnoxiae », где, среди прочего, он вводит несколько важных статистических концепций, таких как метод наименьших квадратов , метод максимального правдоподобия и нормальное распределение . Гаусс использовал M , M ′ , M ′ ′, ... для обозначения измерений некоторой неизвестной величины V и искал «наиболее вероятную» оценку этой величины: ту, которая максимизирует вероятность φ ( M - V ) · φ ( M ′ - V ) · φ ( M ′ ′ - V ) · ... получения наблюдаемых экспериментальных результатов. В его обозначениях φΔ - это вероятностный закон ошибки измерения величины Δ. Не зная, что такое функция φ , Гаусс требует, чтобы его метод сводился к хорошо известному ответу: среднему арифметическому измеренных значений. [примечание 4] Исходя из этих принципов, Гаусс демонстрирует, что единственный закон, который рационализирует выбор среднего арифметического в качестве оценки параметра местоположения, - это нормальный закон ошибок: [69]
где h - «мера точности наблюдений». Используя этот нормальный закон в качестве общей модели ошибок в экспериментах, Гаусс формулирует то, что теперь известно как метод нелинейных взвешенных наименьших квадратов (NWLS). [70]
Хотя Гаусс был первым, кто предложил закон нормального распределения, Лаплас внес существенный вклад. [примечание 5] Именно Лаплас первым поставил задачу объединения нескольких наблюдений в 1774 г. [71], хотя его собственное решение привело к распределению Лапласа . Именно Лаплас первым вычислил значение интеграла ∫ e - t 2 dt = √ π в 1782 году, предоставив нормировочную константу для нормального распределения. [72] Наконец, именно Лаплас в 1810 году доказал и представил Академии фундаментальную центральную предельную теорему , в которой подчеркивалась теоретическая важность нормального распределения. [73]
Интересно отметить, что в 1809 году ирландский математик Адрейн опубликовал два вывода нормального вероятностного закона одновременно и независимо от Гаусса. [74] Его работы оставались в основном незамеченными научным сообществом, пока в 1871 году они не были «заново открыты» Аббе . [75]
В середине 19-го века Максвелл продемонстрировал, что нормальное распределение - это не только удобный математический инструмент, но также может иметь место в природных явлениях: [76] «Число частиц, скорость которых при разрешении в определенном направлении лежит между x и x + dx - это
Именование
С момента своего появления нормальное распределение было известно под множеством разных названий: закон ошибки, закон легкости ошибки, второй закон Лапласа, закон Гаусса и т. Д. Сам Гаусс, по-видимому, ввел термин со ссылкой на «нормальные уравнения» участвуют в его приложениях, причем нормальный имеет свое техническое значение ортогонального, а не «обычного». [77] Однако к концу 19 века некоторые авторы [примечание 6] начали использовать название « нормальное распределение» , где слово «нормальный» использовалось как прилагательное - этот термин теперь рассматривается как отражение того факта, что это распределение считалось типичным, обычным и, следовательно, «нормальным». Пирс (один из этих авторов) однажды определил «нормальный» следующим образом: «...« нормальное »- это не среднее (или любое другое среднее значение) того, что на самом деле происходит, но того, что в конечном итоге могло бы произойти. при определенных обстоятельствах ". [78] Примерно на рубеже 20-го века Пирсон популяризировал термин « нормальный» как обозначение этого распределения. [79]
Много лет назад я назвал кривую Лапласа – Гаусса нормальной кривой, что, хотя и позволяет избежать международного вопроса о приоритете, имеет тот недостаток, что заставляет людей поверить в то, что все другие распределения частот в том или ином смысле являются «ненормальными».
- Пирсон (1920)
Кроме того, именно Пирсон первым написал распределение в терминах стандартного отклонения σ в современных обозначениях. Вскоре после этого, в 1915 году, Фишер добавил параметр местоположения в формулу нормального распределения, выразив его так, как это пишется сейчас:
Термин «стандартное нормальное», обозначающий нормальное распределение с нулевым средним и единичной дисперсией, стал широко использоваться примерно в 1950-х годах, появившись в популярных учебниках П.Г. Хоэля (1947) « Введение в математическую статистику » и AM Mood (1950) ». Введение в теорию статистики ». [80]
Смотрите также
- Распределение Бейтса - аналогично распределению Ирвина – Холла, но с масштабированием обратно в диапазон от 0 до 1.
- Проблема Беренса-Фишера - давняя проблема проверки того, имеют ли две нормальные выборки с разными дисперсиями одинаковые средние значения;
- Расстояние Бхаттачарьи - метод, используемый для разделения смесей нормальных распределений
- Теорема Эрдеша – Каца о возникновении нормального распределения в теории чисел.
- Размытие по Гауссу - свертка , в которой в качестве ядра используется нормальное распределение.
- Нормально распределенный и некоррелированный не подразумевает независимого
- Взаимное нормальное распределение
- Нормальное распределение соотношения
- Стандартный нормальный стол
- Лемма Штейна
- Субгауссово распределение
- Сумма нормально распределенных случайных величин
- Распределение Твиди - нормальное распределение является членом семейства моделей экспоненциальной дисперсии Твиди.
- Обернутое нормальное распределение - нормальное распределение, примененное к круговой области.
- Z-тест - с использованием нормального распределения
Заметки
- ^ Для доказательства см. Гауссовский интеграл .
- ^ Например, этот алгоритм приведен в статье Язык программирования Bc .
- ↑ Де Муавр впервые опубликовал свои открытия в 1733 году в брошюре «Approximatio ad Summam Terminorum Binomii ( a + b ) n in Seriem Expansi», которая была предназначена только для частного обращения. Но только в 1738 году он обнародовал свои результаты. Оригинальная брошюра переиздавалась несколько раз, см., Например, Walker (1985) .
- ^ «Было принято считать аксиомой гипотезу о том, что если какая-либо величина была определена несколькими прямыми наблюдениями, сделанными при одних и тех же обстоятельствах и с одинаковой тщательностью, среднее арифметическое наблюдаемых значений дает наиболее вероятное значение, если не строго, но почти по крайней мере, так что всегда безопаснее всего придерживаться его ". - Гаусс (1809 , раздел 177)
- ^ "Мой обычай называть эту кривую кривой Гаусса-Лапласа или нормальной кривой избавляет нас отразделениядостоинств открытия между двумя великими астрономами-математиками". цитата из Пирсона (1905 , с. 189)
- ^ Помимо специально упомянутых здесь, такое использование встречается в работах Пирса , Гальтона ( Galton (1889 , глава V)) и Lexis ( Lexis (1878) , Rohrbasser & Véron (2003) ) c. 1875. [ необходима цитата ]
Рекомендации
Цитаты
- ^ a b c d e f «Список вероятностных и статистических символов» . Математическое хранилище . 26 апреля 2020 . Проверено 15 августа 2020 года .
- ^ Вайсштейн, Эрик В. «Нормальное распределение» . mathworld.wolfram.com . Проверено 15 августа 2020 года .
- ^ Нормальное распространение , Энциклопедия психологии Гейла
- ↑ Casella & Berger (2001 , стр.102)
- Перейти ↑ Lyon, A. (2014). Почему нормальные распределения нормальны? , Британский журнал философии науки.
- ^ а б «Нормальное распределение» . www.mathsisfun.com . Проверено 15 августа 2020 года .
- ↑ Стиглер (1982)
- Перейти ↑ Halperin, Hartley & Hoel (1965 , пункт 7)
- ↑ Макферсон (1990 , с. 110)
- ↑ Бернардо и Смит (2000 , стр.121)
- ^ Скотт, Клейтон; Новак, Роберт (7 августа 2003 г.). «Q-функция» . Связи .
- ^ Барак, Охад (6 апреля 2006 г.). «Функция Q и функция ошибок» (PDF) . Тель-Авивский университет. Архивировано из оригинального (PDF) 25 марта 2009 года.
- ^ Вайсштейн, Эрик В. "Нормальная функция распределения" . MathWorld .
- ^ Абрамовиц, Милтон ; Стегун, Ирен Энн , ред. (1983) [июнь 1964]. «Глава 26, уравнение 26.2.12» . Справочник по математическим функциям с формулами, графиками и математическими таблицами . Прикладная математика. 55 (Девятое переиздание с дополнительными исправлениями, десятое оригинальное издание с исправлениями (декабрь 1972 г.); первое издание). Вашингтон; Нью-Йорк: Министерство торговли США, Национальное бюро стандартов; Dover Publications. п. 932. ISBN 978-0-486-61272-0. LCCN 64-60036 . Руководство по ремонту 0167642 . LCCN 65-12253 .
- ^ "Wolfram | Alpha: вычислительная машина знаний" . Wolframalpha.com . Проверено 3 марта 2017 года .
- ^ "Wolfram | Alpha: вычислительная машина знаний" . Wolframalpha.com .
- ^ "Wolfram | Alpha: вычислительная машина знаний" . Wolframalpha.com . Проверено 3 марта 2017 года .
- ^ Обложка, Томас М .; Томас, Джой А. (2006). Элементы теории информации . Джон Вили и сыновья. п. 254 .
- ^ Park, Sung Y .; Бера, Анил К. (2009). "Модель условной гетероскедастичности авторегрессии с максимальной энтропией" (PDF) . Журнал эконометрики . 150 (2): 219–230. CiteSeerX 10.1.1.511.9750 . DOI : 10.1016 / j.jeconom.2008.12.014 . Архивировано из оригинального (PDF) 7 марта 2016 года . Проверено 2 июня 2011 года .
- ↑ Geary RC (1936) Распределение коэффициента «Стьюдента» для ненормальных выборок ». Приложение к Журналу Королевского статистического общества 3 (2): 178–184
- ^ Лукач, Евгений (март 1942 г.). «Характеристика нормального распределения». Анналы математической статистики . 13 (1): 91–93. DOI : 10.1214 / АОМ / 1177731647 . ISSN 0003-4851 . JSTOR 2236166 . MR 0006626 . Zbl 0060.28509 . Викиданные Q55897617 .
- ^ a b c Патель и Рид (1996 , [2.1.4])
- ↑ Вентилятор (1991 , стр. 1258)
- ^ Патель и Рид (1996 , [2.1.8])
- ^ Папулис, Афанасий. Вероятность, случайные величины и случайные процессы (4-е изд.). п. 148.
- ^ БРИКа (1995 , стр. 23)
- ^ БРИКа (1995 , стр. 24)
- ↑ Обложка и Томас (2006 , с. 254)
- ^ Уильямс, Дэвид (2001). Взвешивание шансов: курс вероятности и статистики (перепечатано. Ред.). Кембридж [ua]: Cambridge Univ. Нажмите. стр. 197 -199. ISBN 978-0-521-00618-7.
- ^ Смит, Хосе М. Бернардо; Адриан FM (2000). Байесовская теория (Переиздание ред.). Чичестер [ua]: Уайли. стр. 209 , 366. ISBN 978-0-471-49464-5.
- ^ О'Хаган, А. (1994) Расширенная теория статистики Кендалла, Том 2B, Байесовский вывод , Эдвард Арнольд. ISBN 0-340-52922-9 (Раздел 5.40)
- ^ a b Bryc (1995 , с. 35)
- ^ UIUC, Лекция 21. Многомерное нормальное распределение , 21.6: «Индивидуально гауссовский или совместно гауссовский».
- ^ Эдвард Л. Мельник и Аарон Tenenbein, «Misspecifications нормального распределения», Американский Статистик , объем 36, номер 4 ноября 1982, страницы 372-373
- ^ "Расстояние Кульбака-Лейблера (KL) двух нормальных (гауссовских) распределений вероятностей" . Allisons.org . 5 декабря 2007 . Проверено 3 марта 2017 года .
- ^ Джордан, Майкл И. (8 февраля 2010 г.). «Stat260: Байесовское моделирование и вывод: сопряженный приоритет для нормального распределения» (PDF) .
- ↑ Амари и Нагаока (2000)
- ^ «Нормальное приближение к распределению Пуассона» . Stat.ucla.edu . Проверено 3 марта 2017 года .
- ^ а б Дас, Абхранил (2020). «Метод интеграции и классификации нормальных распределений». arXiv : 2012.14331 [ stat.ML ].
- ^ БРИКа (1995 , стр. 27)
- ^ Вайсштейн, Эрик В. «Нормальное распределение продукта» . MathWorld . wolfram.com.
- ^ Лукач, Евгений (1942). «Характеристика нормального распределения» . Летопись математической статистики . 13 (1): 91–3. DOI : 10.1214 / АОМ / 1177731647 . ISSN 0003-4851 . JSTOR 2236166 .
- ^ Basu, D .; Лаха, Р.Г. (1954). «О некоторых характеристиках нормального распределения». Санкхья . 13 (4): 359–62. ISSN 0036-4452 . JSTOR 25048183 .
- ^ Леманн, Э.Л. (1997). Проверка статистических гипотез (2-е изд.). Springer. п. 199. ISBN 978-0-387-94919-2.
- ^ Патель и Рид (1996 , [2.3.6])
- ^ Галамбос и Симонелли (2004 , теорема 3.5)
- ^ a b Лукач и Кинг (1954)
- ^ Куайн, член парламента (1993). «О трех характеристиках нормального распределения» . Вероятность и математическая статистика . 14 (2): 257–263.
- ^ Джон, S (1982). «Трехпараметрическое двухкомпонентное нормальное семейство распределений и его аппроксимация». Коммуникации в статистике - теория и методы . 11 (8): 879–885. DOI : 10.1080 / 03610928208828279 .
- ^ a b Кришнамурти (2006 , с. 127)
- ↑ Кришнамурти (2006 , с. 130)
- ↑ Кришнамурти (2006 , с. 133)
- ^ Хаксли (1932)
- ^ Джейнс, Эдвин Т. (2003). Теория вероятностей: логика науки . Издательство Кембриджского университета. С. 592–593. ISBN 9780521592710.
- ^ Остербан, Роланд Дж. (1994). «Глава 6: Частотный и регрессионный анализ гидрологических данных» (PDF) . В Ритземе, Хенк П. (ред.). Принципы и применение дренажа, Публикация 16 (второе пересмотренное издание). Вагенинген, Нидерланды: Международный институт мелиорации и улучшения земель (ILRI). С. 175–224. ISBN 978-90-70754-33-4.
- ^ Почему большинство опубликованных результатов исследований ложны, Джон П. А. Иоаннидис, 2005
- ^ Вичура, Майкл Дж. (1988). «Алгоритм AS241: процентные точки нормального распределения». Прикладная статистика . 37 (3): 477–84. DOI : 10.2307 / 2347330 . JSTOR 2347330 .
- ↑ Джонсон, Котц и Балакришнан (1995 , уравнение (26,48))
- ^ Киндерман & Монахан (1977)
- ↑ Лева (1992)
- ^ Марсалья и Цанг (2000)
- ^ Карни (2016)
- ^ Монахан (1985 , раздел 2)
- ^ Уоллес (1996)
- ^ Джонсон, Коц & Balakrishnan (1994 , стр. 85)
- ↑ Ле Кам и Ло Ян (2000 , стр.74)
- Перейти ↑ De Moivre, Abraham (1733), Corollary I - см. Walker (1985 , p. 77)
- ↑ Стиглер (1986 , с. 76)
- ^ Гаусс (1809 , раздел 177)
- ^ Гаусс (1809 , раздел 179)
- ^ Лаплас (1774 , проблема III)
- ↑ Пирсон (1905 , стр.189)
- ↑ Стиглер (1986 , стр.144)
- ↑ Стиглер (1978 , с. 243)
- ↑ Стиглер (1978 , с. 244)
- ^ Максвелл (1860 , стр.23)
- ^ Джейнс, Эдвин Дж .; Теория вероятностей: логика науки , глава 7
- ↑ Пирс, Чарльз С. (ок. 1909 г. MS), Сборник статей против 6, параграф 327.
- ^ Краскал и Стиглер (1997)
- ^ «Самое раннее использование ... (запись СТАНДАРТНАЯ НОРМАЛЬНАЯ КРИВАЯ)» .
Источники
- Олдрич, Джон; Миллер, Джефф. «Раннее использование символов в теории вероятностей и статистике» .
- Олдрич, Джон; Миллер, Джефф. «Самые ранние известные варианты использования некоторых слов математики» .В частности, записи для «колоколообразная и колоколообразная кривая» , «нормальный (распределение)» , «гауссовский» и «ошибка, закон ошибки, теория ошибок и т.д.» .
- Амари, Шун-ичи; Нагаока, Хироши (2000). Методы информационной геометрии . Издательство Оксфордского университета. ISBN 978-0-8218-0531-2.
- Бернардо, Хосе М .; Смит, Адриан FM (2000). Байесовская теория . Вайли. ISBN 978-0-471-49464-5.
- Bryc, Влодзимеж (1995). Нормальное распределение: характеристики с приложениями . Springer-Verlag. ISBN 978-0-387-97990-8.
- Казелла, Джордж; Бергер, Роджер Л. (2001). Статистический вывод (2-е изд.). Даксбери. ISBN 978-0-534-24312-8.
- Коди, Уильям Дж. (1969). "Рациональные приближения Чебышева для функции ошибок" . Математика вычислений . 23 (107): 631–638. DOI : 10.1090 / S0025-5718-1969-0247736-4 .
- Обложка, Томас М .; Томас, Джой А. (2006). Элементы теории информации . Джон Вили и сыновья.
- де Муавр, Авраам (1738). Доктрина шансов . ISBN 978-0-8218-2103-9.
- Фань, Цзяньцин (1991). «Об оптимальных скоростях сходимости для непараметрических задач деконволюции» . Летопись статистики . 19 (3): 1257–1272. DOI : 10.1214 / AOS / 1176348248 . JSTOR 2241949 .
- Гальтон, Фрэнсис (1889). Естественное наследование (PDF) . Лондон, Великобритания: Ричард Клей и сыновья.
- Галамбос, Янош; Симонелли, Итало (2004). Произведения случайных величин: приложения к задачам физики и арифметическим функциям . Марсель Деккер, Inc. ISBN 978-0-8247-5402-0.
- Гаусс, Кароло Фридерико (1809). Theoria motvs corporvm coelestivm in sectionibvs conicis Solem ambientivm [ Теория движения небесных тел, движущихся вокруг Солнца в конических сечениях ] (на латыни). Английский перевод .
- Гулд, Стивен Джей (1981). Ошибочное измерение человека (первое изд.). WW Нортон. ISBN 978-0-393-01489-1.
- Гальперин, Макс; Хартли, Герман О .; Хоэль, Пол Г. (1965). «Рекомендуемые стандарты для статистических символов и обозначений. Комитет COPSS по символам и обозначениям». Американский статистик . 19 (3): 12–14. DOI : 10.2307 / 2681417 . JSTOR 2681417 .
- Харт, Джон Ф .; и другие. (1968). Компьютерные приближения . Нью-Йорк, Нью-Йорк: ISBN John Wiley & Sons, Inc. 978-0-88275-642-4.
- "Нормальное распределение" , Энциклопедия математики , EMS Press , 2001 [1994]
- Herrnstein, Ричард Дж .; Мюррей, Чарльз (1994). Кривая Белла: интеллект и классовая структура в американской жизни . Свободная пресса . ISBN 978-0-02-914673-6.
- Хаксли, Джулиан С. (1932). Проблемы относительного роста . Лондон. ISBN 978-0-486-61114-3. OCLC 476909537 .
- Джонсон, Норман Л .; Коц, Самуэль; Балакришнан, Нараянасвами (1994). Непрерывные одномерные распределения, Том 1 . Вайли. ISBN 978-0-471-58495-7.
- Джонсон, Норман Л .; Коц, Самуэль; Балакришнан, Нараянасвами (1995). Непрерывные одномерные распределения, Том 2 . Вайли. ISBN 978-0-471-58494-0.
- Карни, CFF (2016). «Выборка точно из нормального распределения». Транзакции ACM на математическом программном обеспечении . 42 (1): 3: 1–14. arXiv : 1303,6257 . DOI : 10.1145 / 2710016 . S2CID 14252035 .
- Киндерман, Альберт Дж .; Монахан, Джон Ф. (1977). «Компьютерная генерация случайных величин с использованием отношения равномерных отклонений». Транзакции ACM на математическом программном обеспечении . 3 (3): 257–260. DOI : 10.1145 / 355744.355750 . S2CID 12884505 .
- Кришнамурти, Калимуту (2006). Справочник статистических распределений с приложениями . Чепмен и Холл / CRC. ISBN 978-1-58488-635-8.
- Крускал, Уильям Х .; Стиглер, Стивен М. (1997). Спенсер, Брюс Д. (ред.). Нормативная терминология: «Нормальный» в статистике и других местах . Статистика и государственная политика. Издательство Оксфордского университета. ISBN 978-0-19-852341-3.
- Лаплас, Пьер-Симон де (1774 г.). "Mémoire sur la probabilité desasons par les événements" . Mémoires de l'Académie Royale des Sciences de Paris (Savants étrangers), Tome 6 : 621–656.Перевод Стивена М. Стиглера в статистике 1 (3), 1986: JSTOR 2245476 .
- Лаплас, Пьер-Симон (1812). Théorie Аналитической probabilités [ Аналитическая теория вероятностей ].
- Ле Кам, Люсьен; Ло Ян, Грейс (2000). Асимптотика в статистике: некоторые основные концепции (второе изд.). Springer. ISBN 978-0-387-95036-5.
- Лева, Джозеф Л. (1992). «Быстрый нормальный генератор случайных чисел» (PDF) . Транзакции ACM на математическом программном обеспечении . 18 (4): 449–453. CiteSeerX 10.1.1.544.5806 . DOI : 10.1145 / 138351.138364 . S2CID 15802663 . Архивировано из оригинального (PDF) 16 июля 2010 года.
- Лексис, Вильгельм (1878). "Sur la durée normale de la vie humaine et sur la théorie de la stabilité des rapports statistiques". Анналы международной демографии . Париж. II : 447–462.
- Лукач, Евгений; Кинг, Эдгар П. (1954). «Свойство нормального распределения» . Летопись математической статистики . 25 (2): 389–394. DOI : 10.1214 / АОМ / 1177728796 . JSTOR 2236741 .
- Макферсон, Глен (1990). Статистика в научных исследованиях: ее основы, применение и интерпретация . Springer-Verlag. ISBN 978-0-387-97137-7.
- Марсалья, Джордж ; Цанг, Вай Ван (2000). «Метод зиккурата для генерации случайных величин» . Журнал статистического программного обеспечения . 5 (8). DOI : 10,18637 / jss.v005.i08 .
- Марсалья, Джордж (2004). «Оценка нормального распределения» . Журнал статистического программного обеспечения . 11 (4). DOI : 10,18637 / jss.v011.i04 .
- Максвелл, Джеймс Клерк (1860). «V. Иллюстрации к динамической теории газов. - Часть I: О движениях и столкновениях идеально упругих сфер». Философский журнал . Серия 4. 19 (124): 19–32. DOI : 10.1080 / 14786446008642818 .
- Монахан, Дж. Ф. (1985). «Точность генерации случайных чисел» . Математика вычислений . 45 (172): 559–568. DOI : 10.1090 / S0025-5718-1985-0804945-X .
- Patel, Jagdish K .; Прочтите, Кэмпбелл Б. (1996). Справочник по нормальному распределению (2-е изд.). CRC Press. ISBN 978-0-8247-9342-5.
- Пирсон, Карл (1901). "На прямых и плоскостях, наиболее приближенных к системам точек в пространстве" (PDF) . Философский журнал . 6. 2 (11): 559–572. DOI : 10.1080 / 14786440109462720 .
- Пирсон, Карл (1905). « ' Das Fehlergesetz und seine Verallgemeinerungen durch Fechner und Pearson'. Реплика» . Биометрика . 4 (1): 169–212. DOI : 10.2307 / 2331536 . JSTOR 2331536 .
- Пирсон, Карл (1920). «Записки по истории корреляции» . Биометрика . 13 (1): 25–45. DOI : 10.1093 / Biomet / 13.1.25 . JSTOR 2331722 .
- Рорбассер, Жан-Марк; Верон, Жак (2003). «Вильгельм Лексис: нормальная продолжительность жизни как выражение« природы вещей » » . Население . 58 (3): 303–322. DOI : 10.3917 / pope.303.0303 .
- Шор, H (1982). «Простые приближения для обратной кумулятивной функции, функции плотности и интеграла потерь нормального распределения». Журнал Королевского статистического общества. Серия C (Прикладная статистика) . 31 (2): 108–114. DOI : 10.2307 / 2347972 . JSTOR 2347972 .
- Шор, Х (2005). «Точные приближения на основе RMM для CDF нормального распределения». Коммуникации в статистике - теория и методы . 34 (3): 507–513. DOI : 10,1081 / STA-200052102 . S2CID 122148043 .
- Шор, H (2011). «Методология моделирования отклика». ПРОВОДА Comput Stat . 3 (4): 357–372. DOI : 10.1002 / wics.151 .
- Шор, H (2012). «Оценка моделей методологии моделирования отклика». ПРОВОДА Comput Stat . 4 (3): 323–333. DOI : 10.1002 / wics.1199 .
- Стиглер, Стивен М. (1978). «Математическая статистика в ранних государствах» . Летопись статистики . 6 (2): 239–265. DOI : 10.1214 / AOS / 1176344123 . JSTOR 2958876 .
- Стиглер, Стивен М. (1982). «Скромное предложение: новый стандарт для нормального». Американский статистик . 36 (2): 137–138. DOI : 10.2307 / 2684031 . JSTOR 2684031 .
- Стиглер, Стивен М. (1986). История статистики: измерение неопределенности до 1900 года . Издательство Гарвардского университета. ISBN 978-0-674-40340-6.
- Стиглер, Стивен М. (1999). Статистика в таблице . Издательство Гарвардского университета. ISBN 978-0-674-83601-3.
- Уокер, Хелен М. (1985). "Де Муавр о законе нормальной вероятности" (PDF) . В Смит, Дэвид Юджин (ред.). Справочник по математике . Дувр. ISBN 978-0-486-64690-9.
- Уоллес, CS (1996). «Быстрые псевдослучайные генераторы для нормальных и экспоненциальных переменных». Транзакции ACM на математическом программном обеспечении . 22 (1): 119–127. DOI : 10.1145 / 225545.225554 . S2CID 18514848 .
- Вайсштейн, Эрик В. «Нормальное распределение» . MathWorld .
- Запад, Грэм (2009). «Лучшие приближения к кумулятивным нормальным функциям» (PDF) . Журнал Wilmott : 70–76.
- Зелен, Марвин; Северо, Норман К. (1964). Вероятностные функции (глава 26) . Справочник по математическим функциям с формулами, графиками и математическими таблицами , Абрамовиц, М .; и Стегун, И. А .: Национальное бюро стандартов. Нью-Йорк, Нью-Йорк: Дувр. ISBN 978-0-486-61272-0.
Внешние ссылки
- "Нормальное распределение" , Энциклопедия математики , EMS Press , 2001 [1994]
- Калькулятор нормального распределения , более мощный калькулятор