Нормальное распределение

Нормальное распределение

Функция плотности вероятности Красная кривая - стандартное нормальное распределение.
Кумулятивная функция распределения
Обозначение	${\ Displaystyle {\ mathcal {N}} (\ mu, \ sigma ^ {2})}$
Параметры	${\ displaystyle \ mu \ in \ mathbb {R}}$= среднее значение ( местоположение ) = дисперсия (квадратная шкала ) ${\ displaystyle \ sigma ^ {2}> 0}$
Поддерживать	${\ Displaystyle х \ in \ mathbb {R}}$
PDF	${\ displaystyle {\ frac {1} {\ sigma {\ sqrt {2 \ pi}}}} e ^ {- {\ frac {1} {2}} \ left ({\ frac {x- \ mu} { \ sigma}} \ right) ^ {2}}}$
CDF	${\ displaystyle {\ frac {1} {2}} \ left [1+ \ operatorname {erf} \ left ({\ frac {x- \ mu} {\ sigma {\ sqrt {2}}}} \ right) \верно]}$
Квантиль	${\ displaystyle \ mu + \ sigma {\ sqrt {2}} \ operatorname {erf} ^ {- 1} (2p-1)}$
Иметь в виду	${\ displaystyle \ mu}$
Медиана	${\ displaystyle \ mu}$
Режим	${\ displaystyle \ mu}$
Дисперсия	${\ displaystyle \ sigma ^ {2}}$
СУМАСШЕДШИЙ	${\ displaystyle \ sigma {\ sqrt {2 / \ pi}}}$
Асимметрия	${\ displaystyle 0}$
Бывший. эксцесс	${\ displaystyle 0}$
Энтропия	${\ displaystyle {\ frac {1} {2}} \ log (2 \ pi e \ sigma ^ {2})}$
MGF	${\ Displaystyle \ ехр (\ му т + \ сигма ^ {2} т ^ {2} / 2)}$
CF	${\ Displaystyle \ ехр (я \ му т- \ сигма ^ {2} т ^ {2} / 2)}$
Информация Fisher	${\ displaystyle {\ mathcal {I}} (\ mu, \ sigma) = {\ begin {pmatrix} 1 / \ sigma ^ {2} & 0 \\ 0 & 2 / \ sigma ^ {2} \ end {pmatrix}}}$ ${\ displaystyle {\ mathcal {I}} (\ mu, \ sigma ^ {2}) = {\ begin {pmatrix} 1 / \ sigma ^ {2} & 0 \\ 0 & 1 / (2 \ sigma ^ {4}) \ end {pmatrix}}}$
Расхождение Кульбака-Лейблера	${\ displaystyle {1 \ over 2} \ left \ {\ left ({\ frac {\ sigma _ {0}} {\ sigma _ {1}}} \ right) ^ {2} + {\ frac {(\ mu _ {1} - \ mu _ {0}) ^ {2}} {\ sigma _ {1} ^ {2}}} - 1 + 2 \ ln {\ sigma _ {1} \ over \ sigma _ { 0}} \ right \}}$

В теории вероятностей , в нормальном (или гауссовой или Гаусса или Лапласа-Гаусса ) распределение представляет собой тип непрерывного распределения вероятностей для вещественной случайной величины . Общий вид его функции плотности вероятности :

${\ displaystyle f (x) = {\ frac {1} {\ sigma {\ sqrt {2 \ pi}}}} e ^ {- {\ frac {1} {2}} \ left ({\ frac {x - \ mu} {\ sigma}} \ right) ^ {2}}}$

Параметр - это среднее или математическое ожидание распределения (а также его медиана и мода ), а параметр - его стандартное отклонение . ^[1] дисперсия распределения является . ^[2] Случайная величина с гауссовым распределением называется нормально распределенной и называется нормальным отклонением .${\ displaystyle \ mu}$${\ displaystyle \ sigma}$${\ displaystyle \ sigma ^ {2}}$

Нормальные распределения важны в статистике и часто используются в естественных и социальных науках для представления случайных величин с действительными значениями , распределения которых неизвестны. ^{[3] [4]} Их важность частично объясняется центральной предельной теоремой . В нем говорится, что при некоторых условиях среднее из многих выборок (наблюдений) случайной величины с конечным средним значением и дисперсией само по себе является случайной величиной, распределение которой сходится к нормальному распределению по мере увеличения числа выборок. Следовательно, физические величины, которые, как ожидается, будут суммой многих независимых процессов, таких как ошибки измерения, часто имеют распределения, которые почти нормальны. ^[5]

Более того, гауссовские распределения обладают некоторыми уникальными свойствами, которые ценны для аналитических исследований. Например, любая линейная комбинация фиксированного набора нормальных отклонений является нормальным отклонением. Многие результаты и методы, такие как распространение неопределенности и аппроксимация параметров методом наименьших квадратов , могут быть получены аналитически в явной форме, когда соответствующие переменные распределены нормально.

Нормальное распределение иногда неофициально называют кривой колокола . ^[6] Однако многие другие распределения имеют форму колокола (например, распределение Коши , t Стьюдента и логистические распределения).

Определения [ править ]

Стандартное нормальное распределение [ править ]

Самый простой случай нормального распределения известен как стандартное нормальное распределение . Это особый случай, когда и , и он описывается этой функцией плотности вероятности : ^[1]${\ displaystyle \ mu = 0}$${\ Displaystyle \ sigma = 1}$

${\ displaystyle \ varphi (x) = {\ frac {e ^ {- {\ frac {x ^ {2}} {2}}}} {\ sqrt {2 \ pi}}}}$

Здесь коэффициент гарантирует, что общая площадь под кривой равна единице. ^{[примечание 1]} Фактор в показателе степени гарантирует, что распределение имеет единичную дисперсию (т. е. дисперсию, равную единице), и, следовательно, также единичное стандартное отклонение. Эта функция симметрична относительно точки , где она достигает своего максимального значения и имеет точки перегиба в и .${\ displaystyle 1 / {\ sqrt {2 \ pi}}}$${\displaystyle \varphi (x)}$${\displaystyle 1/2}$${\displaystyle x=0}$${\displaystyle 1/{\sqrt {2\pi }}}$${\displaystyle x=+1}$${\displaystyle x=-1}$

Авторы расходятся во мнениях относительно того, какое нормальное распределение следует называть "стандартным". Карл Фридрих Гаусс , например, определил стандартную нормаль как имеющую дисперсию . То есть:${\displaystyle \sigma ^{2}=1/2}$

${\displaystyle \varphi (x)={\frac {e^{-x^{2}}}{\sqrt {\pi }}}}$

С другой стороны, Стивен Стиглер ^[7] идет еще дальше, определяя стандартную нормаль как имеющую дисперсию :${\displaystyle \sigma ^{2}=1/(2\pi )}$

${\displaystyle \varphi (x)=e^{-\pi x^{2}}}$

Общее нормальное распределение [ править ]

Каждое нормальное распределение является версией стандартного нормального распределения, область значений которого была растянута на фактор (стандартное отклонение), а затем переведена на (среднее значение):${\displaystyle \sigma }$${\displaystyle \mu }$

${\displaystyle f(x\mid \mu ,\sigma ^{2})={\frac {1}{\sigma }}\varphi \left({\frac {x-\mu }{\sigma }}\right)}$

Плотность вероятности должна быть увеличена так, чтобы интеграл по-прежнему равнялся 1.${\displaystyle 1/\sigma }$

Если это стандартное нормальное отклонение , тогда будет нормальное распределение с ожидаемым значением и стандартным отклонением . Это эквивалентно тому, что "стандартное" нормальное распределение можно масштабировать / растягивать в раз и сдвигать, чтобы получить другое нормальное распределение, называемое . И наоборот, если это нормальное отклонение с параметрами и , то это распределение можно масштабировать и сдвигать с помощью формулы, чтобы преобразовать его в «стандартное» нормальное распределение. Эту разновидность также называют стандартизированной формой .${\displaystyle Z}$${\displaystyle X=\sigma Z+\mu }$${\displaystyle \mu }$${\displaystyle \sigma }$${\displaystyle Z}$${\displaystyle \sigma }$${\displaystyle \mu }$${\displaystyle X}$${\displaystyle X}$${\displaystyle \mu }$${\displaystyle \sigma ^{2}}$${\displaystyle X}$${\displaystyle Z=(X-\mu )/\sigma }$${\displaystyle X}$

Обозначение [ править ]

Плотность вероятности стандартного распределения Гаусса (стандартное нормальное распределение с нулевым средним и единичной дисперсией) часто обозначается греческой буквой ( фи ). ^[8] Альтернативная форма греческой буквы фи, также используется довольно часто. ^[1]${\displaystyle \phi }$${\displaystyle \varphi }$

Нормальное распределение часто называют или . ^{[1] [9]} Таким образом, когда случайная величина нормально распределена со средним значением и стандартным отклонением , можно написать${\displaystyle N(\mu ,\sigma ^{2})}$${\displaystyle {\mathcal {N}}(\mu ,\sigma ^{2})}$${\displaystyle X}$${\displaystyle \mu }$${\displaystyle \sigma }$

${\displaystyle X\sim {\mathcal {N}}(\mu ,\sigma ^{2}).}$

Альтернативные параметризации [ править ]

Некоторые авторы рекомендуют использовать точность в качестве параметра, определяющего ширину распределения, вместо отклонения или дисперсии . Точность обычно определяется как величина, обратная дисперсии . ^[10] Тогда формула распределения принимает вид${\displaystyle \tau }$${\displaystyle \sigma }$${\displaystyle \sigma ^{2}}$${\displaystyle 1/\sigma ^{2}}$

${\displaystyle f(x)={\sqrt {\frac {\tau }{2\pi }}}e^{-\tau (x-\mu )^{2}/2}.}$

Утверждается, что этот выбор имеет преимущества в численных вычислениях, когда он очень близок к нулю, и упрощает формулы в некоторых контекстах, таких как байесовский вывод переменных с многомерным нормальным распределением .${\displaystyle \sigma }$

В качестве альтернативы, величина, обратная стандартному отклонению, может быть определена как точность , и в этом случае выражение нормального распределения становится${\displaystyle \tau ^{\prime }=1/\sigma }$

${\displaystyle f(x)={\frac {\tau ^{\prime }}{\sqrt {2\pi }}}e^{-(\tau ^{\prime })^{2}(x-\mu )^{2}/2}.}$

По словам Стиглера, такая формулировка выгодна из-за гораздо более простой и легко запоминающейся формулы, а также простых приближенных формул для квантилей распределения.

Нормальные распределения образуют экспоненциальное семейство с природными параметрами и , природной статистикой х и х ² . Параметры двойного ожидания для нормального распределения: η ₁ = μ и η ₂ = μ ² + σ ² .${\displaystyle \textstyle \theta _{1}={\frac {\mu }{\sigma ^{2}}}}$${\displaystyle \textstyle \theta _{2}={\frac {-1}{2\sigma ^{2}}}}$

Кумулятивная функция распределения [ править ]

Кумулятивная функция распределения (CDF) стандартного нормального распределения, обычно обозначаемой с заглавной греческой буквой ( фи ), ^[1] является неотъемлемой${\displaystyle \Phi }$

${\displaystyle \Phi (x)={\frac {1}{\sqrt {2\pi }}}\int _{-\infty }^{x}e^{-t^{2}/2}\,dt}$

Связанная функция ошибок дает вероятность случайной величины с нормальным распределением среднего 0 и дисперсией 1/2, попадающими в диапазон . То есть: ^[1]${\displaystyle \operatorname {erf} (x)}$${\displaystyle [-x,x]}$

${\displaystyle \operatorname {erf} (x)={\frac {2}{\sqrt {\pi }}}\int _{0}^{x}e^{-t^{2}}\,dt}$

Эти интегралы не могут быть выражены в терминах элементарных функций, и их часто называют специальными функциями . Однако известно много численных приближений; подробнее см. ниже .

Эти две функции тесно связаны, а именно:

${\displaystyle \Phi (x)={\frac {1}{2}}\left[1+\operatorname {erf} \left({\frac {x}{\sqrt {2}}}\right)\right]}$

Для общего нормального распределения с плотностью , средним значением и отклонением кумулятивная функция распределения имеет вид${\displaystyle f}$${\displaystyle \mu }$${\displaystyle \sigma }$

${\displaystyle F(x)=\Phi \left({\frac {x-\mu }{\sigma }}\right)={\frac {1}{2}}\left[1+\operatorname {erf} \left({\frac {x-\mu }{\sigma {\sqrt {2}}}}\right)\right]}$

Дополнение к стандартному нормальному CDF, часто называют Q-функцией , особенно в технических текстах. ^{[11] [12]} Это дает вероятность того, что значение стандартной нормальной случайной переменной будет превышать : . Иногда используются и другие определения -функции, которые представляют собой простые преобразования . ^[13]${\displaystyle Q(x)=1-\Phi (x)}$${\displaystyle X}$${\displaystyle x}$${\displaystyle P(X>x)}$${\displaystyle Q}$${\displaystyle \Phi }$

График стандартного нормального КОРА имеет 2-кратную поворотную симметрию вокруг точки (0,1 / 2); то есть . Его первообразная (неопределенный интеграл) может быть выражена следующим образом: ${\displaystyle \Phi }$${\displaystyle \Phi (-x)=1-\Phi (x)}$

${\displaystyle \int \Phi (x)\,dx=x\Phi (x)+\varphi (x)+C.}$

CDF стандартного нормального распределения может быть расширен путем интеграции по частям в ряд:

${\displaystyle \Phi (x)={\frac {1}{2}}+{\frac {1}{\sqrt {2\pi }}}\cdot e^{-x^{2}/2}\left[x+{\frac {x^{3}}{3}}+{\frac {x^{5}}{3\cdot 5}}+\cdots +{\frac {x^{2n+1}}{(2n+1)!!}}+\cdots \right]}$

где обозначает двойной факториал .${\displaystyle !!}$

Асимптотическое разложение ВПР при больших х также может быть получена с помощью интегрирования по частям. Для получения дополнительной информации см. Функция ошибки # Асимптотическое расширение . ^[14]

Быстрое приближение к CDF стандартного нормального распределения можно найти с помощью приближения ряда Тейлора:

${\displaystyle \Phi (x)\approx {\frac {1}{2}}+{\frac {1}{\sqrt {2\pi }}}\sum _{k=0}^{n}{\frac {\left(-1\right)^{k}x^{\left(2k+1\right)}}{2^{k}k!\left(2k+1\right)}}}$

Стандартное отклонение и охват [ править ]

Около 68% значений, взятых из нормального распределения, находятся в пределах одного стандартного отклонения σ от среднего; около 95% значений находятся в пределах двух стандартных отклонений; и около 99,7% находятся в пределах трех стандартных отклонений. ^[6] Этот факт известен как правило 68-95-99,7 (эмпирическое) или правило трех сигм .

Точнее, вероятность того, что нормальное отклонение находится в диапазоне между и определяется выражением${\displaystyle \mu -n\sigma }$${\displaystyle \mu +n\sigma }$

${\displaystyle F(\mu +n\sigma )-F(\mu -n\sigma )=\Phi (n)-\Phi (-n)=\operatorname {erf} \left({\frac {n}{\sqrt {2}}}\right).}$

Для 12 значащих цифр значения : ^[15]${\displaystyle n=1,2,\ldots ,6}$

${\displaystyle n}$	${\displaystyle p=F(\mu +n\sigma )-F(\mu -n\sigma )}$	${\displaystyle {\text{i.e. }}1-p}$	${\displaystyle {\text{or }}1{\text{ in }}p}$	OEIS
1	0,682 689 492 137	0,317 310 507 863	3 .151 487 187 53	OEIS :  A178647
2	0,954 499 736 104	0,045 500 263 896	21 год .977 894 5080	OEIS :  A110894
3	0,997 300 203 937	0,002 699 796 063	370 0,398 347 345	OEIS :  A270712
4	0,999 936 657 516	0,000 063 342 484	15 787 .192 7673
5	0,999 999 426 697	0,000 000 573 303	1 744 277 .893 62
6	0,999 999 998 027	0,000 000 001 973	506 797 345 .897

Для больших можно использовать приближение .${\displaystyle n}$${\displaystyle 1-p\approx {\frac {e^{-n^{2}/2}}{n{\sqrt {\pi /2}}}}}$

Функция квантиля [ править ]

Функция квантиля из распределения является обратной кумулятивной функцией распределения. Функция квантиля стандартного нормального распределения называется пробит-функцией и может быть выражена через обратную функцию ошибок :

${\displaystyle \Phi ^{-1}(p)={\sqrt {2}}\operatorname {erf} ^{-1}(2p-1),\quad p\in (0,1).}$

Для нормальной случайной величины со средним значением и дисперсией функция квантиля имеет вид${\displaystyle \mu }$${\displaystyle \sigma ^{2}}$

${\displaystyle F^{-1}(p)=\mu +\sigma \Phi ^{-1}(p)=\mu +\sigma {\sqrt {2}}\operatorname {erf} ^{-1}(2p-1),\quad p\in (0,1).}$

Квантиль стандартного нормального распределения обычно обозначается как . Эти значения используются при проверке гипотез , построении доверительных интервалов и графиков QQ . Нормальная случайная величина превысит с вероятностью , и будет лежать вне интервала с вероятностью . В частности, квантиль составляет 1,96 ; поэтому нормальная случайная величина будет лежать вне интервала только в 5% случаев.${\displaystyle \Phi ^{-1}(p)}$${\displaystyle z_{p}}$${\displaystyle X}$${\displaystyle \mu +z_{p}\sigma }$${\displaystyle 1-p}$${\displaystyle \mu \pm z_{p}\sigma }$${\displaystyle 2(1-p)}$${\displaystyle z_{0.975}}$${\displaystyle \mu \pm 1.96\sigma }$

В следующей таблице приведен такой квантиль , который с заданной вероятностью будет лежать в диапазоне . Эти значения полезны для определения интервала допуска для выборочных средних и других статистических оценок с нормальным (или асимптотически нормальным) распределением: ^{[16] [17]} ПРИМЕЧАНИЕ: в следующей таблице показаны значения , отличные от указанных выше.${\displaystyle z_{p}}$${\displaystyle X}$${\displaystyle \mu \pm z_{p}\sigma }$${\displaystyle p}$${\displaystyle {\sqrt {2}}\operatorname {erf} ^{-1}(p)=\Phi ^{-1}\left({\frac {p+1}{2}}\right)}$${\displaystyle \Phi ^{-1}(p)}$

${\displaystyle p}$	${\displaystyle z_{p}}$		${\displaystyle p}$	${\displaystyle z_{p}}$
0,80	1,281 551 565 545		0,999	3,290 526 731 492
0,90	1.644 853 626 951		0,9999	3,890 591 886 413
0,95	1,959 963 984 540		0,99999	4,417 173 413 469
0,98	2,326 347 874 041		0,999999	4,891 638 475 699
0,99	2,575 829 303 549		0,9999999	5,326 723 886 384
0,995	2,807 033 768 344		0,99999999	5,730 728 868 236
0,998	3,090 232 306 168		0,999999999	6,109 410 204 869

Для малых функция квантили имеет полезное асимптотическое разложение${\displaystyle p}$ ${\displaystyle \Phi ^{-1}(p)=-{\sqrt {\ln {\frac {1}{p^{2}}}-\ln \ln {\frac {1}{p^{2}}}-\ln(2\pi )}}+{\mathcal {o}}(1).}$

Свойства [ править ]

Нормальное распределение - единственное распределение, кумулянты которого за пределами первых двух (т. Е. Кроме среднего и дисперсии ) равны нулю. Это также непрерывное распределение с максимальной энтропией для указанного среднего значения и дисперсии. ^{[18] [19]} Гири показал, предполагая, что среднее значение и дисперсия конечны, что нормальное распределение является единственным распределением, в котором среднее и дисперсия, вычисленные из набора независимых выборок, не зависят друг от друга. ^{[20] [21]}

Нормальное распределение является подклассом эллиптических распределений . Нормальное распределение симметрично относительно своего среднего значения и не равно нулю по всей действительной прямой. Как таковая, она может не подходить для переменных, которые по своей природе положительны или сильно искажены, таких как вес человека или цена акции . Такие переменные могут быть лучше описаны другими распределениями, такими как логнормальное распределение или распределение Парето .

Значение нормального распределения практически равно нулю, когда значение находится более чем на несколько стандартных отклонений от среднего (например, разброс в три стандартных отклонения покрывает все, кроме 0,27% от общего распределения). Следовательно, эта модель может быть неподходящей, если ожидается значительная часть выбросов - значений, которые лежат на многих стандартных отклонениях от среднего - а метод наименьших квадратов и другие методы статистического вывода , оптимальные для нормально распределенных переменных, часто становятся крайне ненадежными при применении. к таким данным. В таких случаях следует предполагать более тяжелое распределение и применять соответствующие надежные методы статистического вывода .${\displaystyle x}$

Гауссово распределение принадлежит к семейству стабильных распределений, которые являются аттракторами сумм независимых одинаково распределенных распределений, независимо от того, конечны ли среднее значение или дисперсия. За исключением гауссова, который является предельным случаем, все стабильные распределения имеют тяжелые хвосты и бесконечную дисперсию. Это один из немногих дистрибутивов, которые стабильны и имеют функции плотности вероятности , которые могут быть выражены аналитически, остальные на распределение Коши и распределение Леви .

Симметрии и производные [ править ]

Нормальное распределение с плотностью (среднее и стандартное отклонение ) имеет следующие свойства:${\displaystyle f(x)}$${\displaystyle \mu }$${\displaystyle \sigma >0}$

• Он симметричен относительно точки, которая одновременно является модой , медианой и средним значением распределения. ^[22]${\displaystyle x=\mu ,}$
• Он унимодален : его первая производная положительна при отрицательном при и равна нулю только при${\displaystyle x<\mu ,}$${\displaystyle x>\mu ,}$${\displaystyle x=\mu .}$
• Площадь под кривой и над осью равна единице (т.е. равна единице).${\displaystyle x}$
• Его первая производная ${\displaystyle f^{\prime }(x)=-{\frac {x-\mu }{\sigma ^{2}}}f(x).}$
• Его плотность имеет две точки перегиба (где вторая производная равна нулю и меняет знак), расположенных на одно стандартное отклонение от среднего, а именно в и ^[22]${\displaystyle f}$${\displaystyle x=\mu -\sigma }$${\displaystyle x=\mu +\sigma .}$
• Его плотность бревенчато-вогнутая . ^[22]
• Его плотность бесконечно дифференцируема , даже сверхгладкая порядка 2. ^[23]

Кроме того, плотность стандартного нормального распределения (т.е. и ) также имеет следующие свойства:${\displaystyle \varphi }$${\displaystyle \mu =0}$${\displaystyle \sigma =1}$

• Его первая производная ${\displaystyle \varphi ^{\prime }(x)=-x\varphi (x).}$
• Его вторая производная ${\displaystyle \varphi ^{\prime \prime }(x)=(x^{2}-1)\varphi (x)}$
• В более общем смысле , ее п - й производная , где есть п - й (вероятностник) полином Эрмита . ^[24]${\displaystyle \varphi ^{(n)}(x)=(-1)^{n}\operatorname {He} _{n}(x)\varphi (x),}$${\displaystyle \operatorname {He} _{n}(x)}$
• Вероятность того, что нормально распределенная переменная с известным и находится в конкретном наборе, может быть рассчитана с использованием того факта, что дробь имеет стандартное нормальное распределение.${\displaystyle X}$${\displaystyle \mu }$${\displaystyle \sigma }$${\displaystyle Z=(X-\mu )/\sigma }$

Моменты [ править ]

Простой и абсолютный моменты переменной - это ожидаемые значения и , соответственно. Если ожидаемое значение из равно нулю, то эти параметры называются центральными моментами . Обычно нас интересуют только моменты с целым порядком .${\displaystyle X}$${\displaystyle X^{p}}$${\displaystyle |X|^{p}}$${\displaystyle \mu }$${\displaystyle X}$${\displaystyle \ p}$

Если имеет нормальное распределение, эти моменты существуют и конечны для любого , действительная часть которого больше -1. Для любого неотрицательного целого числа простыми центральными моментами являются: ^[25]${\displaystyle X}$${\displaystyle p}$${\displaystyle p}$

${\displaystyle \operatorname {E} \left[(X-\mu )^{p}\right]={\begin{cases}0&{\text{if }}p{\text{ is odd,}}\\\sigma ^{p}(p-1)!!&{\text{if }}p{\text{ is even.}}\end{cases}}}$

Здесь обозначает двойной факториал , то есть произведение всех чисел от до 1, имеющих ту же четность, что и${\displaystyle n!!}$${\displaystyle n}$${\displaystyle n.}$

Центральные абсолютные моменты совпадают с простыми моментами для всех четных порядков, но отличны от нуля для нечетных порядков. Для любого неотрицательного целого числа${\displaystyle p,}$

${\displaystyle {\begin{aligned}\operatorname {E} \left[|X-\mu |^{p}\right]&=\sigma ^{p}(p-1)!!\cdot {\begin{cases}{\sqrt {\frac {2}{\pi }}}&{\text{if }}p{\text{ is odd}}\\1&{\text{if }}p{\text{ is even}}\end{cases}}\\&=\sigma ^{p}\cdot {\frac {2^{p/2}\Gamma \left({\frac {p+1}{2}}\right)}{\sqrt {\pi }}}.\end{aligned}}}$

Последняя формула действительна также для любого нецелого числа, когда среднее значение простого и абсолютного моментов может быть выражено в терминах конфлюэнтных гипергеометрических функций и ^{[ необходима ссылка ]}${\displaystyle p>-1.}$${\displaystyle \mu \neq 0,}$ ${\displaystyle {}_{1}F_{1}}$${\displaystyle U.}$

${\displaystyle {\begin{aligned}\operatorname {E} \left[X^{p}\right]&=\sigma ^{p}\cdot (-i{\sqrt {2}})^{p}U\left(-{\frac {p}{2}},{\frac {1}{2}},-{\frac {1}{2}}\left({\frac {\mu }{\sigma }}\right)^{2}\right),\\\operatorname {E} \left[|X|^{p}\right]&=\sigma ^{p}\cdot 2^{p/2}{\frac {\Gamma \left({\frac {1+p}{2}}\right)}{\sqrt {\pi }}}{}_{1}F_{1}\left(-{\frac {p}{2}},{\frac {1}{2}},-{\frac {1}{2}}\left({\frac {\mu }{\sigma }}\right)^{2}\right).\end{aligned}}}$

Эти выражения остаются действительными, даже если не является целым числом. См. Также обобщенные многочлены Эрмита .${\displaystyle p}$

Заказ	Нецентральный момент	Центральный момент
1	${\displaystyle \mu }$	${\displaystyle 0}$
2	${\displaystyle \mu ^{2}+\sigma ^{2}}$	${\displaystyle \sigma ^{2}}$
3	${\displaystyle \mu ^{3}+3\mu \sigma ^{2}}$	${\displaystyle 0}$
4	${\displaystyle \mu ^{4}+6\mu ^{2}\sigma ^{2}+3\sigma ^{4}}$	${\displaystyle 3\sigma ^{4}}$
5	${\displaystyle \mu ^{5}+10\mu ^{3}\sigma ^{2}+15\mu \sigma ^{4}}$	${\displaystyle 0}$
6	${\displaystyle \mu ^{6}+15\mu ^{4}\sigma ^{2}+45\mu ^{2}\sigma ^{4}+15\sigma ^{6}}$	${\displaystyle 15\sigma ^{6}}$
7	${\displaystyle \mu ^{7}+21\mu ^{5}\sigma ^{2}+105\mu ^{3}\sigma ^{4}+105\mu \sigma ^{6}}$	${\displaystyle 0}$
8	${\displaystyle \mu ^{8}+28\mu ^{6}\sigma ^{2}+210\mu ^{4}\sigma ^{4}+420\mu ^{2}\sigma ^{6}+105\sigma ^{8}}$	${\displaystyle 105\sigma ^{8}}$

Ожидание обусловлено событием, которое находится в интервале , определяется выражением${\displaystyle X}$${\displaystyle X}$${\displaystyle [a,b]}$

${\displaystyle \operatorname {E} \left[X\mid a<X<b\right]=\mu -\sigma ^{2}{\frac {f(b)-f(a)}{F(b)-F(a)}}}$

где и соответственно - плотность и кумулятивная функция распределения . Для этого известно как отношение обратного Миллса . Следует отметить , что выше, плотность от используются вместо стандартной нормальной плотности , как и в обратной пропорции Миллс, поэтому здесь мы имеем вместо .${\displaystyle f}$${\displaystyle F}$${\displaystyle X}$${\displaystyle b=\infty }$${\displaystyle f}$${\displaystyle X}$${\displaystyle \sigma ^{2}}$${\displaystyle \sigma }$

Преобразование Фурье и характеристическая функция [ править ]

Преобразование Фурье нормальной плотности со средним значением и стандартным отклонением равно ^[26]${\displaystyle f}$${\displaystyle \mu }$${\displaystyle \sigma }$

${\displaystyle {\hat {f}}(t)=\int _{-\infty }^{\infty }f(x)e^{-itx}\,dx=e^{-i\mu t}e^{-{\frac {1}{2}}(\sigma t)^{2}}}$

где - мнимая единица . Если среднее значение , первый коэффициент равен 1, а преобразование Фурье, помимо постоянного коэффициента, представляет собой нормальную плотность в частотной области со средним значением 0 и стандартным отклонением . В частности, стандартное нормальное распределение является собственной функцией преобразования Фурье.${\displaystyle i}$${\displaystyle \mu =0}$${\displaystyle 1/\sigma }$${\displaystyle \varphi }$

В теории вероятностей, преобразование Фурье распределения вероятностей вещественной случайной величины тесно связана с характеристической функции этой переменной, которая определяется как ожидаемое значение в качестве функции действительного переменного (на частотный параметр преобразование Фурье). Это определение может быть аналитически расширено до переменной со сложным значением . ^[27] Связь между ними такова:${\displaystyle X}$ ${\displaystyle \varphi _{X}(t)}$${\displaystyle e^{itX}}$${\displaystyle t}$${\displaystyle t}$

${\displaystyle \varphi _{X}(t)={\hat {f}}(-t)}$

Функции генерации момента и кумулянта [ править ]

Функция создания момента реальной случайной величины - это ожидаемое значение как функция действительного параметра . Для нормального распределения с плотностью , средним значением и отклонением производящая функция момента существует и равна${\displaystyle X}$${\displaystyle e^{tX}}$${\displaystyle t}$${\displaystyle f}$${\displaystyle \mu }$${\displaystyle \sigma }$

${\displaystyle M(t)=\operatorname {E} [e^{tX}]={\hat {f}}(it)=e^{\mu t}e^{{\tfrac {1}{2}}\sigma ^{2}t^{2}}}$

Функция генерирования кумулянта представляет собой логарифм порождающей функции момента, а именно :

${\displaystyle g(t)=\ln M(t)=\mu t+{\tfrac {1}{2}}\sigma ^{2}t^{2}}$

Поскольку это квадратичный многочлен от , только первые два кумулянта отличны от нуля, а именно среднее значение  и дисперсия  .${\displaystyle t}$${\displaystyle \mu }$${\displaystyle \sigma ^{2}}$

Оператор и класс Штейна [ править ]

В рамках метода Штейна оператор Штейна и класс случайной величины являются и классом всех абсолютно непрерывных функций .${\displaystyle X\sim {\mathcal {N}}(\mu ,\sigma ^{2})}$${\displaystyle {\mathcal {A}}f(x)=\sigma ^{2}f'(x)-(x-\mu )f(x)}$${\displaystyle {\mathcal {F}}}$${\displaystyle f:\mathbb {R} \to \mathbb {R} {\mbox{ such that }}\mathbb {E} [|f'(X)|]<\infty }$

Предел нулевой дисперсии [ править ]

В пределе, когда стремится к нулю, плотность вероятности в конечном итоге стремится к нулю в любом , но неограниченно растет, если , в то время как ее интеграл остается равным 1. Следовательно, нормальное распределение не может быть определено как обычная функция, когда .${\displaystyle \sigma }$${\displaystyle f(x)}$${\displaystyle x\neq \mu }$${\displaystyle x=\mu }$${\displaystyle \sigma =0}$

Однако можно определить нормальное распределение с нулевой дисперсией как обобщенную функцию ; в частности, поскольку "дельта-функция" Дирака, переведенная средним значением , то есть ее CDF является тогда ступенчатой ​​функцией Хевисайда, переведенной средним значением , а именно${\displaystyle \delta }$${\displaystyle \mu }$${\displaystyle f(x)=\delta (x-\mu ).}$${\displaystyle \mu }$

${\displaystyle F(x)={\begin{cases}0&{\text{if }}x<\mu \\1&{\text{if }}x\geq \mu \end{cases}}}$

Максимальная энтропия [ править ]

Из всех распределений вероятностей для вещественных чисел с указанным средним и дисперсией  нормальное распределение - это распределение с максимальной энтропией . ^[28] Если это непрерывная случайная величина с плотностью вероятности , то энтропия определяется как ^{[29] [30] [31]}${\displaystyle \mu }$${\displaystyle \sigma ^{2}}$${\displaystyle N(\mu ,\sigma ^{2})}$${\displaystyle X}$ ${\displaystyle f(x)}$${\displaystyle X}$

${\displaystyle H(X)=-\int _{-\infty }^{\infty }f(x)\log f(x)\,dx}$

где всегда понимается равным нулю . Этот функционал можно максимизировать, при условии, что распределение правильно нормализовано и имеет заданную дисперсию, с помощью вариационного исчисления . Определена функция с двумя множителями Лагранжа :${\displaystyle f(x)\log f(x)}$${\displaystyle f(x)=0}$

${\displaystyle L=\int _{-\infty }^{\infty }f(x)\ln(f(x))\,dx-\lambda _{0}\left(1-\int _{-\infty }^{\infty }f(x)\,dx\right)-\lambda \left(\sigma ^{2}-\int _{-\infty }^{\infty }f(x)(x-\mu )^{2}\,dx\right)}$

где пока рассматривается как некоторая функция плотности со средним значением и стандартным отклонением .${\displaystyle f(x)}$${\displaystyle \mu }$${\displaystyle \sigma }$

При максимальной энтропии небольшое изменение около приведет к изменению около 0:${\displaystyle \delta f(x)}$${\displaystyle f(x)}$${\displaystyle \delta L}$${\displaystyle L}$

${\displaystyle 0=\delta L=\int _{-\infty }^{\infty }\delta f(x)\left(\ln(f(x))+1+\lambda _{0}+\lambda (x-\mu )^{2}\right)\,dx}$

Так как это должно выполняться для любого малого , член в скобках должен быть равен нулю, а решение для доходности:${\displaystyle \delta f(x)}$${\displaystyle f(x)}$

${\displaystyle f(x)=e^{-\lambda _{0}-1-\lambda (x-\mu )^{2}}}$

Использование уравнений связи для решения и дает плотность нормального распределения:${\displaystyle \lambda _{0}}$${\displaystyle \lambda }$

${\displaystyle f(x,\mu ,\sigma )={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}}$

Энтропия нормального распределения равна

${\displaystyle H(x)={\tfrac {1}{2}}(1+\log(2\sigma ^{2}\pi ))}$

Другие свойства [ править ]

Связанные дистрибутивы [ править ]

Центральная предельная теорема [ править ]

Сравнение функций плотности вероятности для суммы справедливых 6-сторонних игральных костей, чтобы показать их сходимость к нормальному распределению с увеличением , в соответствии с центральной предельной теоремой. На нижнем правом графике сглаженные профили предыдущих графиков масштабируются, накладываются друг на друга и сравниваются с нормальным распределением (черная кривая).${\displaystyle p(k)}$${\displaystyle n}$${\displaystyle na}$

Центральная предельная теорема утверждает, что при определенных (довольно общих) условиях сумма многих случайных величин будет иметь приблизительно нормальное распределение. В частности, где - независимые и одинаково распределенные случайные величины с одинаковым произвольным распределением, нулевым средним и дисперсией, а их среднее значение масштабируется с помощью${\displaystyle X_{1},\ldots ,X_{n}}$${\displaystyle \sigma ^{2}}$${\displaystyle Z}$${\displaystyle {\sqrt {n}}}$

${\displaystyle Z={\sqrt {n}}\left({\frac {1}{n}}\sum _{i=1}^{n}X_{i}\right)}$

Затем, по мере увеличения, распределение вероятностей будет стремиться к нормальному распределению с нулевым средним и дисперсией .${\displaystyle n}$${\displaystyle Z}$${\displaystyle \sigma ^{2}}$

Теорема может быть распространена на переменные , которые не являются независимыми и / или неодинаково распределенными, если наложены определенные ограничения на степень зависимости и моменты распределений.${\displaystyle (X_{i})}$

Многие тестовые статистические данные , оценки и оценщики, встречающиеся на практике, содержат в себе суммы определенных случайных величин, и даже больше оценщиков могут быть представлены в виде сумм случайных величин с помощью функций влияния . Центральная предельная теорема подразумевает, что эти статистические параметры будут иметь асимптотически нормальные распределения.

Центральная предельная теорема также подразумевает, что некоторые распределения могут быть аппроксимированы нормальным распределением, например:

• Биномиальное распределение является приблизительно нормальным со средним и дисперсией для больших и не слишком близко к 0 или 1.${\displaystyle B(n,p)}$${\displaystyle np}$${\displaystyle np(1-p)}$${\displaystyle n}$${\displaystyle p}$
• Распределение Пуассона с параметром приблизительно нормально со средним значением и дисперсией для больших значений . ^[38]${\displaystyle \lambda }$${\displaystyle \lambda }$${\displaystyle \lambda }$${\displaystyle \lambda }$
• Распределение хи-квадрат примерно нормальное со средним значением и дисперсией для больших .${\displaystyle \chi ^{2}(k)}$${\displaystyle k}$${\displaystyle 2k}$${\displaystyle k}$
• Распределение Стьюдента приблизительно нормально со средним значением 0 и дисперсией 1, когда оно велико.${\displaystyle t(\nu )}$${\displaystyle \nu }$

Достаточно ли точность этих приближений зависит от цели, для которой они нужны, и скорости сходимости к нормальному распределению. Обычно такие приближения менее точны в хвостах распределения.

Общая оценка сверху ошибки приближения в центральной предельной теореме дается теоремой Берри – Эссеена , улучшения приближения даются разложениями Эджворта .

Эту теорему также можно использовать для обоснования моделирования суммы многих однородных источников шума как гауссовского шума. См. AWGN .

Операции и функции обычных переменных [ править ]

a: Плотность вероятности функции нормальной переменной с и . б: плотность вероятности функции двух нормальных переменных и , где , , , , и . C: Тепловая карта совместной плотности вероятности двух функций двух коррелированных нормальных переменных и , где , , , , и . Они вычисляются с помощью численного метода сканирования лучей. ^[39]${\displaystyle \cos x^{2}}$${\displaystyle x}$${\displaystyle \mu =-2}$${\displaystyle \sigma =3}$${\displaystyle x^{y}}$${\displaystyle x}$${\displaystyle y}$${\displaystyle \mu _{x}=1}$${\displaystyle \mu _{y}=2}$${\displaystyle \sigma _{x}=.1}$${\displaystyle \sigma _{y}=.2}$${\displaystyle \rho _{xy}=.8}$${\displaystyle x}$${\displaystyle y}$${\displaystyle \mu _{x}=-2}$${\displaystyle \mu _{y}=5}$${\displaystyle \sigma _{x}^{2}=10}$${\displaystyle \sigma _{y}^{2}=20}$${\displaystyle \rho _{xy}=.495}$

Плотность вероятности , кумулятивное распределение и обратное кумулятивное распределение любой функции одной или нескольких независимых или коррелированных нормальных переменных можно вычислить с помощью численного метода сканирования лучей ^[39] ( код Matlab ). В следующих разделах мы рассмотрим некоторые частные случаи.

Операции с одной нормальной переменной [ править ]

Если X распределен нормально со средним μ и дисперсией σ ² , то

• ${\displaystyle aX+b}$, для любых действительных чисел и также имеет нормальное распределение, со средним и стандартным отклонением . То есть семейство нормальных распределений замкнуто относительно линейных преобразований.${\displaystyle a}$${\displaystyle b}$${\displaystyle a\mu +b}$${\displaystyle |a|\sigma }$
• Экспонента X распределена логнормально : e ^X ~ ln ( N ( μ , σ ² )) .
• Абсолютное значение X имеет сложенное нормальное распределение : | X | ~ N _f ( μ , σ ² ) . Если μ = 0, это называется полунормальным распределением .
• Абсолютное значение нормированных остатков, | X - μ | / σ , имеет распределение хи с одной степенью свободы: | X - μ | / σ ~ .${\displaystyle \chi _{1}}$
• Квадрат X / σ имеет нецентральное распределение хи-квадрат с одной степенью свободы: X ² / σ ² ~ ( μ ² / σ ² )${\displaystyle \chi _{1}^{2}}$ . Если μ = 0, распределение называется просто хи-квадрат .
• Логарифмическая вероятность нормальной переменной - это просто логарифм ее функции плотности вероятности :${\displaystyle x}$

${\displaystyle \ln p(x)=-{\frac {1}{2}}\left({\frac {x-\mu }{\sigma }}\right)^{2}-\ln \left(\sigma {\sqrt {2\pi }}\right)=-{\frac {1}{2}}z^{2}-\ln \left(\sigma {\sqrt {2\pi }}\right).}$

Поскольку это масштабированный и сдвинутый квадрат стандартной нормальной переменной, он распределяется как масштабированная и сдвинутая переменная хи-квадрат .

• Распределение переменной X, ограниченное интервалом [ a , b ], называется усеченным нормальным распределением .
• ( X - μ ) ⁻² имеет распределение Леви с положением 0 и масштабом σ ⁻² .

Операции над двумя независимыми нормальными переменными [ править ]

• Если и две независимые нормальные случайные величины, с помощью , и стандартные отклонения , , то их сумма также будет нормально распределена, ^{[доказательство]} со средним значением и дисперсией .${\displaystyle X_{1}}$${\displaystyle X_{2}}$${\displaystyle \mu _{1}}$${\displaystyle \mu _{2}}$${\displaystyle \sigma _{1}}$${\displaystyle \sigma _{2}}$${\displaystyle X_{1}+X_{2}}$${\displaystyle \mu _{1}+\mu _{2}}$${\displaystyle \sigma _{1}^{2}+\sigma _{2}^{2}}$

• В частности, если и являются независимыми нормальными отклонениями с нулевым средним и дисперсией , то и также являются независимыми и нормально распределенными, с нулевым средним и дисперсией . Это частный случай поляризационного тождества . ^[40]${\displaystyle X}$${\displaystyle Y}$${\displaystyle \sigma ^{2}}$${\displaystyle X+Y}$${\displaystyle X-Y}$${\displaystyle 2\sigma ^{2}}$

• Если , две независимые нормальные величины с средним и отклонением , и , произвольные действительные числа, то переменная${\displaystyle X_{1}}$${\displaystyle X_{2}}$${\displaystyle \mu }$${\displaystyle \sigma }$${\displaystyle a}$${\displaystyle b}$

${\displaystyle X_{3}={\frac {aX_{1}+bX_{2}-(a+b)\mu }{\sqrt {a^{2}+b^{2}}}}+\mu }$

также нормально распределяется со средним значением и отклонением . Отсюда следует, что нормальное распределение устойчиво (с показателем степени ).${\displaystyle \mu }$${\displaystyle \sigma }$${\displaystyle \alpha =2}$

Операции над двумя независимыми стандартными нормальными переменными [ править ]

Если и - две независимые стандартные нормальные случайные величины со средним 0 и дисперсией 1, то${\displaystyle X_{1}}$${\displaystyle X_{2}}$

• Их сумма и разность имеют нормальное распределение с нулевым средним и дисперсией два: .${\displaystyle X_{1}\pm X_{2}\sim N(0,2)}$
• Их произведение следует распределению Произведения ^[41] с функцией плотности, где - модифицированная функция Бесселя второго рода . Это распределение симметрично относительно нуля, неограниченно при и имеет характеристическую функцию .${\displaystyle Z=X_{1}X_{2}}$${\displaystyle f_{Z}(z)=\pi ^{-1}K_{0}(|z|)}$${\displaystyle K_{0}}$${\displaystyle z=0}$ ${\displaystyle \phi _{Z}(t)=(1+t^{2})^{-1/2}}$
• Их отношение следует стандартное распределение Коши : .${\displaystyle X_{1}/X_{2}\sim \operatorname {Cauchy} (0,1)}$
• Их евклидова норма имеет распределение Рэлея .${\displaystyle {\sqrt {X_{1}^{2}+X_{2}^{2}}}}$

Операции с несколькими независимыми нормальными переменными [ править ]

• Любая линейная комбинация независимых нормальных отклонений является нормальным отклонением.
• Если являются независимыми стандартными нормальными случайными величинами, то сумма их квадратов имеет распределение хи-квадрат со степенями свободы${\displaystyle X_{1},X_{2},\ldots ,X_{n}}$${\displaystyle {\text{n}}}$

${\displaystyle X_{1}^{2}+\cdots +X_{n}^{2}\sim \chi _{n}^{2}.}$

• Если не зависит нормально распределенный случайные величины с помощью и дисперсии , то их выборочные средний не зависит от образца стандартного отклонения , ^[42] , которая может быть продемонстрирована с использованием теоремы Баса или теоремы Кохрена . ^[43] Отношение этих двух величин будет иметь t-распределение Стьюдента со степенями свободы:${\displaystyle X_{1},X_{2},\ldots ,X_{n}}$${\displaystyle \mu }$${\displaystyle \sigma ^{2}}$${\displaystyle {\text{n}}-1}$

${\displaystyle t={\frac {{\overline {X}}-\mu }{S/{\sqrt {n}}}}={\frac {{\frac {1}{n}}(X_{1}+\cdots +X_{n})-\mu }{\sqrt {{\frac {1}{n(n-1)}}\left[(X_{1}-{\overline {X}})^{2}+\cdots +(X_{n}-{\overline {X}})^{2}\right]}}}\sim t_{n-1}.}$

• Если , являются независимыми стандартными нормальными случайными величинами, то отношение их нормализованных сумм квадратов будет иметь F-распределение с ( n , m ) степенями свободы: ^[44]${\displaystyle X_{1},X_{2},\ldots ,X_{n}}$${\displaystyle Y_{1},Y_{2},\ldots ,Y_{m}}$