Функция создания моментов

В теории вероятностей и статистике , то момент, производящая функция от вещественной случайной величины является альтернативой спецификации ее распределения вероятностей . Таким образом, он обеспечивает основу для альтернативного пути к аналитическим результатам по сравнению с работой непосредственно с функциями плотности вероятности или кумулятивными функциями распределения . Особенно простые результаты получены для функций распределений, порождающих моменты, определяемых взвешенными суммами случайных величин. Однако не все случайные величины имеют функции, генерирующие моменты.

Как следует из названия, генерирующая функция момента может использоваться для вычисления моментов распределения : n- й момент около 0 - это n- я производная функции, производящей момент, вычисленная как 0.

В дополнение к распределениям с действительными значениями (одномерные распределения), функции, генерирующие моменты, могут быть определены для векторных или матричных случайных величин и даже могут быть расширены на более общие случаи.

Производящая момент функция действительного распределения не всегда существует, в отличие от характеристической функции . Существуют отношения между поведением функции распределения, производящей момент, и свойствами распределения, такими как наличие моментов.

Определение [ править ]

Производящая момент функция случайной величины X равна

${\ displaystyle M_ {X} (t): = \ operatorname {E} \ left [e ^ {tX} \ right], \ quad t \ in \ mathbb {R},}$

везде, где существует это ожидание . Другими словами, функция X, производящая момент, является математическим ожиданием случайной величины . В более общем плане , когда , - мерный случайный вектор , и это фиксированный вектор, используется вместо  :${\ displaystyle e ^ {tX}}$${\ Displaystyle \ mathbf {X} = (X_ {1}, \ ldots, X_ {n}) ^ {\ mathrm {T}}}$${\ displaystyle n}$${\ Displaystyle \ mathbf {т}}$${\ Displaystyle \ mathbf {т} \ cdot \ mathbf {X} = \ mathbf {t} ^ {\ mathrm {T}} \ mathbf {X}}$${\ displaystyle tX}$

${\displaystyle M_{\mathbf {X} }(\mathbf {t} ):=\operatorname {E} \left(e^{\mathbf {t} ^{\mathrm {T} }\mathbf {X} }\right).}$

${\displaystyle M_{X}(0)}$всегда существует и равно 1. Однако ключевая проблема с функциями, производящими момент, заключается в том, что моменты и функция, производящая момент, могут не существовать, поскольку интегралы не обязательно сходятся абсолютно. Напротив, характеристическая функция или преобразование Фурье всегда существует (потому что это интеграл от ограниченной функции на пространстве конечной меры ) и для некоторых целей может использоваться вместо этого.

Функция, генерирующая момент, названа так потому, что ее можно использовать для нахождения моментов распределения. ^[1] Расширение серии IS${\displaystyle e^{tX}}$

${\displaystyle e^{t\,X}=1+t\,X+{\frac {t^{2}\,X^{2}}{2!}}+{\frac {t^{3}\,X^{3}}{3!}}+\cdots +{\frac {t^{n}\,X^{n}}{n!}}+\cdots .}$

Следовательно

${\displaystyle {\begin{aligned}M_{X}(t)=\operatorname {E} (e^{t\,X})&=1+t\operatorname {E} (X)+{\frac {t^{2}\operatorname {E} (X^{2})}{2!}}+{\frac {t^{3}\operatorname {E} (X^{3})}{3!}}+\cdots +{\frac {t^{n}\operatorname {E} (X^{n})}{n!}}+\cdots \\&=1+tm_{1}+{\frac {t^{2}m_{2}}{2!}}+{\frac {t^{3}m_{3}}{3!}}+\cdots +{\frac {t^{n}m_{n}}{n!}}+\cdots ,\end{aligned}}}$

где это й момент . Дифференцируя времена по и полагая , получаем момент -й относительно начала координат ,; см. Расчеты моментов ниже.${\displaystyle m_{n}}$${\displaystyle n}$${\displaystyle M_{X}(t)}$ ${\displaystyle i}$${\displaystyle t}$${\displaystyle t=0}$${\displaystyle i}$${\displaystyle m_{i}}$

Если - непрерывная случайная величина, то выполняется следующая связь между ее функцией, производящей момент, и двусторонним преобразованием Лапласа ее функции плотности вероятности :${\displaystyle X}$${\displaystyle M_{X}(t)}$${\displaystyle f_{X}(x)}$

${\displaystyle M_{X}(t)={\mathcal {L}}\{f_{X}\}(-t),}$

поскольку двустороннее преобразование Лапласа PDF задается как

${\displaystyle {\mathcal {L}}\{f_{X}\}(s)=\int _{-\infty }^{\infty }e^{-sx}f_{X}(x)\,dx,}$

а определение функции, производящей момент, расширяется (по закону бессознательного статистика ) до

${\displaystyle M_{X}(t)=\operatorname {E} \left[e^{tX}\right]=\int _{-\infty }^{\infty }e^{tx}f_{X}(x)\,dx.}$

Это согласуется с характеристической функцией будучи вращения Фитиль из когда функция генерирования момент существует, так как характеристическая функция непрерывной случайной переменной является преобразованием Фурье его функции плотности вероятности , и в общем случае, когда функция имеет экспоненциального порядка , преобразование Фурье представляет собой вращение Вика его двустороннего преобразования Лапласа в области сходимости. См. Соотношение преобразований Фурье и Лапласа для получения дополнительной информации.${\displaystyle X}$${\displaystyle M_{X}(t)}$${\displaystyle X}$${\displaystyle f_{X}(x)}$${\displaystyle f(x)}$${\displaystyle f}$

Примеры [ править ]

Вот несколько примеров функции создания момента и характеристической функции для сравнения. Видно, что характеристическая функция представляет собой вращение Вика функции, производящей момент, когда последняя существует.${\displaystyle M_{X}(t)}$

Распределение	Функция создания моментов ${\displaystyle M_{X}(t)}$	Характеристическая функция ${\displaystyle \varphi (t)}$
Вырожденный ${\displaystyle \delta _{a}}$	${\displaystyle e^{ta}}$	${\displaystyle e^{ita}}$
Бернулли ${\displaystyle P(X=1)=p}$	${\displaystyle 1-p+pe^{t}}$	${\displaystyle 1-p+pe^{it}}$
Геометрический ${\displaystyle (1-p)^{k-1}\,p}$	${\displaystyle {\frac {pe^{t}}{1-(1-p)e^{t}}}}$ ${\displaystyle \forall t<-\ln(1-p)}$	${\displaystyle {\frac {pe^{it}}{1-(1-p)\,e^{it}}}}$
Биномиальный ${\displaystyle B(n,p)}$	${\displaystyle \left(1-p+pe^{t}\right)^{n}}$	${\displaystyle \left(1-p+pe^{it}\right)^{n}}$
Отрицательный бином ${\displaystyle \operatorname {NB} (r,p)}$	${\displaystyle \left({\frac {pe^{t}}{1-e^{t}+pe^{t}}}\right)^{r}}$	${\displaystyle \left({\frac {pe^{it}}{1-e^{it}+pe^{it}}}\right)^{r}}$
Пуассон ${\displaystyle \operatorname {Pois} (\lambda )}$	${\displaystyle e^{\lambda (e^{t}-1)}}$	${\displaystyle e^{\lambda (e^{it}-1)}}$
Равномерное (непрерывное) ${\displaystyle \operatorname {U} (a,b)}$	${\displaystyle {\frac {e^{tb}-e^{ta}}{t(b-a)}}}$	${\displaystyle {\frac {e^{itb}-e^{ita}}{it(b-a)}}}$
Равномерное (дискретное) ${\displaystyle \operatorname {DU} (a,b)}$	${\displaystyle {\frac {e^{at}-e^{(b+1)t}}{(b-a+1)(1-e^{t})}}}$	${\displaystyle {\frac {e^{ait}-e^{(b+1)it}}{(b-a+1)(1-e^{it})}}}$
Лаплас ${\displaystyle L(\mu ,b)}$	${\displaystyle {\frac {e^{t\mu }}{1-b^{2}t^{2}}},~|t|<1/b}$	${\displaystyle {\frac {e^{it\mu }}{1+b^{2}t^{2}}}}$
Нормальный ${\displaystyle N(\mu ,\sigma ^{2})}$	${\displaystyle e^{t\mu +{\frac {1}{2}}\sigma ^{2}t^{2}}}$	${\displaystyle e^{it\mu -{\frac {1}{2}}\sigma ^{2}t^{2}}}$
Хи-квадрат ${\displaystyle \chi _{k}^{2}}$	${\displaystyle (1-2t)^{-{\frac {k}{2}}}}$	${\displaystyle (1-2it)^{-{\frac {k}{2}}}}$
Нецентральный хи-квадрат ${\displaystyle \chi _{k}^{2}(\lambda )}$	${\displaystyle e^{\lambda t/(1-2t)}(1-2t)^{-{\frac {k}{2}}}}$	${\displaystyle e^{i\lambda t/(1-2it)}(1-2it)^{-{\frac {k}{2}}}}$
Гамма ${\displaystyle \Gamma (k,\theta )}$	${\displaystyle (1-t\theta )^{-k},~\forall t<{\tfrac {1}{\theta }}}$	${\displaystyle (1-it\theta )^{-k}}$
Экспоненциальный ${\displaystyle \operatorname {Exp} (\lambda )}$	${\displaystyle \left(1-t\lambda ^{-1}\right)^{-1},~t<\lambda }$	${\displaystyle \left(1-it\lambda ^{-1}\right)^{-1}}$
Многомерный нормальный ${\displaystyle N(\mathbf {\mu } ,\mathbf {\Sigma } )}$	${\displaystyle e^{\mathbf {t} ^{\mathrm {T} }\left({\boldsymbol {\mu }}+{\frac {1}{2}}\mathbf {\Sigma t} \right)}}$	${\displaystyle e^{\mathbf {t} ^{\mathrm {T} }\left(i{\boldsymbol {\mu }}-{\frac {1}{2}}{\boldsymbol {\Sigma }}\mathbf {t} \right)}}$
Коши ${\displaystyle \operatorname {Cauchy} (\mu ,\theta )}$	Не существует	${\displaystyle e^{it\mu -\theta |t|}}$
Многомерный Коши ${\displaystyle \operatorname {MultiCauchy} (\mu ,\Sigma )}$[2]	Не существует	${\displaystyle \!\,e^{i\mathbf {t} ^{\mathrm {T} }{\boldsymbol {\mu }}-{\sqrt {\mathbf {t} ^{\mathrm {T} }{\boldsymbol {\Sigma }}\mathbf {t} }}}}$

Расчет [ править ]

Функция создания момента - это математическое ожидание функции случайной величины, ее можно записать как:

• Для дискретной функции массовой вероятности ,${\displaystyle M_{X}(t)=\sum _{i=1}^{\infty }e^{tx_{i}}\,p_{i}}$
• Для непрерывной функции плотности вероятности ,${\displaystyle M_{X}(t)=\int _{-\infty }^{\infty }e^{tx}f(x)\,dx}$
• В общем случае: с использованием интеграла Римана – Стилтьеса , где - кумулятивная функция распределения .${\displaystyle M_{X}(t)=\int _{-\infty }^{\infty }e^{tx}\,dF(x)}$${\displaystyle F}$

Следует отметить , что для случая , когда имеет непрерывную функцию плотности вероятности , является преобразованием двухсторонней Лапласы из .${\displaystyle X}$ ${\displaystyle f(x)}$${\displaystyle M_{X}(-t)}$${\displaystyle f(x)}$

${\displaystyle {\begin{aligned}M_{X}(t)&=\int _{-\infty }^{\infty }e^{tx}f(x)\,dx\\&=\int _{-\infty }^{\infty }\left(1+tx+{\frac {t^{2}x^{2}}{2!}}+\cdots +{\frac {t^{n}x^{n}}{n!}}+\cdots \right)f(x)\,dx\\&=1+tm_{1}+{\frac {t^{2}m_{2}}{2!}}+\cdots +{\frac {t^{n}m_{n}}{n!}}+\cdots ,\end{aligned}}}$

где это й момент .${\displaystyle m_{n}}$${\displaystyle n}$

Линейные преобразования случайных величин [ править ]

Если случайная величина имеет производящую функцию момента , то имеет производящую функцию момента${\displaystyle X}$${\displaystyle M_{X}(t)}$${\displaystyle \alpha X+\beta }$${\displaystyle M_{\alpha X+\beta }(t)=e^{\beta t}M_{X}(\alpha t)}$

${\displaystyle M_{\alpha X+\beta }(t)=E[e^{(\alpha X+\beta )t}]=e^{\beta t}E[e^{\alpha Xt}]=e^{\beta t}M_{X}(\alpha t)}$

Линейная комбинация независимых случайных величин [ править ]

Если , где X _i - независимые случайные величины, а a _i - константы, то функция плотности вероятности для S _n представляет собой свертку функций плотности вероятности каждого из X _i , а функция, генерирующая момент для S _n, равна данный${\displaystyle S_{n}=\sum _{i=1}^{n}a_{i}X_{i}}$

${\displaystyle M_{S_{n}}(t)=M_{X_{1}}(a_{1}t)M_{X_{2}}(a_{2}t)\cdots M_{X_{n}}(a_{n}t)\,.}$

Случайные величины с векторным знаком [ править ]

Для векторных случайных величин с действительными компонентами порождающая функция момента определяется выражением${\displaystyle \mathbf {X} }$

${\displaystyle M_{X}(\mathbf {t} )=E\left(e^{\langle \mathbf {t} ,\mathbf {X} \rangle }\right)}$

где - вектор, а - скалярное произведение .${\displaystyle \mathbf {t} }$${\displaystyle \langle \cdot ,\cdot \rangle }$

Важные свойства [ править ]

Производящие функции моментов положительны и лог-выпуклы , M (0) = 1.

Важным свойством функции создания момента является то, что она однозначно определяет распределение. Другими словами, если и - две случайные величины и для всех значений  t ,${\displaystyle X}$${\displaystyle Y}$

${\displaystyle M_{X}(t)=M_{Y}(t),\,}$

тогда

${\displaystyle F_{X}(x)=F_{Y}(x)\,}$

для всех значений x (или, что эквивалентно, X и Y имеют одинаковое распределение). Это утверждение не эквивалентно утверждению «если два распределения имеют одинаковые моменты, то они идентичны во всех точках». Это связано с тем, что в некоторых случаях моменты существуют, а функции, производящей момент, нет, потому что предел

${\displaystyle \lim _{n\rightarrow \infty }\sum _{i=0}^{n}{\frac {t^{i}m_{i}}{i!}}}$

может не существовать. Распределение логнормальное является примером , когда это происходит.

Расчеты моментов [ править ]

Функция момент генерирующая так называемый , потому что если он существует на открытом интервале вокруг т  = 0, то это экспоненциальная производящая функция из моментов в распределении вероятностей :

${\displaystyle m_{n}=E\left(X^{n}\right)=M_{X}^{(n)}(0)=\left.{\frac {d^{n}M_{X}}{dt^{n}}}\right|_{t=0}.}$

То есть, когда n является неотрицательным целым числом, n- й момент около 0 является n- й производной производящей функции момента, вычисляемой при t = 0.

Другие свойства [ править ]

Неравенство Дженсена дает простую нижнюю оценку функции, производящей момент:

${\displaystyle M_{X}(t)\geq e^{\mu t},}$

где это среднее X .${\displaystyle \mu }$

Верхний ограничивающая функцию момента генерирования может быть использованы в сочетании с неравенством Маркова к связанному верхнему хвосту реального случайной величины X . Это утверждение также называется границей Чернова . Поскольку при монотонно возрастает , имеем${\displaystyle x\mapsto e^{xt}}$${\displaystyle t>0}$

${\displaystyle P(X\geq a)=P(e^{tX}\geq e^{ta})\leq e^{-at}E[e^{tX}]=e^{-at}M_{X}(t)}$

для любого и любого а , если существует. Например, когда X - стандартное нормальное распределение, и мы можем выбрать и вспомнить это . Это дает , что в пределах коэффициента 1+ точного значения.${\displaystyle t>0}$${\displaystyle M_{X}(t)}$${\displaystyle a>0}$${\displaystyle t=a}$${\displaystyle M_{X}(t)=e^{t^{2}/2}}$${\displaystyle P(X\geq a)\leq e^{-a^{2}/2}}$

Различные леммы, такие как лемма Хёффдинга или неравенство Беннета, дают оценки функции, производящей момент, в случае ограниченной случайной величины с нулевым средним.

Когда неотрицательно, производящая функция момента дает простую и полезную оценку моментов:${\displaystyle X}$

${\displaystyle E[X^{m}]\leq \left({\frac {m}{te}}\right)^{m}M_{X}(t),}$

Для любого и .${\displaystyle X,m\geq 0}$${\displaystyle t>0}$

Это следует из простого неравенства, в которое мы можем подставить подразумеваемое вместо любого . Теперь, если и , это можно изменить на . Ожидание с обеих сторон дает предел с точки зрения .${\displaystyle 1+x\leq e^{x}}$${\displaystyle x'=tx/m-1}$${\displaystyle tx/m\leq e^{tx/m-1}}$${\displaystyle x,t,m\in \mathbb {R} }$${\displaystyle t>0}$${\displaystyle x,m\geq 0}$${\displaystyle x^{m}\leq (m/(te))^{m}e^{tx}}$${\displaystyle E[X^{m}]}$${\displaystyle E[e^{tX}]}$

В качестве примера рассмотрим с степенями свободы. Тогда мы знаем . Собирая и вставляя в границу, мы получаем${\displaystyle X\sim {\text{Chi-Squared}}}$${\displaystyle k}$ ${\displaystyle M_{X}(t)=(1-2t)^{-k/2}}$${\displaystyle t=m/(2m+k)}$

${\displaystyle E[X^{m}]\leq (1+2m/k)^{k/2}e^{-m}(k+2m)^{m}.}$

Мы знаем, что в этом случае правильная оценка . Для сравнения оценок можно рассмотреть асимптотику для больших . Здесь граница Mgf , а действительная граница . Таким образом, оценка Mgf в этом случае очень сильна.${\displaystyle E[X^{m}]\leq 2^{m}\Gamma (m+k/2)/\Gamma (k/2)}$${\displaystyle k}$${\displaystyle k^{m}(1+m^{2}/k+O(1/k^{2}))}$${\displaystyle k^{m}(1+(m^{2}-m)/k+O(1/k^{2}))}$

Связь с другими функциями [ править ]

С функцией создания момента связан ряд других преобразований , распространенных в теории вероятностей:

Характеристическая функция

Характеристическая функция связана с функцией момента генерирования через характеристическую функцию является момент , генерирующей функция Ix или функция генерации момента X оценивается на мнимой оси. Эту функцию можно также рассматривать как преобразование Фурье от функции плотности вероятности , которые , следовательно , могут быть выведены из него путем обратного преобразования Фурье.${\displaystyle \varphi _{X}(t)}$${\displaystyle \varphi _{X}(t)=M_{iX}(t)=M_{X}(it):}$

Кумулянт-производящая функция

Функция кумулянтых генерирующая определяются как логарифм функции момента , генерирующей; некоторые вместо этого определяют функцию, производящую кумулянт, как логарифм характеристической функции , в то время как другие называют ее второй функцией, производящей кумулянт.

Вероятностно-производящая функция

Функция, генерирующая вероятность, определяется как Отсюда сразу следует, что${\displaystyle G(z)=E\left[z^{X}\right].\,}$${\displaystyle G(e^{t})=E\left[e^{tX}\right]=M_{X}(t).\,}$

См. Также [ править ]

• Энтропийная ценность под угрозой
• Факториальная производящая функция момента
• Функция оценки
• Проблема моментов гамбургера

Эта статья включает в себя список общих ссылок , но он остается в основном непроверенным, поскольку в нем отсутствуют соответствующие встроенные ссылки . Пожалуйста, помогите улучшить эту статью, добавив более точные цитаты. ( Февраль 2010 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Ссылки [ править ]

Цитаты [ править ]

Источники [ править ]