Момент-генерирующая функция

В теории вероятностей и статистике , то момент, производящая функция от вещественной случайной величины является альтернативой спецификации ее распределения вероятностей . Таким образом, он обеспечивает основу для альтернативного пути получения аналитических результатов по сравнению с работой непосредственно с функциями плотности вероятности или кумулятивными функциями распределения . Имеются особенно простые результаты для функций распределений, порождающих моменты, определяемых взвешенными суммами случайных величин. Однако не все случайные величины имеют функции, генерирующие моменты.

Как следует из названия, функция , производящая момент, может использоваться для вычисления моментов распределения : n- й момент около 0 - это n- я производная функции создания момента, вычисленная как 0.

В дополнение к распределениям с действительными значениями (одномерные распределения), функции, генерирующие моменты, могут быть определены для векторных или матричных случайных величин и даже могут быть расширены на более общие случаи.

Производящая момент функция действительного распределения не всегда существует, в отличие от характеристической функции . Есть отношения между поведением функции распределения момента, порождающей момент, и свойствами распределения, такими как наличие моментов.

Определение [ править ]

Производящая момент функция случайной величины X равна

${\ displaystyle M_ {X} (t): = \ operatorname {E} \ left [e ^ {tX} \ right], \ quad t \ in \ mathbb {R},}$

везде, где существует это ожидание . Другими словами, функция X, создающая момент, является математическим ожиданием случайной величины . В более общем плане , когда , - мерный случайный вектор , и это фиксированный вектор, используется вместо  :${\ displaystyle e ^ {tX}}$${\ Displaystyle \ mathbf {X} = (X_ {1}, \ ldots, X_ {n}) ^ {\ mathrm {T}}}$${\ displaystyle n}$${\ displaystyle \ mathbf {t}}$${\ Displaystyle \ mathbf {т} \ cdot \ mathbf {X} = \ mathbf {t} ^ {\ mathrm {T}} \ mathbf {X}}$${\ displaystyle tX}$

${\ displaystyle M _ {\ mathbf {X}} (\ mathbf {t}): = \ operatorname {E} \ left (e ^ {\ mathbf {t} ^ {\ mathrm {T}} \ mathbf {X}} \верно).}$

${\ displaystyle M_ {X} (0)}$всегда существует и равно 1. Однако ключевая проблема с функциями, производящими момент, состоит в том, что моменты и функция, производящая момент, могут не существовать, поскольку интегралы не обязательно сходятся абсолютно. Напротив, характеристическая функция или преобразование Фурье всегда существует (потому что это интеграл ограниченной функции на пространстве конечной меры ) и для некоторых целей может использоваться вместо этого.

Функция создания моментов названа так потому, что ее можно использовать для нахождения моментов распределения. ^[1] Разложение в ряд равно${\ displaystyle e ^ {tX}}$

${\ displaystyle e ^ {t \, X} = 1 + t \, X + {\ frac {t ^ {2} \, X ^ {2}} {2!}} + {\ frac {t ^ {3} \, X ^ {3}} {3!}} + \ Cdots + {\ frac {t ^ {n} \, X ^ {n}} {n!}} + \ Cdots.}$

Следовательно

${\displaystyle {\begin{aligned}M_{X}(t)=\operatorname {E} (e^{t\,X})&=1+t\operatorname {E} (X)+{\frac {t^{2}\operatorname {E} (X^{2})}{2!}}+{\frac {t^{3}\operatorname {E} (X^{3})}{3!}}+\cdots +{\frac {t^{n}\operatorname {E} (X^{n})}{n!}}+\cdots \\&=1+tm_{1}+{\frac {t^{2}m_{2}}{2!}}+{\frac {t^{3}m_{3}}{3!}}+\cdots +{\frac {t^{n}m_{n}}{n!}}+\cdots ,\end{aligned}}}$

где это й момент . Дифференцируя времена по и полагая , получаем момент -й относительно начала координат ,; см. Расчет моментов ниже.${\displaystyle m_{n}}$${\displaystyle n}$${\displaystyle M_{X}(t)}$ ${\displaystyle i}$${\displaystyle t}$${\displaystyle t=0}$${\displaystyle i}$${\displaystyle m_{i}}$

Если - непрерывная случайная величина, то выполняется следующая связь между ее функцией, производящей момент, и двусторонним преобразованием Лапласа ее функции плотности вероятности :${\displaystyle X}$${\displaystyle M_{X}(t)}$${\displaystyle f_{X}(x)}$

${\displaystyle M_{X}(t)={\mathcal {L}}\{f_{X}\}(-t),}$

поскольку двустороннее преобразование Лапласа PDF задается как

${\displaystyle {\mathcal {L}}\{f_{X}\}(s)=\int _{-\infty }^{\infty }e^{-sx}f_{X}(x)\,dx,}$

а определение функции, производящей момент, расширяется (по закону бессознательного статистика ) до

${\displaystyle M_{X}(t)=\operatorname {E} \left[e^{tX}\right]=\int _{-\infty }^{\infty }e^{tx}f_{X}(x)\,dx.}$

Это согласуется с характеристической функцией будучи вращения Фитиль из когда функция генерирования момент существует, так как характеристическая функция непрерывной случайной переменной является преобразованием Фурье его функции плотности вероятности , и в общем случае, когда функция имеет экспоненциального порядка , преобразование Фурье представляет собой вращение Вика его двустороннего преобразования Лапласа в области сходимости. См. Соотношение преобразований Фурье и Лапласа для получения дополнительной информации.${\displaystyle X}$${\displaystyle M_{X}(t)}$${\displaystyle X}$${\displaystyle f_{X}(x)}$${\displaystyle f(x)}$${\displaystyle f}$

Примеры [ править ]

Вот несколько примеров функции создания момента и характеристической функции для сравнения. Можно видеть, что характеристическая функция является вращением Вика функции, производящей момент, когда последняя существует.${\displaystyle M_{X}(t)}$

Распределение	Момент-генерирующая функция ${\displaystyle M_{X}(t)}$	Характеристическая функция ${\displaystyle \varphi (t)}$
Вырожденный ${\displaystyle \delta _{a}}$	${\displaystyle e^{ta}}$	${\displaystyle e^{ita}}$
Бернулли ${\displaystyle P(X=1)=p}$	${\displaystyle 1-p+pe^{t}}$	${\displaystyle 1-p+pe^{it}}$
Геометрический ${\displaystyle (1-p)^{k-1}\,p}$	${\displaystyle {\frac {pe^{t}}{1-(1-p)e^{t}}}}$ ${\displaystyle \forall t<-\ln(1-p)}$	${\displaystyle {\frac {pe^{it}}{1-(1-p)\,e^{it}}}}$
Биномиальный ${\displaystyle B(n,p)}$	${\displaystyle \left(1-p+pe^{t}\right)^{n}}$	${\displaystyle \left(1-p+pe^{it}\right)^{n}}$
Отрицательный бином ${\displaystyle \operatorname {NB} (r,p)}$	${\displaystyle \left({\frac {pe^{t}}{1-e^{t}+pe^{t}}}\right)^{r}}$	${\displaystyle \left({\frac {pe^{it}}{1-e^{it}+pe^{it}}}\right)^{r}}$
Пуассон ${\displaystyle \operatorname {Pois} (\lambda )}$	${\displaystyle e^{\lambda (e^{t}-1)}}$	${\displaystyle e^{\lambda (e^{it}-1)}}$
Равномерное (непрерывное) ${\displaystyle \operatorname {U} (a,b)}$	${\displaystyle {\frac {e^{tb}-e^{ta}}{t(b-a)}}}$	${\displaystyle {\frac {e^{itb}-e^{ita}}{it(b-a)}}}$
Равномерное (дискретное) ${\displaystyle \operatorname {DU} (a,b)}$	${\displaystyle {\frac {e^{at}-e^{(b+1)t}}{(b-a+1)(1-e^{t})}}}$	${\displaystyle {\frac {e^{ait}-e^{(b+1)it}}{(b-a+1)(1-e^{it})}}}$
Лаплас ${\displaystyle L(\mu ,b)}$	${\displaystyle {\frac {e^{t\mu }}{1-b^{2}t^{2}}},~|t|<1/b}$	${\displaystyle {\frac {e^{it\mu }}{1+b^{2}t^{2}}}}$
Обычный ${\displaystyle N(\mu ,\sigma ^{2})}$	${\displaystyle e^{t\mu +{\frac {1}{2}}\sigma ^{2}t^{2}}}$	${\displaystyle e^{it\mu -{\frac {1}{2}}\sigma ^{2}t^{2}}}$
Хи-квадрат ${\displaystyle \chi _{k}^{2}}$	${\displaystyle (1-2t)^{-{\frac {k}{2}}}}$	${\displaystyle (1-2it)^{-{\frac {k}{2}}}}$
Нецентральный хи-квадрат ${\displaystyle \chi _{k}^{2}(\lambda )}$	${\displaystyle e^{\lambda t/(1-2t)}(1-2t)^{-{\frac {k}{2}}}}$	${\displaystyle e^{i\lambda t/(1-2it)}(1-2it)^{-{\frac {k}{2}}}}$
Гамма ${\displaystyle \Gamma (k,\theta )}$	${\displaystyle (1-t\theta )^{-k},~\forall t<{\tfrac {1}{\theta }}}$	${\displaystyle (1-it\theta )^{-k}}$
Экспоненциальный ${\displaystyle \operatorname {Exp} (\lambda )}$	${\displaystyle \left(1-t\lambda ^{-1}\right)^{-1},~t<\lambda }$	${\displaystyle \left(1-it\lambda ^{-1}\right)^{-1}}$
Многомерный нормальный ${\displaystyle N(\mathbf {\mu } ,\mathbf {\Sigma } )}$	${\displaystyle e^{\mathbf {t} ^{\mathrm {T} }\left({\boldsymbol {\mu }}+{\frac {1}{2}}\mathbf {\Sigma t} \right)}}$	${\displaystyle e^{\mathbf {t} ^{\mathrm {T} }\left(i{\boldsymbol {\mu }}-{\frac {1}{2}}{\boldsymbol {\Sigma }}\mathbf {t} \right)}}$
Коши ${\displaystyle \operatorname {Cauchy} (\mu ,\theta )}$	Не существует	${\displaystyle e^{it\mu -\theta |t|}}$
Многомерный Коши ${\displaystyle \operatorname {MultiCauchy} (\mu ,\Sigma )}$[2]	Не существует	${\displaystyle \!\,e^{i\mathbf {t} ^{\mathrm {T} }{\boldsymbol {\mu }}-{\sqrt {\mathbf {t} ^{\mathrm {T} }{\boldsymbol {\Sigma }}\mathbf {t} }}}}$

Расчет [ править ]

Функция создания момента - это математическое ожидание функции случайной величины, ее можно записать как:

• Для дискретной функции массовой вероятности ,${\displaystyle M_{X}(t)=\sum _{i=1}^{\infty }e^{tx_{i}}\,p_{i}}$
• Для непрерывной функции плотности вероятности ,${\displaystyle M_{X}(t)=\int _{-\infty }^{\infty }e^{tx}f(x)\,dx}$
• В общем случае: с использованием интеграла Римана – Стилтьеса , где - интегральная функция распределения .${\displaystyle M_{X}(t)=\int _{-\infty }^{\infty }e^{tx}\,dF(x)}$${\displaystyle F}$

Следует отметить , что для случая , когда имеет непрерывную функцию плотности вероятности , является преобразованием двухсторонней Лапласы из .${\displaystyle X}$ ${\displaystyle f(x)}$${\displaystyle M_{X}(-t)}$${\displaystyle f(x)}$

${\displaystyle {\begin{aligned}M_{X}(t)&=\int _{-\infty }^{\infty }e^{tx}f(x)\,dx\\&=\int _{-\infty }^{\infty }\left(1+tx+{\frac {t^{2}x^{2}}{2!}}+\cdots +{\frac {t^{n}x^{n}}{n!}}+\cdots \right)f(x)\,dx\\&=1+tm_{1}+{\frac {t^{2}m_{2}}{2!}}+\cdots +{\frac {t^{n}m_{n}}{n!}}+\cdots ,\end{aligned}}}$

где это й момент .${\displaystyle m_{n}}$${\displaystyle n}$

Линейные преобразования случайных величин [ править ]

Если случайная величина имеет производящую функцию момента , то имеет производящую функцию момента${\displaystyle X}$${\displaystyle M_{X}(t)}$${\displaystyle \alpha X+\beta }$${\displaystyle M_{\alpha X+\beta }(t)=e^{\beta t}M_{X}(\alpha t)}$

${\displaystyle M_{\alpha X+\beta }(t)=E[e^{(\alpha X+\beta )t}]=e^{\beta t}E[e^{\alpha Xt}]=e^{\beta t}M_{X}(\alpha t)}$

Линейная комбинация независимых случайных величин [ править ]

Если , где X _i - независимые случайные величины, а a _i - константы, то функция плотности вероятности для S _n представляет собой свертку функций плотности вероятности каждого из X _i , а функция, генерирующая момент для S _n, равна дано${\displaystyle S_{n}=\sum _{i=1}^{n}a_{i}X_{i}}$

${\displaystyle M_{S_{n}}(t)=M_{X_{1}}(a_{1}t)M_{X_{2}}(a_{2}t)\cdots M_{X_{n}}(a_{n}t)\,.}$

Случайные величины с векторным знаком [ править ]

Для векторных случайных величин с действительными компонентами порождающая функция момента задается выражением${\displaystyle \mathbf {X} }$

${\displaystyle M_{X}(\mathbf {t} )=E\left(e^{\langle \mathbf {t} ,\mathbf {X} \rangle }\right)}$

где - вектор, а - скалярное произведение .${\displaystyle \mathbf {t} }$${\displaystyle \langle \cdot ,\cdot \rangle }$

Важные свойства [ править ]

Производящие функции моментов положительны и лог-выпуклы , причем M (0) = 1.

Важным свойством функции создания момента является то, что она однозначно определяет распределение. Другими словами, если и - две случайные величины и для всех значений  t ,${\displaystyle X}$${\displaystyle Y}$

${\displaystyle M_{X}(t)=M_{Y}(t),\,}$

тогда

${\displaystyle F_{X}(x)=F_{Y}(x)\,}$

для всех значений x (или, что то же самое, X и Y имеют одинаковое распределение). Это утверждение не эквивалентно утверждению «если два распределения имеют одинаковые моменты, то они идентичны во всех точках». Это связано с тем, что в некоторых случаях моменты существуют, а функции, производящей момент, нет, потому что предел

${\displaystyle \lim _{n\rightarrow \infty }\sum _{i=0}^{n}{\frac {t^{i}m_{i}}{i!}}}$

может не существовать. Логнормальный является примером того , когда это происходит.

Расчет моментов [ править ]

Функция момент генерирующая так называемый , потому что если он существует на открытом интервале вокруг т  = 0, то это экспоненциальная производящая функция из моментов в распределении вероятностей :

${\displaystyle m_{n}=E\left(X^{n}\right)=M_{X}^{(n)}(0)=\left.{\frac {d^{n}M_{X}}{dt^{n}}}\right|_{t=0}.}$

То есть, когда n является неотрицательным целым числом, n- й момент около 0 является n- й производной производящей функции момента, вычисляемой при t = 0.

Другие свойства [ править ]

Неравенство Дженсена дает простую нижнюю оценку функции, производящей момент:

${\displaystyle M_{X}(t)\geq e^{\mu t},}$

где это среднее X .${\displaystyle \mu }$

Верхний ограничивающая функцию момента генерирования может быть использованы в сочетании с неравенством Маркова к связанному верхнему хвосту реального случайной величины X . Это утверждение также называется границей Чернова . Поскольку при монотонно возрастает , имеем${\displaystyle x\mapsto e^{xt}}$${\displaystyle t>0}$

${\displaystyle P(X\geq a)=P(e^{tX}\geq e^{ta})\leq e^{-at}E[e^{tX}]=e^{-at}M_{X}(t)}$

для любого и любого а , если существует. Например, когда X - стандартное нормальное распределение и , мы можем выбрать и вспомнить это . Это дает , что в пределах коэффициента 1+ точного значения.${\displaystyle t>0}$${\displaystyle M_{X}(t)}$${\displaystyle a>0}$${\displaystyle t=a}$${\displaystyle M_{X}(t)=e^{t^{2}/2}}$${\displaystyle P(X\geq a)\leq e^{-a^{2}/2}}$

Различные леммы, такие как лемма Хёффдинга или неравенство Беннета, дают оценки функции, производящей момент, в случае ограниченной случайной величины с нулевым средним.

Когда неотрицательно, функция, производящая момент, дает простую и полезную оценку моментов:${\displaystyle X}$

${\displaystyle E[X^{m}]\leq \left({\frac {m}{te}}\right)^{m}M_{X}(t),}$

Для любого и .${\displaystyle X,m\geq 0}$${\displaystyle t>0}$

Это следует из простого неравенства, в которое мы можем подставить подразумеваемое вместо любого . Теперь, если и , это можно переставить на . Ожидание с обеих сторон дает предел с точки зрения .${\displaystyle 1+x\leq e^{x}}$${\displaystyle x'=tx/m-1}$${\displaystyle tx/m\leq e^{tx/m-1}}$${\displaystyle x,t,m\in \mathbb {R} }$${\displaystyle t>0}$${\displaystyle x,m\geq 0}$${\displaystyle x^{m}\leq (m/(te))^{m}e^{tx}}$${\displaystyle E[X^{m}]}$${\displaystyle E[e^{tX}]}$

В качестве примера рассмотрим с степенями свободы. Тогда мы знаем . Выбирая и вставляя в границу, мы получаем${\displaystyle X\sim {\text{Chi-Squared}}}$${\displaystyle k}$ ${\displaystyle M_{X}(t)=(1-2t)^{-k/2}}$${\displaystyle t=m/(2m+k)}$

${\displaystyle E[X^{m}]\leq (1+2m/k)^{k/2}e^{-m}(k+2m)^{m}.}$

Мы знаем, что в этом случае правильная оценка . Чтобы сравнить оценки, мы можем рассмотреть асимптотику для больших . Здесь граница Mgf , а действительная граница . Таким образом, оценка Mgf в этом случае очень сильна.${\displaystyle E[X^{m}]\leq 2^{m}\Gamma (m+k/2)/\Gamma (k/2)}$${\displaystyle k}$${\displaystyle k^{m}(1+m^{2}/k+O(1/k^{2}))}$${\displaystyle k^{m}(1+(m^{2}-m)/k+O(1/k^{2}))}$

Отношение к другим функциям [ править ]

С функцией создания момента связан ряд других преобразований , которые распространены в теории вероятностей:

Характеристическая функция

Характеристическая функция связана с функцией момента генерирования через характеристическую функцию является момент , генерирующей функция Ix или функция генерации момента X оценивается на мнимой оси. Эту функцию можно также рассматривать как преобразование Фурье от функции плотности вероятности , которые , следовательно , могут быть выведены из него путем обратного преобразования Фурье.${\displaystyle \varphi _{X}(t)}$${\displaystyle \varphi _{X}(t)=M_{iX}(t)=M_{X}(it):}$

Кумулянт-производящая функция

Функция кумулянтых генерирующая определяются как логарифм функции момента , генерирующей; некоторые вместо этого определяют функцию, генерирующую кумулянт, как логарифм характеристической функции , в то время как другие называют ее второй функцией, производящей кумулянт.

Вероятностно-производящая функция

Функция, генерирующая вероятность, определяется как Отсюда сразу следует, что${\displaystyle G(z)=E\left[z^{X}\right].\,}$${\displaystyle G(e^{t})=E\left[e^{tX}\right]=M_{X}(t).\,}$

См. Также [ править ]

• Энтропийная ценность под угрозой
• Факториальная производящая функция момента
• Функция оценки
• Проблема моментов гамбургера

Эта статья включает в себя список общих ссылок , но он остается в значительной степени непроверенным, поскольку в нем отсутствует достаточное количество соответствующих встроенных ссылок . Пожалуйста, помогите улучшить эту статью, добавив более точные цитаты. ( Февраль 2010 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Ссылки [ править ]

Цитаты [ править ]

Источники [ править ]