©2020-2024 ioDraw All rights reserved,
Privacy Policy
之前一直不是很理解moment generating
function（MGF）。今天终于狠下心挖一挖MGF，在这里做一个小结，也是终于是帮我搞懂了moment和MGF的作用。大家如果也不明白的可以抽几分钟看看这篇文章。
首先，什么是moment？
moment在统计学中表示的是期望，比如 E （ X ） ， E （ X 2 ） ， … ， E（X），E（X^2），…， E（X），E（X2），…，
分别表示某个分布的first moment，second moment，…
那么这些期望值在统计学中有什么运用呢，比较简单的，大家都知道first moment表达的是某种分布的期望，而second
moment某种程度则能够反映该分布的variance，因为我们有 σ 2 = E （ X 2 ） − E （ X ） 2 \sigma^2 =
E（X^2）- E（X）^2σ2=E（X2）−E（X）2。但是third和fourth moment同样也是反映分布特性的重要参数，比如third
moment反映的是该分布的不对称性（asymmetry），也可以说成是倾斜度？（skewness），表达成公式是 s k e w n e s s = E （
（ x − μ ） 3 ） / σ 3 skewness = E（（x-\mu）^3）/\sigma^3skewness=E（（x−μ）3）/σ3
；fourth moment反映的则是峰度（kurtosis：how heavy its tails are）， k u r t o s i s = E （
（ x − μ ） 4 ） / σ 4 kurtosis = E（（x-\mu）^4）/\sigma^4kurtosis=E（（x−μ）4）/σ4
。所以对我们来说，momnet是反映某样本分布很重要的参数。
然后我们接着看什么是moment generating
function（MGF），我理解的是MGF是为了构建一个帮助大家求解moment的一个工具式的函数（像它的名字一样，to generate
moment），首先我们看momnet的求法: E ( X n ) = ∫ − ∞ ∞ π n × p d f ( x ) d x E(X^n)
=\int_{-\infty}^{\infty}{\pi^n}\times pdf(x) dxE(Xn)=∫−∞∞πn×pdf(x)dx
而MGF是: M G F ( t ) = E ( e t x ) = MGF(t) = E(e^{tx}) = {} MGF(t)=E(etx)=
M G F ( t ) = E ( e t x ) = { ∑ e t x × p ( x ) , x : d i s c r e t e ; p ( x
) : p m f ∫ e t x × f ( x ) , x : c o n t i n o u s ; f ( x ) : p d f
MGF(t)=E(e^{tx})=\left\{ \begin{aligned} & \sum e^{tx}\times p(x), x: discrete;
p(x): pmf \\ & \int e^{tx}\times f(x), x: continous; f(x): pdf \\ \end{aligned}
\right.MGF(t)=E(etx)=⎩⎪⎨⎪⎧∑etx×p(x),x:discrete;p(x):pmf∫etx×f(x),x:continous;f
(x):pdf
一眼看过去大家可能会一脸懵圈，我要求的是moment E （ X n ） E（X^n） E（Xn），而不是 E （ e t x ） E（e^{tx}） E（
etx）。那么继续看下去，从我们学到过去统计学知识，我们知道根据MGF求moment的方法是：对MDF求n阶导数，然后带入t=0，就可以得到 E （ X n
） E（X^n）E（Xn）。
n-th moment:
E ( X n ) = d n d t n M G F ( t ) ∣ t = 0 E(X^n) =
\frac{d^n}{dt^n}MGF(t)|_{t=0}E(Xn)=dtndnMGF(t)∣t=0
但是这是为什么呢？下面我们给出推导过程：
利用泰勒展式我们可以得到：
e t x = 1 + t x + ( t x ) 2 2 ! + ( t x ) 3 3 ! + ( t x ) 4 4 ! + . . . + ( t
x ) n n ! e^{tx} = 1 + tx + \frac{(tx)^2}{2!}+ \frac{(tx)^3}{3!}+
\frac{(tx)^4}{4!}+...+ \frac{(tx)^n}{n!}etx=1+tx+2!(tx)2+3!(tx)3+4!(tx)4+...+
n!(tx)n
然后对这个式子求期望
E ( e t x ) = E ( 1 ) + t E ( x ) + t 2 2 ! E ( t 2 ) + t 3 3 ! E ( t 3 ) + t
4 4 ! E ( t 4 ) + . . . + t n n ! E ( t n ) E(e^{tx}) = E(1) + tE(x) +
\frac{t^2}{2!}E(t^2)+ \frac{t^3}{3!}E(t^3)+ \frac{t^4}{4!}E(t^4)+...+
\frac{t^n}{n!}E(t^n)E(etx)=E(1)+tE(x)+2!t2E(t2)+3!t3E(t3)+4!t4E(t4)+...+n!tn
E(tn)
在对该期望求1阶导，带入t=0
d d t E ( e t x ) = d d t E ( 1 ) + d d t t E ( x ) + d d t t 2 2 ! E ( t 2 )
+ d d t t 3 3 ! E ( t 3 ) + d d t t 4 4 ! E ( t 4 ) + . . . + d d t t n n ! E (
t n ) \frac{d}{dt}E(e^{tx}) = \frac{d}{dt}E(1) + \frac{d}{dt}tE(x) +
\frac{d}{dt}\frac{t^2}{2!}E(t^2)+ \frac{d}{dt}\frac{t^3}{3!}E(t^3)+
\frac{d}{dt}\frac{t^4}{4!}E(t^4)+...+ \frac{d}{dt}\frac{t^n}{n!}E(t^n)dtdE(etx)
=dtdE(1)+dtdtE(x)+dtd2!t2E(t2)+dtd3!t3E(t3)+dtd4!t4E(t4)+...+dtdn!tnE(
tn)
代入 t = 0
= 0 + E ( x ) + 0 + . . . + 0 = E ( X ) = 0 +E(x) + 0 +...+ 0 = E(X) =0+E(x)+0
+...+0=E(X)
最后我们得到的是不是就是X的期望呢，如果我们想要second moment，那么在带入t=0之前继续求一次导，再带去t=0就能得到second
moment。同理，n-th moment就是在这个基础上做n阶导数。
那么大家可能会有疑惑，为什么我们不直接求 E （ X n ） E（X^n） E（Xn）
，而要通过MGF来求moment呢？答案也很明显，比起求高阶积分，求导数相对要容易太多了。
我们来看一个例子，假设我们的pdf是一个指数分布，那么我们有
f ( x ) = { λ e − λ x , x > 0 0 , e l s e f(x)=\left\{ \begin{aligned}
&\lambda e^{-\lambda x}, x>0 \\ &0, else \\ \end{aligned} \right.f(x)={λe−λx,x>
00,else
然后他的MGF是
M G F ( t ) = E ( e t x ) = ∫ 0 ∞ e t x × λ e − λ x d x MGF(t) = E(e^{tx})
=\int_{0}^{\infty} e^{tx}\times \lambda e^{-\lambda x}dxMGF(t)=E(etx)=∫0∞etx×λe
−λxdx
= λ ∫ 0 ∞ e ( t − λ ) x d x , ( t − λ < 0 ) =\lambda
\int_{0}^{\infty}e^{(t-\lambda)x}dx, (t-\lambda < 0)=λ∫0∞e(t−λ)xdx,(t−λ<0)
= λ ∣ 1 t − λ × e ( t − λ ) x ∣ 0 ∞ =\lambda|\frac{1}{t-\lambda}\times
e^{(t-\lambda)x}|^\infty_{0}=λ∣t−λ1×e(t−λ)x∣0∞
= λ λ − t =\frac{\lambda}{\lambda-t} =λ−tλ
最后得到的结果是不是很简单，只需要对上面简单的例子求导就可以得到moment，比如求third moment： E ( x 3 ) = d 3 d t 3
( λ λ − t ) E(x^3) = \frac{d^3}{dt^3}(\frac{\lambda}{\lambda-t})E(x3)=dt3d3(λ−t
λ)，而如果根据third moment定义求， E ( x 3 ) = ∫ 0 ∞ x 3 λ e − λ x d x E(x^3) =
\int_{0}^{\infty}x^3\lambda e^{-\lambda x}dxE(x3)=∫0∞x3λe−λxdx
那么在做求导和积分，你更喜欢哪个呢？