06计量经济学数学基础

数学对外经贸⼤学统计与信息在正式进⼊计量经济学学习之前，先回归⼀些基本的线性代数和统计学的基础知识。线性代对于两AB，AB{(ab∀a∈Ab∈B}，即×运算定义了⼀个⼆元组的集合，为ᫍ卡尔乘（Cartesianproduct。⽐如，如果选取A={♡,♠,♣,♢},B={2,...,10,J,Q,K,A}，那么就得到⼀副牌共52张牌的集合。⽽如果选取A=R,B=R，那么R2=R×R更⼀般的，可以Ω1×Ω2×···×Ωd=×n={(ω1,ω2,...,ωn),ωi∈Ωi,i=1,...,其中ω=(ω1,...ωn)∈Rn为向量。如果x∈Rn,y∈Rn可以定义内（innerproduct）⟨x,y⟩=x·y 如果⟨x,y⟩=0，称两个向量正交（orthogonal。有了内积之后，可以（norm：√∥x∥ ⟨x,（metric：√

d(x,y)=∥x−y∥ ⟨x−y,x−y⟩

(xi−1对于⼀个n维的欧⼏⾥得空间Rn，可以在这个空间上定义Borel域B=B=

Bi=σ({×nAi,Ai∈如果把k个n维向量按列摆放在⼀起 得到了⼀个k×n维的矩阵Ak×n=[a1,...,an]，其中ai为k维向量如果 矩阵A左乘⼀个n维向量x，那么y=Ax为⼀个k维向量。现在可以把矩阵左乘向量视为⼀个函数，即y=A(x)=Ax，易知A(x1+x2)=Ax1+Ax2，以及A(αx)=⼀般把符合如上两个性质的函数成为线性（linearmap。特别的，当k=n，即A为n×n维⽅阵时，线性A将Rn上的⼀个向量x到Rn上的另外⼀个向量y，此时称A为线性变换（lineartransformation。

A cos −sinsin cos2就讲⼀个⼆R2上的向量逆时针旋转θ度。取θ=π，那么2 A 0 x10]′yAx01]′90ai为k维列向量，那么：y=Ax=[a1,...,an]

=

也就是说线性的结果y实际上是矩阵A的列向量ai的⼀个线性组合。⽽矩阵A的秩rank(A)，即矩阵A的列向量的极⼤线性⽆关组，也就是对于所x∈RnyAx{yAx∀x∈Rn}实对称矩阵是接下来将要⼤量遇到的⼀类矩阵，任何的实对称矩An×nA=其中Γ为正交矩ΓΓ′=Γ′Γ=I，Λ=diag{λ1,...,λn}为特征（eigen-value）Γ′ΓIΓ的列向量（特征向量，eigen-vector）是两两正交的，且每个列向量的范数为1 Γ cos −sinsin cos 1。这类矩阵对应着等距变（isometry，Γ的变换之后，d(ΓxΓy)=√x′Γ′Γy√x′y=d(xy)。正交矩阵对应着旋转、翻转等变换，⽽相应的，对⾓矩阵Λ如果对于任何⼀个向量x∈Rn，x′Ax>0，称矩阵A为正定矩matrixsemi-definitematrix；负定矩阵和半负定矩阵可以类似定义。显然，如果⼀此外，如果⼀个矩阵A可以被对⾓化，其特征值为λ1λn，那么An ⾏列式值|A|=∏n λi。从这个⾓度看，对焦矩阵Λ对应着放缩变换，代表着为其对⾓元之和，即若A= ，那么tr(A)= aii。n 简单的性质：tr(AB)=tr(BA)。使⽤如上性质容易验证，如果矩阵A可以对⾓化，那么tr(A)= λi（Idempotentmatrix。如果⼀个⽅阵P满⾜P2=P，那么称矩阵P为33P=4为幂等矩阵，可以验证P2=P特别的，当P为实对称矩阵时称其为投影矩（Projectionmatrix。P=Γ′|z}′IΛΛ01rank(P)=rank(Λ)=tr(Λ)。PP(PxP2xPx100P010000即把⼀个x−y−z三维坐标系中的⼀个向量x=(x1,x2,x3)′到x−y⼆维平⾯上的点Px，⽽⼀个本⾝就在x−y⼆维平⾯的点，如Px，再次经过P的，还是在x−y⼆维平⾯上，且就是其本⾝。可以验证，P2=P。类似 P 0.50.5 则把⼀个三维向量x=(x1,x2,x3)′到y=x这条直线上，同样有P2=P。如果定义M=I−P，那么M2=(I−PI−P)=I−P−P+P2 I−P=M，即MI−P(Mx)′Pxx′(I−PPxx′P− 2x0，因⽽PxMx是正交的。也就是说，幂等矩阵把⼀个向量x解成了正交的两个部分：Px和Mx，x=PxMx且⟨Mx,Px⟩=01ι∈Rnι111)′P01ιι′P P2=1ιι′ιι=1ιι′P n2|{n

0Px=1ιι′x0n

1ι·nnn

xi=ι·¯ trP0rank(P0tr(P0tr

1ιι′)n1tr(ι′ι1M0I−P0M0nrank(M0tr(M0tr(IP0tr(I)−tr(P0n1

Mx=x0

1ιι′xn

x1−..xn−

对于⼀个向量θ=[θ1,θ2,...,θn]′，其实值函数：f(θ):Rn→R，f(·θ∂θ∂θ′

22∂.

=∂θ=..22.

····..

.∂θ

·· n 2f(θµ2ln(σ)，θµσ)′2[=∂f=

µ— — [∂2f

—

— 3µ2— ∂2f

∂θ∂i∂θ∂i

=∂∂i，因

∂∂′是⼀个实对称阵。回忆极值原理，2果函数f可微，那么函数f在θ0处为极值点的必要条件是∂f(θ0)=0，如果∂f(θ0)为正定矩阵（f(θ)的所有特征值为正那么f 2f(θ0θ0处为极⼩值点，否则如果 ′为负定矩阵（f(θ)的所有特征值为负），∂θ∂θ∂fθ0f(θ0)∂θ0处为鞍点（saddlepoint。称∂′为海塞矩阵（Hessianmatrixx ∂(a1x1+···+ ∂x

=.同理，∂′=a。此外，基于同样的原因，可以得到⼆次型的导数 =Ax+(xA)

=(A+A′)概率论基

∂x∂x′=A+函数P:F→[0,1]若满⾜：A∈F，P(A)≥P(Ω)=∪ ∑A1A2F为两两互斥事P(i=1Aii=1P(Ai)（可则称P为概率函数或概率测度（AxiomsofProbability），或者柯尔莫哥公理（KolmogorovAxioms。注意以上的定义并没有限定概率函数的形式，只要满⾜以上三个条件的函数P都可以被定义为概率函数。1.PP(A)≤P(Ac)=1−PP(∅)=P(A∪B)+P(A∩B)=P(A)+PA⊂B⇒P(A)=P(B)−P(B\A)≤P P(iAi) iP∑C1C2为样本空P(A)=i=1P(ACi)。∑2（条件概率）ABP(B0，那么B，事A发⽣的条件概率为：P(A|B)=P(A∩P

B有正概率发⽣时，条件概率的定义才有意义。实际上，条件概率可以理解为把原始的样本空间Ω限定在新的样本空间B中，并相应对原概率函数使⽤式(1)对概率函数进⾏了重新定义，因⽽概率的性质在定理2.（全概率公式如果C1C2,...为样本空间ΩP(A∑i=

P(A|Ci)·P(Ci)特别的于任意事BP(A)=P(A|B)·PP(A|Bc)·P(Bc)∑ ∑∞Proof.根据条件概率定义，i=1P(A|Ci)·P(Ci)= i=1P(A∩Ci)，根据定理(1.7)可证。如果事件A和B都有正的概率，那么可以同时定义P(A|B)以P(B|A)P(A|B)=P(A∩B)=P(B|A)·PP PP(A|B)=P(B|A)·P(A) P(B|A)·PP P(B|A)·P(A)+P(B|Ac)·P定义3.（统计独⽴性）如果两个事件A和BP(A∩B)=P(A)·P那么称事件A和B为独⽴事件定理3.如果A和BA和AcAc和Bc注意当考虑多于两个事件时，以上定义并不能进⾏扩展。为了更好的定义多于两个事件时的独⽴，使⽤如下定义： 定义4.称⼀系列事件A1,A2,...An为相互独⽴的（mutuallyindepen-dentorjointlyindependent，如果对于任意的⼦列AiAiAi kP

P随以上回顾了概率的定义，然⽽现实中经常不直接使⽤概率函数，⽽使⽤随量的概念，极⼤的简化了问题。定义5.（随量）对于概率空间(Ω,F,P)，X:Ω→R∗满⾜：对于任意的B∈B，有：X−1(B)∆{ω:X(ω)∈B}∈那么称X为随量（randomvariable,r.v.。定义6.（累积分布函数）对于⼀个随量X，函 FX(x)=PX((−∞,x])=PX−1((−∞,x]),∀x∈mulativedistributionfunction,c.d.f.。⽤PX和使⽤累积分布函数FX是等价的。因⽽通常使⽤标记X∼FX(x)表⽰随量X服从FX分布。此外，如果随量X和Y具有同样的分布，则记为X∼Y。定义7.如果两个随量的累积分布函数FX(x)=FY(x)，则称两个随定义8.（概率密度函数）对于连续型随量，概率密度函数（probabilitydensityfunction,p.d.f，fX(x)定义为：∫FX(x)

fX(t)dt,forall∫E(X) xdFXR如果E|X|<∞，称随量X是可积的。当密度函数存在时，期望等于∫E(X) xfX(x)R随量的期望又成为⼀阶矩，对于任意的正数p，如果E(|X|p)<∞，则记X∈Lp=Lp(Ω,F,P)。对于整数r，随量X的r阶矩被定义为E(Xr)。⼀阶矩即为随量X的期望。此外，随量X的r阶中⼼矩被定义为E([X−E(X)]r)。特别的，当r=2时，2阶中⼼矩即为随量的⽅（ariance√ σ(X)=Var(X)。X Var(X)=

[X−E

=EX2−2E(X)·X+E EX2−2E(X)2+E(X)2=EX2−EX2≥(EX)2Var(aXba2Var(X)。9.（随机向量）给定⼀个概率空间(ΩFP)k即从样本空间到k维欧⼏⾥得空间的函数，X:Ω→Rn仿照⼀元随量，还可以定义随机向量的联合分布函数（jointcu-mulativedistributionfuntion：定义10.（联合分布函数）(ΩFP)(RnBnP)的联合分布函数（jointc.d.f.）定义为：F(x)=F(x1,x2,...,=P((−∞,x1]×(−∞,x2]×···(−∞, =PX−1((−∞,x1]×(−∞,x2]×···(−∞,∀x∈RnF(−∞−∞−∞0，F(∞∞∞1。相应的，对于连续（离散）型的随机向量X，还可以定义其联合概率密定义11.（随机向量的联合密度函数与联合质量函数如果随机向量X的每个分量都是离散型随量，那么可以定义联合概率质量函数p.m.f为：f(x)=P({x})=P({X1=x1,...,Xn=xn})。如果随量X的联合分布函数连续，如果函数f(x)满⾜∫P(X∈A)

f(x)dx,x∈Rn,A∈A那么称f(x)为其联合概率密度函数p.d.f。特别的，如果联合分布F(x)f(x) ∂nF∂x1∂x2···现在X=(X1Xn为随机向eX=(Xi1Xi2Xik1≤i1i2ikn也是⼀个随机向量。XeF(x)来定义，即令F(x)中满⾜j/{i1,...ik}的分量为∞。如对于三维随量XX1X2X3)XeX1X2的分布函数为：FXee(xF(x1,x2,∞)。特别的，对于随机向量X的每个分量Xi，可以定义其边缘分布函数（marginalc.d.f.）FXi(xi)=F(∞,...,xi,...,注意边缘分布函数对应着⼀元随量Xi的分布函数F(∞,...,xi,...,∞)=P(R×R×···×(−∞,xi]×···× =PX−1(R×R×···×(−∞,xi]×···× i=PX−1((−∞,i对于连续（离散）型的随量Xi，其边缘概率密度（质量）函数可以相应定与⼀元随量类似，对于随机向量X以及相应的从概率空间(Ω,F,P)(RnBnP)g(X(ω→R，可以使⽤ E(g(X)) g(X(ω))P(dω) g(x)P 根据此定义，如果令g(X)=ι′iX=Xi，其中ιi=(0010)∫E(g(X)) Xi(ω)P(dω)=EΩ即多元随量的分量的期望与⼀元随量的期望定义相同。因⽽经常把随机向量的期望写为：E(X)

. 令g(X)= Xi=ι′X，其中ι=(1,1,...,1)′为全部由1

(

=Rni=1XiPn=

XiP E 有E∑n aiXi)=E(a′X)=a′E(X)=a′µ。

12a′ E a′1E12E(AX)=

a′

E(a′2=2

a′E2=2

=AE ha′ E a′hEh因⽽对Ah×nh维向量b，有：E(AXbAE(Xb此外，如果对于两个⼀元随量Y,Z，如果E|Y|2∞E|Z|2∞，根Cauchy-Schwarz不等式，E|YZ|≤E|Y|2E|Z|2∞YZ可积，我Cov(Y,Z)=E[(Y−E(Y))(Z−E=E[YZ−E(Y)Z−ZE(Y)+E(Y)E=E(YZ)−2E(Y)E(Z)+E(Y)E=E(YZ)−E(Y)EY2(当Y=Z时，Cov(Y,Y)= [E(Y)]2=Var(Y2进⽽可以使⽤协⽅差定义相关系数（correlationcoefficiet：ρY,Z=

Cov(Y,Var(Y)VarCov(Y,Z)=E[(Y−E(Y))(Z−E≤E|(Y−E(Y))(Z−E√≤E|(Y−E(Y))|2E|Z−E√ =Var(Y)Var可知−1≤ρY,Z≤1。如果ρY,Z=±1，那么P(Y=c1Z+c2)=1c1̸=0；如果ρY,Z>0，称随量Y和Z正相关，反之成为负相关，如果ρY,Z=0，称随量YZ不相关（uncorrelated。这⾥所谓的「相关系数」特指ޔ尔ာ相关系数（Pearsoncorrelationcoefficient实际上只度量了随量之间的线性相关性。相关系数等于0并不意味着两个随量没有⾮线性的例2.如果随量Y=Z2，Z∼N(0,1)，那么Cov(Z,Y)=EZY−==此外，如果a,b为任意实数，那么：Var(aY+bZ)=E(aY+bZ)2−[aE(Y)+bE =Ea2Y2+b2Z2+2abY —a2(E(Y))2+b2(E(Z))2+2abE(Y)E=a2Var(Y)+b2Var(Z)+2abCov(Y,YZ不相关，那么Var(aYbZ)=a2Var(Yb2Var(Z)对于⼀个随机向量X=(X1,X2,...,Xn)′，可以定义⽅差协⽅差矩matrix， Var(X)=E(X−EX)(X− Cov(X1, ·· Cov(X1,Cov(X2, ·· Cov(X2,

.. Cov(Xn, Cov(Xn, ·· 由于Cov(XiXj)=Cov(XjXi)，有 Var(X)=E(X−EX)(X−=E[XX′−XE(X′)−E(X)X′+E(X)E=E(XX′)−E(X)E此外，根据协⽅差矩阵的定义，对于任意的n维向量c，有 c′Var(X)c=c′E(X−EX)(X−EX)′[] ]=E[c′(X−EX)][c′(X− =E([c′(X−≥因⽽协⽅差矩阵是⼀个半正定矩阵，通常记为Var(X)≥0由于Cov(XiXjCov(XjXi)，因⽽协⽅差矩阵为实对称矩阵。根据定义，对于实数矩阵Ah×n以及h维向量b，有：Var(AX+b)=[

(AX+b−E(AX+b))(AX+b−E(AX+=E[(AX−AE(X))(X′A′−E(X′)=E[AXX′A′−AXE(X′)A′−AE(X)X′A′+AE(X)E(X′)=A[E(XX′)−E(X)E(X′)]=AVar(X)性定义12.如果{Xi1≤i≤n}是定义在概率空间(ΩF,P)上的⼀系列随机变量，如果对于任意的Borel集{Bi,1≤i≤n}，有：(P

(Xi(ω)∈Bi)

P(Xi(ω)∈ 那么称随量