主成分分析讲解

主成分分析PrincipalComponentAnalysis10/6/20231Dept.ofEpidemio&Biostat,SPH统计学研究的核心问题？没有变异就没有统计学变异VARIATION变异性的度量？方差Variance10/6/20232Dept.ofEpidemio&Biostat,SPH方差是什么？方差是信息多元世界的信息度量多元世界的每个变量的包含信息不同在单个变量方差不变的情况下，各变量相关性越高，则总信息量越小10/6/20233Dept.ofEpidemio&Biostat,SPH10/6/20234Dept.ofEpidemio&Biostat,SPH两组变量:AB10/6/20235Dept.ofEpidemio&Biostat,SPH10/6/20236Dept.ofEpidemio&Biostat,SPH10/6/20237Dept.ofEpidemio&Biostat,SPH10/6/20238Dept.ofEpidemio&Biostat,SPH协方差矩阵样本的方差-协方差矩阵（variance-covariancematrix)如果有p个观测变量，则样本的协方差矩阵记为10/6/20239Dept.ofEpidemio&Biostat,SPH相关矩阵如果有p个观测变量，其相关阵（correlationmatrix）记为10/6/202310Dept.ofEpidemio&Biostat,SPH矩阵的特征值和特征向量对于方阵A，如存在常数λ及非零向量x，使Ax=λx则λ为A的一个特征值，x为与λ对应的矩阵A的特征向量。n介方阵有n对特征值和特征向量10/6/202311Dept.ofEpidemio&Biostat,SPH正交向量（阵）、单位向量正交向量：a=(a1,…,ap)’,b=(b1,…,bp)’

如果a’b=a1b1+…+apbp=0,则称a、b正交单位向量：向量a=(a1,…,ap)’，如果

则称a为单位向量正交阵：n阶方阵A，如果AA’=A’A=I，则称A为n阶正交阵，其中A的列向量（或行向量）为正交向量，A’=A-110/6/202312Dept.ofEpidemio&Biostat,SPH10/6/202313Dept.ofEpidemio&Biostat,SPH10/6/202314Dept.ofEpidemio&Biostat,SPH10/6/202315Dept.ofEpidemio&Biostat,SPH10/6/202316Dept.ofEpidemio&Biostat,SPH10/6/202317Dept.ofEpidemio&Biostat,SPH主成分的概念1设x1,x2,…xp为p维随机变量X1,X2,…,Xp的标准化变换如果其线性组合满足则称C1为第一主成分。10/6/202318Dept.ofEpidemio&Biostat,SPH主成分的概念2若满足则称C2为第二主成分。类似地，共可得到至多p个主成分。10/6/202319Dept.ofEpidemio&Biostat,SPH主成分的性质主成分C1，C2，…，Cp具有以下性质：(1)主成分间互不相关Corr(Ci，Cj)=0i

j

(2)组合系数(ai1，ai2，…，aip)构成的向量为单位向量(3)各主成分的方差是依次递减的，

即Var(C1)≥Var(C2)≥…≥Var(Cp)(4)总方差不增不减，即Var(C1)+Var(C2)+…+Var(Cp)=Var(x1)+Var(x2)+…+Var(xp)=p

10/6/202320Dept.ofEpidemio&Biostat,SPH主成分的计算1设R为X1,X2,…,Xp的相关矩阵，则存在

1≥

2≥…≥

p≥0，和正交矩阵A，使其中

i为相关矩阵R的第i个特征值(eigenvalue)(ai1ai2…aip)’则是相关矩阵R的第i个特征值对应的特征向量。

i是第i个主成分的方差10/6/202321Dept.ofEpidemio&Biostat,SPH主成分的计算2记主成分C=(C1C2…Cp)’，则C=A’x即10/6/202322Dept.ofEpidemio&Biostat,SPH主成分的计算3因子模型（全分量模型）表达形式x=AC即矩阵A称载荷矩阵，反映各主成分对原始变量x各分量的贡献大小。10/6/202323Dept.ofEpidemio&Biostat,SPH主成分的计算4因子模型（全分量模型）表达--主成分标准化变换10/6/202324Dept.ofEpidemio&Biostat,SPHx=Lclij是xj和ci的相关系数SPSS输出的系数矩阵是L矩阵10/6/202325Dept.ofEpidemio&Biostat,SPH实例

城市男生形态资料

数据来自方积乾《医学统计学与电脑试验》第2版

10/6/202326Dept.ofEpidemio&Biostat,SPH实例主成分分析结果—

特征值（方差）及其比例10/6/202327Dept.ofEpidemio&Biostat,SPH主成分分析结果—L矩阵注意L矩阵的下标，是列在前，行在后10/6/202328Dept.ofEpidemio&Biostat,SPH主成分分析结果—L矩阵注意L矩阵的下标，是列在前，行在后10/6/202329Dept.ofEpidemio&Biostat,SPH主成分和原变量的关系观察L矩阵，由相关系数做出解释主成分未必一定有明确的解释选取有明确解释的主成分做综合指标，主成分得分就是“综合指数”。10/6/202330Dept.ofEpidemio&Biostat,SPH实例的标准化第一主成分得分10/6/202331Dept.ofEpidemio&Biostat,SPH实例的标准化第一、二主成分得分10/6/202332Dept.ofEpidemio&