数据分析与处理ppt课件

1、从外部文本文件导入数据到MatLab的任务区; 1) File/Import data 2) 利用内置函数高级IO函数低级IO函数loadfopenImportdatafclosedlmreadfgetstextreadfgetlstrreadtextscanMatLab程序区数据外部数据文本外部Excel文件数据交换表示图2. 将MatLab的任务区数据写出到外部磁盘文件; 1) save (e.g. save 123.txt test -ascii save 123 test -123.mat) use load to retrieve 2) dlmwrite ref pdf help f

2、ile 3) fprintf ref out_data.m3. 从Excel文件导入数据到MatLab任务区 1) import data, 任务区变量 data, textdata 2) 用xlsread调入数据4. 从MatLab写出数据到Excel文件 xlswrite函数 e.g. s,t=xlswrite(filename,var)从MatLab操作Excel文件 Excel = actxserver(Excel.Application); Excel.Visible = 1; 将Excel作为ACtiveX效力器翻开,与MatLab交互, ref VBA e.g. test_Exc

3、el.m1. 数据的平滑处置 smooth函数的运用 smooth_1.m ref: smooth.pdf 对于多元数据,当各变量的量纲和数量级不一致时,往往需求对数据进展预处置,以消除量纲和数量级的限制,便于分析.2. 数据的规范化变换 3. 数据的极差归一化变换 数据的规范化变换极差归一化变换p)(n)(ijxXp)(n)(RijRxXkjnkkjnkkjnkijRijxxxxx111minmaxmin经过极差变换,每个元素位于0,1,列的最大最小元分别变换为1与0数据拟合0. 察看数据的散点图,辅助判别数据拟合应采用的模型 plot_1.m 数据文件:cliamate_data.xls

4、plot_2.m 数据文件:data2021.xls一元线性回归分析函数regress regress函数可用于多重线性或广义线性回归分析,特别地也适宜作一元线性回归分析Ref: edit regress.mp-重广义线性回归模型npnppnnppppnxfxfxfxfxfxfxfxfxfyyy212122112222211112211121)()()()()()()()()(Y的n次独立察看数据模型设计矩阵X需求拟合估计的系数向量误差向量p-重线性回归模型npnpnnppnxxxxxxxxxyyy212121222211121121nnnkxxxyyy212121111最简单的情形:一元线性

5、多重回归分析序号yx1x2x3x4x5144.64489.56.862178245.34075.1662185354.34485.85.245156459.64268.24.940166549.938895.555178644.84777.5758176745.740767.270176849.14381.26.564162939.44481.47.9631741060.13881.95.2481701150.544736.1451681237.44587.78.4561861344.84566.56.751176假设的关联数据dchg.xls55443322110 xbxbxbxbxbby

6、5124151510iiiiiijjiijiiixbxxbxbby一次项多重回归一次项交叉项二次项多重回归 研讨样本或目的之间存在程度不同的类似性亲疏关系以样本间间隔衡量。根据一批样本的多个观测目的，详细找出一些可以度量样品或目的之间类似程度的统计量，以这些统计量为划分类型的根据。把一些类似程度较大的样本或目的聚合为一类，把另外一些彼此之间类似程度较大的样本或目的又聚合为另一类，直到把一切的样本或目的聚合终了，这就是分类的根本思想。 在聚类分析中，根据分类对象的不同分为Q型聚类分析和R型聚类分析两大类。 常用的样品对间隔qpkqjkikijxxqd/11|)(pkjkikijxxd1|) 1

7、(2/112)()2(pkjkikijxxd|max)(1jkikpkijxxd)cov(, )()()(1XSXXSXXMdjijiijRef: pdist常用聚类方法 最短间隔法(single linkage method) 最长间隔法(complete linkage method) 中间间隔法(median method) 重心法(centroid hierarchical method) 类平均法(average linkage method) 离差平方和法(Ward method) 与系统聚类法相关的MatLab函数包括: pdist; squareform; linkage; d

8、endrogram; cophenet; inconsistent; cluster; clusterdatag1 g2 g3 g4 g5g1 0g2 10g3 540g4 7620g5 10 9530g6g3g4G5G60G340G4620G59530g6g7G5G60G740G5930G6=g1,g2g8g5g80g540G7=g3,g4G8=g5,g7G9=g5,g8聚类分析表示图 主成分分析是一种经过降维技术把多个变量化为少数几个主成分(即综合变量)的多元统计方法,这些主成分可以反映原始变量的大部分信息,通常表现为原始变量的线性组合,为使得主成分所包含的信息互不重叠,要求各主成分之间线

9、性无关.MatLab的主成分分析函数 pcacov; 根据相关系数矩阵进展主成分分析 princomp;根据样本察看值矩阵进展主成分分析 pcares; 根据主成分重建原始数据Ref: zcffx.m.0426. 06288. 04226. 0.3628. 02654. 03548. 032123211xxxyxxxypcares函数重建数据 为了分析丢掉后面的主成分所呵斥的信息损失,设原始样本数据矩阵为 ,由前m个主成分重建的样本数据矩阵为;)(1)(;)(1)(112)(2112)(1nipjijmijijnipjmijijxxxnpmExxnpmERef: pca.mpnijxX)(pnmijmxX)()()(分析主成