如何选择数据分析方法幻灯片

如何选择数据分析方法 吴喜之 1 2 2 数据和目的相结合的出发点 1 相关分析及回归类模型 相关 简单的回归 Logistic回归 对数线性模型 方差分析和一般线性模型 2 经典多元分析内容 主成分分析 因子分析 聚类分析 判别分析 对应分析 02 41 24 3 主要涉及的相关问题 什么是相关 列联表中定性变量的相关 Fisher c2检验 定量变量的相关 Pearson相关系数 r Kendall st Spearman r 02 41 24 基本统计书中的估计和假设检验所涉及的仅仅是对一些互相没有关系的变量的描述 但是现实世界的问题都是相互联系的 不讨论变量之间的关系 就无从谈起任何有深度的应用 而没有应用 前面讲过的那些基本概念就仅仅是摆设而已 4 2 5 变量间的关系 人们每时每刻都在关心事物之间的关系 比如 职业种类和收入之间的关系 政府投入和经济增长之间的关系 广告投入和经济效益之间的关系 治疗手段和治愈率之间的关系等等 这些都是二元的关系 还有更复杂的诸多变量之间的相互关系 比如企业的固定资产 流动资产 预算分配 管理模式 生产率 债务和利润等诸因素的关系是不能用简单的一些二元关系所描述的 02 41 24 6 例1广告投入和销售之间的关系 数据ads sav 02 41 24 7 这是什么关系 这两个变量是否有关系 显然 它们有关系 这从散点图就很容易看出 基本上销售额是随着广告投入的递增而递增 如果有关系 它们的关系是否显著 这也可以从散点图得到 当广告投入在6万元以下 销售额增长很快 但大于这个投入时 销售额增长就不明显了 因此 这两个变量的关系是由强变弱 这些关系是什么关系 是否可以用数学模型来描述 本例看上去是可以拟合一个回归模型 后面会介绍 但绝不是线性的 用一条直线可以描述的 具体细节需要进一步的分析 02 41 24 8 这是什么关系 这个关系是否带有普遍性 也就是说 仅仅这一个样本有这样的关系 还是对于其他企业也有类似的规律 这里的数据还不足以回答这个问题 可能需要考虑更多的变量和收集更多的数据 一般来说 人们希望能够从一些特殊的样本 得到普遍的结论 以利于预测 这个关系是不是因果关系 在本问题中 看来似乎有因果关系 这类似于一种试验 而试验时是容易找到因果关系的 但是 一般来说 变量之间有关系但绝不意味着存在因果关系 这里充满了危险和未知 02 41 24 9 定性变量间的关系 关于某项政策调查所得结果 table7 sav 大致可以看出女性赞成的多 低收入赞成的多 还有吗 02 41 24 10 02 41 24 11 列联表 contingencytable 前面就是一个所谓的三维列联表这些变量中每个都有两个或更多的可能取值 这些取值也称为水平 比如收入有三个水平 观点有两个水平 性别有两个水平等 该表为3 2 2列联表在SPSS数据中 表就不和课本印的一样 收入的 低 中 高 用代码1 2 3代表 性别的 女 男 用代码0 1代表 观点 赞成 和 不赞成 用1 0代表 有些计算机数据对于这些代码的形式不限 可以是数字 也可以是字符串 02 41 24 12 Table7 sav数据 02 41 24 13 列联表 列联表的中间各个变量不同水平的交汇处 就是这种水平组合出现的频数或计数 count 列联表可以有很多维 维数多的叫做高维列联表 注意前面这个列联表的变量都是定性变量 但列联表也会带有定量变量作为协变量 02 41 24 14 二维列联表的检验 研究列联表的一个主要目的是看这些变量是否相关 比如前面例子中的收入和观点是否相关 这需要形式上的检验 02 41 24 15 二维列联表的检验 对于上面那样的二维表 我们检验的零假设和备选假设为H0 观点和收入这两个变量不相关 H1 这两个变量相关 这里的检验统计量在零假设下有 大样本时 近似的c2分布 当该统计量很大时或p 值很小时 就可以拒绝零假设 认为两个变量相关 实际上有不止一个c2检验统计量 包括Pearsonc2统计量和似然比 likelihoodratio c2统计量 它们都有渐近的c2分布 根据计算可以得到 对于这两个统计量均有 p 值小于0 001 因此可以说 收入高低的确影响观点 02 41 24 16 Pearsonc2统计量 似然比c2统计量 Oi代表第i个格子的计数 Ei代表按照零假设 行列无关 对第i格子的计数的期望值 02 41 24 17 二维列联表的检验 刚才说 这些c2统计量是近似的 那么有没有精确的统计量呢 当然有 这个检验称为Fisher精确检验 它不是c2分布 而是超几何分布 对本问题 计算Fisher统计量得到的p 值也小于0 001 既然有精确检验为什么还用近似的c2检验 这是因为当数目很大时 超几何分布计算相当缓慢 比近似计算会差很多倍的时间 而且在计算机速度不快时 根本无法计算 因此人们多用大样本近似的c2统计量 而列联表的有关检验也和c2检验联系起来了 02 41 24 18 Fisher精确检验 02 41 24 19 SPSS Weight Describ crosstab exact 02 41 24 20 下面为SPSS对于table7 savs数据产生的下面二维列联表相关分析的输出 02 41 24 21 两个定量变量的相关 如果两个定量变量没有关系 就谈不上建立模型或进行回归 但怎样才能确定两个变量有没有关系呢 最简单的办法就是画出它们的散点图 02 41 24 22 例1有50个从初中升到高中的学生 为了比较初三的成绩是否和高中的成绩相关 得到了他们在初三和高一的各科平均成绩 数据 highschool sav 从这张图可以看出什么呢 02 41 24 23 问题是 怎么判断这两个变量是否相关 如何相关 相关的度量是什么 进一步的问题是能否以初三成绩为自变量 高一成绩为因变量来建立一个回归模型以描述这样的关系 或用于预测 02 41 24 四组数据 每个有两个变量的样本 的散点图 24 2 25 几种相关的度量 Pearson相关系数 又叫相关系数或线性相关系数 它一般用字母r表示 Kendallt相关系数 Kendall st 这里的度量原理是把所有的样本点配对 看每一对中的x和y是否都增加来判断总体模式 Spearman秩相关系数 它和Pearson相关系数定义有些类似 只不过在定义中把点的坐标换成各自样本的秩 它们各自都有以不相关为零假设的检验 即p 值小则相关 但各自的相关含义不尽相同 现在再来看例1的数据 highschool sav 关于初三和高一成绩的相关系数的结果是Pearson相关系数 Kendallt和Spearman秩相关系数分别为0 795 0 595和0 758 02 41 24 26 SPSS的相关分析 相关分析 hischool sav 利用SPSS选项 Analize Correlate Bivariate再把两个有关的变量 这里为j3和s1 选入 选择Pearson Spearman和Kendall就可以得出这三个相关系数和有关的检验结果了 零假设均为不相关 02 41 24 27 例子 x 20 20y x 2 02 41 24 28 例子 x 20 20y x 2 02 41 24 29 例子 x 1 41y x 5 02 41 24 30 例子 x 1 41y x 5 02 41 24 31 多个 定性或定量 变量间的关系 比如关于高等学校的数据的一些指标包括 定量变量 在校生人数 研究生比例 教师人数 教师占雇员的比例 教师学生比例 SCI和SSCI文章数目和引用数目 科研项目数和科研总经费 和定性变量 所属于分类 所在地区分类 等 02 41 24 32 在许多变量之中 比如 可得任何一个变量和其余变量 无论定量还是定性 之间的定量关系 回归或线性模型