数据分析入门以及方法论ppt课件.ppt

数据分析方法论 什么是数据分析方法论 数据分析方法论主要指一次完整的分析的主导思想 包括从哪些方面开展分析 各方面分析的内容和指标 从鸿观上来说 分析方法论是数据分析的规划 指导后期分析工作的开展 方法论主要方法包括 对比分析交叉分析相关分析回归分析聚类分析等 为什么要引入方法论来进行数据分析 很多人在做数据分析的时候 经常发现这样几个问题1 不知道从哪里入手开展分析2 分析的内容和指标常常被质疑是否合理 完整 自己也说不出所以然来 而数据分析方法论的主要作用就在于 1 理顺分析思路 确保分析结构的体系化和系统化2 把问题分解成关联的部分 并解析他们的关系3 为后续的分析开展指导方向4 确保分析结果的有效性和正确性 常用的分析方法论 1 PEST分析法PEST为一种企业所处宏观环境分析模型 所谓PEST即Political 政治 Economic 经济 Social 社会 andTechnological 科技 这些是企业的外部环境 一般不受企业掌握 这些因素也被戏称为 pest 有害物 在引入PEST分析法时 一般会先进行归因分析 将企业内外的一些信息进行归类 然后组合 5W2H分析法 5W2H分析法又叫七何分析法 是二战中美国陆军兵器修理部首创 发明者用五个以W开头的英语单词和两个以H开头的英语单词进行设问 发现解决问题的线索 寻找发明思路 进行设计构思 从而搞出新的发明项目 这就叫做5W2H法 1 WHAT 是什么 目的是什么 做什么工作 2 HOW 怎么做 如何提高效率 如何实施 方法怎样 3 WHY 为什么 为什么要这么做 理由何在 原因是什么 造成这样的结果为什么 4 WHEN 何时 什么时间完成 什么时机最适宜 5 WHERE 何处 在哪里做 从哪里入手 6 WHO 谁 由谁来承担 谁来完成 谁负责 7 HOWMUCH 多少 做到什么程度 数量如何 质量水平如何 费用产出如何 5W2H应用领域 由于此方法简单直观有效 我们很多时候 用这种分析方法来分析用户行为 逻辑树分析法 1 逻辑树又称问题树 演绎树或分解树等 逻辑树是将问题的所有子问题分层罗列 从最高层开始 并逐步向下扩展 把一个已知问题当成树干 然后开始考虑这个问题和哪些相关问题或者子任务有关 每想到一点 就给这个问题 也就是树干 加一个 树枝 并标明这个 树枝 代表什么问题 一个大的 树枝 上还可以有小的 树枝 如此类推 找出问题的所有相关联项目 逻辑树主要是帮助你理清自己的思路 不进行重复和无关的思考 2 逻辑树能保证解决问题的过程的完整性 它能将工作细分为一些利于操作的部分 确定各部分的优先顺序 明确地把责任落实到个人 3 逻辑树是所界定的问题与议题之间的纽带 它能在解决问题的小组内建立一种共识 拆解方法 逻辑树分析法需要注意以下三个原则 1 要素归纳要完整2 框架设计要合理 做到不漏不重3 框架内的要素要保持必要的相互关系 不过逻辑树分析也有其局限性 就是涉及到问题可能会有遗漏 虽然可以通过罗列的方式展示 但是难免会有考虑不周的情况 这个时候就必须要引入头脑风暴 案例 逻辑树分析法分析利润增长放缓 利润的降低可以采用多种维度的分析 其中最常见的就是将利润划分为 收入 成本还有其他 一般而言 利润下降是多种因素共同作用的结果 但是往往是收入起主导作用 在分析时也是重点关注对象 4p分析法 20世纪60年代由杰罗姆 麦克锡提出的一个关于市场营销学的概念 4P解释为 1 产品 product 指企业提供其目标市场的货物或劳务 其中包括产品质量 样式 规格 包装 服务等 2 价格 price 指顾客购买产品时的价格 包括折扣 支付期限等 3 地点 place 指产品进入市场或达到目标市场的种种活动 包括渠道 区域 场所 运输等 4 促销 promotion 指企业宣传介绍其产品和说服顾客购买其产品所进行的种种活动 其中包括广告 宣传公关 人员推销 推销活动等 应用领域 4p法主要的应用领域在公司的整体运营上 这种方法再结合逻辑树分析法就可以得到一个非常完整的公司整体运营状况的分析结果 漏斗转化模型 漏斗模型一般适用于业务流程比较规范 周期较长 而各个环节涉及到复杂业务较多的管理工具 漏斗的优点是直观 直接 明显 能够快速看到问题所在 例如之前我提到过的关于关键路径转化率的漏斗分析模型 不仅能现实用户从进入网站到实现购买的最终转化率 同时能够精确的将指责细分到每个产品经理 矩阵关联分析 矩阵分析法是根据事物的两个重要指标进行分析挖掘的工具 以属性A为横轴 属性B为纵轴 组成一个坐标系 然后在两个坐标系中按照某一个指标进行刻度划分 平均值 经验值 行业水品等 构成四个象限 然后将需要分析的事物投射到这四个象限内 进行交叉分析 就可以直观显示事物之间的属性关系了 例如关于客户满意度的属性分析 矩阵分析案例 客户满意度分析 作图的步骤 1 利用满意度和重要性划分坐标轴2 设置刻度 将坐标轴划分为四个象限3 分别取调研值 并进行权重分析 然后每个每个用户确定一个X值 一个y值 4 绘制分析矩阵 发展矩阵跟踪 有时候要长期研究用户的满意度变化情况 这个时候就需要将一定周期内的变化情况绘制成发展矩阵 通过发展矩阵能够了解用户满意度变化情况 如图 实线标识从09年到10年满意度变化情况 虚线标识从10年到11年变化趋势 举一反三 矩阵法还可以做哪些衍生 例如 改进难易程度例如 利润占比 多维度结合法 以上的方法往往不是独立使用的 在做一个分析的报告的时候会用到多种分析方法组合的模式 例如 在上周的培训中已经说过了 关于用户行为数据有着很多指标 这么多的指标不可能通过只通过一种方法就将所有的分析维度进行关联更多的时候我们会组合使用 案例 用户行为轨迹描述 用户的在电商网站上的基本认知轨迹是 认知 熟悉试用 使用 忠诚 最后的忠诚是最终目的 在这个过程中用户的动作会有大量的冗余操作 这些数据就构成了一个用户行为的网 在做分析的时候需要将这个网进行拆分 用到5w2h方法 用到逻辑树法 而一个用户网购行为受经济影响巨大 所以也必然会引用到PEST归类 诸多方法的组合 才构成了最后的用户最终购买 算法介绍 1 加权算法再分析中 常常会运用到加权算法 目前的加权算法比较多 有专家访谈法 德尔菲法 层次分析法 主成分分析法 因子分析法 回归分析法 但是这些方法都较为复杂 操作起来相当困难 都需要数学基础 这里介绍一种相对简单的权重确认法 我们称之为目标优化矩阵 2 目标优化矩阵介绍目标优化矩阵的原理是将人脑的模糊思维 简化为计算机的1 0式逻辑思维 最后得到量化的结果 这种方法简单 方便快捷 而且用途广泛 它不但可以用来做目标的优化 而且可以项目的排序 重要性排序3 对于权重数值 对于权重数值的确认 一般需要有经验的专业人士 通过投票来确定重要性 从而获得权重数值 案例 目标优化矩阵在实践中的应用 Hr评判权重 在人才评价体中 有四个指标 分别是人品 动手能力 创新意识 教育背景 公司的hr需要对每个应试者进行打分 并计算综合得分 现在要确定权重 我们的计算方法如下 分别在横轴和纵轴都列出人品 动手能力 创新意识 教育背景 然后两两比较 如果超过重要就填入1 如果不如重要就填入0 例如 使用时的注意事项 1 在最终的计算结果中发现 如果发现有项目是0分 就可以在全体增加一份的方式进行等比放大 2 公式 权重 某指标的综合性计分 所有指标的综合性计分 例如 人品调整后分数为3分 调整后总分为10分 则人品的权重为3 10 0 33 将此权重进行等比分析即可 图表的使用 目前常见的图表包括 表格 饼图 条形图 柱形图 折线图 散点图 有些报表是可以通用的 但是对一些特定的报表必须要采用一些特别的表现方式 下面我就一一讲解 了解数据关系 想要搞清楚报表在什么场景下使用 第一需要知道的数据之间的关系 这些关系包括以下六种 成分 排序 时间顺序 频率分布 相关性 多重数据比较 首先说成分 成分又叫做构成 是只整体的一部分 一般来说是将整体进行切分的结果 最常见例子的就是披萨 如果一个披萨女孩子吃了四分之一 我们就认为女生吃了 而成分最长用的标新图表就是饼图 但是实际上还有柱状图和折线图也可以表现 例如 关于性别的比例 排序和时间顺序 排序 顾名思义就是根据需要比较项目之间的数值大小进行的排列序号 从大到小 或者从小到大 常用来分析线性的数据 最常用的是柱状图和折线图 时间顺序 表示的而是某一个具体事务在具体时间内的变化 这个时候千万注意不能按照大小来排序 而应该根据时间不可随意调整和修正 频率分布 频率分布和排序类似 表现的是各个相聚 类别之间的比较 只是频率分布是以区间的形式展现 是一种特别的排序累图表 注意 频率分布只能按照横轴的数据来描述 而不能根据纵轴大小来排序 例如 下图中问题 商品价格区间报告 只能按早商品价格区间排序 而不能按照销售来排序 否则就会显得很乱 相关性 相关性 是用来衡量两个类目之间的关系 用来观察一个类目数据的变化引发的另外一个类目的变化 例如价格和销售额 一般使用散点图来查看 例如 散点图注意点 1 散点图是用以做定性分析 如果想要分析更加精细的维度 必须做定量分析2 坐标轴可以进一步划分 现实公司 雷达图 当决策项目过多 无法看出趋势的时候 非常直观的方式就是采用雷达图来查看 例如下图 ABC三款电脑 当以柱状图呈现的时候 是看不出什么区别的 但是 如果我们转化一下 雷达图注意事项 1 如果要雷达图看起来优美 所有的数据必须换算成统一的格式 例如百分比 或者数值性质 2 横轴纵轴可以进行切换 也就是雷达图可以反映一个事物的多个维度 也可以反映多个事物描述的痛一个维度 3 雷达图使用过程中尽量不要和其他图混合使用 第二课时 关于本章课程 上周讲的课程相对较浅 很多分析方法要结合实践分析才能达到最终效果 本章将重点阐述一些实践性课程 上周涉及较多的是定性思维分析方法 而本周将针对上周所阐述的方法进行定量方法拆解 31 PEST推论应用 因子分解法 因子分析是什么 因子分析是将多个实测变量转换为少数几个不相关的综合指标 因子 的多元统计方法 因子分析能做什么 浓缩和提炼数据 以较少的几个因子反映原资料的大部分信息 寻求数据的基本结构 从原始数据中提取的几个因子分别从不同侧面反映某个事物 32 因子分析的关键点 因子分析在市场研究领域应用的意义 在市场研究中往往会选择多个变量来描述某个事物 如果直接对观测变量进行分析就会增加问题分析的复杂性 而且分析结果的经济意义往往也难以解释 利用因子分析方法从若干观测变量中提取几个因子 再对提取的因子做进一步的分析可以使结果更加清晰 也更易于解释 33 应用领域和解决的典型问题 因子分析在市场研究领域应用的越来越广泛 作为一种比较高级的统计分析技术 因子分析的结果不但可以直接揭示某些隐含的信息 还可以为其他很多分析提供支持 因子分析 聚类分析市场细分通过对提取的因子做聚类分析将受访者分成不同的人群考察不同人群在人口 社会 经济学等方面的特征 为客户提供细分市场潜在用户的全方位信息 为客户在目标市场大展鸿图指明方向市场细分能够帮助客户寻找并描述自己的目标市场 由于目标市场与普通市场相比有更多的收益潜力 因此市场细分的研究意义重大 34 应用领域和解决的典型问题 因子分析 回归分析满意度研究满意度研究需要设计变量数目众多 层次分明的满意度指标体系 为了使满意度研究问卷设计的合理 更科学 必须在满意度研究的预调查阶段对指标设置的合理性进行检验进行因子分析可以发现哪些指标是可以从指标体系中剔除的 也可以考察指标的设置是否满足了设计初衷 即指标的分类是否合理 根据因子分析的结果可以提取一些关键的指标进行竞争对手之间的比较 做到有的放矢通过对提取的因子进行多元回归分析能够在调查之初发现满意度研究的哪个环节是需要关注的重点 35 应用领域和解决的典型问题 因子分析品牌研究因子分析可以从研究品牌形象的诸多软性和硬性的特性中浓缩和提炼的出少数几个综合因素 使得品牌形象更加鲜明 独树一帜因子分析的结果可以用定位图的方式呈现在品牌形象研究方面 定性研究的方法应用的比较早也相对成熟 但是随着统计学的发展同时也为了适应市场研究领域不断提出的更新要求 定量研究的方法越来越多的应用在了品牌研究方面 36 应用领域和解决的典型问题 因子分析 相关性忠诚度研究因子分析可以从满意度研究的诸多因素中浓缩和提炼出几个互不相关的综合指标 它们反映了满意度研究不同侧面的内容 同时也涵盖了原有指标的大部分信息把提取的因子和忠诚度的有关指标进行相关性的研究 我们可以发现那些有助于提高用户忠诚度的关键所在 从而使客户的工作更具有目标性 继续使用 增加使用 推荐使用 是体现用户忠诚度的三个由低到高的层次 不同层次的忠诚表现会给企业增加不同程度的收益 因此忠诚度研究日益成为客户关注的问题之一 从而发现究竟是哪些因素影响了用户对某种产品或服务的忠诚度 成了市场研究领域的又一个目标 37 问卷设计形式 因子分析要求变量为等距变量 影响购买某种药品的因素 38 案例演示 阅读提示 所演示的案例以上页的问题为基础 通过因子分析可以把原始变量浓缩为5个因子 因子1 广告和促销的影响因子2 周围人和朋友的影响因子3 疾病自身因子4 医生的影响因子5 报销手段的影响 39 案例演示 通过因子分析还可以进行地区间的比较 如左图从图中可以看出 广告和促销 医生及报销手段对上海人的影响明显高于对北京人的影响相应的 周围人和朋友及疾病自身的情况对北京人的影响又明显高于对上海人的影响 因子1 广告和促销的影响因子2 周围人和朋友的影响因子3 疾病自身因子4 医生的影响因子5 报销手段的影响 40 逻辑树分析法的反用 聚类分析介绍 无论是在自然科学领域还是市场研究领域 聚类分析的关键点通俗的讲就是 物以类聚 相似相融 聚类分析能够把性质相似的属性或事物凝聚在一起 而与性质差异较大的属性或事物 保持距离 物以类聚 相似相融 41 名词解释 聚类分析是根据事物彼此不同的属性进行辨认 将具有相似性的事物聚为一类 使得同一类的事物具有高度的相似性 不同类的事物之间具有很大的差异性聚类分析根据分类对象的不同分为 样本聚类和变量聚类样本聚类 对Case进行聚类变量聚类 对Variable进行聚类 样本聚类 变量聚类 42 样本聚类的应用领域 样本聚类 市场细分 在市场研究领域 样本聚类分析主要应用的方面是帮助我们寻找目标消费群体 划分出产品的细分市场通过样本聚类可以描述出各细分市场的人群特征 有针对性的对细分市场的购买者行为进行研究 以便于客户有针对性的对目标消费群体施加影响 合理地开展工作可以帮助客户刻画市场空白点和机会点 从而选择产品试销市场 制定竞争策略 43 样本聚类的应用领域 根据不同需要划分同类产品 案例 将威士忌酒进行分类的一种比较传统的方式是按照威士忌酒的产地划分 但是知道了酒的产地却并不能知道她的味道 同一产地的酒往往有不同的味道聚类分析解决了这个问题 它将不同产地的威士忌酒按照不同的品味进行了分类 如果你是个品酒的新手 聚类分析的结果可以告诉你哪些酒的味道是相似的 如果你是威士忌酒的收藏者 聚类分析的结果可以帮助你扩大收集相同或不同味道的酒 44 变量聚类 Q14 Q17 Q16 Q18 IIQ19 Q20 IIQ15 IQ27 Q28 IQ26 IQ24 IIQ25 Q29 IQ30 Q22 IQ23 Q21 变量聚类树形图 变量聚类与因子分析的不同之处在于 变量聚类中可以很清楚的看出某个变量与其他哪些变量的相似性比较大 与哪些变量凝聚成了一类 45 变量聚类的应用领域 变量聚类 满意度研究 在满意度研究中 变量聚类可以帮助研究员划分基础指标的类别 明确每一个被考察的商业流程是由哪些基础指标组成的通过变量聚类也可以在满意度研究的预调查阶段检验基础指标的设置是否合理 从而保障满意度研究整体的有效性和准确性 变量聚类的应用领域 变量聚类 竞争对手研究 运用聚类分析对市场进行细分 可以了解各品牌在不同细分市场彼此之间的关系 如右图 10个品牌按照一定的原则被分组 从分组的情况中我们可以发现品牌之间关系的远近 它在一定程度上代表了品牌之间的竞争关系 47 问卷设计形式 参与聚类分析的变量必须是数值型变量 而且至少有一个北京申办2008年奥运会民意测验 48 案例演示 阅读提示 所演示的案例以上页的问题为基础 首选应用因子分析从12个测试点中提取了几个因子 如经济意识 民族意识等我们利用提取出的因子将市民用聚类分析的方法分离出两类人群 并进一步分别研究这两类人对申奥的态度 两类人的特点 绝对支持者 男性比较多平时非常关心体育新闻经常参加体育活动非常喜欢看奥运会比赛 相对顾虑者 女性比较多平时不太关心体育新闻不参加体育活动者较多比较喜欢看奥运会比赛 聚类分析方法的难点 聚类分析法最难点在于准确提炼出聚类的因子 这需要分析者除对相关业务知识了解之外 还必须要对分析的目的有明确认知 同时有多维度拆解能力 以目的作为驱动 将需要分析的关键点进行结构化拆解 做到目的服务性聚类 是需要不断积累的工作 这里有几个经验可以介绍给大家 1 聚类分析的时候一定要明确目标 到底是满意度调查 市场细分分析还是其他 2 拆解的时候一定要秉持先大后小 先宏观再微观的原则 逐步进行拆解 3 拆解后要检查是否有遗漏和不覆盖的情况 如果有 说明拆解的方式不对 需要调整方向 聚类分析和因子分析的区别 1 因子分析是寻找潜在的起支配作用的因子模型的方法 因子分析是根据相关性大小把变量分组 使得同组内的变量之间相关性较高 但不同的组的变量相关性较低 每组变量代表一个基本结构 这个基本结构称为公共因子 对于所研究的问题就可试图用最少个数的不可测的所谓公共因子的线性函数与特殊因子之和来描述原来观测的每一分量 通过因子分析得来的新变量是对每个原始变量进行内部剖析 因子分析不是对原始变量的重新组合 而是对原始变量进行分解 分解为公共因子和特殊因子两部分 具体地说 就是要找出某个问题中可直接测量的具有一定相关性的诸指标 如何受少数几个在专业中有意义 又不可直接测量到 且相对独立的因子支配的规律 从而可用各指标的测定来间接确定各因子的状态 因子分析只能解释部分变异 主成分分析能解释所有变异 2 聚类分析算法是给定m维空间R中的n个向量 把每个向量归属到k个聚类中的某一个 使得每一个向量与其聚类中心的距离最小 聚类可以理解为 类内的相关性尽量大 类间相关性尽量小 聚类问题作为一种无指导的学习问题 目的在于通过把原来的对象集合分成相似的组或簇 来获得某种内在的数据规律 过于晕了吧 我浓缩一下 1 因子分析由取舍 聚类分析是全量2 因子分析需要假设 聚类分析是基于客观事实3 因子趋向于微观总结 聚类趋向于鸿观 一般两者会结合使用 51 散点图的应用 对应分析 对应点 相当 符合 一致 对应分析 CorrespondenceAnalysis 是一种用来研究变量与变量之间联系紧密程度的研究技术对应分析的结果通常以知觉图 Mapping图 的方式展示 生动而清晰 52 应用领域和解决的典型问题 品牌研究是对应分析应用的最为广泛的一个市场研究领域对应分析将品牌和与品牌相关的若干属性和特征同时考察并在一张知觉图中同时体现 不但可以发现品牌之间在不同属性方面的差异 也可以明确竞争品牌的优劣势可以帮助客户及时调整营销策略 从而使产品品牌在消费者中树立起正确的形象 品牌研究 53 应用领域和解决的典型问题 对应分析能够帮助客户了解消费者对于其产品及同类产品在消费者心目中是如何定位的 产品定位包括产品形象 功能 特点等 对应分析还可以帮助客户了解消费者对其产品的定位与预期定位是否有差距 有多大的差距 市场细分与定位研究 54 应用领域和解决的典型问题 对应分析可以为客户提供不同细分市场的产品促销方式 帮助客户发现在细分市场最行之有效的产品推广方案对应分析还可以进行跟踪研究 检验广告或市场推广活动的效果 通过对比广告或市场推广活动前后消费者对产品的不同认知图 帮助客户了解广告或市场推广活动是否成功的向消费者传达了需要传达的信息 产品促销与跟踪研究 55 对应分析优势和不足 优势 对应分析技术用图形化的方式表现出不同产品与各种特点或功能之间的关系通过产品与特点或功能之间距离的远近来衡量消费者对不同产品的定位 传统测试方法通过交叉表简单的描述各种产品在一种特点或功能上的差异 却不能形象化地综合考察各种产品在不同特点或功能上的差异 VS 不足 对应分析只能通过分析知觉图上两点之间位置的远近来判断品牌 产品及属性之间的差异 这样的测试结果无法进行统计学的检验 也就是说知觉图上两点之间位置的 远离 或 靠近 只能是相对的判断 而不能从统计学的角度进行远近的绝对判断 56 问卷设计形式 对应分析对问题的题目设计要求比较宽松 任何两个能够采用频次进行交叉分析的变量都可以使用对应分析的方法 57 案例演示 阅读提示 所演示的案例以上页的问题为基础 品牌 功能位图 58 分析的聚合 联合分析 产品具有哪些特性最能赢得消费者的满意 要解决这类问题 传统的市场研究方法往往只能作定性研究 而难以作出定量的回答 联合分析 conjointanalysis 就是针对这些需要而产生的一种定量的市场分析方法 联合分析是根据产品具有的某些特征 对现实产品进行模拟 让消费者根据自己的喜好对这些虚拟产品进行评价 从而可以了解消费者对产品各特征的重视程度 并利用这些信息开发出具有竞争力的产品 59 应用领域和解决的典型问题 这些虚拟产品并不是真正要投入生产的产品 联合分析可以再从这些虚拟产品中剥离出每个属性 通过对每个属性的不同水平的分析帮助客户发现最受消费者欢迎的新产品组合通过联合分析还可以检验产品改进的效果 改进后的产品是否真的比改进前的好 顾客能否区分改进后的产品与改进前的产品之间的区别 新产品的开发 联合分析可以根据产品需要考察的不同属性和属性的水平正交设计出一些虚拟产品 从而得到消费者端对于这些虚拟产品的喜好程度 60 应用领域和解决的典型问题 发现现有产品的缺点评价其他产品配方发现产品对各个细分市场的吸引力评价商业前景获得营销计划其他元素的创意 产品测试和竞争分析 产品测试的目的 联合分析的效果 如何使产品的属性特征最优化从而更吸引顾客如何识别竞争产品的优势和弱势 来确定产品在目标市场中的位置与竞争对手相比 产品在哪些特性上更加吸引顾客目前就产品属性