大数据分析方法课件

1、大数据分析方法交流关于分析思想、流程与工具的探讨主要内容引言数据分析的工作框架数据分析的实施流程总结引言引言言数据必称“大” 的时代交通大数据、旅游大数据、网购大数据2011年开始的各种各样的“V”：Volume、Variety、Velocity（Value、Veracity-真实性）各种全新的配套手段：存储（云）；处理（并行）；保护（安全性）；分析（数据挖掘、机器学习）潜力无限 vs 言过其实？创新为主 vs 传承为主？引言思考1：“大”数据，到底应该多大？量级不严格、范围不严格思考2：新方法，到底有多新？大多数传承传统方式新方法解决面窄思考3：新结论，到底多有价值？陈述事实多，推理结论少展

2、示效果好，实践应用差总结：大数据更多是一种新的数据观充分认识数据的价值（潜力与局限）正确选择分析的方法引言零售数据分析：我们的优势1、拥有最精华的数据，产出结论有说服力（大而全不一定是长处：收集成本高、筛选困难）2、时间长涵盖面广，便于比较分析我们需要仔细分析的是：想做什么能做什么怎样做数据分析的工作框架工作框架需要的结论：既想要也想得到的数据资源和分析方法大量扩充 右半边扩张分析对象理解和问题思考有所不足 左半边停滞最重要的还是商业思维需要得到的结论数据分析可以解决的内容大数据商业思维数据资源理解 Deep Understanding分析方法洞察 Insight前瞻 Prospect工作框架

3、充分扩展两个部分，首先代表：理解宏观问题给出系统假设将假设化简至可被数据分析其次，两项工作无法忽视：充分研究了解对象 我们想要知道什么（发现问题）判断我们想要研究的问题是否有意义（减少人力损耗）工作框架数据分析的六个阶段1、对研究对象主观的和客观的、整体的和局部的认识2、提出希望探索的宏观的问题（自由的或是有明确的）3、探讨分析这些问题并产生结论的价值4、为选出的研究问题提出充分的假设。5、将研究假设进行拆解、划分成为可定量分析的单元。6、结合数据资源和数据分析方法产生结论，验证假设及理论的扩展性。工作框架两个重要问题产生的结论要有理论解释反面例子：消费额和停车场大小正相关（相关性需要结合背景

4、）机器学习方法解释性差、往往模型拟合数据，由于现实世界太复杂，参数太多，因此使用效果并不好认真思考提出问题的操作性反面例子：不同客户的消费偏好分析、竞争力比较我们将结合六个步骤，分别讨论完成它们的方法和一些重点问题数据分析的具体流程步骤1：建立对对象的整体认知内容：对对象建立主观印象意义：产生新问题；产生对问题的合理假设着手点：观察现状；例子：购物中心的消费习惯转变观察数据；例子：消费数据分析暗示的消费群体变化此外，闻者有心：例子：外卖数据暗示房价步骤2：提出希望探索的宏观问题内容：提出大目标形式：“A对B的影响”、“A未来一年的销售额”等易于描述的、可变因子不超过一个的问题。反面例子：不同业

5、态对不同年龄段顾客的影响1、业态和年龄段范围太广2、“影响”未指明具体内容导致此调查耗费资源、失去重点可改成：餐饮区域面积占比对顾客到店数目的影响（划定业态、指明影响内容、排除掉年龄因素）步骤3：探讨阐述结论的价值相同的结论对不同的对象价值不同例：火车票订票信息：增开列车？疏导客流？市政服务？思考分析结果对各种对象的可能价值正面例子：男女性消费者对购物中心环境设计的不同偏好反面例子：为不同地域的客户设计不同会员礼品 - 成本反面例子：周边办公楼客流对销售影响 - 无法采取措施步骤4：对宏观问题提出充分假设内容：将大问题提出各种各样的小问题例子：顾客对购物中心服务的满意度的影响因素假设1：服务人

6、员对待客户的态度假设2：购物中心提供的额外服务的种类假设3：购物中心的环境验证假设来分析真实的影响因素及其影响程度步骤5：将对象分解为可测量数据内容：将各项假设提到的元素定量化以假设1：服务人员对待客户的态度为例：数据库中数据：出勤记录、日常考核记录、投诉记录问卷调查数据：服务效率、服务意识、用词方式、普通话标准、表现情感等相似的定量评分注：部分研究问题已经明显定量化，部分则需要人工确定量化标准步骤6：运用数据分析方法产生结论内容：套用各种数据方法产出结论形式：数值、概率值、图表分析软件和语言SPSS、SAS、Matlab、smartPLSPython、R等等分析方法：常规统计方法：T检验、方差分析、相关分析、回归分析、因子分析、时间序列分析、结构方程模型等，参考任意一本统计学教材。机器学习方法：聚类、分类、神经网络、决策树等等，参考机器学习导论。补充需要认真防范的致命错误：1、与环境（背景）的结合例：突发事件的影响2、认真思考逻辑关联例：历年节日的“同比”3、“见所未见”例：飞回的战斗机往往机舱损坏严重专门提出：“相关”的欺骗性“万物皆相关”数据相关 逻辑相关总结总结大数据和新方法只是新的资源和工