《大数据技术应用基础》课件 项目五模块三 业务数据分析

项目五数据分析《大数据技术应用基础》模块三

业务数据分析核心目标职业能力1.熟悉常用的数据描述性分析方法，理解数据特征、统计参数、统计量与统计分布之间的关系；2.具备使用数据描述性分析的能力，能够对预处理后的数据找到合适的分析方法；3.具备在不同的业务场景能够找到合适模型进行分析的能力；4.具备撰写完整数据分析报告的能力；5.具备使用Python进行数据建模的能力。职业素养1.培养描述性分析习惯，对处理完后的数据进行初步分析；2.养成专业业务素养，根据专业业务选定数据分析方法；3.培养数据建模思维；4.培养全局思维、合作思维。知识图谱项目背景学习完数据预处理之后，小张开始对他爬取得到的进行了几种数据预处理操作，将最开始混乱的数据表格转化为清晰整洁的数据表格。现在，小张可以开始学习正式的数据分析相关的知识了，小张即将迈出走向数据分析师最关键的一步。在本项目中，小张需要学习数据的特征描述，以及如何与实际的业务场景相结合，然后进一步学习相关的统计量以及统计分布最后尝试自己进行统计建模。除此之外，小张还需要与实际业务结合，了解业务场景和经营目标间的分析方法以及数据分析报告的撰写方法。0102业务场景和经营目标间的分析方法数据分析报告的撰写方法问题引入学习了数据的描述性统计分析，小张已经可以初步完成一个较为完整的数据分析任务了。数据分析的方法很多，但是光学会数据分析的各种方法与流程是远远不够的，更重要的是学会在不同的业务场景下选择不同的经营目标，并且还需要可以写出能够让业务人员或决策人员清楚明了的数据分析报告，以辅助业务决策的正确制定与高效实施。接下来小张将学习如何根据不同的业务场景和经营目标选择不同的数据分析方法，并在完成数据分析之后如何编写令人满意的数据分析报告书。业务场景和经营目标间的分析方法01一、业务场景和经营目标间的分析方法小明在本科学习了许多数据分析的方法，在大四的时候小明进入一家公司进行毕业实习，在一次任务中，小明打算使用深度学习算法训练一个完美的模型，但是却发现可以使用的数据只有星星点点，使用了其他模型得出的结论给了上级之后，上级却说实现的几率不大，即使实现了投入产出比也不大。由此看出在进行数据分析之时了解业务场景与经营目标是非常重要的。一、业务场景和经营目标间的分析方法（一）业务场景指企业和商家需要在用户某个特定的环节中，适时提供给消费者可能需要的以及关联的产品或服务。业务场景连接器商家和消费者平台商和供应商企业和客户一、业务场景和经营目标间的分析方法（一）业务场景一个业务场景总是可以通过“谁”，“在什么环境下”，“干什么或遇到什么问题”，“如何互动”，“有何价值”这五个要素综合进行表述。1.“谁”：业务场景中的主体，是业务的参与者，常用人或者系统来描述。2.“在什么环境下”：业务发生的时间、空间或者状态等。3.“干什么或遇到什么问题”：主要事件，主体完成的事情，可以用任务序列来描述。4.“如何互动”：人与业务的连接方式，它们的中介是什么，用产品的介质或服务形态进行描述。5.“有何价值”：业务完成的目标，回答了这一业务场景的价值是什么。一、业务场景和经营目标间的分析方法（一）业务场景一个复杂的业务场景可以被结构成几个独立的元素。百度引擎搜索问题场景业务主体：用户环境：互联网上或浏览器中事件：搜索互动：搜索框进行互动价值：用户得到想查找的问题答案一、业务场景和经营目标间的分析方法（二）经营目标经营目标是企业愿景的具体化体现，是企业在一定时期内对生产经营活动的具体的预期。经营目标(包括不限于)01培养忠诚的客户05员工的能力不断地增长03在行业内具有领导地位02获得合理的利润04企业产值或企业规模持续地增长提高团队领导力和承担好相应的社会责任06不同经营目标反映企业对未来的不同预期一、业务场景和经营目标间的分析方法（三）合适的数据分析方法预测模型分类模型聚类模型

监督模型与非监督模型

参数模型与非参数模型

生成模型与判别模型数据分析模型一、业务场景和经营目标间的分析方法（三）合适的数据分析方法监督模型与非监督模型01按照数据集中是否存在因变量的数据划分中间类别即半监督模型例如：一位茶叶经销商想通过往年的茶叶产量数据来预测今年的茶叶产量。往年茶叶产量都已知，则可以选择使用监督模型进行分析；不知往年产量，只有一些土壤、季节和施肥之类的信息，则需要使用无监督模型进行分析；过去一些年份的产量数据已知，但近些年的产量数据未知，则可以使用半监督模型进行分析。无监督学习的模型训练相对困难，半监督模型比无监督模型更常用。一、业务场景和经营目标间的分析方法（三）合适的数据分析方法生成模型与判别模型02判别模型生成模型监督模型相同：数据集中都包含因变量的数据不同：判别模型只关心新的样本数据所对应的因变量的值，而生产模型还关心因变量的完整统计分布。一、业务场景和经营目标间的分析方法（三）合适的数据分析方法生成模型与判别模型02例如：需要一个模型来辨认红茶和绿茶。会从已有的数据中学习，然后提取新茶叶的特征来预测出是红茶的概率和是绿茶的概率分别是多少。会从已有的数据中分别学习一个绿茶模型和一个红茶模型，然后将新茶叶的特征分别放入两个模型中得到概率，哪个概率大新的茶叶就属于哪种类别。判别模型生成模型一、业务场景和经营目标间的分析方法（三）合适的数据分析方法生成模型与判别模型02关注的是数据的完整分布，学习到的数据信息更多，而不只是一个预测的数值，故生成模型训练所需要的成本较高，且需要的数据量更大。只关注数据之间的差异信息，并不关注数据的分布，故需要的训练成本较低，即使没有大的数据量也可以训练的较好。生成模型判别模型一、业务场景和经营目标间的分析方法（三）合适的数据分析方法生成模型与判别模型02数据量较大且具备一定的时间以及硬件条件时数据量较小或时间以及硬件条件较差时在一定的条件下生成模型可以转化为判别模型，但判别模型是无法转化为生成模型的。生成模型判别模型一、业务场景和经营目标间的分析方法（三）合适的数据分析方法参数模型与非参数模型03通常假设数据服从某种分布，这个分布可以由某一些参数组成。对分布的假设不加限制，故对分布的参数也没有限制。参数模型非参数模型一、业务场景和经营目标间的分析方法（三）合适的数据分析方法参数模型与非参数模型03通常给定模型目标函数的类型。例如：一元回归分析的目标函数为Y=aX+ba和b为预先设定的参数，训练模型实质上就是确定a和b的值。参数模型间接移动，由于目标函数类型的确定也具备可解释性以及可理解性。且由于参数数量有限，训练速度很快并且不需要大量的数据。参数模型一、业务场景和经营目标间的分析方法（三）合适的数据分析方法参数模型与非参数模型03通常不对模型的目标函数形式做假定，通过对大量的数据进行训练，拟合出某种形式的目标函数。例如：神经网络中参数量很多，通过对数据的拟合可以确定哪些参数是需要的，为什么样的值，哪些参数是可以放弃的，以此来得到一个最优的模型。非参数模型可以对数据拟合的能力比参数模型更强，但由于参数量众多，通常不能弄清楚每一个参数的含义，且训练速度比参数模型慢得多，也需要大量的数据做支撑。非参数模型一、业务场景和经营目标间的分析方法（三）合适的数据分析方法预测模型、分类模型和聚类模型04例如：茶叶经销商想了解下一个季度茶叶的产量大概会是多少，他可以训练一个预测模型，输入以往季度的产量等数据，就可以预测出下一个季度可能的产量，以此做参考，决定他的供销策略。按照模型的目的不同，可以分为预测模型、分类模型与聚类模型。预测模型

指对未来数据的预测。一、业务场景和经营目标间的分析方法（三）合适的数据分析方法预测模型、分类模型和聚类模型04例如：茶叶行业对茶叶商品分了等级，通过对茶叶的各种属性进行评判，已确定该茶叶属于哪一个等级。这其中每一个等级就是一个类别，茶叶的属性为新的输出数据，茶叶的评判标准就相当于已经训练好的分类模型。分类模型

将不同的数据归到某一个类别中。一、业务场景和经营目标间的分析方法（三）合适的数据分析方法预测模型、分类模型和聚类模型04例如：茶叶经销商分析一批茶叶商品，并不知道这些商品有什么不同，他可以尝试建立一个聚类模型，将这批茶叶商品分成几个类别，再对同一个类别里的商品观察相同点提取共同特征，对不同类别的商品观察不同点寻找差异，以此了解这批茶叶商品的分布情况。聚类模型与分类模型类似，但没有事先确定的类别。数据分析报告的撰写方法02二、数据分析报告的撰写方法

数据分析报告本质上是一种沟通与交流的形式。主要目的：将分析结果、可行性建议以及其他价值的信息传递给管理人员。它需要对数据进行适当的包装，让阅读者能对结果做出正确的理解与判断，并可以根据其做出有针对性、操作性、战略性的决策。二、数据分析报告的撰写方法数据分析报告撰写0104050302主题封面正文背景与目的结论与建议研究方法二、数据分析报告的撰写方法直接了当，开门见山的表达出报告的基本观点，让读者一看就能明白数据分析报告的基本思想，易于对报告内容的理解。（一）主题封面主题是对整篇数据分析报告的概括性描述，一个好的主题应该做到直接、确切以及简洁。文题切合，长度适宜，将报告的内容及特点很好的表现出来。应该有高度的概括性，用较少的文字集中、准确、简洁的进行表述。直接确切简洁二、数据分析报告的撰写方法（一）主题封面一般的写作方法有：如《中国茶叶市场规模持续增长》。反映核心内容，对报告最核心的数据以及相关内容进行描述。如《桑叶茶为什么能成为茶客新宠？》。反映核心问题，以提问的方式吸引读者的注意与思考。如《2023年中国茶叶市场研究》。反映分析主题，加入分析的对象、时间、内容和范围等元素。如《中国茶叶市场正走向繁荣期》。反映核心观点，点明报告的基本观点。二、数据分析报告的撰写方法为了让报告阅读者对整个分析研究的背景有所了解，主要阐述此项分析的主要原因、分析的意义、以及其他相关信息。如：行业发展现状等内容。（二）背景与目的为了让阅读者了解开展此次分析能带来何种效果，可以解决什么问题。有时将研究背景和目的意义合二为一。对外的行业报告，可不加目的。如：某份关于茶叶市场的报告可以写因为某桑叶茶公司最近上司，股价很高，为了探究桑叶茶在中国茶叶市场中的发展情况，以开展此次调查等等。报告的目的对数据分析背景进行说明二、数据分析报告的撰写方法主要的研究对象是什么数据的来源数据是如何采集的报告所分析的内容有怎样的假设前提结论在什么范围内使用使用了什么分析方法和报告的分析流程、思维逻辑等（三）研究方法研究方法中可以写明的内容二、数据分析报告的撰写方法例如：要研究茶叶商品的销量与该商品的其他属性之间的关系，研究对象即为某平台的茶叶商品，数据来源于某个平台，是利用Python网络爬虫技术进行爬取得到的，假设茶叶商品的销量与商品的其他属性之间存在线性关系，分析流程为采集数据、数据预处理、描述性统计分析、建立线性回归模型、得出结论、给出结果等。（三）研究方法二、数据分析报告的撰写方法（四）正文正文数据分析报告的核心部分，它将系统全面地表述数据分析的过程与结果。撰写正文报告时，根据之前分析思路中确定的每项分析内容，利用各种数据分析方法，一步步地展开分析，通过图表及文字相结合的方式，形成报告正文，方便阅读者理解。二、数据分析报告的撰写方法（四）正文例如：小张的茶叶品类调查数据分析报告就需要将分析的过程详细的展开描写，特别是描述性统计分析与如何确定分析模型，对模型结果如何解释，根据模型结果怎样与业务场景与营业目标相结合起来等分析