第3章 获取、验证和加工数据

第3章获取、验证和加工数据教学目标了解数据获取、验证和加工的重要意义；熟悉通过Excel读入CSV等常见格式数据的方法；熟悉数据验证的基本思路，能够通过Excel实施数据验证；掌握通过Excel字符串公式等工具从文本数据中提取信息的方法；掌握通过Excel数据透视表等工具对数据进行分组加工的方法；掌握数据分析报告中数据说明部分的写作方法。教学方式与课时安排课堂讲授：3学时演示汇报：3学时教学重点与难点在实践场景中，获取、验证和加工数据环节一般会在数据分析过程中占据相当大部分的工作量，有时候甚至工作目标本身就是获取、验证和加工数据，建立用户画像的工作就是一项典型的加工数据的工作。但是这部分工作受到具体的数据情况和应用场景的影响特别大，单纯从理论层面很难给出全面又普适的行为指南，在各门专业课中也较少涉及到相关的讲解和练习。为此，在讲解过程中要特别注意引导学生理解“为什么”要做某一项操作，通过对目标的强调来使得学生不但“知其然”还“知其所以然”，避免只聚焦于具体操作。此外，本章案例以企业端实务为背景，对于尚未工作的学生而言，没有相关的生活或工作经验作为切入的依托点，会在理解背景方面遇到一定困难。微课3-1对这部分进行了比较详细的讲解，老师可依托微课进行讲解、组织讨论和问答，帮助学生加深对业务问题的理解；也可利用第2章介绍的设定分析目标的方法，要求学生在精读案例背景介绍后，完成一个明确的分析目标。本章包含大量Excel操作，可以作为预习内容提前要求学生自学，将课堂讲授时间更加集中在对上述两点内容的介绍。这个安排也是对实际工作环境的一种模拟，建立快速寻找答案、解决问题的自学能力。如果学生通过自学掌握相关内容有困难，可从演示汇报环节挪借1学时，不建议压缩对上述1/2两点内容的讲解时间。教学过程课堂讲授：3学时导入(25分钟)：讲解。老师回顾图1.2，讲解获取、验证和加工数据的重要性。讲解。老师介绍案例背景。可借助微课3-1进行翻转课堂。讨论。学生在预习微课3-1和精读案例背景介绍的基础上，使用第2章介绍的相关内容，为案例要解决的问题定义一个明确的分析目标。讨论完成后由部分小组展示汇报讨论结果，老师做总结点评。获取数据(30分钟)讲解。老师介绍各种常见数据源。演示。老师演示3.2.2~3.2.3小节中与获取数据相关的操作。如学生程度较好，可由老师提出要求，学生完成操作。提问。老师针对各个常见数据源要求学生回答，每个数据源可以提供哪些数据，并列举至少一个可以通过这个数据源提供的数据解决的业务问题。比如：可以通过万得等付费终端获取上市公司的财务数据，可以使用这些数据对上市公司的盈利情况和财务健康度做出评估，作为投资的决策依据。验证数据(30分钟)讲解。老师讲解验证数据的基本思路。演示。老师演示3.3.2~3.3.3小节中与验证数据相关的操作，并讲解如何解读箱形图、散点图，如何根据分位数函数提供的结果对分布进行评价。如学生程度较好，可由老师提出要求，学生自行完成操作；或由老师展示成果，由学生直接进行解读，老师对回答做出评价。提问。老师简单总结讲解的各种数据验证项目。可以提出一种数据验证项目，要求学生解释为什么要进行这一类验证；举出某一个验证示例，要求学生回答它是从哪个角度对数据进行验证。老师可展示章案例数据，逐个变量要求学生回答如应如何对该变量进行验证。加工数据(35分钟)讲解。老师讲解加工数据的常用方法。演示。老师演示3.4.2~3.4.3小节中与加工数据相关的操作。讲解重点可放在VLOOKUP函数和函数嵌套：前者是Excel最常用的公式之一，准确理解各参数意义一般即可全面掌握；后者相对灵活，老师可在教材提供的几个例子基础上，再设计更多需要综合利用多个函数的场景，从思路上给学生更多启发。如学生程度较好，可由老师提出要求，学生自行完成操作；或由老师展示成果，由学生直接进行解读，老师对回答做出评价。提问。老师简单总结加工数据的常用方法，然后从思路和实践两个方向提问要求学生回答。例如：如果某电商企业要建立用户画像，需要获取哪些数据，如何将不同来源和粒度的数据合并为用户画像？想知道章案例数据中有多少条广告是用户在搜索51job相关搜索词时出现的，应该如何操作(对“搜索词”一列筛选包含“51job”或“前程无忧”的行，对一个变量的多个筛选条件取并集)？在上述记录中，由51job自己投放的广告有多少条，由其竞争对手投放的有多少条，要如何操作(可复习数据透视表的使用)？数据分析报告写作(15分钟)讲解。老师讲解数据分析报告中数据说明部分的重要性和写作方法。可以借助微课3-2进行翻转课堂。讨论。老师可以将数据说明与数据获取/验证/加工结合在一起进行提问。例如，在基于用户画像数据对用户行为进行分析后，需要写作一篇数据分析报告介绍用户的属性和行为进行介绍，这篇报告的数据说明表应当包含哪些行？可选择部分小组进行展示。在这个讨论中，学生容易混淆原始数据(如销售系统中的订单明细)和用于分析的数据(即基于原始数据加工生成的用户画像)；老师要基于学生的展示成果引导他们加深对两者区别的理解。演示汇报：3学时学生分组汇报，老师点评。点评中请注意几类学生在初学时经常遇到的问题并进行矫正：1、（5）、b款中提到的混淆原始数据和分