数据采集与处理-教案设计-第7章-数据清洗与预处理

NUMPAGES3.数据清洗与预处理一、数据清洗与预处理日期:2024-05-09学生数量:34主题:数据预处理与Python方法备注说明教学目标：使学生了解数据预处理阶段所面临的问题、方法和技术，如数据清洗、集成、转换、加载、归约等，并能使用Pandas、sklearn等相关模块进行相关操作，为数据分析提供符合要求的规范数据。强调数据预处理在数据科学中的重要性：工作量占比较大使用材料：中文课件PPT和基于JupyterNotebook的示例代码，录制课程视频授课形式：线上资源设置学习任务，线上或线下授课，随堂练习，随堂提问，上机作业线上资源作为学习任务，不占用上课时间授课学生假设：已掌握Python基本语法、基本数据类型、Numpy和Pandas的基本使用二、阶段计划：1、数据预处理-Week1：2课时阶段目标老师程序学生程序时间(分钟)间隔(分钟)备注说明了解数据预处理概念和方法，掌握Python数据清洗方法介绍数据预处理基本概念和常见方法，理解数据清洗问题如异常数据、重复数据、缺失值等的处理方法演示Python的数据清洗方法示例、Pandas相关方法等观察老师的操作和效果根据提供的JupyterNotebook示例代码，尝试使用Pandas进行多种数据清洗操作练习查看结果并比较不同方法3510线上或线下课堂形式，学生自带笔记本。老师先讲解和演示，之后指导学生完成示例代码操作了解数据集成问题，掌握集成技术、分组统计与Python方法介绍数据集成面临问题和处理方法，关联Numpy数组和Pandas的DataFrame之间的连接、合并、分组聚合方法演示基于Pandas的DataFrame之间的连接、合并、分组聚合方法和示例观察老师的操作和效果根据提供的JupyterNotebook示例代码，同步练习Pandas的DataFrame的连接、合并、分组聚合等操作2510随堂提问打开随机抽奖程序，从学生名单中抽取学生。学生如果回答不完整或有偏差，老师补充或纠偏抽中的学生回答问题，允许随时查阅资料372、数据预处理-Week2：1课时阶段目标老师程序学生程序时间(分钟)间隔(分钟)备注说明了解数据转换常用方法和原理，掌握Pandas、sklearn模块对应数据转换方法介绍数据转换常用方法和原理介绍Pandas、sklearn模块对应数据转换方法，并演示相应示例和代码观察老师的操作和效果根据老师提供的JupyterNotebook示例代码，同步练习Pandas、sklearn模块对应数据转换方法查看结果，比较不同方法差异105线上或线下课堂形式，学生自带笔记本。老师先讲解和演示，之后指导学生完成示例代码操作理解数据归约概念和方法，了解Python相应模块和方法介绍数据归约概念、方法和Python相应模块和方法，如PCA和抽样等方法演示Python对应数据归约示例和代码观察老师的操作和效果根据老师提供的JupyterNotebook示例代码，练习Python对应数据归约示例和代码，加深知识理解1010由于课时关系，该节只要求理解和了解即可随堂提问打开随机抽奖程序，从学生名单中抽取学生。学生如果回答不完整或有偏差，老师补充或纠偏抽中的学生回答问题，允许随时查阅资料55三、随堂提问问题：1）数据预处理常见的方法有哪几类，都有哪些方法？2）查看确定异常值都有哪些方法？异常数据处理都有哪些方法？3）如何查看缺失值？处理缺失值都有哪些方法？4）噪声数据处理方法都有哪些？对应Python方法有哪些？5）对于不同来源的数据进行整合，可能存在哪些问题？6）数据变换都有哪些方法？7）什么是数据归一化？归一化有什么好处？对应Python方法都有哪些？8）连续变量离散化都有哪些方法？9）什么是数据归约？常见方法有哪些？10）Python都有哪些模块和哪些方法，可以进行数据预处理？11）使用DataFrame对象，都有哪些抽样方法？四、互动与反馈：OverallCommentCommentaboutthelessonplanoneortwothingsthatworked随堂问题基本覆盖章节关键知识点oneortwothingsthatdidn’tworksowell没有考虑五一和清明假期影响，课时受到缩减影响数据预处理涉及技术较多，授课课时受限Commentabouttheteachingoneortwothingsthatwentwell相关知识和示例代