《Python大数据分析与挖掘实战》教学大纲 （48课时）

《python大数据分析与挖掘实战》课程教学大纲课程代码：学分：3学时：48（其中：讲课学时：36实践或实验学时：12）先修课程：数学分析、高等代数、概率统计、Python程序设计基础适用专业：信息与计算科学建议教材：黄恒秋主编.Python大数据分析与挖掘实战（微课版）[M].北京：人民邮电出版社.2020.开课系部：数学与计算机科学学院一、课程的性质与任务课程性质：选修（必修）。课程任务：大数据时代，数据成为决策最为重要的参考之一，数据分析行业迈入了一个全新的阶段。通过学习本课程，使得学生能够掌握Python科学计算、数据处理、数据可视化、挖掘建模等基本技能，能够针对基本的数据挖掘问题与样例数据，调用Python中的第三方扩展包Numpy、Pandas、Matplotlib、Scikit-learn及关联规则算法代码，进行处理、计算与分析，初步掌握深度学习框架TensorFlow2.0安装及多层神经网络、卷积神经网络基本原理及应用举例程序实现，学会基本的行业应用实例。二、课程的基本内容及要求第一章Python基础（复习）1.课程教学内容：（1）Python及其发行版Anaconda的安装与启动、Spyder开发工具的使用和Python新库的安装方法；（2）Python基本语法和数据结构。2.课程的重点、难点：（1）重点：Python基本语法和数据结构的灵活运用；（2）难点：Python数据结构的灵活运用。3.课程教学要求：（1）了解Python的安装及界面基本使用技能；（2）理解Python基本数据结构及方法的使用；

（3）掌握Python基本数据结构的使用技能及循环、条件语句的应用。第二章科学计算包Numpy1.课程教学内容：（1）导入并使用Numpy创建数组；（2）数组的运算、切片、连接及存取、排序与搜索；数组相关属性与方法；2.课程的重点、难点：（1）重点：数组的切片、连接、改变形态。数组的相关方法；（2）难点：数组的切片及改变形态。3.课程教学要求：（1）了解Numpy及导入使用；（2）理解数组的创建、切片、连接、存取、排序及搜索相关技能；

（3）掌握数组灵活切片的方法及数组连接、排序、搜索相关知识。第三章数据处理包Pandas1.课程教学内容：（1）导入并使用Pandas创建数据框和序列；（2）数据框和序列相关属性、方法的介绍及使用；（3）数据框和序列的访问、切片及运算；（4）外部数据文件的读取及滚动计算函数的使用。2.课程的重点、难点：（1）重点：数据框、序列相关属性、方法的应用，数据框和序列数据的访问、切片及相互之间的转换。常用外部数据文件的读取；（2）难点：数据框、序列的访问及切片。数据框、序列、数组、列表相关数据结构之间的相互转换。3.课程教学要求：（1）了解Pandas导入及创建数据框和序列；（2）理解数据框和序列的访问、切片及方法；

（3）掌握数据框和序列相关方法的灵活应用，数据框、序列、数组、列表之间的相关转换及运用。第四章数据可视化包Matplotlib1.课程教学内容：（1）导入并使用Matplotlib中的pyplot模块进行简单绘图；（2）Matplotlib中的pyplot模块绘图基本流程及原理；（3）利用Matplotlib中的yplot模块绘制常见的图形，包括散点图、线性图、柱状图、直方图、饼图、箱线图和子图。2.课程的重点、难点：（1）重点：利用Matplotlib中的pyplot模块进行散点图、线性图、柱状图、直方图、饼图、箱线图和子图的绘制。懂得图形中文字符的显示及横轴字符刻度，子图的布局排列；（2）难点：Matplotlib绘图的基本流程及原理。3.课程教学要求：（1）了解Matplotlib中的pyplot模块导入及简单使用方法；（2）理解利用Matplotlib中的pyplot模块绘图的基本流程及原理；

（3）掌握利用Matplotlib中的pyplot模块绘制散点图、线性图、柱状图、直方图、饼图、箱线图和子图的方法，以及中文字符的显示、横轴字符刻度和子图的布局排列。第五章机器学习与实现1.课程教学内容：（1）导入Scikit-learn包及相关模块；（2）缺失值填充、数据规范化或标准化、主成分分析降维及综合评价、线性回归、逻辑回归、神经网络、K-均值聚类、关联规则相关的模型、算法与原理；（3）利用Scikit-learn包相关模块，完成案例教学，包括均值、中位数、最频繁值的缺失值填充策略，均值-方差、极差数据规范化或标准化，主成分分析降维及综合评价，线性回归、神经网络非线性回归预测，逻辑回归、神经网络，K-mean聚类；（4）布尔数据集的转换、布尔关联规则挖掘原理、一对一关联规则与多对一关联规则基本概念与程序实现。2.课程的重点、难点：（1）重点：均值、中位数、最频繁值的缺失值填充策略，均值-方差、极差数据规范化或标准化，主成分分析降维及综合评价，线性回归、神经网络非线性回归预测，逻辑回归、神经网络，K-mean聚类，布尔数据集转换、一对一和多对一关联规则挖掘相关原理的理解及程序实现；（2）难点：主成分分析降维及综合评价，线性回归、神经网络非线性回归预测，逻辑回归、神经网络，K-mean聚类、布尔数据集转换、关联规则挖掘相关原理的理解。3.课程教学要求：（1）了解Scikit-learn包及相关模块导入及简单使用方法；（2）理解均值、中位数、最频繁值的缺失值填充策略，均值-方差、极差数据规范化或标准化，主成分分析降维及综合评价，线性回归、神经网络非线性回归预测，逻辑回归、神经网络，K-mean聚类相关的基本原理与方法；

（3）掌握均值、中位数、最频繁值的缺失值填充策略，均值-方差、极差数据规范化或标准化，主成分分析降维及综合评价，线性回归、神经网络非线性回归预测，逻辑回归、神经网络，K-mean聚类的程序实现及案例应用。（4）了解关联规则的基本概念；理解布尔数据集转换及布尔关联规则挖掘的基本概念与程序实现方法；掌握一对一、多对一关联规则挖掘的基本原理及程序实现方法，并进行案例应用。第六章深度学习与实现1.课程教学内容：（1）TensorFlow2.0的安装及基本知识；（2）多层神经网络、卷积神经网络基本原理及程序实现；2.课程的重点、难点：（1）重点：TensorFlow2.0安装及多层神经网络、卷积神经网络应用举例程序实现；（2）难点：多层神经网络、卷积神经网络原理；3.课程教学要求：（1）深度学习基本概念；（2）了解多层神经网络、卷积神经网络基本原理；（3）掌握TensorFlow2.0安装及多层神经网络、卷积神经网络应用举例程序实现。第7章基于财务与交易数据的量化投资分析1.课程教学内容：（1）上市公司综合评价、优质股票选择、量化投资等基本概念；（2）基于总体规模与效率指标的主成分分析综合评价方法；（3）股票技术指标分析及程序计算（4）数据预处理及训练、测试样本划分、逻辑回归模型应用（5）量化投资策略设计实现及结果分析。2.课程的重点、难点：（1）重点：业务数据理解、指标数据的选择、预处理、程序实现；（2）难点：业务数据理解、模型的理解、场景应用。3.课程教学要求：（1）了解上市公司综合评价的基本概念及模型、股票技术分析指标概念及计算方法；（2）理解业务数据、指标数据选取、预处理、量化投资设计的基本原理、原则及流程；

（3）掌握指标数据选取、预处理、程序实现、量化投资策略设计实现的全部流程。第8章众包任务定价优化方案1.课程教学内容：（1）经纬度坐标数据可视化等基本概念及计算实现方法；（2）指标的设计原理和计算公式；（3）数据获取及指标计算；（4）主成分分析、神经网络、支持向量机模型的具体应用场景及程序实现；（5）方案评价指标设计及实现。2.课程的重点、难点：（1）重点：地理信息数据可视化，指标设计原理、公式和程序实现，主成分分析、神经网络和支持向量机模型的具体应用场景；（2）难点：指标设计原理、公式和程序实现。3.课程教学要求：（1）了解地理信息数据处理的基本概念、方法和可视化；（2）根据具体业务场景，设计指标及程序实现；（3）掌握众包任务定价特征指标的设计、计算、程序实现及模型应用。第11章基于水色图像的水质评价1.课程教学内容：（1）图像的读取、图像数据处理，图像颜色特征提取与计算方法；（2）基于支持向量机的图像识别方法及程序实现；（3）基于卷积神经网络的图像识别方法和程序实现；2.课程的重点、难点：（1）重点：图像数据处理和颜色特征提取、计算和程序实现，针对灰图和彩图的卷积神经网络图像识别模型与程序实现；（2）难点：卷积神经网络模型原理及程序实现。3.课程教学要求：（1）了解图像读取、数据处理、颜色特征提取与计算的基本方法；（2）理解利用支持向量机模型与卷积神经网络模型进行图像识别的基本思路、流程和方法；

（3）掌握图像读取、数据处理和颜色特征提取、支持向量机模型和卷积神经网络模型的程序实现方法。三、实践教学要求Python大数据分析与挖掘基础是一门应用性极强的课程，涉及数据处理、数据分析与探索、数据挖掘模型与算法、Python编程技能等。本课程要求学生会利用Python第三方扩展包，进行外部数据读取、数据处理、探索与分析、数据挖掘模型与算法应用等，并初步掌握深度学习框架及主要模型应用举例程序实现，同时拓展到一些主流行业应用中。本课程建议使用Python的集成开发平台进行程序编写及教学，比如Anaconda、pycharm等。四、课程学时分配序号教学内容理论教学学时实验学时实验（实践）内容课外实验1第1章Python基础102第2章科学计算包Numpy30数组切片、运算、存取及连接头歌平台配套实验3第3章数据处理包Pandas52数据框切片、转换、运算及连接头歌平台配套实验4第4章数据可视化包Matplotlib32子图绘制及排列头歌平台配套实验5第5章机器学习与实现83分类、聚类应用头歌平台配套实验6第6章深度学习与实现40头歌平台配套实验7第7章基于财务与交易数据的量化投资分析40头歌平台配套实验8第8章众包任务定价优化方案42本章练习头歌平台配套实验9第11章基于水色图像的水质评价43本章练习头歌平台配套实验合计3612五、大纲说明1.教学手段：（1）理论与实践相结合，多媒体机房上课，带黑板（方便板书及推导）；（2）讲授课程结束后即开展实验，在机房进行。2.考核方式建议：（1