《Python大数据分析与挖掘实战》教学大纲 （80课时）

《python大数据分析与挖掘实战》课程教学大纲课程代码：学分：5学时：80（其中：讲课学时：50实践或实验学时：30）先修课程：数学分析、高等代数、概率统计、Python程序设计基础适用专业：信息与计算科学建议教材：黄恒秋主编.Python大数据分析与挖掘实战（微课版）[M].北京：人民邮电出版社.2020.开课系部：数学与计算机科学学院一、课程的性质与任务课程性质：选修（必修）。课程任务：大数据时代，数据成为决策最为重要的参考之一，数据分析行业迈入了一个全新的阶段。通过学习本课程，使得学生能够掌握Python科学计算、数据处理、数据可视化、挖掘建模等基本技能，能够针对基本的数据挖掘问题与样例数据，调用Python中的第三方扩展包Numpy、Pandas、Matplotlib、Scikit-learn及关联规则算法代码，进行处理、计算与分析，初步掌握深度学习框架TensorFlow2.0安装及多层神经网络、卷积神经网络、循环神经网络基本原理及应用举例程序实现，学会基本的行业应用实例。二、课程的基本内容及要求第一章Python基础（复习）1.课程教学内容：（1）Python及其发行版Anaconda的安装与启动、Spyder开发工具的使用和Python新库的安装方法；（2）Python基本语法和数据结构。2.课程的重点、难点：（1）重点：Python基本语法和数据结构的灵活运用；（2）难点：Python数据结构的灵活运用。3.课程教学要求：（1）了解Python的安装及界面基本使用技能；（2）理解Python基本数据结构及方法的使用；

（3）掌握Python基本数据结构的使用技能及循环、条件语句的应用。第二章科学计算包Numpy1.课程教学内容：（1）导入并使用Numpy创建数组；（2）数组的运算、切片、连接及存取、排序与搜索；数组相关属性与方法；2.课程的重点、难点：（1）重点：数组的切片、连接、改变形态。数组的相关方法；（2）难点：数组的切片及改变形态。3.课程教学要求：（1）了解Numpy及导入使用；（2）理解数组的创建、切片、连接、存取、排序及搜索相关技能；

（3）掌握数组灵活切片的方法及数组连接、排序、搜索相关知识。第三章数据处理包Pandas1.课程教学内容：（1）导入并使用Pandas创建数据框和序列；（2）数据框和序列相关属性、方法的介绍及使用；（3）数据框和序列的访问、切片及运算；（4）外部数据文件的读取及滚动计算函数的使用。2.课程的重点、难点：（1）重点：数据框、序列相关属性、方法的应用，数据框和序列数据的访问、切片及相互之间的转换。常用外部数据文件的读取；（2）难点：数据框、序列的访问及切片。数据框、序列、数组、列表相关数据结构之间的相互转换。3.课程教学要求：（1）了解Pandas导入及创建数据框和序列；（2）理解数据框和序列的访问、切片及方法；

（3）掌握数据框和序列相关方法的灵活应用，数据框、序列、数组、列表之间的相关转换及运用。第四章数据可视化包Matplotlib1.课程教学内容：（1）导入并使用Matplotlib中的pyplot模块进行简单绘图；（2）Matplotlib中的pyplot模块绘图基本流程及原理；（3）利用Matplotlib中的yplot模块绘制常见的图形，包括散点图、线性图、柱状图、直方图、饼图、箱线图和子图。2.课程的重点、难点：（1）重点：利用Matplotlib中的pyplot模块进行散点图、线性图、柱状图、直方图、饼图、箱线图和子图的绘制。懂得图形中文字符的显示及横轴字符刻度，子图的布局排列；（2）难点：Matplotlib绘图的基本流程及原理。3.课程教学要求：（1）了解Matplotlib中的pyplot模块导入及简单使用方法；（2）理解利用Matplotlib中的pyplot模块绘图的基本流程及原理；

（3）掌握利用Matplotlib中的pyplot模块绘制散点图、线性图、柱状图、直方图、饼图、箱线图和子图的方法，以及中文字符的显示、横轴字符刻度和子图的布局排列。第五章机器学习与实现1.课程教学内容：（1）导入Scikit-learn包及相关模块；（2）缺失值填充、数据规范化或标准化、主成分分析降维及综合评价、线性回归、逻辑回归、神经网络、K-均值聚类、关联规则相关的模型、算法与原理；（3）利用Scikit-learn包相关模块，完成案例教学，包括均值、中位数、最频繁值的缺失值填充策略，均值-方差、极差数据规范化或标准化，主成分分析降维及综合评价，线性回归、神经网络非线性回归预测，逻辑回归、神经网络，K-mean聚类；（4）布尔数据集的转换、布尔关联规则挖掘原理、一对一关联规则与多对一关联规则基本概念与程序实现。2.课程的重点、难点：（1）重点：均值、中位数、最频繁值的缺失值填充策略，均值-方差、极差数据规范化或标准化，主成分分析降维及综合评价，线性回归、神经网络非线性回归预测，逻辑回归、神经网络，K-mean聚类，布尔数据集转换、一对一和多对一关联规则挖掘相关原理的理解及程序实现；（2）难点：主成分分析降维及综合评价，线性回归、神经网络非线性回归预测，逻辑回归、神经网络，K-mean聚类、布尔数据集转换、关联规则挖掘相关原理的理解。3.课程教学要求：（1）了解Scikit-learn包及相关模块导入及简单使用方法；（2）理解均值、中位数、最频繁值的缺失值填充策略，均值-方差、极差数据规范化或标准化，主成分分析降维及综合评价，线性回归、神经网络非线性回归预测，逻辑回归、神经网络，K-mean聚类相关的基本原理与方法；

（3）掌握均值、中位数、最频繁值的缺失值填充策略，均值-方差、极差数据规范化或标准化，主成分分析降维及综合评价，线性回归、神经网络非线性回归预测，逻辑回归、神经网络，K-mean聚类的程序实现及案例应用。（4）了解关联规则的基本概念；理解布尔数据集转换及布尔关联规则挖掘的基本概念与程序实现方法；掌握一对一、多对一关联规则挖掘的基本原理及程序实现方法，并进行案例应用。第六章深度学习与实现1.课程教学内容：（1）TensorFlow2.0的安装及基本知识；（2）多层神经网络、卷积神经网络、循环神经网络基本原理及程序实现；2.课程的重点、难点：（1）重点：TensorFlow2.0安装及多层神经网络、卷积神经网络、循环神经网络应用举例程序实现；（2）难点：多层神经网络、卷积神经网络、循环神经网络原理；3.课程教学要求：（1）深度学习基本概念；（2）了解多层神经网络、卷积神经网络、循环神经网络基本原理；（3）掌握TensorFlow2.0安装及多层神经网络、卷积神经网络、循环神经网络应用举例程序实现。第7章基于财务与交易数据的量化投资分析1.课程教学内容：（1）上市公司综合评价、优质股票选择、量化投资等基本概念；（2）基于总体规模与效率指标的主成分分析综合评价方法；（3）股票技术指标分析及程序计算（4）数据预处理及训练、测试样本划分、逻辑回归模型应用（5）量化投资策略设计实现及结果分析。2.课程的重点、难点：（1）重点：业务数据理解、指标数据的选择、预处理、程序实现；（2）难点：业务数据理解、模型的理解、场景应用。3.课程教学要求：（1）了解上市公司综合评价的基本概念及模型、股票技术分析指标概念及计算方法；（2）理解业务数据、指标数据选取、预处理、量化投资设计的基本原理、原则及流程；

（3）掌握指标数据选取、预处理、程序实现、量化投资策略设计实现的全部流程。第8章众包任务定价优化方案1.课程教学内容：（1）经纬度坐标数据可视化等基本概念及计算实现方法；（2）指标的设计原理和计算公式；（3）数据获取及指标计算；（4）主成分分析、神经网络、支持向量机模型的具体应用场景及程序实现；（5）方案评价指标设计及实现。2.课程的重点、难点：（1）重点：地理信息数据可视化，指标设计原理、公式和程序实现，主成分分析、神经网络和支持向量机模型的具体应用场景；（2）难点：指标设计原理、公式和程序实现。3.课程教学要求：（1）了解地理信息数据处理的基本概念、方法和可视化；（2）根据具体业务场景，设计指标及程序实现；（3）掌握众包任务定价特征指标的设计、计算、程序实现及模型应用。第9章地铁站点日客流量预测1.课程教学内容：（1）地铁刷卡数据的理解；（2）刷卡数据日期排序及二分法数据处理思想；（3）基于二分法思想快速查找出每日的刷卡数据，并汇总统计进站和出站客流。（4）设计影响地铁客流量的天气、星期、节假日等因素指标，并进行计算及特征分析；（5）构建基于神经网络的地铁日客流量预测模型。2.课程的重点、难点：（1）重点：二分法思想及数据快速查找，日进站和出站客流统计，天气、星期、节假日影响因素指标设计和计算，神经网络预测模型构建及程序实现。（2）难点：二分法思想及数据快速查找程序代码，日进、出站客流计算。3.课程教学要求：（1）了解地铁刷卡数据及数据处理、二分法快速查找数据的方法；（2）理解二分法快速查找数据并进行数据处理的程序实现思路；

（3）掌握基于二分法思想的数据处理方法、程序实现及汇总统计进站和出站客流，天气、星期、节假日影响因素指标设计和程序计算方法，神经网络预测模型构建及程序实现。第10章微博文本情感分析1.课程教学内容：（1）文本数据的预处理，包括分词、去掉停用词、特征词向量化、训练和测试集划分；（2）支持向量机分类模型及实现；（3）LSTM深度学习模型及实现；2.课程的重点、难点：（1）重点：数据预处理、LSTM深度实习模型及程序实现；（2）难点：LSTM深度学习模型原理及程序实现。3.课程教学要求：（1）了解文本数据预处理的基本技能，包括分词、去停用词、特征词向量化；（2）理解文本数据预处理的程序实现思路和训练、测试集划分；

（3）掌握文本数据预处理基本技能及支持向量机、LSTM深度学习模型程序实现。第11章基于水色图像的水质评价1.课程教学内容：（1）图像的读取、图像数据处理，图像颜色特征提取与计算方法；（2）基于支持向量机的图像识别方法及程序实现；（3）基于卷积神经网络的图像识别方法和程序实现；2.课程的重点、难点：（1）重点：图像数据处理和颜色特征提取、计算和程序实现，针对灰图和彩图的卷积神经网络图像识别模型与程序实现；（2）难点：卷积神经网络模型原理及程序实现。3.课程教学要求：（1）了解图像读取、数据处理、颜色特征提取与计算的基本方法；（2）理解利用支持向量机模型与卷积神经网络模型进行图像识别的基本思路、流程和方法；

（3）掌握图像读取、数据处理和颜色特征提取、支持向量机模型和卷积神经网络模型的程序实现方法。第12章GUI可视化应用开发1.课程教学内容：（1）pycharm安装及在pycharm中部署anaconda下的界面设计师（Designer）工具；（2）PyQt5基本使用方法及UI界面和PyQt5程序的转换；（3）掌握界面设计师（Designer）工具的基本使用方法（4）水色图像水质评价系统的设计及程序实现（5）上市公司综合评价系统的设计及程序实现2.课程的重点、难点：（1）重点：GUI开发环境部署、系统设计与程序交互的思想、界面设计及程序开发；（2）难点：系统设计与程序交互思想的理解、界面设计及程序开发具体实现。3.课程教学要求：（1）了解界面设计师工具的基本使用方法；（2）理解系统设计与程序交互实现思想，界面设计与程序开发的基本流程和方法。（3）掌握GUI开发环境部署，界面设计及程序开发具体实现方法，水色图像水质评价系统和上市公司综合评价系统的设计与实现方法。三、实践教学要求Python大数据分析与挖掘基础是一门应用性极强的课程，涉及数据处理、数据分析与探索、数据挖掘模型与算法、Python编程技能等。本课程要求学生会利用Python第三方扩展包，进行外部数据读取、数据处理、探索与分析、数据挖掘模型与算法应用等，并初步掌握深度学习框架及主要模型应用举例程序实现，同时拓展应用到主流行业领域中。本课程建议使用Python的集成开发平台进行程序编写及教学，比如Anaconda、pycharm等。四、课程学时分配序号教学内容理论教学学时实验学时实验（实践）内容课外实验1第1章Python基础10头歌平台配套实验2第2章科学计算包Numpy30头歌平台配套实验3第3章数据处理包Pandas53数据框切片、转换、运算及连接头歌平台配套实验4第4章数据可视化包Matplotlib33子图绘制及排列头歌平台配套实验5第5章机器学习与实现83分类、聚类应用头歌平台配套实验6第6章深度学习与实现63本章练习头歌平台配套实验7第7章基于财务与交易数据的量化投资分析43上市公司综合评价头歌平台配套实验8第8章众包任务定价优化方案43本章练习头歌平台配套实验9第9章地铁站点日客流量预测43本章练习头歌平台配套实验10第10章微博文本情感分析43本章练习头歌平台配套实验11第11章基于水色图像的水质评价43本章练习头歌平台配套实验12第12章GUI可视化应用开发43本章练习合计5030五、大纲说明1.教学手段：（1）理论与