《Python大数据分析与挖掘案例实战》教学大纲

《python大数据分析与挖掘案例实战》课程教学大纲课程代码：学分：6学时：96（其中：讲课学时：71实践或实验学时：25）先修课程：数学分析、高等代数、概率统计、金融基础知识、Python程序设计基础、Python大数据分析与挖掘基础适用专业：信息与计算科学建议教材：黄恒秋主编.Python大数据分析与挖掘实战(微课版)[M].北京：人民邮电出版社.2019.开课系部：数学与计算机科学学院一、课程的性质与任务课程性质：专业方向选修课。课程任务：大数据时代，数据成为决策最为重要的参考之一，数据分析行业迈入了一个全新的阶段。通过学习本课程，使得学生在掌握Python科学计算、数据处理、数据可视化、挖掘建模、机器学习与深度学习等基本技能基础上，进一步地扩展应用到金融、地理信息、交通、文本、图像、GUI应用开发等实际问题或具体领域。本课程为Python在大数据常见领域的具体应用，也是Python在职业技能的重要组成部分，从而使得学生具备一定的行业应用背景及就业技能。二、课程的基本内容及要求本课程教学时数为96学时，6学分；实验25学时,1.56学分。第7章基于财务与交易数据的量化投资分析1.课程教学内容：（1）上市公司综合评价、优质股票选择、量化投资等基本概念；（2）基于总体规模与效率指标的主成分分析综合评价方法；（3）股票技术指标分析及程序计算（4）数据预处理及训练、测试样本划分、逻辑回归模型应用（5）量化投资策略设计实现及结果分析。2.课程的重点、难点：（1）重点：业务数据理解、指标数据的选择、预处理、程序实现；（2）难点：业务数据理解、模型的理解、场景应用。3.课程教学要求：（1）了解上市公司综合评价的基本概念及模型、股票技术分析指标概念及计算方法；（2）理解业务数据、指标数据选取、预处理、量化投资设计的基本原理、原则及流程；

（3）掌握指标数据选取、预处理、程序实现、量化投资策略设计实现的全部流程。第8章众包任务定价优化方案1.课程教学内容：（1）经纬度坐标数据可视化等基本概念及计算实现方法；（2）指标的设计原理和计算公式；（3）数据获取及指标计算；（4）主成分分析、神经网络、支持向量机模型的具体应用场景及程序实现；（5）方案评价指标设计及实现。2.课程的重点、难点：（1）重点：地理信息数据可视化，指标设计原理、公式和程序实现，主成分分析、神经网络和支持向量机模型的具体应用场景；（2）难点：指标设计原理、公式和程序实现。3.课程教学要求：（1）了解地理信息数据处理的基本概念、方法和可视化；（2）根据具体业务场景，设计指标及程序实现；

（3）掌握众包任务定价特征指标的设计、计算、程序实现及模型应用。第9章地铁站点日客流量预测1.课程教学内容：（1）地铁刷卡数据的理解；（2）刷卡数据日期排序及二分法数据处理思想；（3）基于二分法思想快速查找出每日的刷卡数据，并汇总统计进站和出站客流。（4）设计影响地铁客流量的天气、星期、节假日等因素指标，并进行计算及特征分析；（5）构建基于神经网络的地铁日客流量预测模型。2.课程的重点、难点：（1）重点：二分法思想及数据快速查找，日进站和出站客流统计，天气、星期、节假日影响因素指标设计和计算，神经网络预测模型构建及程序实现。（2）难点：二分法思想及数据快速查找程序代码，日进、出站客流计算。3.课程教学要求：（1）了解地铁刷卡数据及数据处理、二分法快速查找数据的方法；（2）理解二分法快速查找数据并进行数据处理的程序实现思路；

（3）掌握基于二分法思想的数据处理方法、程序实现及汇总统计进站和出站客流，天气、星期、节假日影响因素指标设计和程序计算方法，神经网络预测模型构建及程序实现。第10章微博文本情感分析1.课程教学内容：（1）文本数据的预处理，包括分词、去掉停用词、特征词向量化、训练和测试集划分；（2）支持向量机分类模型及实现；（3）LSTM深度学习模型及实现；2.课程的重点、难点：（1）重点：数据预处理、LSTM深度实习模型及程序实现；（2）难点：LSTM深度学习模型原理及程序实现。3.课程教学要求：（1）了解文本数据预处理的基本技能，包括分词、去停用词、特征词向量化；（2）理解文本数据预处理的程序实现思路和训练、测试集划分；

（3）掌握文本数据预处理基本技能及支持向量机、LSTM深度学习模型程序实现。第11章基于水色图像的水质评价1.课程教学内容：（1）图像的读取、图像数据处理，图像颜色特征提取与计算方法；（2）基于支持向量机的图像识别方法及程序实现；（3）基于卷积神经网络的图像识别方法和程序实现；2.课程的重点、难点：（1）重点：图像数据处理和颜色特征提取、计算和程序实现，针对灰图和彩图的卷积神经网络图像识别模型与程序实现；（2）难点：卷积神经网络模型原理及程序实现。3.课程教学要求：（1）了解图像读取、数据处理、颜色特征提取与计算的基本方法；（2）理解利用支持向量机模型与卷积神经网络模型进行图像识别的基本思路、流程和方法；

（3）掌握图像读取、数据处理和颜色特征提取、支持向量机模型和卷积神经网络模型的程序实现方法。第12章GUI可视化应用开发1.课程教学内容：（1）pycharm安装及在pycharm中部署anaconda下的界面设计师（Designer）工具；（2）PyQt5基本使用方法及UI界面和PyQt5程序的转换；（3）掌握界面设计师（Designer）工具的基本使用方法（4）水色图像水质评价系统的设计及程序实现（5）上市公司综合评价系统的设计及程序实现2.课程的重点、难点：（1）重点：GUI开发环境部署、系统设计与程序交互的思想、界面设计及程序开发；（2）难点：系统设计与程序交互思想的理解、界面设计及程序开发具体实现。3.课程教学要求：（1）了解界面设计师工具的基本使用方法；（2）理解系统设计与程序交互实现思想，界面设计与程序开发的基本流程和方法。（3）掌握GUI开发环境部署，界面设计及程序开发具体实现方法，水色图像水质评价系统和上市公司综合评价系统的设计与实现方法。三、实践教学要求Python大数据分析与挖掘案例实战是一门交叉复合型课程，涉及金融、地理信息、交通、图像、文本、GUI可视化应用开发、数据挖掘模型与算法、计算机编程技能等，同时也是一门实践性极强的课程。本课程要求学生掌握基本数据分析技能基础上，拓展应用到主流行业领域中。本课程要求使用Python作为编程工具，建议使用Python的集成开发平台进行程序编写及教学，比如Anaconda、pycharm等。四、课程学时分配序号教学内容理论教学学时实验学时实验（实践）内容课外实验1第7章基于财务与交易数据的量化投资分析155本章练习2第8章众包任务定价优化方案115本章练习3第9章地铁站点日客流量预测155本章练习4第10章微博文本情感分析95本章练习5第11章基于水色图像的水质评价95本章练习6第12章GUI可视化应用开发125本章练习合计7125五、大纲说明1.教学手段：（1）理论与实践相结合，多媒体机房上课，带黑板（方便板书及推导）；（2）讲授课程结束后即开展实验，在机房进行。2.考核方式建议：（1）课程论文或者课程设计作品或者参加学科竞赛作品（70%）（2）实验报告（15%）和实验结果（15%）进行评分3.教材：黄恒秋主编.Python大数据分析与挖掘实战(微课版)[M].北京：人民邮电出版社.2020.；六、参考书目[1]张良均.Python数据分析与挖掘实战[M].北京：机械工业出版社.2