《大数据ETL》课程标准（含课程思政）

大数据技术专业适用学制5年一贯制(5+2贯通培养)72学时，4学分。学习的知识和技能可以为第9、10学期考取大数据分析与应用X证书(初级)、华为HCIA(一)素养目标爱国主义情操。(培养规格1)(二)知识目标2.熟练掌握至少一门脚本语言(SQL/Python/Shell等)。(培养规格12)4.熟悉Sqoop、Hive、Spark等大数据组件的使用方法。(培养规格5)6.熟悉Kettle等ETL工具的使用方法与常见技术问题的解决方法。(培养规格18)(三)能力目标导入数据仓库。(培养规格18,培养规格23)养规格18)5.能够对输出数据质量进行核验，对不符合要求的数据进行纠偏。(培养规格18)7.具备大数据分析与应用X证书(初级)、华为HCIA—BigData大数据认证证书的紧密联系工作实际，突出应用性和实践性，注重学生职业能力习模块内容，合理序化教学内容。学习单元1、2、3、4、5分别涉及健康医疗行业、商务行业、汽车制造业、传统生产行业、能源(石化)行业，在知识体系上是并列关系，在难能力点1医疗数据中台数据汇总疗业务数据系统接口，据的映射关系1.医疗多数据平台系型数据库，文本，非关系型数据库等)。点，掌握使用Sgoop等工具完成医疗数据源的抽取的方法。5.掌握通过SQL语句、洗，处理数据的方法。6.了解通过双人录入规则实现数据质量稽核的方法。2商务机构交易数据汇总1.能够对接商务机构上游数据接口，参与制定ETL策略，使用ETL工具将业务数据导入数2.能够编写SQL/Python/Shell脚本操作数据，完成商务机构交易数据的清洗与处理。3.能够使用Kettle等ETL工具进行工作流控制。4.能够使用Sqoop等组件，完成数据转换，将数据转换结果装载至目标数据仓库。5.能对输出数据质量进行核验，对不符合要求的数据进行2.了解商务机构交易数应商数据、订单数据、3.掌握商务机构数据平台的数据治理体系，了解数据指标与元数据的映射关系。5.掌握通过Sqoop、工具进行数据抽取，转1.商务机构交易数报告1份。2.数据源报告1份。3.商务机构交易数据仓库基份。6.掌握从商务机构交易数据系统中抽取数据的方法。7.掌握通过SQL语句、洗、处理数据的方法。学习编写SQL语句、Python脚本程序，使用ETL工具对数据进行清洗和转换，实现数据质量稽核。9.了解商务机构交易数3供应链数据汇总1.能够对接汽车制造行业供应策略，使用ETL工具将业务数2.能够编写SQl./Python/Shell3.能够使用Kettle等ETL工具等组件，完成数据转换，将数库。5.能对输出数据质量进行核验，对不符合要求的数据进1.了解汽车制造行业的供应链的涵义。2.理解并掌握生产物料、产品生产、产品订单、供应商管理、产品物流、财务合同、产品等供应链环节的业务系统数据特占3.针对多个供应链环节的业务系统类型和数据策略。1.汽车制应链数据解析报告2.汽车制础数据1份。5.能够参与汽车制造行业数据仓库ETL流程优化，解决ETI相关技术问题。的目标和规范。5.掌握供应链数据中台的数据指标体系。6.掌握使用Kettle等ETL工具抽取业务系统数据源，导入到数据平台的方法。7.掌握通过SQL语句、洗，处理数据的方法。8.了解在数据加载和转换过程中，完成简单的数据清洗任务(如数据填补、重复数据检测等)的方法。4产系统数字化转型数据仓库数据建设1.能够对接生产系统的数据接口，参与制定ETL策略，使用ETL工具将生产数据导入数据2.能够编写SQL/Python/Shel]脚本操作数据，完成生产数据的清洗与处理。3.能够使用Kettle等ETI.工具进行工作流控制。等组件，完成数据转换，将数5.能够基于数据仓库提供面向1.了解传统生产系统(如MES)的工作流程、2.了解传统生产系统的数字化转型需求和目标。3.了解基于传统上产系统的数据仓库设计方法。库的数据指标体系，数5.掌握通过Sqoop、工具进行数据抽取，转1.数据仓库选型、数据模型设计报告2.基于生产系统的数据仓库贴源层基份。6.能对输出数据质量进行核验，对不符合要求的数据进行6.掌握通过SQl.语句、洗，处理数据的方法。7.了解数据仓库数据模型设计规范。8.掌握编写脚本程序完成数据仓库指标计算的方法。9.了解通过双人录入规则实现数据质量稽核的方法。5能源行化转型数据仓库数据建设1.能够对接能源业务系统的数据接口，参与制定ETL策略，使用ETL工具将生产数据导入数据仓库。2.能够编写SQL/Python/Shel1数据的清洗与处理。3.能够使用Kettle等ETL工具进行工作流控制。等组件，完成数据转换，将数5.能够基于数据仓库提供面向6.能够对数据仓库有关数据问1.了解能源行业(如石化)的数字化转型需求业务系统存在的问题如数据孤岛等。2.了解能源企业的生产过程，包括原料采集、产品化验、工艺运行(如脱硫)、生产控制、生产设备维护等环节。3.了解能源企业生产过据特点。台数据仓库的设计与构建方法。5.熟悉能源行业数据仓库的数据指标体系1.能源行业业务系统数据分份。2.数据仓库选型、数据模型设计策略7.能对输出数据质量进行核验，对不符合要求的数据进行6.掌握通过Sqoop、Kettle、Flume等ETI.工具进行数据抽取，转7.掌握通过SQL语句、Python脚本等方法清洗，处理数据的方法。8.了解数据仓库数据模9.掌握编写脚本程序完成数据仓库指标计算的10.了解使用编程工具完成数据稽核任务的方(一)师资队伍职业能力：企业优秀讲师或行业企业专家，具备有3到5年的大数据相关行业从业经(二)实验实训条件(1)实训场地：数据清洗与处理实训室；(2)实训设备：台式计算机40台、服务器1台，满足完成数据ETL过程的要求。目前大数据技术有1个联想校外实训室，能够同时满足50名学生进行实习实训。能(1)联想组织机构健全，领导和工作(或技术)人员素质高，管理规范，在新一代(2)基于联想“端一边—云—网—智”技术框架下，其研究方向与经营的业务与本(3)符合学生专业实习实训条件，并且能够满足学生顶岗实训一个月以上。(4)有相应的技术人员担任实训指导教师。(三)教学资源表2教材配备表出版时间1社2022年04月否2社2021年07月否出版时间1ETL数据整合与处理(Kettle)王雪松，张良均人民邮电出版社2021年02月2杨力人民邮电出版社2020年06月(四)教学方法(五)教学评价堂评价(占比20%)、项目评价(占比50%)、课程评价(占比30%)三种形式收录反映学1.课堂评价(20%):通过教师评价、学生互评、学生自评三个主体侧重核心素质的评学习笔记的检查20%(学生将学习笔记在规定时间内拍照上传信息化平台):评价标学习材料的保存15%(教师线下课堂检查):评价标准为四级式：A、B、C、D,要求教师评价40%(借助信息化平台开展评价):学生出勤(10%)、学习成果展示(10%)、学习过程表现(师生互动、课堂练习、随堂测试等)(10%)、实操(10%)。学生互评15%:组内其他同学的评价(10%),组外同学的评价(5%)。学生自评10%:自己对自己的评价。2、项目评价(50%):阶段测评目素质评价内容相同，各项目评价考核表详见附件1《项目评价考核明细表》,每个项目表4素质评分表团队姓名评价项目工作习能力能力能力素质第一组3、课程评价(30%):期末考试理论考试(30%):试卷，从试题库中抽取100分的试题进行考核，试题类型有主观题：80%,填空题、选择题和判断题组成；客观题：20%,简答题、论述题。考核时间为：90分钟、闭卷。考核内容为：学习内容中涉及到的所有内容，重点为技术类要求掌握的项目测试(70%):为学生提供5个真实案例项目，每个小组随机抽取一个工作项目，并且按照任务书的要求完成1个完整的工作项目。考核时间：6节课。前四节课为项目制附件1:项目评价考核明细表1、考核项目1——医疗数据中台数据汇总考核项目1——医疗数据中台数据汇总采用过程性评价，考核评价表如下表所示：考核项目1——医疗数据中台数据汇总考核评价表1能理解各业务系统医疗数据的含义2能快速理解医疗数据分析指标的含义34能熟练使用ETL工具，完成数据5能对输出数据质量进行核验，对不符合要求的数据进行纠偏6能够主动了解医疗行业大数据行护意识2、考核项目2——商务机构交易数据汇总考核项目2——商务机构交易数据汇总采用过程性评价，考核评价表如下表所示：考核项目2——商务机构交易数据汇总考核评价表考核项目2商务机构交易数据汇总小组评价1能快速理解商务机构交易数据的含义2能快速理解商务机构数据分析指标的含义3能熟练编写程序进行商务机构数4能熟练使用ETL工具，完成数据转换，加载5能独立撰写商务机构交易数据源分析报告3、考核项目3——汽车制造行业供应链数据汇总考核项目3——汽车制造行业供应链数据汇总采用过程性评考核项目3——汽车制造行业供应链数据汇总据1能快速理解汽车制造行业供应链数据的含义2能快速理解汽车制造数据中台数据分析指标的含义3能熟练编写程序进行汽车供应链数据清洗，转换4能熟练使用ETI.工具，完成数据转换，加载5能够对汽车制造行业数据仓库问题6能够根据业务需要，提供面向业务的报表、数据提取等数据服务4、考核项目4——传统生产系统数字化转型数据仓库建设考核项目4——传统生产系统数字化转型数据仓库建设采用过程性评价，考核评价表考核项目4——传统生产系统数字化转型数据仓库建设考核评价表1能快速理解传统生产各业务系统数据的含义2能快速理解传统生产数据中台数据分析指标的含义3能熟练编写程序进行生产业务系统的数据清洗，转换4能熟练使用ETI.工具，完成数据转换，加载5能够基于数据仓库提供面向业务的报表、封装数据提取接口6能够参与生产系统数据仓库设计和搭建，准确描述数据仓库架构能撰写数据仓库设计报告5、考核项目5——能源行业数字化转型数据仓库建设考核项目5——能源行业数字化转型数据仓库建设采用过程考核项目5——能源行业数字化转型数据仓库建设1能快速理解能源行业各业务系统数据的含义2能快速理