《大数据ETL》课程标准（含课程思政）

《大数据ETL》课程标准课程代码21921039XQ适用专业大数据技术专业适用学制5年一贯制（5+2贯通培养）编制人审核人版本号202302一、课程名称大数据ETL。二、适用专业大数据技术专业。三、课程学时与学分72学时，4学分。四、课程性质本课程是大数据技术专业的一门专业核心课程，是从事数据采集工程师、ETL工程师、数据仓库工程师等岗位必须学习的课程，将为后续学习《大数据集群运维监控》、《大数据集群运行问题排查、调优》、《数据仓库建设》等课程奠定基础。本课程开设在第8学期，学习该课程之前需具备一定的SQL编程、数据采集、数据处理、数据分析能力，《互联网数据采集》、《大数据组件安装部署》、《数据清洗与预处理》是该课程的前导课程。本课程学习的知识和技能可以为第9、10学期考取大数据分析与应用X证书（初级）、华为HCIA—BigData大数据认证证书做知识和技能准备。五、课程目标通过本课程的学习，能完成医疗数据中台数据汇总任务、商务机构交易数据汇总任务、汽车制造行业供应链数据汇总任务、传统生产系统数字化转型数据仓库数据建设任务、能源行业数字化转型数据仓库数据建设任务，达到以下具体目标：（一）素养目标1.培养学生的政治思维、政治洞察力与政治敏感性，培养学生的社会主义核心价值观、爱国主义情操。（培养规格1）2.能够熟练掌握与本专业从事职业活动相关的国家法律、行业规定，掌握信息数据安全、网络安全防护、质量管理等相关知识与技能，了解大数据、网络信息等产业文化，遵守职业道德准则和行为规范，具备社会责任感和担当精神。（培养规格2）3.具备大数据思维，具备较强的逻辑思维能力。（培养规格5）4.关心国内外科技发展趋势，具备使用大数据技术服务于社会的意识，具备良好的自我管理能力，拥有较为清晰的职业与人生目标以及较好的职业生涯规划能力。（培养规格4）5.具备自学能力，能适应大数据行业的不断变革发展，具备解决实际问题、持续学习的能力，能从事实际的数据采集工作，具有较强的规划观念、精益求精意识。（培养规格5）（二）知识目标1.掌握不同类型的数据库接口操作方法。（培养规格12）2.熟练掌握至少一门脚本语言（SQL/Python/Shell等）。（培养规格12）3.掌握常见的数据清洗方法、数据转换策略。（培养规格13）4.熟悉Sqoop、Hive、Spark等大数据组件的使用方法。（培养规格5）5.了解数据仓库设计方法。（培养规格5）6.熟悉Kettle等ETL工具的使用方法与常见技术问题的解决方法。（培养规格18）7.了解数据采集与处理中的法律与政策规范、主流行业的数据标准规范。（培养规格6）（三）能力目标1.能够基于数据仓库设计规范和数据源系统制定ETL策略，使用ETL工具将业务数据导入数据仓库。（培养规格18，培养规格23）2.能够使用脚本语言（SQL/Python/Shell等）操作数据，完成数据清洗与处理。（培养规格18）3.能够使用Sqoop、Hive、Spark等组件，完成数据转换，将数据转换结果装载至目标数据仓库。（培养规格18）4.能够使用Kettle等ETL工具进行工作流控制。（培养规格18）5.能够对输出数据质量进行核验，对不符合要求的数据进行纠偏。（培养规格18）6.能够基于数据仓库提供面向业务的报表、封装数据提取接口。（培养规格12）7.具备大数据分析与应用X证书（初级）、华为HCIA—BigData大数据认证证书的能力。（培养规格18）六、课程内容与要求本课程以不同行业的数据仓库ETL任务为载体，坚持立德树人的根本要求，结合学生学习特点，遵循职业教育人才培养规律，有机融入思想政治教育内容，落实课程思政要求，紧密联系工作实际，突出应用性和实践性，注重学生职业能力和可持续发展能力的培养。合理设计：学习单元、能力点、学习内容与要求。本课程按照行业类型，知识点覆盖范围从小到大、技能点从单一到综合的规律确定学习模块内容，合理序化教学内容。学习单元1、2、3、4、5分别涉及健康医疗行业、商务行业、汽车制造业、传统生产行业、能源（石化）行业，在知识体系上是并列关系，在难易度上，1、2、3属于基础ETL任务，4、5为进阶ETL任务，涉及数据仓库的内容。表1课程内容与要求序号学习单元能力点学习内容与要求学习成果建议学时1医疗数据中台数据汇总1.能够对接医疗业务系统数据接口，参与制定ETL策略，使用ETL工具将业务数据导入数据仓库。2.能够编写脚本操作数据，完成医疗数据清洗与处理。3.能够使用Kettle等ETL工具进行工作流控制。4.能够使用Sqoop组件完成数据转换，将数据转换结果装载至目标数据仓库。5.能对输出数据质量进行核验，对不符合要求的数据进行纠偏。1.了解医疗机构的多源异构数据，包括医院信息系统数据、电子病历数据、公共卫生信息数据、移动医疗健康监测数据等，了解医疗数据的结构化和标准化规范。2.了解医疗机构的医疗数据指标体系，了解医疗业务数据系统接口，理解数据指标与原始数据的映射关系。3.了解医疗领域不同数据源的存储方式（如关系型数据库，文本，非关系型数据库等）。4.熟悉医疗数据源的特点，掌握使用Sqoop等工具完成医疗数据源的抽取的方法。5.掌握通过SQL语句、Python脚本等方法清洗，处理数据的方法。6.了解通过双人录入规则实现数据质量稽核的方法。1.医疗多元异构数据分析报告1份。2.医疗大数据平台基础数据1份。162商务机构交易数据汇总1.能够对接商务机构上游数据接口，参与制定ETL策略，使用ETL工具将业务数据导入数据仓库。2.能够编写SQL/Python/Shell脚本操作数据，完成商务机构交易数据的清洗与处理。3.能够使用Kettle等ETL工具进行工作流控制。4.能够使用Sqoop等组件，完成数据转换，将数据转换结果装载至目标数据仓库。5.能对输出数据质量进行核验，对不符合要求的数据进行纠偏。1.了解商务机构的交易数据，交易数据的含义、特点与意义。2.了解商务机构交易数据来源如用户数据、供应商数据、订单数据、销售数据等。3.掌握商务机构数据平台的数据治理体系，了解数据质量现状。4.了解商务机构交易数据仓库的指标体系，理解数据指标与元数据的映射关系。5.掌握通过Sqoop、Kettle、Flume等ETL工具进行数据抽取，转换，加载的方法。6.掌握从商务机构交易数据系统中抽取数据的方法。7.掌握通过SQL语句、Python脚本等方法清洗、处理数据的方法。8.根据数据治理规范，学习编写SQL语句、Python脚本程序，使用ETL工具对数据进行清洗和转换，实现数据质量稽核。9.了解商务机构交易数据分析的业务需求和数据仓库设计规范。1.商务机构交易数据源分析报告1份。2.数据源ETL策略报告1份。3.商务机构交易数据仓库基础数据1份。123汽车制造行业供应链数据汇总1.能够对接汽车制造行业供应链系统数据接口，参与制定ETL策略，使用ETL工具将业务数据导入数据仓库。2.能够编写SQL/Python/Shell脚本操作数据，完成汽车制造行业供应链数据清洗与处理。3.能够使用Kettle等ETL工具进行工作流控制。4.能够使用Sqoop、Hive、Spark等组件，完成数据转换，将数据转换结果装载至目标数据仓库。5.能对输出数据质量进行核验，对不符合要求的数据进纠偏。5.能够参与汽车制造行业数据仓库ETL流程优化，解决ETL相关技术问题。1.了解汽车制造行业的供应链的涵义。2.理解并掌握生产物料、产品生产、产品订单、供应商管理、产品物流、财务合同、产品等供应链环节的业务系统数据特点。3.针对多个供应链环节的业务系统类型和数据特点，选择合适的ETL工具，并制定相应的ETL策略。4.了解供应链数据治理的目标和规范。5.掌握供应链数据中台的数据指标体系。6.掌握使用Kettle等ETL工具抽取业务系统数据源，导入到数据平台的方法。7.掌握通过SQL语句、Python脚本等方法清洗，处理数据的方法。8.了解在数据加载和转换过程中，完成简单的数据清洗任务（如数据填补、重复数据检测等）的方法。1.汽车制造行业供应链数据解析报告1份。2.汽车制造行业数据中台基础数据1份。164传统生产系统数字化转型数据仓库数据建设1.能够对接生产系统的数据接口，参与制定ETL策略，使用ETL工具将生产数据导入数据仓库。2.能够编写SQL/Python/Shell脚本操作数据，完成生产数据的清洗与处理。3.能够使用Kettle等ETL工具进行工作流控制。4.能够使用Sqoop、Hive、Spark等组件，完成数据转换，将数据转换结果装载至目标数据仓库。5.能够基于数据仓库提供面向业务的报表、封装数据提取接口。6.能对输出数据质量进行核验，对不符合要求的数据进行纠偏。1.了解传统生产系统（如MES）的工作流程、存储数据的特点。2.了解传统生产系统的数字化转型需求和目标。3.了解基于传统上产系统的数据仓库设计方法。4.熟悉生产系统数据仓库的数据指标体系，数据字段含义。5.掌握通过Sqoop、Kettle、Flume等ETL工具进行数据抽取，转换，加载的方法。6.掌握通过SQL语句、Python脚本等方法清洗，处理数据的方法。7.了解数据仓库数据模型设计规范。8.掌握编写脚本程序完成数据仓库指标计算的方法。9.了解通过双人录入规则实现数据质量稽核的方法。1.数据仓库选型、数据模型设计报告1份。2.基于生产系统的数据仓库贴源层基础数据1份。125能源行业数字化转型数据仓库数据建设1.能够对接能源业务系统的数据接口，参与制定ETL策略，使用ETL工具将生产数据导入数据仓库。2.能够编写SQL/Python/Shell脚本操作数据，完成能源系统数据的清洗与处理。3.能够使用Kettle等ETL工具进行工作流控制。4.能够使用Sqoop、Hive、Spark等组件，完成数据转换，将数据转换结果装载至目标数据仓库。5.能够基于数据仓库提供面向业务的报表、封装数据提取接口。6.能够对数据仓库有关数据问题进行监控并提供解决方案建议。7.能对输出数据质量进行核验，对不符合要求的数据进行纠偏。1.了解能源行业（如石化）的数字化转型需求和目标，理解能源行业业务系统存在的问题如数据孤岛等。2.了解能源企业的生产过程，包括原料采集、产品化验、工艺运行（如脱硫）、生产控制、生产设备维护等环节。3.了解能源企业生产过程的业务系统，掌握数据特点。4.了解能源行业数据平台数据仓库的设计与构建方法。5.熟悉能源行业数据仓库的数据指标体系。6.掌握通过Sqoop、Kettle、Flume等ETL工具进行数据抽取，转换，加载的方法。7.掌握通过SQL语句、Python脚本等方法清洗，处理数据的方法。8.了解数据仓库数据模型设计规范。9.掌握编写脚本程序完成数据仓库指标计算的方法。10.了解使用编程工具完成数据稽核任务的方法。1.能源行业业务系统数据分析报告1份。2.数据仓库选型、数据模型设计策略1份。16七、课程实施（一）师资队伍1、专任教师职业能力：具备优秀的专业课教学开展与组织能力，掌握大数据组件安装部署、Python编程能力、SQL编程能力、ETL工具操作使用能力，能够以情境任务要求搭建数据仓库，完成ETL过程。知识结构：了解ETL工程师、数据仓库工程师的各项职业岗位要求；在专业领域中，具备数据采集、数据仓库等较为深入的专业知识背景。资质：具备中职学校专业课任教资格和企业实践经历。2、兼职教师职业能力：企业优秀讲师或行业企业专家，具备有3到5年的大数据相关行业从业经验，参与过多个大数据项目，具有较强的专业技能，具备良好的专业课教学开展与组织能力，具备优秀的Python编程能力，SQL编程能力，精通数据仓库/ETL过程，熟练使用主流ETL工具，能够以情境任务要求设计、构建数据仓库。知识结构：在行业领域中，深入了解ETL工程师、数据仓库工程师的各项职业岗位要求；在专业领域中，具备数据采集、数据仓库构建等深入的专业知识背景。资质：具备大数据相关行业从业背景和企业工作经历。（二）实验实训条件1、校内实训基地根据不同的项目学习需要，选择教室、校企合作实习实训基地、实训设备等进行教学。（1）实训场地：数据清洗与处理实训室；（2）实训设备：台式计算机40台、服务器1台，满足完成数据ETL过程的要求。2、校外实训基地目前大数据技术有1个联想校外实训室，能够同时满足50名学生进行实习实训。能够满足学校教师、企业专家共同办公，满足专业人才学徒制人才培养要求，符合企业研发、生产要求。本校外实训基地具备如下条件：（1）联想组织机构健全，领导和工作（或技术）人员素质高，管理规范，在新一代信息技术领域发展前景好。（2）基于联想“端—边—云—网—智”技术框架下，其研究方向与经营的业务与本专业对口，且联想属于世界五百强企业，社会形象好。（3）符合学生专业实习实训条件，并且能够满足学生顶岗实训一个月以上。（4）有相应的技术人员担任实训指导教师。（三）教学资源1、教材按照教材必须在政治上坚持四项基本原则，符合党和国家的方针和政策，能运用辩证唯物主义和历史唯物主义的观点阐述本课程的基本规律的原则选择教材。教材必须符合本课程教学大纲的要求，符合学生层次的实际，教材内容的阐述要循序渐进，富于启发，有利于对学生能力和素质的培养。充分考虑教材的变动与更新，保证教材内容有用、新鲜和实用。为保证教学质量，优先选择国家规划教材。《数据清洗与ETL技术》以数据核心，详细介绍了ETL数据处理技术，涵盖数据抽取、数据转换、数据装载等过程，理论与实践相结合，作为主要教材；《Kettle构建HadoopETL系统实践》则以ETL工具Kettle为核心，介绍如何使用Kettle完成Hadoop数据仓库的ETL过程以及Kettle的进阶知识内容，作为辅助教材。两本教材相辅相成，有助于提高学生使用Kettle完成不同行业数据ETL过程的实战能力，在教材内容基础上也可以结合学习单元自主开发模块化教材，包括活页式工作页、学习页、评价表等，同时也可采用校企合作资源库课程资源包。表2教材配备表序号教材名称作者出版社出版时间是否为国规教材1数据清洗与ETL技术清华大学出版社2022年04月否2Kettle构建HadoopETL系统实践清华大学出版社2021年07月否2、图书文献配备《ETL数据整合与处理（Kettle）》、《大数据Hive离线计算开发实战》等图书可用于学生课余时间巩固课堂所学知识和技能，补充了数据仓库Hive的基础知识，有利于学生后续的学习，提高了学生对于ETL工具Kettle的掌握运用程度。亦可用于专业教师教科研等工作的开展，方便师生查询、借阅。表3图书文献配备表序号教材名称作者出版社出版时间1ETL数据整合与处理（Kettle）王雪松，张良均人民邮电出版社2021年02月2大数据Hive离线计算开发实战杨力人民邮电出版社2020年06月3、数字教学资源配置自主开发资源：PPT课件、微课、试题库、案例等。（四）教学方法面对新的教学变革，采用线上线下混合式教学模式组织教学，在教学中渗透理实一体化、思政育人的教学理念。该课程是大数据技术专业核心课程之一，在教学的过程中应注重锻炼学生的实操能力为主，把大数据ETL处理技能融入到课程的实操训练当中，通过本门课程的学习，学生能够使用ETL工具完成不同行业数据的ETL过程，为构建数据仓库做好准备。在教学过程中采用：讲演法、任务驱动法、项目教学法、案例分析法等教学方法，辅以餐垫法、工作站法、展览馆法等特色的教学组织方式，提升学生自主探究、合作学习的意识，培养良好的学习习惯；在每个学习单元，学生进行自主探究学习与小组合作讨论学习，加强操作训练；以企业生产过程中实际的工作任务作为案例，在实践中引导学生学会分析问题、解决问题。在教学过程中应充分利用实训环境，按照行动导向六步骤，采用任务驱动法等教法，引导学生开展自主、探究、合作的学习活动，在实践中引导学生学会分析问题、解决问题。通过教师示范操作，强调岗位标准，强化学生的职业规范，提升学生ETL实战能力，提高学生自主探究的能力，逐步养成严谨科学的职业习惯。在解决问题的过程中，学生养成耐心、细致、精益求精的工作态度，强化学生的质量意识。本课程在课堂上除了板书讲解等教学手段外，还采用多媒体教学课件、学习网站、视频演示、模拟系统，职教云平台等现代化教学手段，使用了大数据、人工智能、虚拟仿真实训等信息技术，以提高学生的学习兴趣、拓展学习方法，使学生可以有更多的途径获取知识和技能。（五）教学评价严格落实培养目标和培养规格要求，围绕大数据技术专业的人才培养目标，通过教师、企业、学生三个评价主体从核心素质、关键知识、综合能力、实践成果四个维度，通过课堂评价（占比20%）、项目评价（占比50%）、课程评价（占比30%）三种形式收录反映学生成长过程和发展水平的描述与实证材料，全面评价学生综合素质，客观反映学生的个性差异和特长，突出评价对学生全面发展的促进作用。1.课堂评价（20%）：通过教师评价、学生互评、学生自评三个主体侧重核心素质的评价。课堂评价采用线上线下混合评价方式，借助职教云、雨课堂、云班课等信息化平台对学生在课堂上的学习过程、互动情况等展开评价，结合学生自评、互评等多种评价方式，利用数字信息化直观展示学生的整体情况，让教师在课程中帮助学生更清晰的认识自己。学习笔记的检查20%（学生将学习笔记在规定时间内拍照上传信息化平台）：评价标准为四级式：A、B、C、D，要求完整、字迹工整、有重点、难点的标记。学习材料的保存15%（教师线下课堂检查）：评价标准为四级式：A、B、C、D，要求完整、字迹工整、有错误工作页进行了正确的修改。教师评价40%（借助信息化平台开展评价）：学生出勤（10%）、学习成果展示（10%）、学习过程表现（师生互动、课堂练习、随堂测试等）（10%）、实操（10%）。学生互评15%：组内其他同学的评价（10%），组外同学的评价（5%）。学生自评10%：自己对自己的评价。2、项目评价（50%）：阶段测评项目评价以小组为单位，进行综合素质评价及每一个项目作品成果评价，针对每一个项目，累计各个工作阶段实施评分、素质评分、项目成果评分，将评分数据由学习平台进行统计，最终项目结束后按照评分公布优秀项目组，学生素质通过多维能力雷达图展示，实现学生的增值性评价，学生养成职业认同感。其中《素质评分表》如下表所示，每个项目素质评价内容相同，各项目评价考核表详见附件1《项目评价考核明细表》，每个项目考核内容不同。表4素质评分表团队姓名评价项目考勤仪容仪表工位整洁有序对待工作任务的态度对待工作任务的整体把控能力自主学习能力团队沟通、协作能力创新能力素质成绩第一组3、课程评价（30%）：期末考试理论考试（30%）：试卷，从试题库中抽取100分的试题进行考核，试题类型有主观题：80%，填空题、选择题和判断题组成；客观题：20%，简答题、论述题。考核时间为：90分钟、闭卷。考核内容为：学习内容中涉及到的所有内容，重点为技术类要求掌握的知识以及其它能够用试卷考核的内容。项目测试（70%）：为学生提供5个真实案例项目，每个小组随机抽取一个工作项目，并且按照任务书的要求完成1个完整的工作项目。考核时间：6节课。前四节课为项目制作，最后两节课为项目结果说明展示。考核人员：企业员工和专业教师组成。考核内容：医疗数据中台数据汇总、商务机构交易数据汇总、汽车制造行业供应链数据汇总、传统生产系统数字化转型数据仓库数据建设、能源行业数字化转型数据仓库数据建设。重在考核学生通过运用综合能力，做出的实践成果，详见附件2《大数据ETL》课程综合评价表。

附件1：项目评价考核明细表1、考核项目1——医疗数据中台数据汇总考核项目1——医疗数据中台数据汇总采用过程性评价，考核评价表如下表所示：考核项目1——医疗数据中台数据汇总考核评价表班级：姓名：学号：考核项目1医疗数据中台数据汇总序号评价标准分值自我评价30%小组评价30%教师评价40%1能理解各业务系统医疗数据的含义202能快速理解医疗数据分析指标的含义203能熟练编写程序进行数据清洗，转换204能熟练使用ETL工具，完成数据转换，加载205能对输出数据质量进行核验，对不符合要求的数据进行纠偏106能够主动了解医疗行业大数据行业法规法则，形成优良的数据保护意识10合计1002、考核项目2——商务机构交易数据汇总考核项目2——商务机构交易数据汇总采用过程性评价，考核评价表如下表所示：考核项目2——商务机构交易数据汇总考核评价表班级：姓名：学号：考核项目2商务机构交易数据汇总序号评价标准分值自我评价30%小组评价30%教师评价40%1能快速理解商务机构交易数据的含义202能快速理解商务机构数据分析指标的含义203能熟练编写程序进行商务机构数据清洗，转换204能熟练使用ETL工具，完成数据转换，加载205能独立撰写商务机构交易数据源分析报告20合计100

3、考核项目3——汽车制造行业供应链数据汇总考核项目3——汽车制造行业供应链数据汇总采用过程性评价，考核评价表如下表所示：考核项目3——汽车制造行业供应链数据汇总据采集考核评价表班级：姓名：学号：考核项目3汽车制造行业供应链数据汇总序号评价标准分值自我评价30%小组评价30%教师评价40%1能快速理解汽车制造行业供应链数据的含义202能快速理解汽车制造数据中台数据分析指标的含义203能熟练编写程序进行汽车供应链数据清洗，转