《数据仓库技术与应用》教学大纲

《数据仓库技术与应用》教学大纲适用范围：202X版本科人才培养方案课程代码：08150871课程性质：专业选修课学分：2学分学时：32学时（理论20学时，实验12学时）先修课程：数据库原理及应用后续课程：商务智能分析适用专业：数据科学与大数据技术开课单位：计算机科学与技术学院一、课程说明本课程是数据科学与大数据技术专业的一门选修课程，是在学习《数据库原理及应用》课程后，具备了SQL编程的基本能力的基础上，开设的一门理实一体化的课程，其功能是对接专业人才培养目标，面向数据仓库相关岗位群，培养学生理解数据仓库与数据库的区别及各自的应用场景，掌握数据仓库体系架构的设计，掌握Hive数据仓库的基本使用，树立和践行社会主义核心价值观，建立逻辑严谨的科学思维能力、灵活的分析问题和解决问题能力，提高学生探索创新、求真务实的科学态度和团队精神、沟通协作等综合素质，为后续《商务智能分析》课程学习奠定基础。二、课程目标通过本课程的学习，使学生达到如下目标：课程目标1：理解课程包含的基本概念和理论，掌握并运用数据仓库开发技术的基本思想和方法，为后续课程“商务智能分析”打下良好的基础。课程目标2：掌握数据仓库设计的企业应用规范，并运用相关技术解决实际工程问题；具备一定的综合分析问题能力、评价能力和创新性解决问题的能力。课程目标3：积极培育社会主义核心价值观，践行中国优秀传统文化教育，树立正确的人生观、世界观和价值观；树立正确的劳动观念，切实提升心理素质，增强干事创业的信心。三、课程目标与毕业要求《数据仓库技术与应用》课程教学目标对数据科学与大数据技术专业毕业要求的支撑见表1。表1课程教学目标与毕业要求关系毕业要求指标点课程目标支撑强度1.工程知识1.3掌握相关自然科学知识、工程基础知识和思维方法，能够将其用于解决数据科学与大数据技术领域的复杂工程问题，能够将数据科学与大数据技术专业知识用于对复杂工程问题解决方案的分析与优化。课程目标1：理解课程包含的基本概念和理论，掌握并运用数据仓库开发技术的基本思想和方法，为后续课程“课程设计”和“毕业设计”打下良好的基础。课程目标2：掌握数据仓库设计的企业应用规范，并运用相关技术解决实际工程问题；具备一定的综合分析问题能力、较基础的评价能力和创新性解决问题的能力。H4.研究4.2能够基于科学原理并采用科学方法对数据科学与大数据技术领域相关问题选择研究路线，并设计实验方案。课程目标2：掌握数据仓库设计的企业应用规范，并运用相关技术解决实际工程问题；具备一定的综合分析问题能力、较基础的评价能力和创新性解决问题的能力。M12.终身学习12.2养成正确的生活、学习习惯，具备良好的身心素质，为自身知识和能力的持久发展提供身心保障。课程目标3：积极培育社会主义核心价值观，践行中国优秀传统文化教育，树立正确的人生观、世界观和价值观；树立正确的劳动观念，切实提升心理素质，增强干事创业的信心。M注：表中“H（高）、M（中）”表示课程与相关毕业要求的关联度。四、教学内容、基本要求与学时分配1.理论部分理论部分的教学内容、基本要求与学时分配见表2。表2教学内容、基本要求与学时分配教学内容教学要求，教学重点难点理论学时实验学时对应的课程目标1.概述1.1数据仓库概述1.2数据中心1.3混合型数据中心教学要求：了解数据仓库的基本概念及应用场景，理解数据仓库的基本架构。重点：数据仓库的基本概念、数据中心难点：混合型数据中心21,22.数据仓库与数据ETL2.1数据仓库的结构2.2数据仓库的数据模型2.3ETL2.4OLAP教学要求：理解数据仓库的结构及数据模型的概念；了解ETL和OLAP的概念。重点：数据仓库的结构及数据模型难点：数据仓库与ETL的使用41,23.Hive入门3.1Hive概述3.2Hive安装部署3.3Hive架构与工作原理3.4Hive基本类型教学要求：了解Hive的基本概念及应用场景，掌握Hive的配置及客户端的使用、具备基于Hadoop平台对Hive数据仓库进行搭建维护的能力。重点：Hive客户端的使用难点：Hive安装部署221,24.Hive的基本操作4.1DDL基础4.2分区与分桶4.3库与表操作4.4数据加载查询教学要求：学生能够掌握Hive表的管理相关操作、理解分区和分桶的基本概念及应用场景、具备利用SQL对数据进行处理的能力。重点：分区与分桶、数据库及表常见操作。难点：数据加载、查询数据。221,2,35.Hive运算符与函数5.1Hive运算符5.2Hive内置函数5.3自定义函数5.4聚合函数5.5窗口函数教学要求：学生能够掌握常见内置函数的使用、掌握自定义函数的使用、具备函数进行数据分析和处理的能力。重点：Hive内置函数、自定义函数、聚合函数。难点：窗口函数。421,2,36.Hive优化6.1Hive存储优化6.2Hive参数优化6.3HiveQL语句优化教学要求：学生能够了解Hive优化的基本概念、掌握Hive优化的常见方法。重点：Hive存储优化、参数优化难点：HiveQL语句优化21,2,37.Sqoop迁移工具7.1Sqoop概述7.2数据导入7.3数据导出7.4Sqoopjob作业教学要求：学生能够理解Sqoop迁移的基本原理、掌握Sqoop的配置与使用、具备利用Sqoop迁移数据的能力。重点：导入数据、导出数据。难点：job作业。221,2,38.数据仓库综合应用8.1需求分析8.2数仓设计8.3具体实现8.4可视化教学要求：学生能够理解数据仓库设计的整体过程、掌握数据仓库各层次的实现方法、具备基于具体需求设计实现数据仓库的能力。重点：数仓设计、具体实现。难点：具体实现。241,2,3合计20122.实验部分实验部分的教学内容、基本要求与学时分配见表3。表3实验内容与学时实验项目实验内容和要求实验学时对应的课程目标1.Hive的安装、部署与使用实验内容：Hive的安装、部署；Hive的基本操作；Hive运算符与函数的使用；实验要求：在Hadoop平台安装、部署Hive；能熟练进行Hive的基本操作；能熟练掌握Hive运算符和函数的使用。61,2,32.Sqoop数据迁移实验内容：Sqoop的配置与使用；Sqoop数据迁移的实现；使用要求：能使用Sqoop将MySQL的数据迁移到Hive；能使用Sqoop将Hive的数据迁移到MySQL；掌握HiveQL语句的使用。21,2,33.数据仓库综合应用实验内容：项目需求分析；数据仓库分层设计；实验要求：了解项目概述，能描述项目背景及需求；了解原始数据结构；能进行数据仓库分层设计及开发；41,2,3合计12五、教学方法及手段本课程以课堂讲授为主，结合讨论、案例、视频资源、实验等教学手段完成课程教学任务和相关能力的培养。在实验教学环节中，通过启发式教学、讨论式教学培养学生编写、调试程序的基本能力和基本方法。培养学生自主学习能力、实际动手能力，激发学生的创新思维。采用学习通、钉钉、QQ、微信等交流工具，加强和学生之间的交流和沟通。六、课程资源库1.推荐教材（1）杨力.大数据Hive离线计算开发实战[M].北京:人民邮电出版社,2020.（2）陈文伟.数据仓库与数据挖掘教程(第3版）[M].北京:清华大学出版社,2021.（3）黑马程序员.Hive数据仓库应用[M].北京:清华大学出版社,2022.2.参考书（1）王剑辉等.Hive数据仓库[M].北京:电子工业出版社,2021．（2）迟殿委.Hive入门与大数据分析实战[M].北京:清华大学出版社,2022．（3）朱晓彦,方明清,李强等.Hive数据仓库技术与应用[M].北京:中国铁道出版社,2020．3.期刊（1）王霖等.智能化煤矿数据仓库建模方法[J].工矿自动化,2022,48(04):5-13．（2）亢华爱.基于Hive的离线数据处理方法[J].现代商贸工业,2022,43(05):185-186．（3）陈新房,刘义卿.分布式系统数据仓库工具Hive的工作原理及应用[J].科学技术创新,2021,(36):104-107．（4）任仲晟.基于数据仓库的数据挖掘技术[J].数字技术与应用,2021,39(09):59-61.（5）RazgallahAsma,KhouryRaphaël,HalléSylvainetal.AsurveyofmalwaredetectioninAndroidapps[J].Recommendationsandperspectivesforfutureresearch,ComputerScienceReview,2021,39(11):243-248.4.网络资源（1）王大宝的CD.数据挖掘（一）你真的了解什么是数据挖掘和数据本身吗？[R/OL].CSDN文库.2017./sinat_22594309/article/details/74923643.（2）shaomine.大数据开发实战：数据仓库技术[R/OL].博客网.2022./shaosks/p/9436653.html.（3）倪老师.数据库与数据仓库技术[EB/OL].信管网.2021./pm/11011.html.七、课程考核对课程目标的支撑课程成绩由过程性考核成绩和期末考核成绩两部分构成，具体考核/评价细则及对课程目标的支撑关系见表4。表4课程考核对课程目标的支撑考核环节占比考核/评价细则课程目标123过过程性考核课课堂表现10（1）主要考核学生学习纪律和答疑情况。（2）教师根据课堂整体表现情况评分。√√√433实实验20（1）根据每个实验的实验操作完成情况和实验报告质量单独评分，满分100分；（2）每次实验单独评分，取各次实验成绩的平均值作为此环节的最终成绩。（3）以实验成绩乘以其在总评成绩中所占的比例计入课程总评成绩。√√√686作作业10（1）主要考核学生对各章节知识点的复习、理解和掌握程度，满分100分；（2）每次作业单独评分，取各次成绩的平均值作为此环节的最终成绩。（3）以作业评价成绩乘以其在总评成绩中所占的比例计入课程总评成绩。√√√442测试10（1）主要考核学生对各章节知识点的复习、理解和掌握程度，满分100分；（2）每次测试单独评分，取各次成绩的平均值作为此环节的最终成绩。（3）以测试成绩乘以其在总评成绩中所占的比例计入课程总评成绩。√√√442期末考核50（1）采用原创作品大作业的方式。（2）将大作业的成绩作为期末考核成绩。√√√201515合计：100分383428八、考核与成绩评定1.考核方式及成绩评定考核方式：本课程主要以课堂表现、实验、作业、测试、期末考核等方式对学生进行考核评价。考核基本要求：考核总成绩由期末大作业成绩和过程性考核成绩组成。其中：期末大作业成绩为100分（权重50%）；课堂表现、实验、作业、测试等过程性考核成绩为100分（权重50%）；过程性考核和期末考核分值分配应与教学大纲各章节的学时基本成比例。2.过程性考核成绩的标准过程性考核方式重点考核内容、评价标准、所占比重见表5。表5过程性考核方式评价标准考核方式所占比重(%)100>x≥9090>x≥8080>x≥7070>x≥60x<60课堂表现20学习认真、态度端正，遵守纪律,表现优秀学习认真、态度端正，遵守纪律,表现良好遵守纪律，学习态度良好，表现中等遵守纪律，学习态度一般，表现一般学习纪律较差，表现较差实验40实验预习认真，能够熟练掌握方法与步骤，实验操作过程熟练、规范，遵规守纪、团结协作，实验结果详实、结论清晰、讨论合理实验前有预习，能够掌握方法与步骤，实验操作过程正确、规范，遵规守纪、团结协作，实验结果正确、讨论适当实验前有预习，基本能够掌握方法与步骤，实验操作过程基本正确、无协作，实验结果基本正确，讨论一般实验前有预习，不能掌握方法与步骤，实验操作过程基本正确