《大数据管理》课程教学大纲

《大数据管理》教学大纲一、课程基本信息课程名称大数据管理BigDataManagement课程编码SCC320611020开课院部理学院课程团队数据科学团队学分2.0课内学时32讲授32实验0上机0实践0课外学时32适用专业数据科学与大数据技术授课语言中文先修课程数据科学与大数据技术导论、数据结构与算法、数据库原理与应用课程简介（必修）《大数据管理》是数据科学与大数据技术专业的一门必修课。本课程以大数据管理中相关概念和模型为主题，结合大数据管理系统，了解和掌握大数据管理过程和基本方法。通过本课程的学习，学生自主选择相关课题，利用大数据管理系统进行研究，形成研究报告。本课程内容主要包括大数据管理概述、关系数据模型与SQL、键值对数据模型、文档模型与查询语言、图模型与类SQL查询语言，大数据管理系统的体系架构、数据组织与存储、分布式查询处理优化。这些课程内容的学习，有助于学习后继大数据类相关课程。"BigDataManagement"isacompulsorycoursefordatascienceandbigdatatechnologymajors.Thiscoursetakestherelatedconceptsandmodelsinbigdatamanagementasthethemeandcombinesbigdatamanagementsystemstounderstandandmasterthebigdatamanagementprocessandbasicmethods.Throughthestudyofthiscourse,studentsindependentlyselectrelatedtopics,usethebigdatamanagementsystemtoconductresearch,andformaresearchreport.Thecontentofthiscoursemainlyincludesanoverviewofbigdatamanagement,relationaldatamodelandSQL,key-valuedatamodel,documentmodelandquerylanguage,graphmodelandSQL-likequerylanguage,architectureofbigdatamanagementsystem,dataorganizationandstorage,distributionQueryprocessingoptimization.Thestudyofthesecoursecontentsishelpfulforlearningthesubsequentbigdatarelatedcourses.负责人大纲执笔人审核人二、课程目标序号代号课程目标OBE毕业要求指标点任务自选1M1目标1：掌握大数据管理中数据模型、语言及管理系统中的基本概念和原理。是4.12M2目标2：掌握常见非结构化数据库的原理与应用。是4.13M3目标3：通过课程项目的实践，完成报告并答辩，培育团队沟通和交流的能力和解决实际问题的能力。是6.1,6.24M4目标4：能保障课程正常秩序（政治层面、课堂保障层面，非学生能力层面）否三、课程内容序号章节号标题课程内容/重难点支撑课程目标课内学时教学方式课外学时课外环节1第1章第1章数据库管理系统概述本章重点难点：大数据的数据特征、大数据的应用特征、混合负载系统架构、分布式系统架构。////21.11.1数据管理系统的发展历史第一代层次和网状数据库系统、第二代关系数据库系统、第三代数据仓库系统、第四代大数据管理系统M10.5讲授0.5自学、作业31.21.2大数据管理系统的特征大数据管理系统的数据特征、系统特征、应用特征M10.5讲授0.5自学、作业41.31.3大数据管理系统的组成多引擎系统结构、混合负载系统架构、分布式系统架构M11讲授1自学、作业5第2章第2章关系数据模型与SQL本章重点难点：SQL扩展语法、SQLonHadoop、常见NoSQL数据库、常见关系数据库。////62.12.1关系数据库概述基本概念、基本关系操作与实现技术M1,M21讲授1自学、作业72.22.2关系数据库标准语言SQLSQL基本语法、SQL扩展语法M1,M21讲授1自学、作业82.32.3SQLonHadoopHiveSQL创建表命令、HiveSQL查询命令M1,M21讲授1自学、作业92.42.4NoSQL数据库NoSQL数据库的特点M1,M21讲授1自学、作业102.52.5代表性的关系数据库传统数据库技术的发展、代表性的MPP数据库、代表性的NewSQL数据库、基于新硬件技术的数据库、关系数据库到大数据的数据转换相关方法与技术M1,M22讲授2自学、作业11第3章第3章键值对数据模型本章重点难点：Dynamo数据结构和数据操作、Redis数据结构和数据操作、BigTable数据结构和数据操作。////123.13.1概述什么是键值对模型、键值对模型应用现状M1,M20.5讲授0.5自学、作业133.23.2数据结构和数据操作Dynamo、Redis、RAMCloud、BigTableM1,M21.5讲授1.5自学、作业14第4章第4章文档模型与查询语言本章重点难点：XML结构、JSON结构、DOM接口、XQuery、JSONAPI、MongoDB。////154.14.1概述文档数据库特点M1,M2,M30.5讲授0.5自学、大作业164.24.2文档结构XML结构、JSON结构M1,M2,M31.5讲授1自学、大作业174.34.3查询语言DOM接口及应用实例、XQuery及应用实例M1,M2,M31讲授1自学、大作业184.44.4文档数据库举例eXistdb、MongoDBM1,M2,M31讲授0.5自学、大作业19第5章第5章图模型与类SQL查询语言本章重点难点：属性图、图匹配、图导航、图与关系的复杂操作、Cypher操作、知识图谱。////205.15.1图的数据结构及其形式化定义简单图、标签图、属性图M1,M2,M31讲授0.2自学、大作业215.25.2图数据操作图匹配、图导航、图与关系的复合操作M1,M2,M31讲授0.5自学、大作业225.35.3图查询语言Cypher对象创建、检索、图的更新M1,M2,M32讲授0.3自学、大作业235.45.4Neo4j图数据库Neo4j简介、Neo4j应用实例M1,M2,M32讲授0.5自学、大作业24第6章第6章大数据管理系统的体系架构本章重点难点：并行与分布式体系架构、分布式数据库体系架构、阿里PolarDB分布式数据库体系架构。////256.16.1数据库系统体系结构的发展集中式体系结构、客户-服务器体系架构、并行与分布式体系架构简介、数据库系统体系架构的相关概念M1,M21讲授1自学、作业266.26.2并行数据库体系架构并行数据库体系架构设计、IO并行、查询间与查询内并行、操作间与操作内并行M1,M21讲授1自学、作业276.36.3分布式数据库体系架构分布式事务系统结构、分布式数据库中的并发控制、分布式数据库设计中的折中方案、异构与基于云的分布式数据库、目录系统M1,M21讲授1自学、作业286.46.4实例分析Greenplum分布式数据库、HAWQ、Impala、AuroraM1,M21讲授1自学、作业29第7章第7章数据组织与存储本章重点难点：文件系统、非易失内存访问模型、哈希索引、基于哈希索引的键值存储系统、JSON文档存储、图存储。////307.17.1概述数据组织与存储的嵌套关系、文件系统、数据组织带来的数据映射与放大M1,M2,M30.5讲授0.5自学、大作业317.27.2硬件访问模型内存访问模型、磁盘访问模型、闪存访问模型、瓦记录磁盘访问模型、非易失内存访问模型M1,M2,M30.5讲授0.5自学、大作业327.37.3索引技术哈希索引、有序索引、哈希-有序符合索引、存在索引M1,M2,M31讲授1自学、大作业337.47.4键值存储基于哈希索引的键值存储系统、基于LSM树索引的键值存储系统、基于B/B+树的键值存储系统M1,M2,M31讲授1自学、大作业347.57.5列存储列存储数据库、HDFS列存储M1,M2,M31讲授1自学、大作业357.67.6其他类型存储文档存储、XML文档存储、JSON文档存储、图存储M1,M2,M32讲授2自学、大作业36第8章第8章分布式查询处理优化本章重点难点：数据分布策略、面向关系数据的分布式查询处理与优化。////378.18.1分布式查询处理概述数据分布策略、分布式查询处理、分布式查询优化技术M1,M2,M31讲授1自学、大作业388.28.2面向关系数据的分布式查询处理概述、分布式关系数据库查询处理、分布式关系数据库查询优化、分布式关系数据库查询处理技术实例分析M1,M2,M31讲授1自学、大作业四、考核方式序号考核环节操作细节总评占比1平时作业1.每周布置2~3道题目，平均每次课1道题以上。2.成绩采用百分制，根据作业完成准确性、是否按时上交、是否独立完成评分。3.考核学生对大数据管理知识的掌握能力，学生综合运用所学知识分析问题、解决问题的能力题型主要有分析、设计和查询计算题。20%2总结1.使用思维导图对每章节进行提炼总结。2.成绩采用百分制，根据思维导图的中心主题、整体布局、关键词和层级完成评分。3.考核学生对大数据管理知识的掌握能力、学习总结能力。15%3实验1.本课程依托大数据平台，课外完成4~6次实验。2.成绩采用百分制，根据实验完成情况评分。3.考核学生基本数据模型设计、分析和管理能力。15%4考勤刷卡点名5%5大作业1.本课程要求学生组队自选一个大数据管理系统相关题目或实际问题，并利用Python或Java语言进行编程实现。2.成绩采用百分制，根据数据模型设计、分析、管理过程的完整性和准确性评分。3.考核学生认识和发现问题的能力，以及解决实际问题的能力。40%6课堂表现课堂回答问题情况5%五、评分细则序号课程目标考核环节大致占比评分等级1M1平时作业50%A-独立思考、按时完成，解题思路清晰、步骤完整、格式合理、答案准确。B-独立思考、按时完成，解题思路比较清晰、步骤比较完整、格式合理、答案基本准确。C-基本按时完成，解题思路比较清晰、步骤比较完整、格式比较合理、答案有少量错误。D-作业抄袭，未能按时完成，解题思路混乱，答案错误多。2M1总结50%A-中心主题明确，整体布局合理，关键词提取精准、合理、完整，层级科学。B-中心主题明确，整体布局合理，关键词提取比较精准、合理、完整，层级科学。C-中心主题比较明确，整体布局比较合理，关键词提取比较精准、合理、完整，层级乱。D-中心主题不明确，整体布局比较混乱，关键词提取不精准、不合理、不完整，层级乱。3M2实验100%A-实验过程中认真完成实验要求，得到正确的实验结果，实验报告格式正确，步骤叙述清楚，正确分析实验数据，从技术角度优选解决方案获得有效结论。B-实验过程中认真完成实验要求，得到正确的实验结果，实验报告格式正确，步骤叙述比较清楚，正确分析实验数据，从技术角度优选解决方案获得比较有效的结论。C-实验过程中认真完成实验要求，不能得到正确的实验结果，实验报告格式正确，步骤叙述清楚，没有正确分析实验数据，但是结合理论分析可以从技术角度优选解决方案获得有效的结论。D-实验过程中不能完成实验要求，不能得到正确的实验结果，不能从技术角度优选解决方案获得有效的结论。4M3大作业60%A-数据库设计正确，完整实现数据存储、模式、查询等管理过程，结果验证正确。B-数据库设计正确，完整实现数据存储、模式、查询等管理过程，结果验证比较正确。C-数据库设计正确，比较完整实现数据存储、模式、查询等管理过程，结果验证有较少错误。D-数据库设计有缺陷，部分实现数据存储、模式、查询等管理过程，结果验证不完全正确。5M3实验40%A-实验过程中认真完成实验要求，得到正确的实验结果，实验报告格式正确，步骤叙述清楚，正确分析实验数据，从技术角度优选解决方案获得有效结论。B-实验过程中认真完成实验要求，得到正确的实验结果，实验报告格式正确，步骤叙述比较清楚，正确分析实验数据，从技术角度优选解决方案获得比较有效的结论。C-实验过程中认真完成实验要求，不能得到正确的实验结果，实验报告格式正确，步骤叙述清楚，没有正确分析实验数据，但是结合理论分析可以从技术角度优选解决方案获得有效的结论。D-实验过程中不能完成实验要求，不能得到正确的实验结果