《分布式存储技术》教学大纲

《分布式存储技术》教学大纲适用范围：202X版本科人才培养方案课程代码：08150311课程性质：专业选修课学分：4学分学时：64学时（理论48学时，实验16学时）先修课程：数据库原理及应用、计算机网络后继课程：大数据平台与架构适用专业：数据科学与大数据技术开课单位：计算机科学与技术学院一、课程说明《分布式存储技术》是数据科学与大数据技术专业的专业选修课。本课程的任务是让学生了解当前主要分布式存储的历史和发展，熟悉Ceph、Swift、Gluster和FastDFS等当前主流分布式存储技术的特点及其差别，掌握当前流行的并处理技术的部署、建立和主要存储操作，同时通过使用课内实验方式来提升学生对分布式存储技术的实际操作能力及动手能力。二、课程目标通过本课程的学习，使学生达到如下目标：课程目标1：熟练掌握大数据系统架构、分布式协调系统与非关系型数据库，培养大数据思维，为后续的“课程设计”和“毕业设计”打下良好的基础。课程目标2：掌握数据离线处理、Spark生态圈和数据采集技术，具备初步的部署分布式存储系统解决实际问题的能力，能够使用分布式存储系统实现对复杂工程问题的模拟、预测和分析。课程目标3：积极培育社会主义核心价值观，践行中国优秀传统文化教育，树立正确的人生观、世界观和价值观；树立正确的劳动观念，切实提升心理素质，增强干事创业的信心。三、课程目标与毕业要求《分布式存储技术》课程教学目标对数据科学与大数据技术专业毕业要求的支撑见表1。表1课程教学目标与毕业要求关系毕业要求指标点课程目标支撑强度2.问题分析2.2能根据数学、自然科学和工程科学的基本原理为数据科学与大数据技术领域复杂工程问题选择合适的问题解决方案。课程目标1：熟练掌握大数据系统架构、分布式协调系统与非关系型数据库，培养大数据思维，为后续的“课程设计”和“毕业设计”打下良好的基础。课程目标2：掌握数据离线处理、Spark生态圈和数据采集技术，具备初步的部署分布式存储系统解决实际问题的能力，能够使用分布式存储系统实现对复杂工程问题的模拟、预测和分析。H3.设计/开发解决方案3.2能够针对大数据应用相关领域的复杂工程问题设计整体项目解决方案，掌握项目开发全周期、全流程的基本设计/开发方法和技术，完成项目的软硬件设计、仿真、实现、运行和维护等。课程目标1：熟练掌握大数据系统架构、分布式协调系统与非关系型数据库，培养大数据思维，为后续的“课程设计”和“毕业设计”打下良好的基础。课程目标2：掌握数据离线处理、Spark生态圈和数据采集技术，具备初步的部署分布式存储系统解决实际问题的能力，能够使用分布式存储系统实现对复杂工程问题的模拟、预测和分析。H6.工程与社会6.2在对数据科学与大数据技术领域复杂工程问题解决方案的评价中，能够考虑安全、隐私、法律、知识产权保护等方面的因素，以及这些制约因素对方案实施的影响，给出正确的评价结论，能够理解大数据工程师应承担的社会责任。课程目标3：积极培育社会主义核心价值观，践行中国优秀传统文化教育，树立正确的人生观、世界观和价值观；树立正确的劳动观念，切实提升心理素质，增强干事创业的信心。M注：表中“H（高）、M（中）”表示课程与相关毕业要求的关联度。四、教学内容、基本要求与学时分配1.理论部分理论部分的教学内容、基本要求与学时分配见表2。表2教学内容、基本要求与学时分配教学内容教学要求，教学重点难点理论学时实验学时对应的课程目标1.分布式存储技术概论1.1分布式存储技术基本概念1.2分布式存储主要技术1.3分布式存储主要工具教学要求:理解分布式存储基本概念；掌握分布式存储主要技术；了解分布式存储主要工具。重点:分布式存储技术基本概念。难点:分布式存储主要技术。21、22.Ceph分布式存储系统基础2.1Ceph分布式存储系统的起源与发展2.2Ceph分布式存储系统基本结构与特点2.3Ceph分布式存储系统软件部署与配置教学要求：了解Ceph分布式存储系统的起源与发展；理解Ceph分布式存储系统基本结构与特点；掌握Ceph分布式存储系统部署与配置。重点:Ceph分布式存储系统基本结构与特点。难点:Ceph分布式存储系统软件部署与配置。61、23.Ceph分布式存储系统高级操作3.1Ceph分布式存储系统建立3.2Ceph分布式存储系统文件操作3.3Ceph分布式存储系统维护教学要求：了解Ceph分布式存储系统高级操作的种类；理解Ceph分布式存储系统维护的必要性；掌握Ceph分布式存储系统建立、文件操作和维护的各种命令。重点:Ceph分布式存储系统操作建立与操作。难点:Ceph分布式存储系统维护。841、24.Swift分布式存储系统基础4.1Swift分布式存储系统的起源与发展4.2Swift分布式存储系统基本结构与特点4.3Swift分布式存储系统软件部署与配置教学要求：了解Swift分布式存储系统的起源与发展；理解Swift分布式存储系统基本结构与特点；掌握Swift分布式存储系统部署与配置。重点:Swift分布式存储系统基本结构与特点。难点:Swift分布式存储系统软件部署与配置。61、25.Swift分布式存储系统高级操作5.1Swift分布式存储系统建立5.2Swift分布式存储系统文件操作5.3Swift分布式存储系统维护教学要求：了解Swift分布式存储系统高级操作的种类；理解Swift分布式存储系统维护的必要性；掌握Swift分布式存储系统建立、文件操作和维护的各种命令。重点:Swift分布式存储系统操作建立与操作。难点:Swift分布式存储系统维护。841、26.Gluster分布式存储系统基础6.1Gluster分布式存储系统的起源与发展6.2Gluster分布式存储系统基本结构与特点6.3Gluster分布式存储系统软件部署与配置教学要求：了解Gluster分布式存储系统的起源与发展；理解Gluster分布式存储系统基本结构与特点；掌握Gluster分布式存储系统部署与配置。重点:Gluster分布式存储系统基本结构与特点。难点:Gluster分布式存储系统软件部署与配置。61、27.Gluster分布式存储系统高级操作7.1Gluster分布式存储系统建立7.2Gluster分布式存储系统文件操作7.3Gluster分布式存储系统维护教学要求：了解Gluster分布式存储系统高级操作的种类；理解Gluster分布式存储系统维护的必要性；掌握Gluster分布式存储系统建立、文件操作和维护的各种命令。重点:Gluster分布式存储系统操作建立与操作。难点:Gluster分布式存储系统维护。841、2、38.FastDFS分布式存储系统8.1FastDFS分布式存储系统的起源与发展8.2FastDFS分布式存储系统基本结构与特点8.3FastDFS分布式存储系统基本特点8.4FastDFS分布式存储系统部署8.5FastDFS分布式存储系统建立教学要求：了解FastDFS分布式存储系统的起源与发展；理解FastDFS分布式存储系统基本结构；理解FastDFS分布式存储系统基本特点；掌握FastDFS分布式存储系统部署；掌握FastDFS分布式存储系统建立。重点:FastDFS分布式存储系统基本结构与特点。难点:FastDFS分布式存储系统部署与建立。441、2、3合计=SUM(ABOVE)48162.实验部分实验部分的教学内容、基本要求与学时分配见表3。表3实验内容与学时实验项目实验内容和要求实验学时对应的课程目标1.Ceph分布式存储系统建立和维护实验内容：基于部署的Ceph系统，建立Ceph分布式存储系统，并进行一系列维护操作。实验要求：基于部署的Ceph系统，建立Ceph分布式存储系统，并进行一系列维护操作。41、22.Swift分布式存储系统建立和维护实验内容：基于部署的Swift系统，建立Swift分布式存储系统，并进行一系列维护操作。实验要求：基于部署的Swift系统，建立Swift分布式存储系统，并进行一系列维护操作。41、23.Gluster分布式存储系统建立和维护实验内容：基于部署的Gluster系统，建立Gluster分布式存储系统，并进行一系列维护操作。实验要求：基于部署的Gluster系统，建立Gluster分布式存储系统，并进行一系列维护操作。41、24.FastDFS分布式存储系统实验实验内容：部署、建立、维护FastDFS存储系统。实验要求：部署、建立、维护FastDFS存储系统。41、2合计16五、教学方法及手段本课程以课堂讲授为主，结合讨论、案例、视频资源、实验等教学手段完成课程教学任务和相关能力的培养。在实验教学环节中，通过启发式教学、讨论式教学培养学生分布式存储系统的设计、部署、监控、运行的基本能力和基本方法。培养学生自主学习能力、实际动手能力，激发学生的创新思维。采用学习通、钉钉、QQ、微信等交流工具，加强和学生之间的交流和沟通。六、课程资源库1.推荐教材（1）陈康.大数据存储技术（第一版）[M].北京:人民邮电出版社.2021.（2）陈建平等.分布式数据库HBase案例教程[M].北京:清华大学出版社.2022.2.参考书（1）中国移动云能力中心.存储漫谈Ceph原理与实践[M].北京:人民邮电出版社.2021.（2）景显强等.Ceph企业级分布式存储原理与工程实践[M].北京:机械工业出版社.2021.（3）胡世杰.分布式对象存储：原理、架构及Go语言实现[M].北京:人民邮电出版社.2018.3.期刊（1）陈旭辉,刘洋,高鹏等.NVMe在气象大数据分布式存储中的研究与应用[J].气象水文海洋仪器,2021,38(04):12-15.（2）岑星星,汤钦华,马群圣.基于Hadoop分布式存储的区域医联体云PACS的研究与应用[J].中国医疗设备,2021,36(12):103-107.（3）陈学渊,梁璟,倪辰辰等.跨地域环境下的电磁数据分布式存储架构[J].电子信息对抗技术,2021,36(06):114-118.（4）胡琼.大数据环境中计算机网络安全存储研究[J].佳木斯大学学报(自然科学版),2021,39(06):73-75,128.（5）ShinH,LeeK,KwonHY.AcomparativeexperimentalstudyofdistributedstorageenginesforbigspatialdataprocessingusingGeoSpark[J].TheJournalofSupercomputing.2021:1-24.4.网络资源（1）FANCYPANDA.大数据存储技术了解.2022./weixin_44955712/article/details/122594400（2）杨俊生.大数据时代数据存储技术的发展.2019./article/pz2f8a03agfk.html七、课程考核对课程目标的支撑课程成绩由过程性考核成绩和期末大作业成绩两部分构成，具体考核/评价细则及对课程目标的支撑关系见表4。表4课程考核对课程目标的支撑考核环节占比考核/评价细则课程目标123过程考核课程视频10（1）根据学生观看学习通中本课程的视频资料进度和完成情况进行考核，未学完者依据所学视频进度得相应的分数，满分100分。（2）以课程视频成绩乘以其在总评成绩中所占的比例计入课程总评成绩。√√√352课堂表现7.5（1）根据课堂考勤、课堂回答问题和小组讨论等情况进行考核，满分100分。（2）以课堂表现成绩乘以其在总评成绩中所占的比例计入课程总评成绩。√√√24.51作业评价10（1）主要考核学生对各章节知识点的复习、理解和掌握程度，满分100分；（2）每次作业单独评分，取各次成绩的平均值作为此环节的最终成绩。（3）以作业评价成绩乘以其在总评成绩中所占的比例计入课程总评成绩。√√√253课内实验12.5（1）根据每个实验的实验情况和实验报告质量单独评分；（2）取各次实验成绩的平均值作为此环节的最终成绩。√√√55.52阶段测验10（1）主要考核学生对各章知识点的综合应用能力，满分100分。（2）以阶段测验成绩乘以其在总评成绩中所占的比例计入课程总评成绩。√√√352期末考核50（1）期末大作业成绩100分，以大作业成绩乘以其在总评成绩中所占的比例计入课程总评成绩。（2）让学生了解当前主要分布式存储的历史和发展，熟悉Ceph、Swift、Gluster和FastDFS等当前主流分布式存储技术的特点及其差别，掌握当前流行的并处理技术的部署、建立和主要存储操作。（3）题型为：综合应用题。√√√20255合计：100分355015八、考核与成绩评定1.考核方式及成绩评定考核方式：本课程主要以课程视频、课堂表现、作业评价、课内实验、阶段测验、期末大作业等方式对学生进行考核评价。考核基本要求：考核总成绩由期末大作业成绩和过程性评价成绩组成。其中：期末大作业成绩为100分（权重50%），类型为综合应用题；课程视频、课堂表现、作业评价、课内实验、阶段测验等过程性评价成绩为100分（权重50%）；过程性评价和大作业分值分配应与教学大纲各章节的学时基本成比例。2.过程性考核成绩的标准过程性考核方式重点考核内容、