《物联网异构数据处理技术》课程教学大纲（本科）

1、物联网异构数据处理技术(Heterogeneous Data Processing Technology for Internet of Things)课程代码：06410109学分：2学时：32 （其中：课堂教学学时：22 实验学时：0 上机学时：10 课程 实践学时：0 ）先修课程：面向对象程序设计、算法设计基础、操作系统B、多传感器数据融合技 术适用专业：物联网工程教材：大数据挑战与NoSQL数据库技术，陆嘉恒，电子工业出版社，2013年4 月第1版一课程性质与课程目标（一）课程性质物联网异构数据处理技术是物联网工程专业中的核心课程之一，它建立在面向 对象程序设计、算法设计基础、操作系统

2、B、多传感器数据融合技术等课程知识的基础 上，为物联网工程专业后续课程的学习打下了坚实的基础。本课程是物联网工程专业的 重要专业基础课和选修课，旨在培养学生基于物联网异构数据处理技术分析解决实际问 题的能力。（二）课程目标.知识方面掌握数据一致性理论、数据模型、数据分区与放置策略；掌握海量数据处理方法；掌握数据复制与容错技术；掌握数据压缩技术和缓存技术；掌握自我学习与研究能力。.能力与素质方面培养基础扎实、知识面宽、具有创新精神、能适应物联网应用技术的发展需求, 具有较强的应用创新能力；培养学生综合运用所学知识分析问题、解决问题的能力；了解物联网的发展现状和趋势，培养具有扎实的物联网技术综合应

3、用能力，具 备能够综合运用掌握的知识、方法和技术与生产实际结合，解决实际问题；具有良好的组织管理能力、表达能力、自学能力、独立工作能力、应用创新能 力、人际交往能力和团队协作能力。（三）课程目标与专业毕业要求指标点的对应关系本课程支持的毕业要求指标点如下：指标点3. 5：能够用程序、报告或实物等形式，呈现设计成果。指标点5. 3：能够选择、运用合理的工具对物联网领域复杂工程问题进行仿真和预 测，并对结论给出恰当的分析解释。指标点11. 2：能够在多学科环境下的项目分析、设计、实施过程中，利用工程管理 原理和经济决策方法，分析处理工程问题、得到有效结论。二、课程内容与教学要求第一章物联网异构数据

4、处理概述本章支持课程目标：L1掌握数据一致性理论、数据模型、数据分区与放置策略。培养基础扎实、知识面宽、具有创新精神、能适应物联网应用技术的发展需求，具 有较强的应用创新能力。2.2培养学生综合运用所学知识分析问题、解决问题的能力。了解物联网的发展现状和趋势，培养具有扎实的物联网技术综合应用能力，具备能 够综合运用掌握的知识、方法和技术与生产实际结合，解决实际问题。2.4具有良好的 组织管理能力、表达能力、自学能力、独立工作能力、应用创新能力、人际交往能力和 团队协作能力。（一）课程内容（1）异构数据挑战；（讲授）（2）异构数据的存储和管理（讲授）A、并行数据库；B、NoSQL数据管理系统；C

5、、NewSQL数据管理系统；D、云数据管理。（3）大数据的处理和分析。（讲授）（二）教学要求了解课程的性质、研究对象与方法、任务；了解大数据产生的背景以及大数据带来的挑战；了解新的数据管理系统，包括：NoSQL数据管理系统和NewSQL数据管理系 统。（三）重点与难点.重点了解大数据产生的背景以及大数据带来的挑战。.难点了解新的数据管理系统：NoSQL和NewSQL。第二章数据一致性理论本章支持课程目标：1.1掌握数据一致性理论、数据模型、数据分区与放置策略。 1.2掌握海量数据处理方法。2.1培养基础扎实、知识面宽、具有创新精神、能适应物 联网应用技术的发展需求，具有较强的应用创新能力。2.

6、2培养学生综合运用所学知识 分析问题、解决问题的能力。2.3 了解物联网的发展现状和趋势，培养具有扎实的物联 网技术综合应用能力，具备能够综合运用掌握的知识、方法和技术与生产实际结合，解 决实际问题。2.4具有良好的组织管理能力、表达能力、自学能力、独立工作能力、应 用创新能力、人际交往能力和团队协作能力。（一）课程内容（1）数据一致性模型；（讲授）ACID 与 BASE；（讲授）（3）数据一致性实现技术（讲授+自学）A、两阶段提交协议；B、时间戳策略；C、Paxos；D、向量时钟。（二）教学要求（1）理解关于海量数据存储以及NoSQL数据库中的数据一致性理论；（2）理解BASE模型；（3）在

7、数据一致性的最终实现上，不同的系统采用不同的策略，包括：NWR策略、 两阶段提交协议、Paxos向量时钟等。（三）重点与难点.重点理解关于海量数据存储以及NoSQL数据库中的数据一致性理论，理解BASE模型及其相关概念，在数据一致性的最终实现上，掌握不同的系统采用不同的策略。.难点理解关于海量数据存储以及NoSQL数据库中的数据一致性理论。第三章数据存储模型本章支持课程目标：1.2掌握海量数据处理方法。2.1培养基础扎实、知识面宽、 具有创新精神、能适应物联网应用技术的发展需求，具有较强的应用创新能力。2.2培 养学生综合运用所学知识分析问题、解决问题的能力。2.3 了解物联网的发展现状和趋

8、势，培养具有扎实的物联网技术综合应用能力，具备能够综合运用掌握的知识、方法和 技术与生产实际结合，解决实际问题。2.4具有良好的组织管理能力、表达能力、自学 能力、独立工作能力、应用创新能力、人际交往能力和团队协作能力。（一）课程内容（讲授）（讲授）（讲授）（讲授）键值存储; 列值存储; 文档存储; 图形存储;（二）教学要求（1）理解四种NoSQL中常见的数据模型：键值模型、列式模型、文档模型、图形 模型；（2）分析四种数据模型的优缺点和应用场景。（三）重点与难点.重点理解四种NoSQL中常见的数据模型：键值模型、列式模型、文档模型、图形模型， 并分析四种数据模型的优缺点和应用场景。.难点理解

9、四种NoSQL中常见的数据模型，并分析四种数据模型的优缺点。第四章数据分区与放置策略本章支持课程目标：1.1掌握数据一致性理论、数据模型、数据分区与放置策略。1.2掌握海量数据处理方法。2.1培养基础扎实、知识面宽、具有创新精神、能适应物 联网应用技术的发展需求，具有较强的应用创新能力。2.2培养学生综合运用所学知识 分析问题、解决问题的能力。2.3 了解物联网的发展现状和趋势，培养具有扎实的物联 网技术综合应用能力，具备能够综合运用掌握的知识、方法和技术与生产实际结合，解 决实际问题。2.4具有良好的组织管理能力、表达能力、自学能力、独立工作能力、应 用创新能力、人际交往能力和团队协作能力。

10、（一）课程内容（1）分区的意义；（讲授）（2）范围分区；（讲授）（3）列表分区；（讲授）（4）哈希分区；（讲授）（5）放置策略（讲授+问题启发）A、一致性哈希算法；B、容错性与可扩展性分析；C、虚拟节点。（二）教学要求（1）理解分区的意义；（2）理解范围分区、列表分析、哈希分区的基本概念；（3）掌握不同放置策略，包括一致性哈希算法、容错性与可扩展性分析和虚拟节点。 （三）重点与难点.重点理解分区的意义，掌握范围分区、列表分析、哈希分区的基本概念，并掌握不同的 放置策略。.难点掌握范围分区、列表分析、哈希分区的基本理论，并掌握不同的放置策略。第五章海量数据处理方法本章支持课程目标：1.2掌握海量

11、数据处理方法。1.5掌握自我学习与研究能力。培养基础扎实、知识面宽、具有创新精神、能适应物联网应用技术的发展需求，具 有较强的应用创新能力。2.2培养学生综合运用所学知识分析问题、解决问题的能力。了解物联网的发展现状和趋势，培养具有扎实的物联网技术综合应用能力，具备能 够综合运用掌握的知识、方法和技术与生产实际结合，解决实际问题。2.4具有良好的 组织管理能力、表达能力、自学能力、独立工作能力、应用创新能力、人际交往能力和 团队协作能力。（一）课程内容1） MapReduce 简介；（讲授）2） MapReduce数据流；（讲授）3） MapReduce数据处理（讲授+问题启发）A、提交作业；

12、B、初始化作业；C、分配任务；D、执行任务；E、更新任务执行速度和状态；F、完成作业。（二）教学要求（1）理解 MapReduce 模型；（2）掌握M叩Reduce数据流和数据处理过程。（三）重点与难点.重点理解MapReduce模型，并掌握MapReduce数据流和数据处理过程。.难点理解MapReduce模型及其相关理论，并掌握MapReduce数据流和数据处理过程。第六章数据复制与容错技术本章支持课程目标：L3掌握数据复制与容错技术。1.5掌握自我学习与研究能力。 2.1培养基础扎实、知识面宽、具有创新精神、能适应物联网应用技术的发展需求，具 有较强的应用创新能力。2.2培养学生综合运用

13、所学知识分析问题、解决问题的能力。 2.3 了解物联网的发展现状和趋势，培养具有扎实的物联网技术综合应用能力，具备能 够综合运用掌握的知识、方法和技术与生产实际结合，解决实际问题。2.4具有良好的 组织管理能力、表达能力、自学能力、独立工作能力、应用创新能力、人际交往能力和 团队协作能力。（一）课程内容（1）海量数据复制的作用和代价；（讲授）（2）海量数据复制的策略（讲授+自学）A、Dynamo的复制策略；B、CouchDB的复制策略；C、PNUTS的复制策略。（3）海量数据的故障发现与处理（讲授+自学）A、Dynamo的故障发现与处理；B、CouchDB的故障发现与处理；C、PNUTS的故障

14、发现与处理。（二）教学要求（1）理解海量数据时代数据复制的意义；（2）掌握一些典型数据库的海量数据复制的策略，包括：Dynamo. CouchDB和 PNUTSo（三）重点与难点.重点理解海量数据时代数据复制的意义，并掌握一些典型数据库的海量数据复制的策略。.难点理解海量数据时代数据复制的意义，并掌握三种典型数据库的异构数据复制策略。第七章缓存技术本章支持课程目标：1.4掌握数据压缩技术和缓存技术。L5掌握自我学习与研究 能力。2.1培养基础扎实、知识面宽、具有创新精神、能适应物联网应用技术的发展需 求，具有较强的应用创新能力。2.2培养学生综合运用所学知识分析问题、解决问题的 能力。2.3

15、了解物联网的发展现状和趋势，培养具有扎实的物联网技术综合应用能力， 具备能够综合运用掌握的知识、方法和技术与生产实际结合，解决实际问题。2.4具有 良好的组织管理能力、表达能力、自学能力、独立工作能力、应用创新能力、人际交往 能力和团队协作能力。（一）课程内容（1）分布式缓存简介；（讲授）（2）分布式缓存的内部机制；（讲授）（3）分布式缓存的拓扑结构（讲授+自学）A、复制式拓扑；B、分割式拓扑；C、客户端缓存拓扑。（二）教学要求（1）理解分布式缓存技术；（2）掌握分布式缓存的内部机制，包括：生命期机制、一致性机制、查询机制等；（3）理解三种分布式缓存的拓扑结构。（三）重点与难点.重点掌握分布式

16、缓存的内部机制，包括：生命期机制、一致性机制、查询机制等，并理 解三种分布式缓存的拓扑结构。.难点掌握分布式缓存的内部机制，包括：生命期机制、一致性机制、查询机制等。三、本课程开设的实验项目编号实验项目名称学时类型要求支撑的课程目标1文档数据库的安装2验证性必做1.1, 2.1, 2.2,2.3, 2.42基于Hadoop的数据管理 系统4设计性必做1.2, 2.2, 2.43NewSQL数据库的安装 与开发2设计性必做1.5, 2.1,2.2, 2.44分布式缓存系统2验证性必做1.4, 2.1, 2.2,2.3, 2.4四、学时分配及教学方法章（按序填 写）教学形式及学时分配主要教学方法支

17、撑的课程目 标课堂 教学实 验上 机课 程 实 践小 计绪论弟一早22讲授1.1, 2.1, 2.2,2.3, 2.4第二章22讲授+自学1.1, 1.2, 2.1,2.2, 2.3, 2.4第三章426讲授1.2, 2.1,2.2,2.3, 2.4第四章2讲授+问题启发1.1, 1.2, 2.1,2.2, 2.3, 2.4第五章448讲授+问题启发1.2, 1.5, 2.1,2.2, 2.3, 2.4弟八早426讲授+自学1.3, 1.5, 2.1,2.2, 2.3, 2.4第七章426讲授+自学1.4, 1.5, 2.1,2.2, 2.3, 2.4合计221032五、课程考核考核形式考核要求考核权重备注平时作业按照作业次数，作业题目 进行评分，总分数平均计 算15%实验完成实验报告，主要考查 分析能力，设计能力和