吴功宜-物联网工程导论第8章 物联网数据处理技术

1、Nankai University1物联网工程导论物联网工程导论Nankai University第第8章章 物联网数据处理技术物联网数据处理技术2Nankai University第第 8章章知知识识点点结结构构3Nankai University8.1 物联网数据处理技术的基本概念物联网数据处理技术的基本概念8.1.1 物联网数据的特点物联网数据的特点海量海量 物联网节点的数量是非常多的，它们所产生的数据量物联网节点的数量是非常多的，它们所产生的数据量一定是海量一定是海量多态多态 多种传感器去观测的不同数据多种传感器去观测的不同数据在在数值范围、格式、单数值范围、格式、单位位与与精度精度动

2、态动态 各种各种数据数据都将随时间不断变化的都将随时间不断变化的关联关联 物联网中的数据之间在空间、时间维度上存在着紧密物联网中的数据之间在空间、时间维度上存在着紧密的关联性的关联性4Nankai University VigilNet网络拓扑与数据处理研究的示意图网络拓扑与数据处理研究的示意图5Nankai University8.1.2 物联网数据处理关键技术物联网数据处理关键技术 海量数据存储海量数据存储 数据融合数据融合 数据查询、搜索与数据挖掘数据查询、搜索与数据挖掘 智能决策智能决策6Nankai University海量数据存储海量数据存储 物联网数据具有海量、多态、动态与关物联

3、网数据具有海量、多态、动态与关联的特征联的特征 海量数据的存储结构影响着物联网系统海量数据的存储结构影响着物联网系统的可靠性与效率的可靠性与效率 如何利用数据中心与云计算平台存储物如何利用数据中心与云计算平台存储物联网的海量数据，如何充分地利用好物联网的海量数据，如何充分地利用好物联网信息，同时又要实现对隐私的保护，联网信息，同时又要实现对隐私的保护，这是物联网数据处理技术首先要面对的这是物联网数据处理技术首先要面对的一个重要问题一个重要问题7Nankai University 无线传感器网络数据存储结构示意图无线传感器网络数据存储结构示意图8Nankai University数据融合数据融合

4、 20世纪世纪70年代年代 “数据融合（数据融合（Data Fusion）” 术语才正术语才正式出现式出现 针对物联网数据的多态性，需要研究基于多种传感器针对物联网数据的多态性，需要研究基于多种传感器的数据聚合技术，综合分析各种传感器的数据，从中的数据聚合技术，综合分析各种传感器的数据，从中提取有用的信息提取有用的信息 数据融合已经发展成数据处理一个新的和重要的分支数据融合已经发展成数据处理一个新的和重要的分支 在物联网中智能交通、工业控制、环境监控、精准农在物联网中智能交通、工业控制、环境监控、精准农业、突发事件处置、智慧城市、智能电网等物联网应业、突发事件处置、智慧城市、智能电网等物联网应

5、用系统中，必然会应用多种传感器去综合感知多种物用系统中，必然会应用多种传感器去综合感知多种物理世界的信息，从中提取对于我们智慧处理物理世界理世界的信息，从中提取对于我们智慧处理物理世界问题有用的信息和知识问题有用的信息和知识 数据融合技术是物联网数据处理研究的重要内容之一数据融合技术是物联网数据处理研究的重要内容之一9Nankai University 数据查询、搜索与数据挖掘数据查询、搜索与数据挖掘 物联网环境中感知数据具有实时性、周期性与物联网环境中感知数据具有实时性、周期性与不确定性等特点不确定性等特点 物联网环境中，由于各种感知手段获取的信息物联网环境中，由于各种感知手段获取的信息与传

6、统的互联网信息共存，搜索引擎需要与各与传统的互联网信息共存，搜索引擎需要与各种智能的和非智能的物理对象密切结合，主动种智能的和非智能的物理对象密切结合，主动识别物理对象，获取有用的信息，这对于传统识别物理对象，获取有用的信息，这对于传统的搜索引擎技术是一个挑战的搜索引擎技术是一个挑战 数据挖掘是物联网数据处理中一个重要的方法数据挖掘是物联网数据处理中一个重要的方法10Nankai University智能决策智能决策 发展物联网的最终目标不是简单地将物发展物联网的最终目标不是简单地将物与物互联，而是要催生很多具有与物互联，而是要催生很多具有“计算、计算、通信、控制、协同和自治通信、控制、协同和

7、自治”特征的智能特征的智能设备与系统，实现实时感知、动态控制设备与系统，实现实时感知、动态控制和智能服务和智能服务 智能决策是物联网信息处理技术中追求智能决策是物联网信息处理技术中追求的最重要的目标的最重要的目标11Nankai University8.2 海量数据存储技术海量数据存储技术8.2.1 物联网对海量数据存储的需求物联网对海量数据存储的需求 物联网的海量数据除了来自传感器节点、物联网的海量数据除了来自传感器节点、RFID节点以及其他各种智能终端设备每节点以及其他各种智能终端设备每时每刻所产生的数据之外，各种物理对时每刻所产生的数据之外，各种物理对象在参与物联网事务处理的过程中也会象

8、在参与物联网事务处理的过程中也会产生大量的数据产生大量的数据 物联网的海量数据的存储需要数据库、物联网的海量数据的存储需要数据库、数据仓库、网络存储、数据中心与云存数据仓库、网络存储、数据中心与云存储技术的支持储技术的支持12Nankai University8.2.2 数据库技术数据库技术 数据库技术是计算机科学技术中发展最快、应用最广数据库技术是计算机科学技术中发展最快、应用最广泛的领域之一。数据库技术经过几十年的发展，其应泛的领域之一。数据库技术经过几十年的发展，其应用已遍及各个领域，成为用已遍及各个领域，成为21世纪信息化社会的核心技世纪信息化社会的核心技术之一术之一 物联网的数据存储

9、与管理需要使用数据库技术，物联物联网的数据存储与管理需要使用数据库技术，物联网的海量数据存储与管理也会促进数据库技术的发展网的海量数据存储与管理也会促进数据库技术的发展 数据库管理系统可分数据库管理系统可分为为层次数据库、网状数据库、关层次数据库、网状数据库、关系数据库以及面向对象数据库系数据库以及面向对象数据库 随着数据库技术的发展，数据库用户界面变得更加简随着数据库技术的发展，数据库用户界面变得更加简单，功能更加强大和更加智能单，功能更加强大和更加智能，未来的数据库技术必未来的数据库技术必然会与人工智能技术相互交叉融合然会与人工智能技术相互交叉融合13Nankai University8.

10、2.3 物联网数据管理技术物联网数据管理技术 关系数据库为物联网海量数据的管理提供了重要的理关系数据库为物联网海量数据的管理提供了重要的理论、工具与方法论、工具与方法 物联网中有两大类重要的应用，一是基于物联网中有两大类重要的应用，一是基于RFID标签自标签自动识别技术的应用，另一类是基于无线传感器网络的动识别技术的应用，另一类是基于无线传感器网络的应用应用 设计一个基于设计一个基于RFID标签自动识别技术的零售业或物流标签自动识别技术的零售业或物流业应用时，对于由业应用时，对于由RFID所产生的数据的管理与处理方所产生的数据的管理与处理方法与传统的互联网应用有很多相似之处法与传统的互联网应用

11、有很多相似之处 基于无线传感器网络的物联网应用有它的特殊性，需基于无线传感器网络的物联网应用有它的特殊性，需要研究针对无线传感器网络的数据管理与处理方法要研究针对无线传感器网络的数据管理与处理方法14Nankai University无线传感器网络数据管理系统结构无线传感器网络数据管理系统结构无线传感器网络数据管理系统结构主要有无线传感器网络数据管理系统结构主要有： 集中式结构集中式结构 半分布式结构半分布式结构 分布式结构分布式结构 层次式结构层次式结构无线传感器网络无线传感器网络数据管理系统层次结构数据管理系统层次结构15Nankai University TinyDB系统的结构系统的结构

12、16Nankai University17 TinyDB关系表结构关系表结构Nankai University8.3 物联网海量数据存储与云计算物联网海量数据存储与云计算*8.3.1 数据存储技术的研究与发展数据存储技术的研究与发展存储技术的研究与发展存储技术的研究与发展 数据存储技术从单机封闭系统存储向开放系统数据存储技术从单机封闭系统存储向开放系统的存储方向发展的存储方向发展 开放系统的存储进一步分为开放系统的存储进一步分为： 直接附加存储（直接附加存储（DAS） 网络接入存储（网络接入存储（NAS） 存储区域网络（存储区域网络（SAN）18Nankai University服务器技术的发

13、展服务器技术的发展 各种类型的服务器与机房中的服务器各种类型的服务器与机房中的服务器19Nankai University 典型的机架式服务器典型的机架式服务器20Nankai University 刀片服务器刀片服务器21Nankai University8.3.2 IDC的基本概念的基本概念 随着互联网应用规模的不断扩大，大规模的在线网络随着互联网应用规模的不断扩大，大规模的在线网络服务促进了服务促进了“互联网数据中心（互联网数据中心（IDC）”的出现的出现 随着业务的扩展，一些企业网、校园网、政务网、商随着业务的扩展，一些企业网、校园网、政务网、商务网也在考虑建设自己的数据中心（务网也在

14、考虑建设自己的数据中心（Data Center） 数据中心的成本是由数据中心的成本是由4部分组成：服务器成本、网络设部分组成：服务器成本、网络设备成本、基础设施成本与能源成本备成本、基础设施成本与能源成本 在推动物联网应用发展的同时，必须研究适合即能够在推动物联网应用发展的同时，必须研究适合即能够快速部署物联网应用，存储海量数据，又能够节省资快速部署物联网应用，存储海量数据，又能够节省资金与日常维护费用，符合环保节能的原则的数据中心金与日常维护费用，符合环保节能的原则的数据中心技术技术 数据中心的概念正在经历了从中小型企业网、校园网数据中心的概念正在经历了从中小型企业网、校园网中的计算与存储数

15、据的数据中心，向云计算平台的发中的计算与存储数据的数据中心，向云计算平台的发展的趋势展的趋势22Nankai University8.3.3 云计算的基本概念云计算的基本概念云计算的特点云计算的特点 弹性服务弹性服务 资源池化资源池化 按需服务按需服务 服务可计费服务可计费 泛在接入泛在接入云计算数据中心特点云计算数据中心特点 自治性自治性 规模经济规模经济 规模可扩展规模可扩展23Nankai University8.3.4 云计算系统组成云计算系统组成云计算云计算系统组成系统组成： 云平台云平台 云终端云终端 云存储云存储 云安全云安全24Nankai University公有云与私有云的

16、概念公有云与私有云的概念公有云公有云： 第三方提供商为用户提供服务的云平台，用户可以把第三方提供商为用户提供服务的云平台，用户可以把通过互联网访问通过互联网访问 作为一个支撑平台，可以通过提供免费或用很低费用作为一个支撑平台，可以通过提供免费或用很低费用的服务，去吸引大量的用户，整合上游的增值业务和的服务，去吸引大量的用户，整合上游的增值业务和广告服务，打造新的产业链广告服务，打造新的产业链 目前公有云主要分为四类目前公有云主要分为四类： 由传统电信基础设施运营商组建的公有云由传统电信基础设施运营商组建的公有云 政府主导下组建的各省市公有云政府主导下组建的各省市公有云 大型互联网公司组建的公有

17、云大型互联网公司组建的公有云 由由IDC运营商组建的公有云运营商组建的公有云25Nankai University私有云私有云： 移动通信公司、银行、政府、公安、交移动通信公司、银行、政府、公安、交通、电力、有线电视等部门与机构单独通、电力、有线电视等部门与机构单独使用而组建使用而组建 这些部门与机构的数据存储量、处理量这些部门与机构的数据存储量、处理量和安全性要求高，而私有云能够满足他和安全性要求高，而私有云能够满足他们对们对数据数据仓储与处理，以及安全性和服仓储与处理，以及安全性和服务质量的要求务质量的要求 私有云可部署在企业或部门数据中心的私有云可部署在企业或部门数据中心的防火墙防火墙内

18、，也可以将它们部署在一个安内，也可以将它们部署在一个安全的主机托管场所全的主机托管场所26Nankai UniversityIaaS、PaaS、SaaS的概念的概念基础设施即服务基础设施即服务IaaS IaaS平台向用户提供虚拟化的计算资源、存储资源与平台向用户提供虚拟化的计算资源、存储资源与网络资源，根据用户需求进行动态分配和调整网络资源，根据用户需求进行动态分配和调整平台即服务平台即服务PaaS PaaS平台向软件开发人员提供类似中间件的服务，包平台向软件开发人员提供类似中间件的服务，包括数据库、数据处理与软件开发环境等括数据库、数据处理与软件开发环境等软件即服务软件即服务SaaS Saa

19、S平台向最终用户提供定制的软件服务，用户不用平台向最终用户提供定制的软件服务，用户不用通过安装软件副本，就可以通过网络使用软件通过安装软件副本，就可以通过网络使用软件27Nankai University云终端云终端 云终端使用虚拟化技术，使得只要联入云终端使用虚拟化技术，使得只要联入到互联网或物联网的终端设备都可以访到互联网或物联网的终端设备都可以访问云计算平台问云计算平台 云终端三种云终端三种类型类型： 基于程序资源远程执行的云终端基于程序资源远程执行的云终端 基于基于WebOS云终端云终端 基于虚拟机的云终端基于虚拟机的云终端28Nankai University云存储云存储 计算与存储

20、是计算机科学发展中两个密不可分的关键计算与存储是计算机科学发展中两个密不可分的关键技术技术 云计算概念包括计算与存储两个方面的内容云计算概念包括计算与存储两个方面的内容 云存储基于云平台，结合传统的大规模、可扩展的海云存储基于云平台，结合传统的大规模、可扩展的海量存储、计算机网络、数据网格、虚拟化、文件系统量存储、计算机网络、数据网格、虚拟化、文件系统的概念与技术，面向大规模、高效、可扩展、可定制的概念与技术，面向大规模、高效、可扩展、可定制的应用系统的用户，提供安全、廉价、按需使用的专的应用系统的用户，提供安全、廉价、按需使用的专业化仓储服务业化仓储服务 用户不必关心云存储服务使用什么样的主

21、机、数据库、用户不必关心云存储服务使用什么样的主机、数据库、存储设备，只需要根据自身应用系统数据存储的数据存储设备，只需要根据自身应用系统数据存储的数据量、安全性要求，以定购的方式使用云存储服务提供量、安全性要求，以定购的方式使用云存储服务提供商提供的存储资源商提供的存储资源29Nankai University云安全云安全 云安全提供可靠、可信的云环境，以保护用户云安全提供可靠、可信的云环境，以保护用户数据的安全数据的安全 能不能够保证用户使用的安全性是制约云计算能不能够保证用户使用的安全性是制约云计算应用能否发展的主要因素应用能否发展的主要因素 目前目前云云安全研究：安全研究： 云计算的安

22、全控制云计算的安全控制 云计算的可信执行环境云计算的可信执行环境 虚拟机的安全监控虚拟机的安全监控 云计算服务访问的通信安全云计算服务访问的通信安全 云计算安全评估方法云计算安全评估方法30Nankai University8.3.5 云计算在物联网中的应用云计算在物联网中的应用物联网数据中心的特征物联网数据中心的特征： 部署快捷部署快捷 运行可靠运行可靠 可扩展可扩展 安全安全 节能节能31Nankai University 应用于物联网的云计算系统结构模型应用于物联网的云计算系统结构模型32Nankai University 物联网数据物联网数据 中心的设计中心的设计33Nankai Un

23、iversity8.4 物联网数据融合技术物联网数据融合技术*8.4.1 无线传感器网络数据融合技术无线传感器网络数据融合技术 无线传感器网络的基本功能是收集并返无线传感器网络的基本功能是收集并返回传感器节点所在监测区域的信息回传感器节点所在监测区域的信息 传感器节点受到能量与易失效性的约束传感器节点受到能量与易失效性的约束 因此减少数据传输量以有效地节省能量，因此减少数据传输量以有效地节省能量，利用节点的本地计算和存储能力处理数利用节点的本地计算和存储能力处理数据的融合以除去冗余信息据的融合以除去冗余信息 通过数据融合达到数据备份与通过数据融合达到数据备份与提高提高信息信息准确性，准确性，已经已经成为无线传感器网络研究成为无线传感器网络研究的一个重要课题的一个