物联网技术与应用：第4章 物联网应用层技术

1、1第4章 物联网应用层技术28.1 物联网数据处理技术的基本概念8.1.1 物联网数据的特点海量物联网节点的数量是非常多的，它们所产生的数据量一定是海量多态多种传感器去观测的不同数据在数值范围、格式、单位与精度动态各种数据都将随时间不断变化的关联物联网中的数据之间在空间、时间维度上存在着紧密的关联性34.1物联网应用层的基本概念4.1.1物联网应用层的特点 物联网的特点是多样化、规模化与行业化，可以用于智能电网、智能交通、智能物流、智能数字制造、智能建筑、智能农业、智能家居、智能环境监控、智慧医疗保健、智慧城市等领域。44.1.2 物联网数据的特点海量多态动态关联58.1.2 物联网数据处理关

2、键技术海量数据存储数据融合数据查询、搜索与数据挖掘智能决策6海量数据存储物联网数据具有海量、多态、动态与关联的特征物联网海量数据来源于传感器、RFID读写器连续、实时地产生的数据；物联网中数以亿计的物品也在实时产生大量数据物联网数据的重要性远高于互联网中web、两天与游戏应用中的数据如何利用数据中心与云计算平台存储物联网的海量数据，如何充分地利用好物联网信息，同时又要实现对隐私的保护，这是物联网数据处理技术首先要面对的一个重要问题7数据融合20世纪70年代 “数据融合（Data Fusion）” 术语正式出现针对物联网数据的多态性，需要研究基于多种传感器的数据聚合技术，综合分析各种传感器的数据

3、，从中提取有用的信息数据融合已经发展成数据处理一个新的和重要的分支在物联网中智能交通、工业控制、环境监控、精准农业、突发事件处置、智慧城市、智能电网等物联网应用系统中，必然会应用多种传感器去综合感知多种物理世界的信息，从中提取对于我们智慧处理物理世界问题有用的信息和知识数据融合技术是物联网数据处理研究的重要内容之一8 数据查询、搜索物联网环境中感知数据具有实时性、周期性与不确定性等特点目前的处理方法主要有：快照查询、连续查询、基于事件的查询、基于生命周期的查询与基于准确度的查询。物联网环境中，由于各种感知手段获取的信息与传统的互联网信息共存，搜索引擎需要与各种智能的和非智能的物理对象密切结合，

4、主动识别物理对象，获取有用的信息，这对于传统的搜索引擎技术是一个挑战9数据挖掘、知识发现、智能决策与控制建设物联网的目的是从海量数据中通过汇聚、整合与智能处理，获取有价值的知识，为不同行业的应用提供智能服务物联网的价值体现在对于海量感知信息的智能数据处理、数据挖掘与智能决策水平上。数据挖掘、知识发现、智能决策与控制为物联网智能服务提供了技术支撑104.2 海量数据存储与云计算技术8.2.1 物联网对海量数据存储的需求物联网的海量数据除了来自传感器节点、RFID节点以及其他各种智能终端设备每时每刻所产生的数据之外，各种物理对象在参与物联网事务处理的过程中也会产生大量的数据物联网的海量数据的存储需

5、要数据库、数据仓库、网络存储、数据中心与云存储技术的支持11 数据库技术数据库技术是计算机科学技术中发展最快、应用最广泛的领域之一。数据库技术经过几十年的发展，其应用已遍及各个领域，成为21世纪信息化社会的核心技术之一物联网的数据存储与管理需要使用数据库技术，物联网的海量数据存储与管理也会促进数据库技术的发展数据库管理系统可分为层次数据库、网状数据库、关系数据库以及面向对象数据库随着数据库技术的发展，数据库用户界面变得更加简单，功能更加强大和更加智能，未来的数据库技术必然会与人工智能技术相互交叉融合12数据仓库技术134.2.2 IDC的基本概念随着互联网应用规模的不断扩大，大规模的在线网络服

6、务促进了“互联网数据中心（IDC）”的出现随着业务的扩展，一些企业网、校园网、政务网、商务网也在考虑建设自己的数据中心（Data Center）数据中心的成本是由4部分组成：服务器成本、网络设备成本、基础设施成本与能源成本在推动物联网应用发展的同时，必须研究适合即能够快速部署物联网应用，存储海量数据，又能够节省资金与日常维护费用，符合环保节能的原则的数据中心技术数据中心的概念正在经历了从中小型企业网、校园网中的计算与存储数据的数据中心，向云计算平台的发展的趋势14google IDC内外部环境示意图154.2.3 云计算在物联网中的应用云计算的特点弹性服务资源池化按需服务服务可计费泛在接入16

7、云计算模式示意图17云平台云终端云存储云安全云计算系统的组成18公有云与私有云的概念公有云：第三方提供商为用户提供服务的云平台，用户可以把通过互联网访问作为一个支撑平台，可以通过提供免费或用很低费用的服务，去吸引大量的用户，整合上游的增值业务和广告服务，打造新的产业链目前公有云主要分为四类： 由传统电信基础设施运营商组建的公有云 政府主导下组建的各省市公有云 大型互联网公司组建的公有云 由IDC运营商组建的公有云19私有云：移动通信公司、银行、政府、公安、交通、电力、有线电视等部门与机构单独使用而组建这些部门与机构的数据存储量、处理量和安全性要求高，而私有云能够满足他们对数据仓储与处理，以及安

8、全性和服务质量的要求私有云可部署在企业或部门数据中心的防火墙内，也可以将它们部署在一个安全的主机托管场所20IaaS、PaaS、SaaS的概念基础设施即服务IaaSIaaS平台向用户提供虚拟化的计算资源、存储资源与网络资源，根据用户需求进行动态分配和调整平台即服务PaaSPaaS平台向软件开发人员提供类似中间件的服务，包括数据库、数据处理与软件开发环境等软件即服务SaaSSaaS平台向最终用户提供定制的软件服务，用户不用通过安装软件副本，就可以通过网络使用软件21IaaS、PaaS、SaaS的关系22云终端云终端使用虚拟化技术，使得只要联入到互联网或物联网的终端设备都可以访问云计算平台随着物联

9、网的发展，将有更多智能终端设备成为云终端23云存储计算与存储是计算机科学发展中两个密不可分的关键技术云计算概念包括计算与存储两个方面的内容云存储基于云平台，结合传统的大规模、可扩展的海量存储、计算机网络、数据网格、虚拟化、文件系统的概念与技术，面向大规模、高效、可扩展、可定制的应用系统的用户，提供安全、廉价、按需使用的专业化仓储服务用户不必关心云存储服务使用什么样的主机、数据库、存储设备，只需要根据自身应用系统数据存储的数据量、安全性要求，以定购的方式使用云存储服务提供商提供的存储资源24云安全云安全提供可靠、可信的云环境，以保护用户数据的安全能不能够保证用户使用的安全性是制约云计算应用能否发

10、展的主要因素目前云安全研究： 云计算的安全控制 云计算的可信执行环境 虚拟机的安全监控 云计算服务访问的通信安全 云计算安全评估方法25云计算系统结构模型26物联网数据 中心的设计27 云计算在物联网中的应用物联网数据中心的特征：部署快捷运行可靠可扩展安全节能284.3 数据挖掘的基本概念4.3.1 数据、信息与知识294.3.2 数据挖掘与知识发现 应用大量的数据，通过关联规则、分类与预测、聚类分析、时序模式等挖掘算法，搜索和发现隐藏在大量数据背后有价值的信息和知识，这个过程就是“数据挖掘（Data Mining）”30 数据挖掘是物联网数据处理中一个重要的方法。数据挖掘可以完成两方面的功能

11、。一是通过描述性分析，做到“针对过去，揭示规律”；二是通过预测性分析，做到“面向未来，预测趋势”314.3.3 物联网与智能决策、智能控制感知、通信、计算、知识与智能决策关系324.4大数据的研究与发展4.4.1大数据研究的背景大数据环境下数据量单位之间的换算33麦肯锡公司研究报告中给出了数据存储量排名前五位的数据行业：制造业，数据量约为966PB政府数据，数据量约为848PB新闻业，数据量约为715PB银行业，数据量约为619PB医疗业，数据量约为434PB34例：美国政府数据类型及数据的三维增长美国政府数据类型示意图数据的三维增长35大数据研究的背景数据的爆炸性增长，广泛、可用和海量的数据

12、使得我们真正进入了数据时代。如果我们不能够对海量、动态、关联的数据进行及时、高效、正确地分析，积累的数据将占用大量的存储资源、浪费大量的计算资源，成为“数据垃圾”我们急需功能强大的工具，以便从海量的数据中发现有价值的信息，把这些数据转化成有组织的知识，变成宝贵的财富，产生重大的社会效益与经济效益，使人类社会大踏步地从数据时代跨进信息时代364.2.2 大数据的基本概念多大的数据为“大数据”：一般认为，大数据的数量级应该是TB级。大数据具有4V特征，即数据量大（volume）、数据种类多样（variety）、实时性强（velocity）、隐藏的价值大（value）认识大数据研究的意义：人类可以“

13、分析和使用”的数据在大量增加，通过这些数据的交换、整合和分析，人类可以发现新的知识，创造新的价值，带来“大知识”、“大科技”、“大利润”和“大发展”大数据挑战的实质是：人类对客观世界（自然界与人类社会）分析、研究的基础与方法从量变开始转向质变，预示着人类对客观世界认知水平的飞跃374.4.3大数据：创新与竞争理解大数据的作用时需要注意以下几个问题：1.数据将成为生产过程的基本要素2.信息时代的竞争是知识的竞争3.以“数据最优”方式运营的公司将会战胜“粗放型”经营的公司38大数据对人文、社会学科研究的影响互联网是计算机的互联，万维网（Web）是信息的互联，物联网是物的互联，社交网络是人的互联。数据的背后是信息网络，信息网络的背后是由人与人之间关系构成的社交网络，研究网络数据实际上是在研究由人组成的社交网络。计算机网络社交网络39 社会网络与互联网、移动互联网、物联网之间的关系40大数据战略2012年3月，美