《物联网工程导论》课件第八章

目录8.28.38.1物联网数据处理云存储技术云计算概述

物联网数据融合概述8.48.1物联网数据处理8.1.1物联网数据特点

什么是大数据？业内至今都未统一定义，在百度百科、权威研究机构Gartner以及麦肯锡全球研究所中都给出了大数据的定义。从他们定义中可以看出，大数据并非是一种新生的互联网技术，而是一种互联网发展的一个产品。大数据是当前互联网技术飞速发展和信息数据海量化发展所面临问题的一种解决方案。

因此，结合当前云计算和虚拟化技术，可以将大数据定义为：大数据是利用云计算平台，依托分布式计算、云存储、虚拟化和AI智能等众多技术的结合，从而实现海量数据的智能化提取和分析，实现对事件的准确预判。8.1.1物联网数据特点

大数据具有5V的特点，即：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。（1）Volume（大量）是指数据呈现海量数据和超大规模下的完整性。大数据下采集了海量的数据，从GB到TB甚至发展到PB级别。（2）Velocity（高速）大数据的高速性，主要体现在两个方面，第一是获取数据的速度非常快；第二是在获取海量数据后能快速的做出详细的分析，并能得出较为准确的结论。（3）Variety（多样）由于网络中数据种类繁多，各类数据呈现出多样化的状态，数据格式也出现众多格式，比如：文本格式、音视频格式、应用程序格式、图片格式等。8.1.1物联网数据特点（4）Value（低价值密度）从数据本身来看，是可以分为价值高密度和价值低密度之分的，大数据就是通过整合分析各类数据，才能得到具有重要实际实用价值的信息。（5）Veracity（真实性）大数据中的内容是与真实世界中的发生时间息息相关的，研究大数据技术就是从庞大的网络数据中提取出能够解释和预测现实事件的过程物联网获得大数据既具独立性，又具相关性，而各要素和体系之间同样存在这种相互关联或相互作用的关系。8.1.2国家大数据中心中国规划建设大数据的八大节点和三大核心节点。位于贵州贵安新区的大数据库灾备中心机房内，有着一根特殊的网络虚拟专线，这条专线跨越了北京与贵州，实现了国家与贵州灾备中心数据的同步传输和异地备份。目前国家建设完成三大数据中心、八大数据节点，介绍如下。国家三大数据中心（1）中心基地-北京（2）南方基地-贵州（3）北方基地-乌兰察布8.1.2国家大数据中心国家八大数据节点中国网络的核心层由北京、上海、广州、沈阳、南京、武汉、成都、西安等8个城市的核心节点组成。核心层的功能主要是提供与国际Internet的互联，以及提供大区之间信息交换的通路。其中北京、上海、广州核心层节点各设有国际出口路由器，负责与国际Internet互联，以及两台核心路由器与其他核心节点互联；其他核心节点各设一台核心路由器。核心节点之间为不完全网状结构。以北京、上海、广州为中心的三中心结构，其他核心节点分别以至少两条高速ATM链路与这三个中心相连。8.2云存储技术8.2.1云存储概述云存储是一种网上在线存储的模式，即把数据存放在通常由第三方托管的多台虚拟服务器上，而非专属的服务器上。托管公司运营大型的数据中心，需要数据存储托管的人，则透过向其购买或租赁存储空间的方式，来满足数据存储的需求。云存储的优点如图所示。8.2.1云存储概述目前主流的云平台大多数是对海量数据信息进行存储、分享和分析的各类云盘，比较有名的云存储有阿里云、腾讯云、华为云。主要介绍如下。阿里云阿里云创立于2009年，是全球领先的云计算及人工智能科技公司。阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，目前开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本。8.2.1云存储概述腾讯云腾讯云有着深厚的基础架构，并且有着多年对海量互联网服务的经验。腾讯为开发者及企业提供云服务、云数据、云运营等整体一站式服务方案。具体包括云服务器、云存储、云数据库和弹性Web引擎等基础云服务；腾讯移动分析MTA等腾讯整体大数据能力；以及QQ互联、QQ空间、微云、微社区等云端链接社交体系。腾讯云服务器使用公共平台操作系统，团队完全负责云主机的维护，并提供丰富配置类型虚拟机，用户可以便捷地进行数据缓存、数据库处理与搭建web服务器等工作。腾讯对游戏和移动应用类客户提供了较强的扶持政策，比较适合这类型的客户使用。8.2.1云存储概述华为云华为云为致力于提供专业的公有云服务，提供弹性云服务器、对象存储服务、软件开发云等云计算服务，以“可信、开放、全球服务”三大核心优势服务全球用户。华为云立足于互联网领域，依托于华为公司雄厚的资本和强大的云计算研发实力，面向互联网增值服务运营商、大中小型企业、政府、科研院所等广大企事业用户提供包括云主机、云托管、云存储等基础云服务、超算、内容分发与加速、视频托管与发布、企业IT、云电脑、云会议、游戏托管、应用托管等服务和解决方案。8.2.2云存储系统应用云存储与云计算类似，它是通过集群应用、网格技术或分布式文件系统等技术，将网络中各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统，保证数据的安全性，并节约存储空间。

简单来说，云存储就是将储存资源放到云上供人存取的一种新兴方案。使用者可以在任何时间、任何地方，透过任何可连网的装置连接到云上方便地存取数据。云存储结构图如右图所示：8.2.2云存储系统应用一个云状结构的存储系统由多个存储设备组成，通过集群功能、分布式文件系统或类似网格计算等功能联合起来协同工作，并通过一定的应用软件或应用接口，对用户提供一定类型的存储服务和访问服务。云存储主要用途有三个：途数据备份、归档和灾难恢复。

云的出现主要用于任何种类的静态类型数据的任何种类的大规模存储需求。云存储通常意味着把主数据或备份数据放到企业外部不确定的存储池里，而不是放到本地数据中心或专用远程站点。使用云存储服务，企业就能节省投资费用，简化复杂的设置和管理任务，把数据放在云中还便于从更多的地方访问数据。8.2.3云存储分类云存储可分为以下三类：公共云、私有云、混合云。（1）公共云公有云通常指第三方提供商为用户提供的能够使用的云，公有云一般可通过Internet使用，可能是免费或成本低廉的，公有云的核心属性是共享资源服务。

公共云提供了最可靠、最安全的数据存储中心，用户不用再担心数据丢失、病毒入侵等麻烦；对用户端的设备要求最低，使用起来也最方便，可以轻松实现不同设备间的数据与应用共享。国内比较突出代表有搜狐企业网盘、百度云盘、金山快盘、酷盘、华为网盘、360云盘、新浪微盘、腾讯微云等。8.2.3云存储分类（2）私有云私有云是为一个客户单独使用而构建的，因而提供对数据、安全性和服务质量的最有效控制。该客户拥有基础设施，并可以控制在此基础设施上部署应用程序的方式。私有云可部署在企业数据中心的防火墙内，也可以将它们部署在一个安全的主机托管场所，私有云的核心属性是专有资源。事实上，私有云并不是绝对安全的，因为它是私有的，要想保证私有云的安全，必须要制定完善的计划，并且进行经常性检查，才能保证私有云安全，避免出现损失。8.2.3云存储分类（3）混合云混合云把公共云和私有云结合在一起。主要用于按客户要求的访问，特别是需要临时配置容量的时候。从公共云上划出一部分容量配置一种私有或内部云可以帮助公司面对迅速增长的负载波动或高峰时很有帮助。尽管如此，混合云存储带来了跨公共云和私有云分配应用的复杂性。公共云存储可以划出一部分用作私有云存储。一个公司可以拥有或控制基础架构，以及应用的部署，私有云存储可以部署在企业数据中心或相同地点的设施上。私有云可以由公司自己的IT部门管理，也可以由服务供应商管理。8.3云计算概述8.3云计算概述云计算是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。

云计算早期就是简单的分布式计算，主要任务是分发，并进行计算结果的合并。因而云计算又称为网格计算。通过这项技术，可以在很短的时间内（几秒钟）完成对数以万计的数据的处理，从而达到强大的网络服务。现阶段所说的云服务已经不单单是一种分布式计算，而是分布式计算、效用计算、负载均衡、并行计算、网络存储、热备份冗杂和虚拟化等计算机技术混合演进并跃升的结果。8.3云计算概述云计算特点云计算的可贵之处在于高灵活性、可扩展性和高性比等，具有以下特点：（1）虚拟化技术虚拟化技术包括应用虚拟和资源虚拟两种，物理平台与应用部署的环境在空间上是没有任何联系的，正是通过虚拟平台对相应终端操作完成数据备份、迁移和扩展等。（2）动态可扩展云计算原有服务器基础上增加云计算功能能够使计算速度迅速提高，最终实现动态扩展虚拟化的层次，达到对应用进行扩展的目的。（3）按需部署云计算平台能够根据用户的需求快速配备计算能力及资源。8.3云计算概述（4）灵活性高云计算的兼容性非常强，不仅可以兼容低配置机器、不同厂商的硬件产品，还能够外设获得更高性能计算。（5）可靠性高当单点服务器出现故障时可以通过虚拟化技术将分布在不同物理服务器上面的应用进行恢复或利用动态扩展功能部署新的服务器进行计算。（6）性价比高将资源放在虚拟资源池中统一管理在一定程度上优化了物理资源，用户不再需要昂贵、存储空间大的主机。（7）可扩展性。8.3云计算概述云计算应用较为简单的云计算技术已经普遍服务于互联网服务中，最为常见的就是网络搜索引擎和网络邮箱。在任何时刻，只要在搜索引擎上搜索任何自己想要的资源，通过云端共享数据资源。（1）存储云存储云是在云计算技术上发展起来的一个新的存储技术。云存储是一个以数据存储和管理为核心的云计算系统。用户可以将本地的资源上传至云端上，可以在任何地方连入互联网来获取云上的资源。8.3云计算概述（2）医疗云医疗云是指在云计算、移动技术、多媒体、4G通信、大数据、以及物联网等新技术基础上，结合医疗技术，使用“云计算”来创建医疗健康服务云平台，实现医疗资源的共享和医疗范围的扩大。（3）金融云 金融云是指利用云计算的模型，将信息、金融和服务等功能分散到庞大分支机构构成的互联网“云”中，在为银行、保险和基金等金融机构提供互联网处理和运行服务，同时共享互联网资源，从而解决现有问题并且达到高效、低成本的目标。（4）教育云教育云，实质上是指教育信息化。教育云可以将所需要的任何教育硬件资源虚拟化，然后将其传入互联网中，向教育机构和学生老师提供一个方便快捷的平台。现在流行的慕课就是教育云的一种应用。8.3云计算概述云计算安全隐患（1）隐私被窃取（2）资源被冒用（3）黑客的攻击（4）云计算中容易出现病毒8.4物联网数据融合概述8.4互联网数据融合概述数据融合概念是针对多传感器系统而提出的。

在多传感器系统中，由于信息表现形式的多样性，数据量的巨大性，数据关系的复杂性，都已大大超出了人脑的信息综合处理能力，在这种情况下，多传感器数据融合技术应运而生。

多传感器数据融合简称数据融合；它由美国国防部在20世纪70年代最先提出，之后英、法、日、俄等国也做了大量的研究。近40年来数据融合技术得到了巨大的发展。8.4互联网数据融合概述数据融合的定义数据融合是利用计算机技术对时序获得的若干感知数据，在一定准则下加以分析、综合，以完成所需决策和评估任务而进行的数据处理过程。数据融合这一技术有3层含义:①数据的全空间，即数据包括确定的和模糊的、全空间的和子空间的、同步的和异步的、数字的和非数字的，它是复杂的多维多源的，覆盖全频段；

②数据的融合不同于组合，组合指的是外部特性，融合指的是内部特性，它是系统动态过程中的一种数据综合加工处理；

③数据的互补过程，数据表达方式的互补、结构上的互补、功能上的互补、不同层次的互补，是数据融合的核心，只有互补数据的融合才可以使系统发生质的飞跃。8.4互联网数据融合概述数据融合的基本原理典型的传感器数据融合如下图所示。（1）多个不同类型的传感器采集观测目标的数据；（2）对传感器的输出数据