物联网技术导论 -课件 第11章 智能数据处理技术

物联网

技术导论数字经济系列教材第11章

智能数据处理技术物联网

技术导论0111.1物联网大数据0211.2物联网与人工智能目录CONTENTS11.1物联网大数据大数据“大数据”概念最早源于2012年美国政府启动的“大数据研究和发展计划”，可通俗理解为超出现有计算能力的大规模数据集。麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面极大地超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低4大特征。大数据的提出的背景是互联网高度发展、移动互联网初试牛刀、云计算由虚入实、互联网到移动互联网再到物联网进入未来10~20年的战略性发展机遇，尤其是互联网到物联网的跨越进程将极大程度地带动大数据的发展与应用。大数据的概念VeracityVelocityVolumeVarityValue增长速度加快(Velocity)，产业数据源多样化，数据加速量增长；规模成倍扩大(Volume)，非结构化数据规模远大于结构化数据，已经步人ZB(Zettabyte)时代；数据类型越发多样化(Varity)，数据表现出异构化(非结构化、半结构化和结构化)和多样性(数据、文本、音频、图像、视频等)特征；价值成倍增长(Value)，在研发、营销、人资、采购等诸多方面的潜在价值越来越大；真实数据保证(Veracity)，即处理的结果要保证一定的准确性。大数据的基本特征11.1物联网大数据大数据的作用大数据时代科学研究的方法手段将发生重大改变。大数据是信息产业持续高速增长的新引擎。大数据利用将成为提高核心竞争力的关键因素。对大数据的处理分析正成为新一代信息技术融合应用的节点。大数据的作用11.1物联网大数据商业活动信息化、社交化移动化，大数据必然会成为大部分行业用户商业价值实现的最佳捷径。物联网大数据可以提供从商业支撑到商业决策的各种行业信息。有效处理物联网背后的大数据并不容易，物联网中的大数据和互联网数据有很大不同。物联网大数据包括社交网络数据和传感器感知数据。即使其中的社交网络数据相当多的可被处理的非结构化数据，如新闻、微博等，但是物联网传感器所采集的各种碎片化数据在目前却属于不能被处理的非结构化数据。在物联网颗粒化、非结构化数据的处理过程中，如何通过统一物联网架构设计，将非结构化的数据变得结构化，将不同系统之间不同结构的数据尽可能地统一成方精确解析非结构信息的关键技术难点之一。物联网大数据物联网大数据11.1物联网大数据010203040506物联网数据体量巨大多源异构特性数据采样频率极高，数据生成速度快具有时间和空间属性价值密度低物联网大数据的可视化在未来10~20年中，物联网面临着大数据时代战略性的发展机遇及挑战。物联网的以下几个特点对数据处理技术形成了巨大的挑战：11.1物联网大数据物联网大数据的特点物联网大数据的存储和处理需求主要包括：①物联网大数据的快速收集、分发；②物联网大数据的可靠存储；③海量物联网历史数据的快速批处理；④海量物联网历史数据的快速查询；⑤对不断采集的物联网数据进行实时流处理；⑥对高并发访问请求进行实时批处理；⑦物联网大数据的多源数据融合分析。实现对海量传感器采样数据的集中管理，可以实现复杂事件与规律的感知。此外，传感器采样数据的集中管理还使得物-物互联(WebofThings)、基于物的搜索引擎、传感器采样数据的统计分析与数据挖掘等成为可能。在数据存储方面，物联网海量数据可以利用分布式文件系统来存储，例如利用Hadoop的HDFS等存储系统，然而这些系统虽然可以存储大数据，但很难满足一些特定的实时性要求。因此必须对系统中的大数据根据性能和分析要求进行分类存储：对性能要求非常高的实时数据采用实时数据库系统；对核心业务数据使用传统的并行数据仓库系统；对大量的历史和非结构化数据采用分布式文件系统。11.1物联网大数据物联网数据的存储数据挖掘（Datamining）又称为资料探勘、数据采矿。它是数据库知识发现(Knowledge-DiscoveryinDatabases，KDD)中的一个步骤，数据挖据是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关,并通过统计，在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。数据挖掘11.1物联网大数据数据挖掘的概念数据总结继承于数据分析中的统计分析。数据总结目的是对数据进行浓缩，给出它的紧凑描述。如求和值、平均值、方差值、直方图，饼状图等。分类目的是构造一个分类函数或分类模型，该模型能把数据库中的数据项映射到给定类别中的某一个。聚类把整个数据库分成不同的群组。是使群与群之间差别很明显，而同一个群之间的数据尽量相似。关联分析寻找数据库中值的相关性。两种常用的技术是关联规则和序列模式。预测把握分析对象发展的规律，对未来的趋势做出预见。偏差的检测对分析对象少数的、极端的特例描述，揭示内在的原因。数据挖掘综合了各个学科技术，有很多的功能，当前的主要功能如下：11.1物联网大数据数据挖掘的主要功能以上数据挖掘的各项功能不是独立存在的，它们在数据挖掘中互相联系，发挥作用数据集成选择与预处理数据挖掘解释与评估创建目标数据集数据清理、数据归约、选择数据挖掘函数和挖掘算法寻找有趣的数据模式，自动发现/分类/预测解释/描述分析结果，使用可视化和知识表现技术,向用户提供挖掘的知识数据挖掘的具体过程分为以下四步：11.1物联网大数据数据挖掘的过程关联分析数据关联是数据库中存在的一类重要的可被发现的知识。若两个或多个变量的取值之间存在某种规律性，就称为关联。关联可分为简单关联、时序关联、因果关联。关联分析的目的是找出数据库中隐藏的关联网。分类分析分类是数据挖掘的一种非常重要的方法，它使用类标签已知的样本建立一个分类函数或分类模型(也常常称作分类器)。应用分类模型，能把数据库中的类标签未知的数据进行归类。分类分析有两个步骤：构建模型和模型应用。聚类分析聚类分析又称集群分析，它是研究(样品或指标)分类问题的一种统计分析方法。将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类。数据挖掘的常用手段大体可以分为三种：关联分析、分类分析以及聚类分析。11.1物联网大数据数据挖掘分析物联网的智能决策智能决策支持系统是近年来出现的新一代决策支持系统，其将人工智能（AI）和DSS相结合，应用专家系统（ES，ExpertSystem）技术，使决策支持系统能够更充分地应用人类的知识，如关于决策问题的描述性知识，决策过程中的过程性知识，求解问题的推理性知识，通过逻辑推理来帮助解决复杂的决策问题的辅助决策系统。物联网的智能控制在无人干预的情况下能自主地驱动智能机器实现控制目标的自动控制技术。在研究和设计智能系统时，主要注意力不放在数学公式的表达、计算和处理方面，而是放在对任务和现实模型的描述、符号和环境的识别以及知识库和推理机的开发上，即智能控制的关键问题不是设计常规控制器，而是研制智能机器的模型。智能控制的核心在高层控制，即组织控制。11.1物联网大数据智能决策与智能控制人与计算机的自然交互是新一代的人机交互方式默读识别眼动跟踪电触觉刺激仿生隐形眼镜人机界面11.2物联网与人工智能自然交互技术与物联网机器学习使用历史数据的监督学习技术来进行认知决策。历史数据量越大，算法的决策能力越好。这种理念使物联网成为机器学习的理想用例，因为设备生成的数据通常非常频繁。机器学习使用历史数据的监督学习技术来进行认知决策。历史数据量越大，算法的决策能力越好。这种理念使物联网成为机器学习的理想用例，因为设备生成的数据通常非常频繁。机器学习与物联网架构图11.2物联网与人工智能机器学习与物联网11.2物联网与人工智能机器学习与物联网车辆遥感技术异常检测机器学习可以用来检测时间序列数据中的异常情况，这是由物联网设备发送的数据反馈信息，这些数据在时间上都是一致的。使用机器学习算法监测设备信息流的实时流，可以检测到峰值和下降、正和负趋势等异常情况。机器学习解决方案的能力，可以从上百万的车辆事件中吸取经验，以提高安全性、可靠性和驾驶经验，这使它成为运输和物流行业采用的理想技术。预测维护机器学习算法能够预见设备故障的可能性、设备的寿命以及故障的原因，从而使企业能够通过显著降低维护时间来优化运营成本。以下是一些机器学习与物联网合作以实现业务优化的常见场景：半监督学习大量物联网应用需要使用监督机器学习。由于手动标记大型数据集是一项耗时、容易出错且价格昂贵的任务，因此机器学习专业人员通常转向标记为开源的数据集，或者从少量数据开始标记。考虑到这一点，在算法训练中利用标记和未标记数据的半监督学习策略更为有效。特别是主动学习是一种非常合适的方法，其对需要标记的数据进行优先处理，以便对训练监督模型产生最大影响。群体感知在机器学习方面，物联网发展的一个非常有趣的方面是群体感知的出现。群体感知包括两种形式：用户自愿提供信息，和在没有明确干预用户的情况下自动收集数据。物联网实际上允许前所未有的方式收集非常独特的数据集。由于每个设备生成的数据通常都是人为的，因此用户可以标记或验证它，收集最接近用户位置的数据也变得可能。机器学习所提供的服务，有半监督学习和群体感知两种方式：机器学习与物联网11.2物联网与人工智能自动驾驶车辆（AutomatedVehicles，AV），也称无人驾驶车辆，是当前研究和应用的热点。自动化驾驶与物联网技术相结合将会实现产业升级，让行车更安全，能极大提升人们生活与工作效率。于此同时，自动驾驶带来共乘共享的机制还能让都市塞车、城市污染等“城市病”迎刃而解。无人驾驶汽车需要收集和处理大量数据，并通过物联网在汽车间共享信息，这些信息包括实际路径、交通状况以及如何绕过障碍物等。所有这些数据在物联网连接的汽车之间共享，并通过无线上传到云系统进行分析和使用，从而提高自动化程度。无人驾驶技术11.2物联网与人工智能自动驾驶技术0102030405061925年，一位名叫弗朗西斯·胡迪纳的工程师展示了第一辆无线电控制的“无人驾驶”汽车。1956年，通用公司的FirebirdII概念车建造了一个导航系统和嵌入道路中探测电路的电子自动控制系统。1958年，克莱斯勒汽车公司推出了首辆装有巡航控制功能的汽车。1979年，斯坦福大学发明了一种名为手推车的机器人，在没有任何人为干预的情况下穿越一个充满障碍物的房间。1994年，德国联邦国防军大学研制的VaMP和VITA-2机器人汽车在道路中安全地穿行了600多英里。2009年，谷歌的自动驾驶车项目开始。072015年，特斯拉发布了自动驾驶仪软件。082018年，通用汽车正在寻求批准一款没有方向盘或踏板的自动驾驶汽车。11.2物联网与人工智能自动驾驶技术零级是无自动化没有任何自动驾驶功能、技术，完全由司机控制车辆。一级是指“协助司机”向司机提供基本的技术性帮助，司机占据主导位置。二级是