物联网大数据处理技术与实践（第2版）课件 第4章-感知数据特性与模型

物联网大数据处理技术与实践InternetofThings

BigDataprocessingTechnologyandPractice感知数据特性与模型感知数据的特性分析1感知数据的表示与组织2感知数据库的定位3感知数据库与传统数据库4PARTONE1感知数据的特性分析师傅领进门，学艺在自身。------中国谚语常用的感知数据类型感知数据是指通过传感器和感知设备获取到的一种原始数据。包括图像、声音、压力、温度、湿度等多种类型的数据。它可以用于实时监测、环境监测、行为识别、智能决策等。从应用角度来说，感知数据可以概括性地分为以下七种类型：标识数据状态数据运行数据或者测量数据波形数据或者图像数据位置数据指令数据反馈数据感知数据的主要特征基于对感知数据类型的分析，感知数据具有以下特征：时态属性位置属性序列属性海量属性实时属性事件触发感知数据的主要特征：时态属性由于设备的状态以及运行数据、传感器感知的环境等都是时刻变化的，因此数据具有很强的时间属性。时态属性带来数据的时态一致性要求，包括以下两个方面：绝对一致性：存在于传感器感知的环境状态与其在系统的数据映像是否足够一致；相对一致性：存在于推导计算其它数据的一组数据所反映的环境状态是否足够接近。触发上图给出了数据时态一致性的示例图。图中数据a与b是直接来自传感器的映像数据，而c是由数据a与b推导而得来。感知数据的主要特征：实时属性由于感知数据的时态属性以及对外部环境或者设备状态的及时反馈需求，导致这些数据的处理具有实时特性。实时属性要求这些数据的处理满足截止期需要，导致事务具有实时特性，按照截止期需求的不同，分为以下三种类型：硬实时固实时软实时触发感知数据的主要特征：事件触发一些感知数据意味着环境或者设备的状态变化，状态的变化需要触发必要的处理过程。这些状态的变化一般定义为事件，对于一些异常事件定义为报警。事件分为外部触发事件与自定义事件。报警属于基于条件的事件，一般采用ECA规则来定义。常用的报警事件有：越限报警状态报警变化率报警PARTTWO2感知数据的表示与组织物联网数据模型物联网中的每个传感器属于某个特定的场景、设备或者传感器网络以自动化工厂为例，工厂物联网的数据模型可以参考OPC对象模型OPC数据模型物联网数据模型模型的最上层是场景、设备或者传感网；而模型的最下层是传感器对象，一个传感器对应一个或者多个感知数据对象，Group是对传感器对象从物理上或者逻辑上进行组织。物联网数据模型时态对象模型时态对象数据模型适用于实时感知数据，能够表示复杂的数据类型和关系，以及数据的时间属性和时间关系。每个对象可以有一个或多个时态属性，每个属性是按时间组织的二维表，代表传感器的采集或计算数据点。这种数据模型能够提高数据管理和处理效率。时态对象数据模型PARTTHREE3感知数据库的定位感知数据库的定位感知数据库的功能定位包括：全面地采集并存储管理规定区域内的感知数据，构造统一的基础数据环境，一方面满足本地实时计算的需求，另一方面为后端的大数据处理提供最有价值的数据资源。保证感知数据的时态一致性，控制数据质量；数据质量包括两个方面：一是数据的时态一致性保证，一方面是数据本身的质量，如传感器误差等。满足本地事务的实时处理要求，通过实时事务调度处理技术满足本地事务的执行，结合流处理以及机器学习算法满足状态判定、态势分析以及预测的需求。提供质量保证的数据同步、数据迁移能力，感知数据库向其他数据库或者大数据中心提供高质量的数据集是整个物联网大数据处理的关键环节。感知数据库的特征感知数据库具有如下特征：感知能力：系统提供主动数据采集机制，能够通过单个或者一组传感器数据提供用户所需数据的能力。数据的多元特性：类型多样，支持时态、关系、位置、块数据等。数据及事务的实时性：具有保证数据时态一致性的能力；从事务处理角度来讲，具有按照事务的实时处理需求进行事务调度以及并发控制的能力。内置数据处理规则以及事件触发机制。多级分布式部署：由于物联网本身的广域特性，使得感知数据库系统必须随需而变地进行部署。数据的追溯性：系统能够实现对所有感知数据的存储管理，并提供高效的检索分析能力，系统实现上必须采用数据在线压缩、基于时间的索引机制以及提供高效的数据查询算法与挖掘分析方法等。PARTFOUR4感知数据库与传统数据库感知数据库与传统数据库的区别基于感知数据的特殊需求，感知数据库系统与传统关系数据库系统在设计原则、管理对象以及数据存储、典型操作等多个方面具有很大的区别。

关系数据库系统感知数据库系统设计原则数据的完整性、一致性，保证事务的ACID属性数据的时态一致性，保证事务的实时性管理对象静态存储、随机读取连续有序、压缩存储特征或者时段查询典型操作数据增删改，关系数据查询数据追加，禁止删改，顺序扫描、持续查询数据存储外存存储、被动查询主存处理、外存存储、历史摘要数据有效性持续有效瞬时有效，有时标感知数据库与实时数据库系统传统的数据库系统旨在处理永久性数据，其设计与开发主要强调数据的完整性、一致性，提高系统的平均吞吐量等总体性能指标，很少考虑与数据及其处理相关联的定时限制。实时数据库同感知数据库一样从外部环境获取数据，同时对数据或者事务的处理具有时间特性。感知数据库系统与实时数据库系统的区别：感知数据库系统更加面向互联网应用体系，而在技术实现上是在实时数据库基础上，融合工厂数据库系统以及流数据处理系统的延续发展。感知数据库与工厂数据库系统针对工业自动化的过程数据管理需求，工业实时数据库主要提供工厂生产过程中的设备运行状态以及相关数据的采集、以及存储管理需求。目前，在工业领域广泛提到的实时数据库系统主要是面向工业过程监控与管理需求的过程数据管理系统，如OSIsoftPI、GEFunuciHistorian以及中科启信的ChinDB等。这些产品主要面向工业企业生产过程数据的管理，由于生产过程数据具有一定的时态属性，因此这些产品也称为工业实时数据库。但是，从这些产品的技术特点来看，其重点是保存工厂底层自动化设备上不断变化的过程数据，以便进一步开发实现面向工厂管理与先进控制的应用系统，满足工业企业的实时生产过程管理需求。因此，更贴切地说这些产品名称为工厂历史数据库。感知数据库系统需要具有工厂历史数据库数据管理能力，但是不局限于工厂应用。感知数据库与流数据处理系统流数据处理系统的需求来自下面两个方面：持续自动产生大量的细节数据：银行和股票交易、网络流量监控、传感器网络

要以近实时的方式对更新数据流进行复杂分析：检测互联网上的极端事件、欺诈、入侵、异常等感知数据库系统与传统的流数据处理系统的共同点如下：数据持续、联机到达数据是无限的，数据规模大数据需要快速处理以便快速响应两者差异之处在于：对感知数据库系统来说，数据的达到是可预测的，并且必要时可主动采集获得历史数据的价值与读取次数需求：流数据处理系统中数据流是“只能被读取一次或少数几次的点的有序序列”，甚至于只有在数据最初到达时有机会对其进行一次处理，其他时候很难再存取到这些数据感知数据库系统具有历史数据的存储需求与挖掘分析需求流数据：指一组数据项的序列，按照固定的顺序，以连续、快速、随时间变化的，可能是不可预测和无限的方式到达。THANKS

FOR

YO