物联网大数据处理技术与实践（第2版）课件 第5章-感知数据库管理系统

物联网大数据处理技术与实践InternetofThings

BigDataprocessingTechnologyandPractice感知数据库管理系统感知数据库的总体设计1感知数据库的分布部署体系2感知数据库中的关键技术3PARTONE1感知数据库的总体设计师傅领进门，学艺在自身。------中国谚语感知数据库总体设计感知数据库设计的主要原则：松耦合组件化消息机制感知数据库松耦合：由于感知数据的海量数据流以上行数据为主的特性，因将高频度、周期性的感知数据在线处理任务与其他非周期任务分开处理，以避免系统抖动问题。组件化：通过系统的解耦和以及组件化设计，有利用系统的分布式部署以及充分利用服务器上的多处理器多核的计算能力。消息机制：组件之间更多采用消息机制，提高并发处理能力，避免接口调用导致堵塞降低系统性能。感知数据库的设计框架感知数据系统主要包含九大组件，分别是：数据采集协调器、内存数据管理器、历史数据管理器、数据组织管理器、实时事务调度中心、数据订阅-发布中心、数据同步服务器、日志管理器、应用接口服务器组成。如右图所示。应用服务接口数据订阅-发布中心数据同步服务器内存数据管理器数据采集协调器日志管理器实时调度处理中心历史数据管理器数据组织管理器感知数据库的设计框架感知数据库系统的九大组件具体功能如下：(1)数据采集协调器：提供一个标准的框架及其插件的系统架构，不同协议类似于一个插件，可以动态加入统一的框架中，方便系统扩展数据采集能力。(2)数据组织管理器：数据组织管理器按照时态对象模型组织数据，其中实时数据由内存数据管理器负责组织管理，历史数据缓存以及持久存储由历史数据管理器负责。感知数据库的设计框架(3)内存数据管理器：内存数据管理器利用主内存的快速存取优势，采用独占写数据权限+共享多用户读数据权限，以及多版本并发控制，最大化数据访问的并发能力，以便快速处理源源不断到达的实时数据流。(4)历史数据管理器：历史数据管理器采用数据缓存、数据块、归档文件三级模式进行数据管理。历史数据管理器利用数据缓存进行数据压缩打包，并建立索引，形成数据块，存入物理磁盘。根据数据访问需求以及用户设置，长期不用的数据可以转换成归档文件，归档文件一般不提供在线查询服务。(5)实时事务调度中心：系统中所有的数据操作都是采用事务模型进行处理，实时事务调度处理中心是整个系统的核心，事务的调度算法以及并发控制机制是体现系统性能的关键。(6)数据订阅-发布中心：由于感知数据处理的实时性需求，数据分发方式不能采用关系数据库等传统系统的查询或者轮询方式，必须采用订阅-发布机制确保数据更新能够及时地到达系统内部的其他组件或者外部应用。感知数据库的设计框架(7)数据同步服务器：数据同步服务器是支撑系统进行分布式部署的基础，常用的同步方式包括镜像同步与聚合同步。·镜像同步主要应用于跨网络的数据共享应用，最典型的场景是通过网络隔离装置-安全隔离网闸实现的单向数据同步服务-通用的网闸设计一般分三个基本部分：内网处理单元、外网处理单元、隔离与交换控制单元(8)日志管理器：日志管理器主要用来记录数据库中的重大参数修改、系统运行日志、用户事务日志、错误日志等，其中系统运行日志包括数据采集接口运行状态、用户端连接状态、系统运行负荷等内容。(9)应用接口服务器：系统对外提供数据订阅服务、数据查询服务、数据回放服务以及对SQL语言的支持等，这些都是使用特定的协议通过应用接口服务与系统打交道。网闸结构PARTTWO2感知数据库的分布部署体系感知数据库的分布部署体系感知数据库的分布部署一方面来源于系统的分级、分区管理需求，另一方面来源于系统的高性能与高可用性需求，而且系统高可用性的分布部署模式也是整个系统分布部署的基础环节。系统的集群部署模式根据侧重的方向和目的，集群分为三大类：高性能集群（HighPerformanceCluster,HPC）负载均衡集群（LoadBalanceCluster,LBC）高可用性集群（HighAvailabilityCluster,HAC）高性能集群目的是利用一个集群中的多台机器共同完成同一件任务，使得完成任务的速度和可靠性都远远高于单机运行的效果，弥补单机性能上的不足主要用在天气预报、环境监控等数据量大、计算复杂的环境中系统的集群部署模式负载均衡集群利用一个集群中的多台单机，完成许多并行的小的工作主要目的是选择负载最小的机器，缩短用户请求的响应时间，提供最好的服务，并且增加系统的可用性和稳定性在网站中使用较多高可用性集群

依利用集群中系统的冗余，最大限度地保证集群中服务的可用性

广泛应用于系统可靠性要求高的领域系统的集群部署模式按照集群工作的层面可分为：数据库集群、应用服务集群、交换机集群等。MicrosoftSQLServer自身可提供两种集群技术：失败转移集群（MSCS:MicrosoftSQLClusterServer）和镜像（Mirror）镜像（Mirror）是一种不需要共享磁盘的高可用集群，是数据库级别的集群。MSCS是一种基于共享磁盘的高可用集群，是操作系统级别的集群，这也能够通过第三方的高可用（HA:HighAvailability）软件实现系统的集群部署模式目前，工业上数据库系统支持最多并且最常用的集群方式是双机热备与镜像。双机热备：是一种主从模式、基于共享磁盘的失败转移集群，是操作系统级别的集群，大部分通过操作系统或者第三方的HA软件来实现，不需要数据库系统的特别支持。数据库镜像：是非共享磁盘型的高可用解决方案，可分为完全镜像与部分镜像，一般需要数据库自身的支持，是进行系统多层级部署的基础；部分数据镜像的主要目的是实现数据库的聚合同步，实现系统的分级部署。系统的集群部署模式数据库系统的双机部署模式系统的集群部署模式多点集群是双机系统在技术上的提升，由多台服务器组成一个集群，灵活地进行系统部署，并设置适合的接管策略。常用的方式有：一备多、多备多、多机互备等。可以充分地利用服务器资源，同时保证系统的高可用性与扩展能力。数据库系统的多点集群部署模式系统的集群部署模式以上集群部署模式主要目的在于系统的高可用性，通过双机互备或者多点集群能在一定程度上实现系统的高性能。这些部署中的许多模式需要数据库本身的支持，包括数据库的多实例、数据同步复制、全局数据字典管理、多服务器的统一访问接口等等。多层级的系统部署体系一级数据库系统：一般来说，一级数据库系统部署在基层单位，直接从工业现场、传感器网络或者嵌入式数据库中采集或者同步复制数据，支持本地应用并为上一级系统提供数据基础；感知数据库系统的部署可以根据实际需求采用双机热备、双机互备、双机双工或者多点集群等模式。这一级数据库系统更多地是面向SCADA之类的综合自动化应用，以及部分在线计算分析应用。由于物联网本身的广域特征以及管理的级别体系需求，感知数据库系统在一定情况下有必要采用多层级的分布式体系。下面，我们以典型的三级分布部署体系为例，描述多层级的系统部署体系。多层级的系统部署体系二级数据库系统：二级数据库系统同样可采用多种部署方式，数据来源可能包括工业现场、一级数据库系统以及一定数量的在线整合计算数据，并可支持数据的归档管理；二级数据库系统与一级数据库可以采用镜像方式进行数据同步复制，并且在必要的情况下支持跨网闸的数据传输，保证两级系统之间的网络隔离。三级数据库系统或者大数据云平台：三级数据库系统的数据主要来源于二级数据库以及在线的整合计算数据，系统主要是面向管理业务提供实时的统计分析以及设备运行分析与预测应用，而非面向监控应用。系统在二级数据库系统的基础上，更加深入地与关系数据库、知识库系统等结合，通过进一步数据整合计算或者数据挖掘分析，构建全面完整的企业实时数据仓库和挖掘分析平台。多层级的系统部署体系数据库系统的三级部署体系多层级的数据库系统部署体系是许多大型工厂与企业进行实时数据平台建设的基本模式，要求大型分布式数据库系统产品提供一定的功能支持，包括数据库的聚合同步、数据的在线整合计算、一定的数据挖掘分析能力等。服务分布的部署体系感知数据库系统不仅需要支持系统的多级部署，而且应该支持系统中不同服务的分布部署感知数据库系统中的服务通常包括：基于内存的实时数据服务、历史数据服务、报警与事件服务、数据订阅服务、数据目录服务、实时计算服务等等这些服务通过实时高效的通信机制互联互通，其分布部署体系分为三个方面：服务的分布式部署系统中，每类服务都可有多个，每个服务都可单独部署，多个服务也可部署在同一节点上。通过分布式部署某类服务的多个实例，可提高服务和系统的并行处理能力。例如，实时数据服务与历史数据服务以及报警与事件服务都能够部署在不同的服务器上。服务间的灵活映射系统中不同服务之间的关系可根据应用需求进行动态组合、拆分和配置；比如，某几个实时数据服务可以对应到某一历史数据服务。服务间的灵活映射是系统进行多点集群部署的基础。服务的冗余配置系统中重要的服务可冗余配置，包括双机热备、双机互备、多机互备等上面描述的多种方式，保证整个系统的高可用性。服务分布的部署体系感知数据库系统的服务分布部署体系PARTTHREE3感知数据库中的关键技术智能设备及传感器接口技术随着工业领域的发展，智能工厂、智能生产、智能物流对设备的智能化、生产线的智能化以及感知手段有了更新更高的要求。此外，在智能建筑、智能家居、环境监控等领域，都涉及到系统与智能设备、传感器的双向通信与交互。智能设备及传感器接口技术从设计方面来说，系统需要提供可配置的协议扩展框架，以便兼容众多的工业总线协议及厂商的定制化协议。常见的工业协议有：Modubus、Prifibus、BACnet、CAN、Lonworks以及OPC、SNMP等。右图给出了系统的协议扩展框架：感知数据采集协调器的框架+插件模型智能设备及传感器接口技术感知数据采集协调器把远远不断涌来的数据按照优先级放入不同的数据队列，以便基于内存的实时数据管理器进行处理。感知数据采集协调器的数据交互模型流数据实时在线处理技术基于目前广泛使用的多CPU多核的特点，系统根据需要建立感知事务处理线程池；根据优先级调度执行感知数据对象的在线处理过程，数据更新结果进入基于内存的实时数据管理器；根据事件定义触发相应的事件，放入事件队列；根据用户的订阅需求，把需要发布的数据放入发布队列。感知数据库工作原理流数据实时在线处理技术感知数据属于典型的流数据，它的处理具有流数据处理的典型特征：数据触发模式，处理过程始终在线；在数据流动的过程中进行处理与计算；只对一段时间内的数据进行处理，感知数据对象内置的在线处理过程必须能够在确定的时间内完成，否则会影响整个系统的性能。流数据实时在线处理技术内置的在线处理过程针对采集的数据进行常规处理,通常包括以下内容：标记时间戳基本报警判定更新内存快照订阅数据发布除了以上系统提供的标准数据操作,系统还支持定制内嵌操作或者进行操作的扩展,以便提供更加丰富的数据处理能力。事件驱动的高效处理机制事件驱动框架(EDA：Event-DrivenArchitecture)是Gartner于2003年提出的实时事件处理的软件架构，它定义了一个设计和实现软件系统的方法学，在这个系统里事件可传输于松散耦合的软件组件和服务之间。一个事件驱动系统典型地由事件消费者和事件产生者组成，通常采用订阅-发布机制。事件驱动架构在具体实现中是指由一系列相关组件构成的应用，而组件之间通过事件机制完成一定的业务功能。事件驱动的高效处理机制EDA系统能够更有加效地对管道化（Pipelined）的、由多软件模块链接而成的并发事件流（ConcurrentProcessingofEvents）进行处理。其各组件以异步方式响应事件，在本质上是可以并行的，其具备以下特点:并发执行事件触发/数据触发/时间规则触发实时/增量响应分布式事件系统处理事件驱动设计和开发的优势如下：可以更容易开发和维护大规模分布式应用程序和不可预知的服务或异步服务；可以很容易，低成本地集成、再集成、再配置新的和已存在的应用程序和服务；促进远程组件和服务的再使用，拥有一个更灵敏、健壮的开发环境；系统对动态处理有更好的响应，对实时变化的响应接近于同步。事件驱动的高效处理机制数据的订阅-发布

数据的订阅-发布模式是以消息流的处理为核心的技术框架，消息的产生是由感知数据对象的更新事件驱动。

订阅-发布模式定义了一种一对多的依赖关系，让多个订阅者同时监听某一个感知数据对象。事件驱动的高效处理机制数据的订阅-发布

对于感知数据这类具有时态属性的数据来说，数据或者消息的分发同样具有实时性要求。消息的调度处理机制能够缓解消息传输中的优先级反转问题，为实时数据库的实时性需求提供了基础。消息调度对512字节消息传输的影响消息调度对16K消息传输的影响事件驱动的高效处理机制数据的订阅-发布基于订阅-发布的实时消息通信体系必须提供如下功能：提供端到端（Peer-to-Peer）的消息通讯能力，支持QoS保证；消息发送单次可达：保证每个消息能从发送者到达接收者，且仅被接收一次；提供多种消息缓存机制：使其能够支持各种不同应用或组件的消息存取速度、持久性和可靠性等方面的不同需求；消息的调度管理：队列中的消息可以按照截止期或优先级进行排列，为消息传递提供可预测的、确定的时延。

事件驱动的高效处理机制复合事件处理技术

简单事件处理(SimpleEventProcessing)是消息导向的架构，主要处理单一事件，其中事件则定义为可直接观察到的改变。

复合事件处理(ComplexEventProcessing)机制使用模式比对、事件的相互关系、事件间的聚合关系，从事件云(EventCloud)中找出有意义的事件，使得系统可以更能弹性使用事件驱动架构，并且能更快速的开发出更复杂的逻辑架构。

复合事件处理描述的就是系统如何持续地处理这些事件，即系统对变化的持续反应。事件驱动的高效处理机制复合事件处理技术

规则语言定义事件处理的规则，即ECA规则：事件+条件

动作。当某事件发生时，如果某些条件满足，执行一些处理或者一些动作。

持续查询语言CQL使用类似SQL的语法来描述事件和事件反应处理规则。对于内存中大量的外部事件和内部对象，CQL通过查询语句来做条件匹配，同时提供回调函数，当某些事件或者对象符合查询条件，就调用回调函数做相应的处理。

复合事件处理描述的就是系统如何持续地处理这些事件，即系统对变化的持续反应。事件驱动的高效处理机制复合事件处理技术规则语言和持续查询语言的比较分为以下几类：两种技术的实现手段两种技术的性能如何选择使用哪种技术复合事件处理技术替代普通编程语言来实现一些应用的好处：开发时采用声明型语言替代过程式语言两种技术的性能在对大量事件和对象的持续条件匹配和处理的过程中，复合事件处理产品提供高效的条件匹配，对象查询感知数据的压缩存储技术实时数据采集要求在线压缩以解决巨大数据量和不稳定网络的挑战。有损压缩方法如旋转门算法适用于批量数据，而快速且高压缩比的无损压缩则适用于高精度数据。数据存储管理采用内存、数据库和文件队列三级管理体制，定制化支持地震勘探数据管理的需求数据压缩优化存