智能化监控系统云存储建设设计方案

智能化监控系统云存储建设设计方案概述随着视频技术的不断突破，摄像机的分辨率从最早的CIFF、DI,升级到720p、1080p，如今已经可以达到4K超高清标准(3840x2160)。然而，随着视频监控点位覆盖越来越完善,数量也越来越多,动辄几百路上千路的高清或超高清视频存储需求，给系统带来了巨大挑战。目前，视频存储系统主要有两种模式：分布式存储和集中存储。1)分布式存储采用DVR、NVR等小型存储设备，每台存储设备管理一定数量的前端点位并实现相应点位录像的存储，综合管理平台通过DVR、NVR实现对前端点位的管理和访问。采用这种方式的存储系统，每台硬盘录像机之间相互独立，通过RAID、热备等冗余技术实现容灾，可以满足基本的安防需求。但也存在一些问题，主要有如下几点：•管理和维护困难。一个上千路的视频监控系统，可能需要近百台NVR进行存储，每台NVR都有单独的配置界面，使用维护过程中需要重复操作，比如配置、做RAID、硬盘维护等。•系统可靠性低。一般NVR采用RAID技术来做容灾，硬盘出现故障后RAID降级，需要及时维护，如果不及时更换硬盘，再有硬盘故障就会导致整个RAID组损坏。同时，RAID重构效率低下，需要很长时间，风险很大（比如3T的硬盘，系统在保持工作的状态下RAID恢复，可能需要两个星期，期间不仅性能会大大降低，其他硬盘出现损坏的概率也很高）。•数据共享不便。由于系统性能有限，并且数据各自独立，不管是查找目标录像还是数据迁移，都需要花费较多时间。2）传统的集中存储通常采用IPSAN和外挂磁盘阵列，通过流媒体服务器转发，将所有前端点位的视频数据存储到中心存储服务器上。因此，采用集中存储时，需要具备较大的网络带宽，建议采用视频光纤专网进行传输。集中存储大大提高了系统管理效率和数据共享的能力，但也存在一些问题：•性能瓶颈。相比于分布式存储，集中存储的每台设备（EVS/ESS）需要承担更多路数的视频存储，但单台设备的接入带宽和磁盘写入带宽有限，设备的转发和存储性能成为我们进行方案设计时主要考虑的问题之•数据安全性不高。传统集中存储主要还是通过RAID技术数据容灾，而RAID只能实现磁盘间的冗余，无法做到设备级，而且RAID技术使用复杂，硬盘出现故障后RAID降级，需要及时维护，如果不及时更换硬盘，再有硬盘故障就会导致整个RAID组损坏。同时，RAID重构效率低下，需要很长时间，风险很大(比如3T的硬盘，系统在保持工作的状态下RAID恢复，可能需要两个星期，期间不仅性能会大大降低，其他硬盘出现损坏的概率也很高)。使用不便。虽然服务器数量大大减少，但还是需要分别配置，硬盘或设备出现损坏后需要及时的人为参与维护，因此对技防人员的人力投入也提出了较高的要求。为了解决海量视频数据给技防系统带来的各种挑战，大华基于对安防大数据业务的深刻理解和在安防存储、智能分析等技术方面的长期积累，推出了自主研发的云存储系统ExtremeStor。大华云存储，在技术架构和应用性等方面完全不同于市面上一般通用的云存储系统，表现出明显的海量空间、高可靠、高性能、易使用和强行扩展等功能特性。大华云存储系统软件(EFS)是一款集先进的分布式技术、高可靠的容错技术、智能化的资源调度管理于一体的数据存储系统平台软件，面向海量的非结构化数据，轻松满足海量的数据存储和弹性变化的业务需求。采用先进的纠删码算法，存储的空间利用率可达80%以上，数据可靠性达到10个9。最小系统即可提供4GB/s读写能力。存储容量可弹性扩展至EB级海量空间。在安防系统中采用云存储系统做集中存储，可以实现高性能、高可靠性的安防大数据存储，并可对接大华的安防云计算系统，满足园区大规模智能安防监控要求。系统设计1.6.2.1架构设计云平台是集计算机应用技术、网络通信技术、视/音频压缩传输技术、安全防范技术等高新技术为一体的先进系统。平台软件的控制协议、传输协议、接口协议、音视频格式均遵循公安部GB/T28181-201《安全防范视频监控联网系统信息传输、交换、控制技术要求》，解决了异构监控系统互连互通的技术问题。平台采用模块化设计思路，完全遵循GAT_669.7-2008_城市监控报警联网系统_技术标准，满足日益扩展的业务需求。采用B/S模式和先进的APP应用框架，应用了组件化、动态加载等技术，界面直观、业务明晰、操作便捷。采用SOA面向服务体系架构，基于Web2.0技术和XML协议标准，便于被其他业务系统集成。数据与应用独立、应用与控制参数独立的设计，以便于系统的调整与升级，适应不断发展的管理需求，保证各项技术可以不断的更新和升级以维持系统的

先进性。云存储系统为用户提供了统一的存储服务，并提供高效的SDK和熟悉的访问接口，应用系统可以把重心放在具体的业务开发上，这样可以促进监控系统的持续有序发展，发挥监控系统的最大效能。系统架构图如下：应用&服务行业存储 标准文件服务 Web服务 IPC应用&服务0 SI 0 01文件与流接口SDKPOSIXNFS/CIFSRESTfulMediaSDKMediaSvr云存储架构接入层资源层（虚拟化）统一对象池BucketN文件与流接口SDKPOSIXNFS/CIFSRESTfulMediaSDKMediaSvr云存储架构接入层资源层（虚拟化）统一对象池BucketN设备层大华云存储系统架构图1.6.2.2系统组成云存储系统内部，由元数据服务器和数据存储存储节点组成。元数据服务器支持两台、三台及以上形成集群，提供高可靠的元数据服务。数据存储节点提供高容量、高密度的存

储介质和极高的IO能力。同时，数据存储节点支持流媒体直存功能，具备前端摄像头产生的视频流直接存储到存储集群中，避免了中间环节的流量、性能开销，提供高可靠性流媒体存储能力，以及强大的媒体转发能力。云业务I-2智能存储服务器集群海量文件快速定位与检索支持文件存储系统组成图大于1024个客勺端并发访问云业务I-2智能存储服务器集群海量文件快速定位与检索支持文件存储系统组成图大于1024个客勺端并发访问I云存储元数据服务器集群 ！云存储系统采用分布式的存储机制，将数据分散存储在多台独立的存储服务器上。它采用包括元数据管理服务器(MetadataServer)、数据存储节点服务器(DataNode)和客户端以及运维管理服务器的结构构成海量云存储系统。在每个服务器节点上运行云存储系统的相应软件服务程序模块。其中，元数据服务器集群保存系统的元数据，负责对整个文件系统的管理，MetadataServer在逻辑上只有一个，但采用集群方式，保证系统的不间断服务；智能存储服务器(DataNode)负责具体的数据存储工作，数据以文件的形式存储在DataNode上，DataNode的个数可以有多个，它的数目直接决定了云存储系统的规模；客户端对外提供数据存储和访问服务的接口，为云业务平台提供云存储系统的访问能力；同时，针对视频业务，在DataNode上集成了流媒体服务，让存储节点具备了流媒体直存能力，让前端视频流直接存储至云存储成为可能。系统优势云存储在多个方面和传统存储有明显区别，非常适合大型监控系统应用，可以大幅简化存储系统的运维和使用，重点加强了数据和服务的安全性，在数据访问速度上也有数量级提升。1.6.3.1统一存储空间，直接共享数据统一存储空间管理是分布式文件系统的一个重要功能，只有提供统一存储空间管理，才能将集群的众多信息、状态屏蔽在集群内，保证系统使用的简易性、可扩展性、高可共享能力。一个具备一定规模的存储集群，随时都可能发生磁盘、存储服务器硬件等方面的故障，统一存储空间管理功能实现了将整个集群统一视图功能，整体对外提供一个访问IP,简化了与业务系统的接口，保证了系统使用的简易性。同时，存储的扩展仅限存储内部，而不会影响到系统与业务系统的接口，也保证了存储空间内数据的高共享能力。具体方式是，通过分布式集群技术，将所有存储节点的存储空间统一管理，资源池化成一个统一的存储空间池。同时，系统保证所有文件的文件名在统一命名空间内，实现文件访问的统一命名空间。具体的，是通过bucket名称全局唯一，以及bucket内文件名不重复实现了每个文件访问名称互不相同，实现了文件访问的统一管理。同时，集群存储空间的统一管理，实现资源的统一化。再通过集群唯一访问IP,对外呈现为一个统一的整体。只需要获得存储集群的访问IP，以及文件所在bucket名称和文件名，即可通过系统客户端在其他主机上访问这个文件。这就实现了分布式文件系统内数据的高可共享能力。数据不需要在上层业务系统之间传递，任何系统需要取数据，都可以直接访问云存储来获取。1.6.3.2海量存储能力，面向大数据应用传统存储服务器由于主机的性能、散热、最大支持盘位数、管理开销与复杂度等方面的限制，所能支持的存储能力都比较有限，而无法适应海量存储需求。而Scale-up的扩展方式显然无法突破其限制，且性价比较低。而本分布式文件系统通过集群技术，将众多廉价存储服务器组建成一个集群，实现了Scale-out方式的扩展，具备提供海量存储能力，成为一种性价比非常高的选择。分布式文件系统提供海量存储能力，单个存储域的存储空间可以达到16PB，通过元数据服务器集群扩展，系统容量几乎没有上限，可以达到EB级别。系统通过良好设计，将数据存储和访问等数据业务流和系统管理、数据管理等相关的控制流分离。数据存储节点负责提供存储空间容量和数据流服务，使得存储空间的增长和数据流服务能力增长相匹配，为海量存储提供基本保障。而元数据管理服务器负责控制流管理和服务。由于控制流流量相对有限，元数据服务器所能提供的存储空间，仅受限于服务器的内存。1.6.3.3在线弹性伸缩，多维按需扩展系统采用模块化结构设计，扩容非常方便，既可满足当前的需要又可实现今后系统发展平滑扩展。系统支持不停止服务的情况下，动态加入新的存储节点实现扩容，最大容量仅受元数据内存限制。同时，云存储系统扩展时，对上层业务系统是透明的，业务系统可根据需要对配额进行调整，而不需要管理新增空间。根据不同的需要，可以分别扩展不同的设备，最大限度的降低设备成本。比如监视和回放的客户端需求变多，就增加流媒体服务器，存储文件的数量变多，就扩展元数据服务器,存储空间变大，就扩展数据节点。数据节点的磁盘配置也非常灵活，不需要一次性把硬盘全部配齐，可以以硬盘位单位进行逐步增加，空间也以硬盘位单位增加。对于存储周期很长的系统，比如1年以上，可以先把数据节点配满，保证系统性能，采用同一个批次的数据节点也容易维护。而硬盘则可以分期投资，比如初始情况下,每个节点硬盘都没有配满，先保证一段时间的存储，在满之前每个节点均匀直接插入新硬盘即可，可以分多期投入。1.6.3.4高性能，文件秒级下载系统的高性能可以很好的支持以后大规模的数据共享和高效的视频分析数据挖掘应用。通过各种加速技术，系统可以达到非常高的的读写速度，比如万兆网络条件下，单文件的下载速度最高可达400MB/S，—个一小时的视频文件几秒钟就可以下载完毕。系统采用控制流与数据流分离的技术，数据的存储或读取实际上是与各个存储节点上并行读写，这样随着存储节点数目的增多，整个系统的吞吐量和IO性能将呈线性增长。同时，采用负载均衡技术，自动均衡各服务器负载，使得各存储节点的性能调节到最高，实现资源优化配置。同时，系统采用文件切片，以及文件切片内再进行节点间冗余的数据分散方式，使得客户端可以有效利用众多存储节点提供的聚合网络带宽，实现高速并发访问。客户端在访问云存储时，首先访问元数据服务器，获取将要与之进行交互的数据节点信息，然后直接访问这些数据节点完成数据存取。通常情况下，系统的整体吞吐率与节点服务器的数量呈正比。1.6.3.5数据的高可靠，服务高可用数据是业务系统核心应用的最终保障，其可靠性至关重要。云存储系统的核心是一个分布式文件系统，设计时假设任意机框、任意节点、任意硬盘都可能出现故障，通过分布式的数据冗余、数据操作日志、元数据主备冗余，数据自动恢复等多种机制来处理这些故障。卡耐基梅隆大学研究将近100000块硬盘的工作状况得出一个研究报告：当今企业级硬盘（MTBF通常在1,000,000小时-1,500,000小时）的年平均故障率为2-3%（有些极端环境甚至达到13%），远高于硬盘厂商宣称的0.88%。这意味着一个1000路高清的视频监控存储系统，需要1054块硬盘3T容量企业级硬盘（如果做5块盘的RAID5），2%的故障率导致每年我们都有21块硬盘损坏，每个月有1.75块硬盘损坏。若存储系统采用的是监控盘，则结果将更糟糕。传统存储服务器都提供服务器内部磁盘间，利用RAID技术，组建各种容错等级的RAID组，来为数据可靠性提供保障。随着硬盘的容量越来越大，RAID的重构时间变得越来越长。一块3T的硬盘，在工作状态下，重构的时间有的时候甚至要达到2个星期之久。在重构的过程中，任一其他的数据的错误，都将导致整个数据丢失或者RAID崩溃。不幸的是，在RAID重构时，相同RAID内的硬盘的出错概率大大增加。显然，存储节点内RAID技术，对于一定规模的云存储系统而言，是无法提供数据可靠性保证的，且由于重构时间以及重构时出错概率增加，会进一步导致可靠性降低。大华云存储系统采用了分布式ErasureCode算法，来解决上述问题，当有多个节点故障或者硬盘故障时，读写服务都继续可用，而且数据都不会丢失。由于数据存储的时候被分片存储在不同的存储节点上，只要一个硬盘顺坏，所有的存储节点均会参与恢复，系统规模越大，恢复速度越快，可以达到传统RAID恢复的10倍以上，这将大大提升数据的可靠性，在出现第一个错误时，及时恢复，大幅降低多个错误同时出现的风险，同时系统本身也支持多点错误恢复。另外，云存储的管理节点采用了主备双机镜像热备的高可用机制，在主管理节点出现故障时，备管理节点自动接替主管理节点的工作，成为新的主管理节点，大幅提高了系统的稳定性，保障系统的7X24小时不间断服务，支持应用系统对数据的随时存取。每台元数据服务器内部，存储元数据的磁盘都组RAID1，相当于每个元数据总共有4个副本，以更好的保障元数据的可靠性。1.6.3.6智能运维，免及时维护系统提供基于WEB的管理控制平台，所有的管理工作均由管理模块自动完成，使用人员无需任何专业知识便可以轻松管理整个系统。通过管理平台，可以对其中的所有节点实行实时监控，用户通过监控界面可以清楚地了解到每一个节点和磁盘的运行情况；同时也可以实现对文件级别的系统监控，支持损坏文件的查找和修复功能。通过运维系统，可以进行有效的故障定位、预警。存储节点磁盘可支持热插拔，在不影响到存储系统在线应用以及数据可靠前提下，实现磁盘更换维修等。1.6.3.7便于集成的通用接口大华云存储是一个通用的云存储系统，可以支持各类数据存储，不光是视频图像，其他任意格式的数据都可以存储，接口也是标准的接口，上层系统可以非常方便的进行集成。系统提供高性能的Windows/Linux客户端基础SDK和流媒体SDK，基础SDK支持C/C++/Java多种语言，可以在任意系统上进行集成，包括各种上层应用平台，以及平台的客户端。云存储系统内的数据不需要