平安城市高清监控存储解决方案.docx

.平安城市高清监控存储解决方案平安城市存储需求平安城市视频监控系统一般具有监控点多、摄像头数量多、保存时间长(监控数据的保存时间多一个月以上)。因此视频监控系统存储必须支持大容量， 且容量具有高扩展性，满足长时间大容量视频图像存储的需求。存储系统在市公安局、县公安局、派出所等视频图像中心或视频图像信息前端汇集平台，根据视频图 像信息前端汇集情况，配备视频图像信息存储设备，对其汇聚的视频图像信息资源进行录像，配备视频图像信息存储设备，对其自建的视频图像信息资源进行录像。平安城市的影像信息存储技术要求： 每路视频图像信息的录像回放分辨率应不低于D1标清与720P高清格式; 采用标准MPEG-4、H.264格式进行编码，并能由VLC译码; 保证至少能以D1/720P的图像分辨率录像30天以上不间断存储; 对录像检索快速，具有完整的检索条件。支持多用户同时回放同一录像，对基于对象的智能检索有一定的扩展能力; 具有用户友好的互接口，并可以剪辑播放。具有依档案或时间段下载录像备份的功能; 存储时间同步，数字图像存储设备可支持NTP; 设定时间误差应10秒内; 具有根据时间、容量等条件实现自动清理磁盘策略; 提供可供二次开发软件SDK包和API接口函数; 当一级监控中心“宕机”时,二级监控中心可具备七天的监视录像存储功能。当一级监控中心存储恢复正常后，存储自动转入一级监控中心存储，并在后台执行本地视频数据拷贝到上一级监控中心存储，以保证录像的完整性; 一级监控中心的集中存储用来存储重要事件视频数据库，需长期保存; 依IP网络的性能，并依据公安业务要求实现对视频进行有效管理应用，建设一个具有稳定可靠、架构设置简单、易维护升级的数字视频存储系统。视频数据存储技术依据平安城市监控网络建置架构，在系统视频数据的集中存储方式上可以实行的方式有以下。DASDAS即直接连接存储方式，采用SCSI和FC技术，将外挂存储装置通过网络线或光纤链接，直接连接到一台工作站上，数据存储是整个服务器结构的一部分方式。NASNAS即网络附挂存储，这是一种专业的网络档案存储服务器，或称为网络直连存储装置，使用NFS 或 CIFS协议，通过 TCP/IP进行档案访问。SANSAN即存储局域网络，以数据存储为中心的专用储存网络，网络结构可伸缩，可实现存储设备和应用服务器之间数据块级的I/O数据访问。按照所使用的协议和介质，SAN分为FC-SAN、IP-SAN、IB-SAN三种。IP-SAN/NASIP-SAN/NAS在SAN结构下使用的iSCSI协议，作为在IP网络上访问数据块级新的 Internet SCSI标准，在SAN和NAS之间架设了一道桥梁。iSCSI最初是由Cisco和IBM两家公司发起的，之后提交给Internet工程任务组 (IETF) 将其标准化。是融合NAS和SAN的技术。是可在TCP/IP网络发送、接收Block级数据的存储服务器。选择存储方式的考虑因素在平安城市项目中，选择存储方案时需考虑到： 采用H.264或MPEG-4视频格式，但各种编码器都有各自的播放库; 数字视频数量影响到存储容量和存储性能需求; 视频频宽/记录时间：影响到存储容量和性能需求。一般视频频宽的范围是从1Mbps-8Mbps，但通常都在2Mbps-4Mpbs范围之内以满足标清及高清讯号; 视频录像应能保持30天的存储; 视频流的记录方式：影响到存储空间的接口。目前了解到信息，各种DVS/NVS/编码器全部使用文件系统记录视频(录像)，方法为按固定的时间间隔生产视频档; 稳定可靠性要求：一些视频监控系统对监控业务连续性要求很高，要求设备故障不能影响到当前的监视和记录; 随着公安业务发展，视频存储要能扩充。以IP-SAN作为平安城市最佳网络储存应用技术IP-SAN是一种基于IP以太网络的网络区域存储架构，它使用iSCSI协议代替光纤信道 (FC)协议来传输数据，让IP-SAN架构不必使用昂贵的光纤网络、FC-HBA卡和光纤信道存储设备，而是使用IP以太网络、以太网卡和iSCSI存 储设备。因此，相比FC-SAN，IP-SAN存储架构成本低很多。与FC-SAN类似，IP-SAN也可以将存储设备分成一个或多个档案卷，并汇出给前 端应用客户端，客户端计算机可以对这些导过来的卷进行新建文件系统操作。客户端计算机对这些卷的访问方式为设备的级块访问，块级访问的特性决定了 iSCSI数据访问的高I/O性能和传输低延迟。这种应用于平安城市的海量储存IP-SAN具有IP网络以下的优点： 实现弹性扩展的存储网络，能自适应应用的改变; 已经验证的传输设备保证运行的可靠性; 以太网从1G向更高速过渡，只需通过简单的升级便可得到极大的性能提升; IP跨长距离扩展能力，轻松实现远程数据复制和灾难恢复; 使用上因大量熟悉的网络技术和管理的人才将会减少系统培训和人力成本; 基于IP的存储最大贡献在于将存储网络集成到主流的数据通信领域中。海量视频存储方案设计平安城市项目由于视频接入数量庞大，存储系统设计大多采用分布式存储和集中存储网络构架，在市公安局、县公安局、派出所等视频中心或视频信息前 端平台，根据视频信息前端收集情况，配备视频信息存储设备，对其收集的视频信息资源进行录像。这二种储存方式的架构设计大致如下： 分布式网络存储 ：在派出所和县监控中心接入前端视频监控图像，部署网络存储设备，前端视频信息包括高清网络摄像机直接存储到网络存储装置内; 集中式网络存储 ：IP网络摄像机(包括网络球机、高清网络摄像机)分布在各个不同的派出所辖区，录像数据集中存储在县局监控中心的网络存储设备中。派出所通过网络调用辖区范围内的视频影像，实现监控系统的实时监控和管理。存储方式选择对于接入数量庞大的城市视频监控，为减少派出所到区县分局的视频传输压力，保障派出所一线实战单位的应用，系统采用分布式设计，支持多种存储设备共存，同时县分局和上级市局指挥中心采用集中存储设备备份重点监控图像。储存方式一般可规划如下： 派出指挥中心,实时存储视频30天D1格式，分配IP-SAN存储; 对于监控点位较少的派出所可将视频图像直接存储到上级县公安分局; 市(分)局指挥中心存储接入所辖区域重要视频图像、社会视频资源。存储管理服务器管理方式在派出所和县监控中心部署存储管理服务器，内嵌平台软件的网络存储管理服务软件，是针对大型网络监控系统环境的专用存储管理软件模块，实现远程 所有图像的实时录像、报警录像、中心集中备份和事后检索查询服务，计划录像下支持补录。支持DAS、NAS、SAN等多种存储方式，对于视频存储建议采用 IP-SAN存储方式。网络存储管理服务器根据需求可以分布式部署，目前可以部署在派出所、县分局和市局，一台存储管理服务器可以管理的视频路数不限，但 是同时并发存储处理的视频路数受到服务器性能限制，目前测试的结果是在Giga千兆网络环境下一台存储服务器可以并发相应1000路CIF格式的视频流。网络存储服务器软件通过网络获取系统中所有视频源的信息，存储到大容量的存储设备中。系统可以支持n台计算器组成的分布式集群存储结构。在这些 计算机的通讯底层是我们的高性能通讯平台技术。在正常运作的情况下，每一台存储计算机负责存储整个系统中的某些录像信息。首先我们需要定义存储组，每一个 存储组有n路图像组成。我们把一个存储组绑定到一台存储服务器，这样全系统的图像将通过不同的存储服务器进行存储。采用的模型是前端分布式录像和后端集中 录像的综合方法。存储管理服务器管理的对象可以是PC服务器存储设备、DVR设备、IP网络摄像机，也可以是磁盘阵列或磁带库。存储容错技术设计在平安城市项目上存储系统应该可以提供多层次的容错机制，以确报录像储存作业可以稳定进行，首先系统体系结构上的容错技术。我们的系统支持分布式的集群技术，简单地讲，每台服务器正常执行当前的存储任务，但是同时又作为其他服务器的后备集群节点。当集群系统某一节点出现故障，那么我们的底层通讯协议能够准确地监测到这台机器的问题，这就是所谓的成员离开事件，成员离开事件将被可信协议递 交到集群中的每一个节点，它的备份服务器将立刻承担起失败节点的责任，进行录像。这就是容错功能。而当失败的节点修复后重新启动并开始录像，底层通讯协议 能够把这个重新加入的时间递交给每一个节点，这是所谓的成员加入事件。备份服务器接收到这个时间以后就停止录像，这就是错误恢复功能。第二个层次上的容错是在整个集群都和图像源断开，不能进行实时录像。这个时候，我们通过计划和实际的录像执行情况进行补录，请参见后面的计划和补录。第三个层次的容错是在录像分包时，每一个录像文件结束和一个新的录像文件开始，系统都被冗余一部分数据，以保证没有任何图像帧丢失。存储录像计划和补录规划在平安城市存储系统中每一个录像组都可以具有自己的录像计划，录像的执行底层是我们的计划和任务调度引擎。每次录像过程中，系统都会纪录录像的 运行时间，系统的维护服务器，根据预定计划和实际的执行情况的差异性，我们可以计算出需要补录的时间段。补录系统将自动从合适的DVR下载缺少的录像信 息。录像磁盘重整策略当存储系统发现存储的容量超过系统规定的最高警戒线，将开始启动清盘任务，这个工作是由维护服务器来管理的，维护服务器将定时检查磁盘的情况， 进行磁盘的清理、自动导出等功能。系统提供集中磁盘重整策略，包括先进先出，最近访问，最多访问，以及保留优先权。在先进先出的情况下，所有最先录制的图 像数据将被删除。而在最近访问策略中，越最近访问的录像数据将被保留越久，越多访问策略则考虑整个系统用户对数据的访问频度，访问的人越多，录