高清视频数字监控存储系统设计方案

高清视频数字监控存储系统设计方案1.1.1视频存储的时间与方式的选择对于监控资料的保存时间，各种行业和各种应用都有不同的规定，通常规定保留期限在7天至1年不等。但是由于传统监控存储系统的约束，在实际使用中，一般监控资料的保存时间都被约束在30天左右，在本系统中，要求保存的时间长达1个月，存储系统的约束尤其在大型监控系统的设计和使用上表现得比较明显，其约束主要体现在以下几个方面：1）设备的容量限制：传统设备很难提供高容量的连续存储空间，给监控资料的存储和检索带来很大的困难；2）设备使用模式的限制：传统的DAS为直接连接存储，无法做到多设备共享存储；传统的NAS设备为网络共享存储，可以提供多台硬盘录像机同时使用，但是其性能低下，需要录制的监控信号达到一定数量后便会拥塞并导致不可用；3）设备扩展的限制：系统在设计时很难准确的准确预估系统发展情况，而在使用中，根据实际情况的需要，经常性的会对监控资料保存时间、需要录制的监控点、新的监控点等进行调整，这些调整将直接对存储空间提出新的要求。DAS、NAS设备其扩展性相对较差，同时，扩展时数据迁移、扩容的时间周期和相当繁琐扩容方式会对应用造成很大的影响。所以存储设备所造成扩展限制非常严重。在实际使用中，由于受到存储设备的种种限制，用户在节目质量和存储时间之间要进行艰难的抉择，在通常使用中，一般会采取使用较低码流、减少录制点、减少录制时间等方式来满足对监控资料保存时间的规定，甚至于减少资料保存得时间来迁就存储系统的不足。而这种方式不可避免所带来后果就是在需要监控资料时因为资料的缺失而受到影响。1.2数据存储技术的选择集中存储主要有以下几种方式：DAS——即直接连接存储，采用SCSI和FC技术，将外置存储设备通过光纤链接，直接连接到一台计算机上，数据存储是整个服务器结构的一部分。NAS——即网络附加存储，是一种专业的网络文件服务器，或称为网络直联存储设备，使用NFS或CIFS协议，通过TCP/IP进行文件级访问。SAN——即存储区域网络，以数据存储为中心的专用存储网络，网络结构可伸缩，可实现存储设备和应用服务器之间数据块级的I/O数据访问。按照所使用的协议和介质，SAN分为FC—SAN、IP—SAN、IB—SAN。IP-SAN/NAS在SAN结构下使用的iSCSI协议，作为在IP网络上访问数据块级（Block-level）的新的InternetSCSI标准，在SAN和NAS之间架设了一道桥梁。iSCSI最初是由Cisco和IBM两家公司发起的，之后提交给Internet工程任务组(IETF)将其标准化。是融合NAS和SAN的技术。是可在TCP/IP网络发送、接收Block（数据块）级数据的存储服务器。各种存储系统的比较如下：类型项目DASNASFCSANIPSAN性能高低高高可扩充性低低高高周边设备SCSI卡以太网卡、以太网交换机光纤通道卡、光纤通道交换机以太网卡、以太网交换机共享能力低高高高价格低低高低市场定位中低高中高选择存储方案时主要考虑到：采用H.264或MPEG-4/2视频格式，但各种编码器都有各自的播放库。数字视频数量影响到存储容量和存储性能需求。视频流带宽/记录时间：影响到存储容量和性能需求。一般视频流带宽的范围是从1Mbps-8Mbps。在监控记录的时间上，有全天时记录和部分时间记录（工作时间）的区分。视频录像保持30天的存储。视频流的记录方式：影响到存储空间的接口。目前了解到信息，各种DVS/NVS/编码器全部使用文件系统记录视频流（录像），方法为按固定的时间间隔生产视频文件。稳定可靠性要求：一些视频监控系统对监控业务连续性要求很高，要求设备故障不能影响到当前的监视和记录。随着业务发展，存储视频存储的扩容。系统设计选用IP-SAN作为网络存储设备。1.3IPSAN存储技术IP-SAN，即基于IP以太网络的SAN存储架构，随着以太网技术的发展，使IP-SAN对SAN技术进一步的拓展。它使用iSCSI协议代替光纤通道（FC）协议来传输数据，直接在IP网络上进行存储，iSCSI协议就是把SCSI命令包在TCP/IP包中传输，即为SCSIoverTCP/IP。

IP-SAN架构不必使用昂贵的光纤网络、FC-HBA卡和光纤通道存储设备，而是使用IP以太网络、以太网卡和iSCSI存储设备。因此，相比FC-SAN，IP-SAN存储架构要廉价的多，而且实施起来更容易。与FC-SAN类似，IP-SAN也可以将存储设备分成一个或多个卷，并导出给前端应用客户端，客户端计算机可以对这些导过来的卷进行新建文件系统（格式化）操作。客户端计算机对这些卷的访问方式为设备级的块访问，IP-SAN通过把数据分成多个数据块(Block)并行写入/读出磁盘，块级访问的特性决定了iSCSI数据访问的高I/O性能和传输低延迟。IP-SAN继承了IP网络开放、高性能、高可靠性、易管理、可扩展性强、自适应性强的优点，存储方式灵活，实现存储网络与应用网络的无缝连接，并提供了优良的远程数据复制和容灾特性。IP-SAN存储具有如下特点：具有高带宽“块”级数据传输的优势。基于TCP/IP，IP网络技术成熟，具有TCP/IP的所有优点，如可靠传输，可路由等，减少了配置、维护、管理的复杂度。可以通过以太网来部署iSCSI存储网络，易部署，成本低。易于扩展，当需要增加存储空间时，只需要增加存储设备即可完全满足，扩展性高。数据迁移和远程镜像容易，只要网络带宽支持，基本没有距离限制，更好的支持备份和异地容灾。1.4FCSAN与IPSAN的比较及其在监控应用中的选择1.4.1模式分析1）FCSAN模式分析传统的存储网络多采用光纤通道(FC，FiberChannel)的方式，整个系统包括每个服务器端的光纤通道卡，光纤线，光纤通道交换机等。开放的、标准化的光纤通道技术使得FCSAN非常灵活。FCSAN克服了传统上与SCSI相连的线缆限制，极大地拓展了服务器和存储之间的距离，从而增加了更多连接的可能性。改进的扩展性还简化了服务器的部署和升级，保护了原有硬件设备的投资。FCSAN以其高性能、高稳定性和高安全性在金融、政府、数据中心等高端应用场合广泛被使用，但是其本身固有的缺点使其在占绝大多数的中低端客户中应用并不广泛。FCSAN的缺点：（1）成本高，这是FCSAN的最大缺点。光纤交换机、HBA光纤卡、光纤硬盘等设备都十分昂贵，每片光纤通道卡以及每个光纤通道交换机端口的价格是普通千兆以太网的10至20倍以上，加上光纤的铺设在中国大部分地区不是十分普及，整个系统的建设费用非常昂贵；（2）异构性。除了高价外，最主要的问题是它与应用网络的异构性。FCSAN是一种独立的网络架构和技术模式，其和现在已经十分发达的IP网络完全不同，这种异构性使得占市场大多数的中低端客户，因面对相对陌生、复杂的FC技术望而却步。（3）容易形成存储孤岛。由于FCSAN受它的物理机理决定，它无法使存储设备随它在Internet上运行，从而无法满足应用前端对存储数据"无时不有、无处不在"的要求。要有铺设光纤的地方，才可以部署FCSAN服务网络，同时SAN的物理覆盖有限，不超过50公里，这样容易形成存储孤岛。（4）管理难度大，人力成本高。FCSAN与现在的IP网络完全不同，一般来说，FCSAN多半需要特定的工具软件来操作管理，所以需要对人员进行一定时间的教育训练，而且费用不低。（5）设备的兼容性问题。由于标准的不统一，各个FCSAN产品的生产厂家所生产的设备之间不兼容。对各行各业的IT技术人员而言，网络技术是基于Ethernet及TCP/IP构筑的，它们的许多应用已建立在Internet的架构之上，并期待着存储网络化最终会向这个方向迈进。过去IT发展的历史已经说明，包括Token-Ring、FDDI、ATM以及Bell发明了一百余年的、面向连接的语音交换技术，都将统一融合到TCP/IP为基本架构的Internet上去。SAN也将向基于IP网络方向发展。2）IPSAN模式分析IPSAN是近些年来新兴的网络存储技术，它希望用TCP/IP以太网替代光纤通道网络。IPSAN的好处在于：使用以太网络，保护了用户现有的投资；以太网系统造价低；以太网是成熟的技术，具有良好的兼容性；以太网络可以扩展到远端，便于系统的做远程的容灾备份；以太网上现有的软件也可以直接使用，例如IPSAN可以直接加上IPsec软件，以达到存储网络加密的目的；千兆以太网络的广泛使用，也使得IPSAN的性能得到提高。总之，采用IPSAN存储网络，可以达到好兼容性和最高的性能价格比。iSCSI协议是IPSAN中最为流行的协议，是IP存储的典型代表。iSCSI（InternetSCSI，互联网小型计算机系统接口）是一种在Internet协议网络上，特别是以太网上进行数据块传输的标准。它是由多家存储厂商发起的，并且得到了IP存储技术拥护者的大力支持。iSCSI是一个供硬件设备使用的，可以在IP协议上运行的SCSI指令集。简单地说，iSCSI是可以在IP网络上运行的SCSI协议。FiberChannel搭建的FCSAN与利用iSCSI搭建的IPSAN的区别：在IPSAN中，千兆以太网交换机代替了价格昂贵且只有FCSAN专用的光纤交换机,客户端的Initiator或iSCSI卡代替了价格较高的主机HBA卡，具有iSCSI接口的高性价比的存储设备代替了光纤磁盘阵列。当然，两者的区别还不仅如此。FCSAN具有良好的扩展性，IPSAN的扩展性更加出色。我们可以在IPSAN中使用SCSI、FC、SATA、SAS等多种磁盘阵列来扩展IPSAN的容量。即使是比较大数据块传输的性能，基于多个千兆以太网口的IPSAN与基于4Gb/s光纤的FCSAN差距也越来越小，随着10Gb以太网的逐步普及，甚至会超过FCSAN网络。在安全性方面，iSCSI规范包含了Initiator和目标验证(使用CHAP、SRP、Kerberos和SPKM)，以防止未经授权的访问，同时只允许可信赖的节点访问。作为补充，IPSec可以提供安全保证，防止侦听。光纤通道协议是工作在第二层的协议，原本并没有建立相应的安全机制以及安全通用协议，只不过是基于逻辑上的数据通道绑定。由于IP技术的普及和发展，利用iSCSI技术搭建的IPSAN可以随着网络延伸至全球任意一个角落，从根本上解决了信息孤岛的问题。我们甚至可以通过IPSAN来连接各个FCSAN的孤岛。利用标准化的数据传输通道、标准的接口以及虚拟存储管理技术，IPSAN存储网络几乎可与所有种类的磁盘阵列兼容。产品互操作性的问题迎刃而解。IPSAN优点：（1）成本投入小。iSCSI所使用的适配卡、交换机和缆线这些产品的价格比FCSAN所选用的硬件产品价格要低，并且iSCSI可以在现有的网络上直接安装，并不需要更改企业的网络体系，这样就大量节约资金投入。（2）管理门槛及维护成本更低。一般来说，FCSAN多半需要特定的工具软件来操作管理，所以需要对人员进行一定时间的教育训练，而且费用不低。iSCSISAN乃透过IP网络来传输数据及分配存储资源，所以只要使用网络现有的管理功能即可，比较起来，的确可以省下大笔管理人力及训练成本。（3）无距离限制。由于iSCSISAN是一种基于IP网络的存储技术，它会随着IP网络的延生而将存储距离不断扩大，因此iSCSISAN是无距离限制的。（4）组建方式灵活，可扩展性高。由于iSCSISAN存储系统可以直接在现有的网络系统中进行组建，并不需要改变网络体系，加上运用交换机来连接存储设备，对于需要增加存储空间的图书馆来说，只需要增加存储设备就可完全满足，因此，iSCSISAN存储系统的可扩展性高。（5）传输速度快。拜GE以太网络之赐，理论上，iSCSISAN的速度越来越高。更重要的是，一旦下世代的10GB以太网络普及的时候，iSCSISAN就可能以10GB的高速狂飙，比FCSAN的下代版本——8GB还要快。（6）人才较多。随着因特网的日益兴盛，造就了取之不尽、用之不竭的TCP/IP网络人才，比起门坎较高的FCSAN来说，这对于专走IP网络Base的iSCSISAN而言，可说是一大优势。1.5监控应用中的模式选择1.1.1从监控实际应用性能上考虑在监控应用中，由于其应用的特殊性，性能瓶颈在硬盘上而不是主机接口。以3Gb/sSATA盘为例，在监控模拟应用中的测试性能约为40MB左右，按照实际应用性能可以达到测试性能的70-80%计算，即可以支持500路CIF码流；考虑的做RAID后性能的提升，实际应用中也仅可以支持到的1000-1500路CIF码流，换算成带宽也就是65-95MB/s之间。单4Gb/s的FC主机接口带宽为500MB，2个千兆主机接口带宽为250MB，主机接口带宽均远大于65-95MB，即使按照主机接口应用带宽约为理论带宽的50%，也大于硬盘在监控应用中的实际性能，即采用FC或者IP接口对监控应用中的整体性能几乎没有什么影响。因此，考虑性能要求和投入成本，在监控应用中我们使用IP存储设备。通过实际测试也可以看到采用FC和IP的存储性能相差无几。IP网络存储单设备可以支持约400路D1码流并发写入。在RAID5降级情况下对实际性能几乎无影响，RAID5重构情况下性能仅下降15%以内。1.1.2从监控应用特点上考虑由于监控视频数据需要反复的覆盖写入，采用传统的文件系统会产生大量的磁盘碎片。传统的磁盘阵列，由于附属于前端的操作系统，对磁盘碎片是无法处理的，只能依靠前端操作系统中文件系统的处理机制来处理（例如，NTFS和EXT3）。而传统的文件系统设计的时候考虑更多的是在磁盘没有写满的情况下如何更快的响应一般客户操作或者数据库的请求，对于类似监控类型的反复覆盖访问方式不是很适用。在长时间使用之后，性能和磁盘利用率均会大幅下降，并且还会造成磁盘加速损坏，缩短磁盘寿命。IP存储系统应采用磁盘预分配与延迟分配技术相结合，首先查找空闲空间区域并用于存储新数据的过程，最大程度地提高系统性能和避免磁盘碎片。同时，结合高效的碎片整理程序，在系统空闲时对磁盘碎片进行整理，能够减少90%以上的文件碎片，大幅改善系统的性能。1.6存储容量计算关于录像文件大小的计算，采用如下方式：对数字图像实现每天24小时的不间断存储，采用4Mbps码流，数据保存周期为30天。共计1路视频，则所需硬盘容量计算方式如下：视频码流÷8（转换为字节）×3600（得到一小时存储容量）×24（得到一天存储容量）×30（得到30天存储容量）×1（得到30天1路视频存储容量）÷1024（转化单位为GB）÷0.9（考虑到格式化后的硬盘损失10%）÷1024（转化单位为TB）4Mbps÷8×3600×24×30×1÷1024÷0.9÷1024≈1.37TB1.7存储设备配置以交管局指挥中心原有的200路图像为例，改建200路模拟图像为720p高清图像，采用4Mbps码率，录像时间为30天，则4Mbps÷8×3600×24×30×200÷1024÷0.9÷1024≈274.66TB根据计算，共计需要存储空间2754TB。则需要2TB硬盘138块。考虑到数据安全性，需要对磁盘阵列做RAID5，原则上10块—14块存储硬盘做一个1个RAID5阵列，则每个RAID5阵列还需要检验盘1块，热备盘1块。所以需要部署4台48盘位磁盘阵列，2TB企业级硬盘共158块。其他大队可采用类似方法计算。1.7.1存储可靠性设计视频监控图像存储应具备高度的可靠性，不允许出现需要回放某一时间某一地点的录像时，出现没有录像或不能回放的情形。存储系统的设计和配置需要从以下几个方面提高系统的可靠性：存储服务器的冗余技术，确保存储管理不间断工作。存储磁盘阵列控制器的冗余技术。磁盘的冗余技术，采用各种RAID机制。磁盘在线更新机制，采用热备盘实现故障的自动替换。对重点录像进行备份存储。磁盘阵列应采用成熟的Intel硬件平台，加上稳定的StorOS操作系统的配合，从而具有稳定的产品性能。1）产品应具备Raid0，1，5，6，10，50，JBOD和热备盘技术等热备技术；采用常用的RAID5+1片热备盘的冗余机制时，当盘组里任何一片盘损坏时，通过校验数据块计算坏盘的数据，保障了出现坏盘情况下的数据不丢失以及持续可访问性。配合热备盘技术，热备盘自动顶替坏盘，并由Raid组中的其它工作盘自动计算坏盘的数据并写入热备盘，实现对坏盘数据的重构；RAID重构对整体性能的影响在15%以下。2）冗余热插拔风扇、冗余电源屏蔽了这些部件的故障导致的设备故障，同时这些部件支持在线更换。3）UPS保护UPS掉电数据保护技术，产品能检测到UPS的供电状态，当出现掉电的情况，产品能够按预先设置的策略实现数据从缓存回写到磁盘上，保证了的数据的完整性。一般的磁盘阵列都具有上述可靠性保护技术，这些技术也解决了用户大部分的数据丢失的安全隐患，但是不够彻底。例如当磁盘的损坏突破了RAID机制的磁盘冗余的极限，冗余硬件全部出现故障，UPS保护时间不够等情况，都可能导致整个系统的服务中断。为了解决以上的相对极端的问题，存储系统也应提供相应的措施来保证服务连续性和数据不丢失。N+m备机模式该模式下，N台存储设备为编码器提供在线存储服务，同时配置m台(这里以1台为例)存储设备作为备机。通过底层系统，备机会实时监测在线存储设备的工作状况，当在线存储出现服务中断（多磁盘故障、硬件部件故障等）时，备机会接替故障机所有的前端(编码器)配置信息，继续提供存储服务，保证整个系统的服务持续性。当在线存储恢复后，会继续提供在线存储服务，备机停止服务。1.8智能断网录像IP存储系统可以结合前端编码设备，在前端设备配置SD卡，在存储系统服务中断期间实现录像接管，并在网络恢复时将前端视频数据透明化复制至磁盘阵列保证视频数据不丢失，提升网络存储的可靠性与灵活性，实现数据双备份。1.8.1存储系统I/O要求在监控的存储系统中，存储系统的I/O吞吐能力也是一个极为重要的参数，在大规模监控系统中，由于同时存储的数据量较大，需要存储系统能够提供较为强大的I/O吞吐能力才能正常进行数据的存储，否则既有可能因为存储系统的I/O能力不足，在存储系统中形成性能瓶颈而造成资料无法存储、已存储的资料丢失、甚至于整个系统的崩溃。此处计算结果为实际需要值，而且为存储系统写入处理的能力，并且为多文件同时写入，对于存储系统的要求极为苛刻。通常在存储设备的参数中，所提供的技术参数一般为实验室测试环境中的理想测试值，在实际使用中会有较大幅度的衰减，一般来说，存储设备的读取速度会高于写入速度，在进行参数对比时需要注意区分。在选择监控存储产品时，同样需要考虑到存储系统I/O能力的冗余，与存储空间不同的是，数据存储的动作是时刻在进行的，而且非常的关键，一旦发生I/O阻塞，其后果不堪设想。所以，选择时应该至少为I/O留出50%以上的性能冗余。各大队分控中心配置的千兆网络交换机（端口带宽1000M），同时其他大队的监控点位少于230个点上，因此千兆光纤上传链路同样可以满足带宽传输的需求。1.8.2存储管理策略1.9存储管理服务器在派出所和区县监控中心部署存储管理服务器，内嵌平台软件的网络存储管理服务软件，是针对大型网络监控系统环境的专用存储管理软件模块，实现远程所有图像的实时录像、报警录像、中心集中备份和事后检索查询服务，计划录像下支持补录。支持DAS、NAS、SAN等多种存储方式，对于视频文件存储我们建议采用IPSAN存储方式。网络存储管理服务器根据实际需求部署，一台存储管理服务器可以管理的视频路数不限，但是同时并发存储处理的视频路数受到服务器性能限制，目前测试的结果是在1000M网络环境下一台IPSAN存储设备可以并发响应380路CIF格式的视频流，256路D1格式视频。网络存储服务器软件通过网络获取系统中所有视频源的信息，存储到大容量的存储设备中。系统可以支持n台计算机组成的分布式集群存储结构。在这些计算机的通讯底层是我们的高性能通讯平台技术。在正常运作的情况下，每一台存储计算机负责存储整个系统中的某些录像信息。首先我们需要定义存储组，每一个存储组有n路图像组成。我们把一个存储组绑定到一台存储服务器，这样全系统的图像将通过不同的存储服务器进行存储。存储管理服务器管理的对象可以是PC服务器存储设备、DVR设备、IP网络摄像机，也可以是磁盘阵列或磁带库。1.9.1容错技术首先系统体系结构上的容错技术。我们的系统支持分布式的集群技术，简单地讲，每台服务器正常执行当前的存储任务，但是同时又作为其他服务器的后备集群节点。当集群系统某一节点出现故障，那么我们的底层通讯协议能够准确地监测到这台机器的问题，这就是所谓的成员离开事件，成员离开事件将被可信协议递交到集群中的每一个节点，它的备份服务器将立刻承担起失败节点的责任，进行录像。这就是容错功能。而当失败的节点修复后重新启动并开始录像，底层通讯协议能够把这个重新加入的时间递交给每一个节点，这是所谓的成员加入事件。备份服务器接收到这个时间以后就停止录像。这就是错误恢复功能。另外，在录像分包时，每一个录像文件结束和一个新的录像文件开始，系统都被冗余一部分数据，以保证没有任何图像帧丢失。1.9.2录像清盘策略当系统发现存储的容量超过系统规定的最高警戒线，将开始启动清盘任务，这个工作是由存储管理服务器来管理的，存储管理服务器将定时检查磁盘的情况，进行磁盘的清理、自动导出等功能。系统提供集中清盘策略，包括先进先出，最近访问，最多访问，以及保留优先权。在先进先出的情况下，所有最先录制的图像数据将被删除。而在最近访问策略中，越最近访问的录像资料将被保留越久，越多访问策略则考虑整个系统用户对资料的访问频度，访问的人越多，录像资料保留得越久。在所有这些策略中，都可以定义保留优先级，如果某一通道的优先保留权越高，那么它的数据将被越后删除，并且系统可以定义保留的时间长度。1.9.3监控资料后期检索方式监控资料的后期检索也是监控系统中的一个非常重要的环节。在监控中的，实时监控图像固然重要，录制下来的监控资料也会在关键时候发挥更大的作用，如：交通监控中，录制下来的监控资料可以作为交通违章的证据；在治安监控中，录制下来的监控资料可以作为不法分子的犯罪证据；在企业监控中，录制下来的监控资料可以作为意外事件中的分析资料等等。完善的监控系统会提供多种监控资料的后期检索方式以供选择，一般会分为简单检索功能和复杂的检索功能。通常在简单监控系统中，可以直接通过硬盘录像机的检索回放功能即可检索到所需资料，而在大型监控系统中，例如公安治安监控，由于需要经常性的检索监控历史资料，并且同一时间可能会有很多相关人员进行检索。本系统将提供功能完善的检索查询系统，包括多种查询方式。但需要注意的是