视频监控存储解决方案.doc

XX视频监控存储解决方案目 录第一章视频监控存储系统11.1需求分析1系统可靠性需求1数据可靠性需求2高可扩展性需求3带宽需求3性能需求3节能需求4系统兼容性需求4安全性需求5第二章集中监控存储解决方案62.1系统拓扑结构图62.2视频监控容量计算72.3其他相关设备配置92.4集中监控存储方案的优势9第三章产品简介113.1NetStor iSUM420G3一体化存储系统11第一章 视频监控存储系统1.1 需求分析随着数字信号处理技术、数字通信技术的发展及IP网络传输的普及,安防监控系统正逐步从标清向高清、从模拟向数字进行转变，传统监控技术所面临的组网难、共享难和存储难的问题在新型的数字化监控存储体系下有了全面改善：网络化、规模化、高可靠性、高安全性、使用简便性、业务功能强大、管理功能强大、可扩展性好、易集中存储和检索等等，为用户带来了全新的应用体验。XX工程的摄像头数量较多，同时视频录像的保存时间较长，要构建一个全方位、高密度的治安管理防控体系，其中海量视频的集中存储和快速检索调用是项目中的关键点之一，而大型视频监控存储系统的需求主要体现在以下几个方面：系统可靠性需求对于一个存储系统而言，可靠性是第一位的。高可靠性是保证视频数据连续写入的关键，那么存储系统的可靠性需求体现在以下几个方面：1) 存储架构的可靠性一般而言，由于嵌入式存储系统的操作系统固化到控制器中，采用存储专用操作系统、以提高系统的安全性，减少黑客攻击及病毒感染的可能性，此外，嵌入式系统具有无线缆设计、关键部件全部可热插拔的特性，所以从架构上优于服务器架构的存储系统，产品选型时，应该优先选择嵌入式架构的存储系统。 2) 存储系统的冗余设计存储系统的冗余设计可以有效避免关键部件和链路的单点故障问题，从而保证可靠性。这些关键部件除控制器外，还应该包括锂电池、电源、风扇、硬盘等，此外，多个主机端口可以和前端形成多条数据链路，也可以避免链路的单点故障。但是从经济性角度而言，冗余的控制器是成本的较大权重因素，因此实际应用中，可以在冗余性和经济性之间选择一个折中点。 数据可靠性需求本期视频监控数据保存的主要目的就是为了在发生案件和突发事件时，能对存储中的数据进行取证和分析，保证整个XX项目安保工作的顺利开展，因此数据的可靠性至关重要，存储系统需要从容错、系统恢复（包括RAID技术、热备技术、SMART技术、介质坏块自动扫描、数据预先迁移等技术）等多方面对数据的可靠性和安全性做保障。作为后端视频监控数据集中存储系统的高可靠性体现在具备可靠性保护能力（RAID技术、热备技术、SMART技术、介质坏块自动扫描等技术）、故障恢复能力（存储设备掉电和更换控制器时，系统配置信息不丢失，数据不丢失，恢复供电和更换控制器后系统可以自动恢复正常运行）。1) RAID校验和热备技术硬盘是存储系统中的比较容易损坏的部件之一，随着时间和使用的频繁程度，硬盘故障极容易造成损坏或故障导致数据丢失，因此存储系统需要有多种RAID校验技术保证数据的安全性；在本期XX项目中，由于视频监控系统采用大容量的SATA硬盘，故障率会比小容量硬盘高，因此最好还能支持到RAID6等双盘校验保护。存储系统应具有多种RAID级别供不同应用的灵活选择，以方便用户根据各种不同实际情况来选择合适的RAID级别来保护数据。热备盘技术可以结合RAID技术增加数据的可靠性和安全性，尤其是当RAID级别不采用RAID6等高等级保护时，采用热备盘技术可以获得性能和数据可靠性的最佳结合。根据视频监控应用的特点，建议采用RAID5+热备盘的方式对数据进行保护，RAID5提供在线更换新盘的功能，以及对发生故障磁盘的内容进行联机重组。具有RAID热备盘功能的磁盘阵列会在磁盘发生故障时，首先由热备盘顶替故障磁盘，在后台进行RAID重建的同时，仍能保证视频流数据的不间断写入。RAID 5热备盘技术可以在坏两块甚至更多块硬盘的情况下（取决于热备盘的数量，一般情况下，一个RAID设置1个热备盘即可），保证RAID组的数据不丢失。2) 磁盘坏块的自动检查和数据预先迁移技术磁盘阵列应具有强大的自我状态诊断和故障隔离功能，如介质坏块自动检测、坏数据块的数据进行自动迁移等。这种预防措施可以有效防止数据丢失，也可以避免较长的RAID重建过程，保证数据安全的同时，避免了RAID重建过程中阵列性能的下降。高可扩展性需求视频数据会随着摄像头数量的增加，码流的提升，保存天数的增加而急剧增加，因此存储系统本身必须具有较高的可扩展性，以满足后续容量扩展的需要。存储系统进行容量扩展时，必须能够进行在线动态扩容，不影响现有的视频录像。就本期项目而言，对于单个磁盘阵列，为了保证业务的连续性，在进行容量扩展时，RAID组大小和LUN空间大小要求均可以在线扩容，扩容时对服务器无影响，存储系统本身也无需重启，能够根据用户要求进行灵活方便的扩展，可满足今后继续在线、不中断应用进行容量扩展的需求。动态的RAID容量扩展和LUN功能扩展功能可以简化存储空间扩展的操作。带宽需求单台摄像机每秒的存储流量为2Mbps码流，所有摄像机存储流量单摄像机存储流量所有摄像头数量,带宽是否能满足需要，要看各区域的监控点数量、随机读的并发数和空闲带宽的比例，在某些高清视频监控项目中，为了提供较高的带宽，往往会在核心网络中采用万兆交换机。另外，可以根据经验值10%的存储访问概率计算对视频录像数据的随机访问概率。性能需求存储应具有较好的实时性能，才能满足高清录像时对存储实时写入的要求，因此，选择具有专用的RTOS实时操作系统的存储系统才能保证实时性；同时，存储设备对写性能有优化处理，才能满足标清/高清监控情况下对高码率、高并发和多路码流的实时读写需求。其次，链路聚合也叫做Trunk功能，IP SAN磁盘阵列的多个主机通道可以绑定成一个更大的聚合通道，从而获得较大的通道带宽，提高存储的性能。在设备选型时，建议优先选择具有Trunk功能的磁盘阵列。 节能需求据Gartner公司一项针对CIO的调研表明，70%的被访者认为，电力和制冷问题是他们的数据中心所面临的一个最大问题，IT预算中能源方面的花费从8%激增到48%。据国务院信息化工作办公室的数据显示，中国IT能源消耗占全国每年800亿元政府能源消耗的50%，数据中心能耗又占到IT总开销的40%。，为积极响国家 “坚持实施可持续发展战略，建设资源节约型、环境友好型社会”发展战略要求，同时也为了尽可能减少后续的长期耗电成本，就XX项目的节能需要注意以下几个环节：1) 在具体的存储设备选型上，应优先选用具有多种节能特性的产品；2) 在项目建设过程中节约能源；3) 在系统运行和维护阶段，通过存储系统设计（存储设备休眠策略、存储策略等）建立节约能源的长效机制。XX工程项目的建设和运行对能源需求较大，建议在系统建设和运行的整个阶段考虑节能问题。从IP SAN存储系统自身而言，由于数据量很大，需要几十套磁盘阵列，那么对于电能的消耗也是非常大的，同时对于给设备降温的空调也需要消耗相应的电能，所以所选择的IP SAN存储系统需要提供良好的散热能力、节能设计等，节省能源，节省日常持续的电费开支。 系统兼容性需求本次项目建设涉及到众多厂家的大量设备进行连接、通信以及协调工作等，存储系统作为本次视频监控项目的一个后端子系统，必须具有标准化以及广泛的兼容性，以满足开放式系统之间的互连互操作等要求。由于存储系统前端采用的视频服务器/流媒体服务器等会存在多种可能的操作系统，也可能是不同服务器厂商的不同型号产品，因此存储系统需要具有广泛的操作系统兼容性和与不同型号主机的良好互操作性。因此存储系统要能提供和支持标准的协议和接口等。安全性需求IP SAN视频监控存储系统本身接入以太网交换机，因此同样应该保证足够的安全性，应具有基本的防病毒能力、防黑客攻击（例如DoS攻击）能力、具有安全报警能力；其次，存储系统要具有防止未授权的服务器访问存储卷的功能，防止未授权帐号非法访问和侵入存储系统。此外，在工程设计上，存储系统还应考虑断电数据丢失造成的影响，有断电数据保存的措施和设计。第二章 集中监控存储解决方案2.1 系统拓扑结构图采用ISCSI磁盘存储系统产品继承了SAN系统的优点，在大中型视频监控存储系统中，相对DVR/NVR本地存储的优势在于：1. 高可靠和高效率的数据保护性能：当一个RAID组中有硬盘坏时，采用磁盘阵列的热备盘技术、数据预先迁移技术，可以大大缩短RAID重建时间，避免进一步硬盘坏造成的数据丢失；而NVR缺乏这些专业存储设备的技术特点，硬盘故障时RAID重建时间很长，同时RAID重建时性能下降很多，会影响到正常读写的稳定性；2. 优秀的磁盘扩展能力，可以平稳扩展到至少64块盘以上。而NVR一般只能最多16块-20块盘的扩展能力，NVR是替代DVR的产品，所以本身扩展能力有限，机头性能无法支撑较大的容量扩展；3. 系统更为可靠，容易维护：由于内部都是模块化设计和无线缆架构，因此更为稳定和容易维护。4. 支持全局热备、本地热备等多种热备方式；5. 数据读写的高效率：采用专用的磁盘阵列，因为采用了专用的存储实时操作系统和存储专用处理器，因而机头的RAID校验性能和读写性能很高；6. 支持更多的RAID保护级别，例如RAID3、RAID1E、RAID6，给予更多灵活的RAID保护级别选择；2.2 视频监控容量计算65路D1监控码流，所有的监控点要求24小时连续录像，以25帧/秒的帧率进行存储，需要保存至少3个月。那么录像总时长为65路92天24小时/天3600 秒/小时= 516672000秒存储可用容量：A.存储格式：D1，25 帧/s 图像格式B.传输速率：2Mb/s， C.因此总的数据存储容量为：2Mbps 516672000秒 1024 1024 8123.18TB【注：计算存储可用容量，也就是视频监控产生的数据量时，一般不计算动态压缩率，当然也可以计算动态压缩率，一般为85左右，但是不推荐这样做。】D.硬盘格式化之前的容量计算：123.18TB90136.87TB【注：一般1块1TB的SATA硬盘格式化以后的容量为917G左右，因此可以用91.7%（或取整91%）来计算1TB SATA盘格式化后的容量；而一块2TB的SATA硬盘格式化以后的容量为1.89TB左右2TB WD或Seagate的SATAII硬盘格式化后可用容量为1.819TB左右，见下图，因此可以用90.9%（或取整90%）来计算格式化后的容量】存储裸容量：A.为了防止硬盘故障造成的数据丢失，每十六块硬盘需要消耗两块(RAID5+1块热备盘)做数据冗余，即12.5的冗余消耗；【注：冗余消耗和磁盘柜的单柜硬盘数有关系，12盘、14盘、16盘为的冗余消耗百分比是不同的，如果盘位数不同，就需要根据具体情况进行调整，并非一成不变】B.考虑对整个存储配置2%的余量。【注：计算存储冗余空间/预留余量时，一般可以多预留一些，例如5、10%左右，根据预算情况定。】C.则需要存储容量总数为：【136.87TB/（1-12.5%）】102% =159.55TB配置iSUM420G3，需要至少配置80块硬盘2TB SATAII硬盘，按照一拖二来配置（48块硬盘），需要2个主柜，3个扩展柜。2.3 其他相关设备配置1. 以太网交换机端口：由于每台磁盘阵列均提供至少2个千兆iSCSI端口和1个百兆网络管理端口（维护端口，用于配置、维护和发送报警信号等）接入交换机，因此对于每套磁盘阵列，需要预留3个端口；如果存储服务器和ISUM420G3只采用1个网口直连，则只需要1个管理网口连接以太网交换机；2. 存储服务器数量计算：一般按照经验值，每台存储服务器承载90-100路左右的2Mpbs的D1/4CIF码流顺序写入，同时又有10%左右的随机视频点播读取，那么也就是同时承载100-110路的读写流。对于10Mbps的高清码流，每台存储服务器可以承载45-66路的并行写，再加上10%的随机读，也就是50-70路的并发读写。存储服务器可以用刀片服务器或者机架式服务器，如果需要进一步提高可用性，可以考虑对每台存储服务器构建为双机，存储服务器的一般参考配置如下：处理器采用至强2.0GHz以上，内存2GB以上，双千兆网卡；3. 存储的内存配置：当存储用于承载高清码流时建议配置2G内存；当单套ISUM420G3作为NAS存储来使用时，建议按照如下规则配置内存：（1） 32路码流：标配的512MB可以满足要求；（2） 64路码流：升级到1GB内存；（3） 128路码流：升级到2GB内存；4. ISCSI存储最大容量配置建议：（1） 一拖一或一拖二（48块盘）时为性能最佳；（2） 一拖三（64块盘）时性能较好，不建议超过这个值进行配置。2.4 集中监控存储方案的优势1. 充分利用网络优势，客户可灵活部署存储设备和确定安装位置； 2. 采用权限管理，有利于内防内控：未授权人员不能随便接触到存储数据； 3. 数据安全性高： 专用存储设备的RAID热备盘保护；4. 可靠性高：嵌入式控制器，关键设备冗余架构，数据存储可靠；另外，传输iSCSI协议，比传统视频存储方案（文件级）更加可靠； 5. 扩展能力强：存储容量大、单位存储成本低，可以满足用户长时间视频数据存储的需要； 6. 统一管理，便于历史资料的检索和回放； 7. 易于管理和维护：采用集中存储架构，维护简单，综合性价比高。 8. 总体拥有成本低：随着监控点个数的增加，总体拥有成本不断降低。因为扩容仅仅是增加磁盘柜（vs 更多个DVR），耗电减少（更多个DVR的耗电大于磁盘柜的耗电），设备使用寿命长（嵌入式存储的寿命大于X86架构的DVR）；第三章 产品简介3.1 NetStor iSUM420G3一体化存储系统（1） 产品概述NetStor iSUM420G3是同有飞骥面向中低端市场推出的一款iSCSI/NAS一体化存储产品。采用嵌入式控制器和无线缆模块化结构设计，拥有四大绿色技术，兼容SAS/SATA两种磁盘，高达112块磁盘扩展，支持NAS远程复制，充分满足客户对海量数据存储及共享的双重需求。NetStor iSUM420G3是同有存储系列产品中的“绿色之星”。NetStor iSUM420G3具有IP SAN/NAS一体化访问特性，拥有出色的绿色特质，方便用户部署统一网络存储方案，方便用户在降低系统功耗的基础上，实现数据资源的的集中管理、共享及远程备份。（2） 产品特点专业存储平台NetStor iSUM420G3使用64位专用RISC处理器，嵌入式存储操作系统，冗余模块化设计，是一款独具特色、性能和可靠性领先的一体化存储产品。绿色节能设计支持MAID2.0技术，实现三级节能，磁盘系统功耗低。散热风扇的自动降速和双向散热风道，磁盘柜噪音低、散热效率高。采用80Plus标准的电源模块，电源本身能耗低。支持计划关机、远程唤醒功能，存储系统节能智能化。NAS功能NetStor iSUM420G3通过CIFS、NTFS等协议实现多文件系统文件共享；支持NAS远程复制（异步），保证数据卷的一致性，提供完备的NAS安全管理机制。IP带宽聚合NetStor iSUM420G3可部署于现有的交换式以太网络，为网络上的IP-SAN主机提供存储服务。iSUM420G3支持4个千兆iSCSI主机接口，数据传输带宽高达400MB/s。SAS/SATA介质兼容NetStor iSUM420G3支持SAS/SATA硬盘混插，提供高达112块磁盘的扩展空间。高可用设计NetStor iSUM420G3采用无线缆连接技术的模块化设计，电源、散热模块均支持双冗余配置。NetStor iSUM420G3支持iSCSI端口的带宽合并，有效地提高主机带宽。数据可靠性保障NetStor iSUM420G3支持的RAID级别有0,1,3,1E,5,6,10,30,50,60，RAID的运算是由专门的芯片来完成的。NetStor iSUM420G3提供自动介质扫描功能，能够精确地发现并重新分配坏扇区，保证存储数据的安全可靠。灵活的管理与维护NetStor iSUM420G3提供全中文的管理界面，允许通过RS232、WebGUI、SANManager、CLI、SNMP、OPAS的方式进行管理与维护，客户端无需安装任何管理软件即可实现对存储系统的管理。NetStor iSUM420G3同时还支持配置信息通过USB接口自动导入、导出和邮件自动报警功能，可以进一步简化维护和故障处理。（3） 技术参数产品系列NetStor iSUM420G3控制器系统控制器数量1处理器类型64位专用R