视频监控vcn3000系列技术白皮书

1、所有 ©非经本公司播。2016。 保留一切权利。技术，任何和个人不得擅自摘抄、本文档内容的部分或全部，并不得以传商标和其他商标均为技术的商标。本文档提及的其他所有商标或商标，由各自的所有人拥有。注意您的、服务或特性等应受公司商业合同和条款的约束，本文档中描述的全部或部分、服务或特性可能不在您的的或保证。或使用范围之内。除非合同另有约定，公司对本文档内容不做任何明示或默示由于版本升级或其他，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不任何明示或暗示的担保。技术地址：市龙岗区坂田总部办公楼：518129：客户服务邮箱：support.c

2、om客户服务：文档版本 1.5 (2016-12-08)专有和所有 ©信息技术iVCN3000技术白皮书目 录目录12修订1简介22.12.2方式的转变2的发展2网络3 应用场景及常见方案43.1 网络3.1.1 小型应用场景分析4场所43.1.2 大中型场所及联网场景53.1.3 平安城市63.2 NVR、IP SAN、NAS 及云方案分析63.2.1 NVR3.2.2 IP SAN方案6方案73.2.2.1 IP SAN 直存方案83.2.2.2 高密IP SAN 方案83.2.3 NAS3.2.4 云方案8方案944.1 云VCN 方案11架构设计114.1.1 Server

3、SAN架构114.1.2 索引元数据优化及数据保险箱技术134.1.2.1 索引元数据优化设计134.1.2.2 数据保险箱技术134.1.3 Safe优化技术154.1.3.34.1.3.44.1.3.54.1.3.6坏道缓解技术15文件系统与 RAID 层融合技术16文件系统块技术17RAID 技术184.1.3.6.1 RAID 快速初始化184.1.3.6.2 RAID 热备无回拷194.1.3.6.3 RAID 组内持续可读20文档版本 1.5 (2016-12-08)专有和所有 ©信息技术iiVCN3000技术白皮书目 录4.1.3.6.4 RAID 组间负载均衡214.

4、1.3.7 图片混合技术234.1.4 堆叠与云化集群管理技术254.1.4.1 堆叠管理模式254.1.4.2 云化集群管理模式284.2 安全可靠设计324.2.1 硬件可靠设计324.2.2传输安全324.2.3 缓存补录334.2.4质量诊断344.2.5 码流转发与备份354.3 易捷好用设计364.3.1 快速配置系列364.3.2 设备自动巡检374.3.3 客户端自动升级394.3.4 智能前端集成管理394.3.5业务 QoS404.4 开放兼容设计414.4.1 前端接入特性414.4.2 平台互联互通特性434.4.3 门禁、系统接入4356结论45缩略语表46文档版本

5、1.5 (2016-12-08)专有和所有 ©信息技术iiiVCN3000技术白皮书1 修订1修订文档版本 1.5 (2016-12-08)专有和所有 ©信息技术1日期修订版本描述作者2014.12.23V1.0初稿梁春丽2015.08.19V1.01. 修改 2.2.3 增加回放上墙2. 修改 3.1.6 增加集群管理梁春丽2016.01.10V1.21.增加 3.1.7 码流转发功能与备份功能2.新增 VCN3010/3020鲍鹏程2016.03.31V1.31. 修改 2.2.5 前端智能分析2. 修改 3.1.5 缓存补录3. 删除 3.2.1机自动发现4. 新增

6、3.2.1 快速配置系列徐子沛2016.06.25V1.41.增加大联网功能描述李雪强2016.12.08V1.51. 调整文档结构2. 增加“2 简介”部分3. 增加“3 应用场景及常见方案”部分4. 删除“2概述”部分5. 刷新“3”为“4VCN 解决方案”黄立VCN3000技术白皮书2 简介2简介2.1方式的转变经过 30 多年高速发展，已经从最初只应用于单个民生安全保障的简单设备工具，发展到今天在多个行业领域内蓬勃发展的实用业务。而随着业务的发展，视频技术也在不断的进行着转变。早期正如其英文名所写 CCTV 那样，仅仅是广播电视的另外一种应用模式，通过闭合电路，传输模拟摄像机所的模拟信

7、号到达后端，此时后端方式方多数采用传统广播电视模式，即带（磁带）的方式，此时的式可以理解为模拟方式，一盘带的时长大概在一到两个小时。而随着数字化编码技术的发展，从纯粹的模拟模拟信号转变为转变为半数字化的监控。模拟摄像机经过编码设备，将轴电缆上的 SDI 信号，进行传输和数字信号，比如常见的同。此时后端方式依托于压缩技术的快方式，比如从 MPEG 到模型转变为了硬盘速发展，逐步从简单的数字方式转变为压缩后的数字MPEG2 再到MPEG4 的迅速发展，DVR 也从原来的带模型。特别是从 MPEG4开始，摄像机也开始进行数字化的转化，数字编码器也在开始着网络化的转化，除了 DVR 的相对硬盘模型，S

8、AN 也在少数大型或高可靠的系统中开始了应用。近年来随着压缩技术的进一步发展，模拟摄像机逐渐被机所替代，采用H.264、H.265 等新一代的压缩技术，可以使得压缩编码方式彻底前移到端， 在 系统而相应的DVR 的可以在前端编码压缩后直接通过以太网络进行传输，后端硬盘模型基础上进化出 NVR 设备。而一些相对大型的中也逐步出现把 IP SAN、NAS 等网络方式应用于。2.2网络的发展由于 HD-SDI 这种 HD over Coax 的模型出现，在演进的过程中，依然有一些近年新建的系统是采用着非以太网络的方式进行传输。而在这些监控系统中，还是采用了 DVS 进行了压缩编码后再通过以太网络进行

9、，因此虽然这也是标准意义些系统严格来说不能从属于“网络”的范畴，但是其，也主要采用着 IP SAN、NAS 等网络的网络方式，因此仅从后端存储的角度也还是在本章节的讨论范围内的。文档版本 1.5 (2016-12-08)专有和所有 ©信息技术2VCN3000技术白皮书2 简介在上一段的补充说明及再上一章节的铺垫描述中，可以明确目前主要的演进方向正是采用以太网络的方式，也多称为 IP。在此模式下的机，一般简称为 IPC，即 IP Camera，而对应的后端网络行了简单说明，主要有 NVR、IP SAN 和 NAS 三种。方式，在上一章节中也进由于 NVR 是从 DVR 所演进过来的，所

10、以在业内一直有两种看法，一种认为 NVR 是早期，一种则认为 NVR 是小型。这两种看法有所片面，但也具备一定的代表性。相对 DVR 来说，少了编码能力的 NVR，在发展形态上确实是既具备跟 DVR 基本使用功能上基本一致的“早期”特色，也主要采用 ARM为主，具备“小型”的设计原则。而 IP SAN 和 NAS 则主要配合相应 VMS 的服务器，实现在 IP SAN 或 NAS 中进和按需回放。其中在 IP SAN 和 NAS 方案中行读写的需求，以实现长期都有IPC 进行独特设计的直存演进方案，即 IPC 直接写到 IP SAN 或 NAS，但是该方案并未能成为主要的演进方向。另外随着云计

11、算、大数据等技术的兴起，业内也在鼓吹“云”的方案，特别是部分激进厂商一直在鼓吹采用 HDFS 的云案也未能成为主要的演进方向。方案，但是从目前的发展形势来看，该方文档版本 1.5 (2016-12-08)专有和所有 ©信息技术3VCN3000技术白皮书3 应用场景及常见方案 3 应用场景及常见方案3.1 网络3.1.1 小型应用场景分析场所一般来说在小型场所里面，面积小，受空间制约摄像机的路数并不多，通常都少于 16 路，个别情况也应该不超过 32 路，此时对的主要要求往往受制于投资而不是实际业务需求，而业务需求方面除了像等金融网点因为涉及到可能产生的现金，有比较严格的规定及诉求外，

12、基本就是个简单的安保需求。在这种场景下如果采用网络端到端解决方案，通常的方案都会选择采用NVR。而只有类似这种对主营业务影响较高的，才会在方案的可靠性上提高要求，不能简单采用级硬盘，会要求设备具备一定的写冗余能力。设备有类似早期 4 盘位 DVR 所具备的 3+1 写入方案，即投资最少的也会要求顺序写入 3 个盘（A、B、C），一段时间内 ABC 盘只会有其中 1 个盘被写入，但同时还有 1 个盘（D）是时刻在写入的，这种设计的出发点是基于该方案下硬盘损坏主要是在写入的时候产生的，因此该方案也不太适用于搜索和回放比较多的场景。投资好一点的会要求设备具备有 RAID5（少数乃至要求 RAID1）

13、能力，而在级硬盘，如果盘位大于 8 个，此场景下，如果盘位少于等于 8 个，一般依然采用则只有严谨的设备商才会建议采用企业级硬盘，而普通商和集成商甚至个别设备商会冒低风险建议采用级硬盘。同样受空间制约，设备一般不具备机柜摆放条件，而只有在等金融网点或类似的特殊条件下才可能具备机柜，此时机柜多数是 600mm 或 800mm 深的机柜，不是数据中心常见的 1000mm 深的机柜，因此要求设备一般不高于 2U，净深度小于600mm。无论在哪种情况下，因为一般受空间和投资限制单独配置安装客户端软件的 PC，设备需要具备直接输出到显示器的能力，即常见的 VGA 输出功能，可以直接通过 USB 连接的鼠

14、标键盘直接在 VGA 输出模式下管理和使用本要求。是基文档版本 1.5 (2016-12-08)专有和所有 ©信息技术4VCN3000技术白皮书3 应用场景及常见方案3.1.2 大中型场所及联网场景一般超过 50（中型）乃至 100 路（大型）的都可以统称为大中型场所，常见的包括单个大面积地点如机场和大片区如校园。在这种场景下如果采用网络端到端解决方案，通常设备都会通过同一个机房或数据中心的机柜进行集中部署。就目前的业界发展水平来看，多数客户都会选择清晰度不能低于 720P的效果，随着 H.265 的市场逐步推广，1080P 全万像素和 500 万像素的超正在成为主要的清晰度选项，个

15、别会要求 300机，暂时（2016 年）只有非常非常的业务场景会考虑采用 4K（800 万像素）的方案。而在留存时长方面比前面的场景要来得好一些，虽然也主要根据场所周边地区的平均要求来实施，但是 15 天及以上的占多数，30 天（一要选项。如果是一些特殊的业务场所比如金融网点和对）正在成为这种场景下主来说比较重要的交通枢纽比如轨道交通站，90 天（三）也是常见的选项。如果是小路数的 16 路 NVR 或者 32 路 NVR 在不考虑 NVR 的容量是否可以满足天数要求的条件下，都要超过 3 台（50>3*16=48，100>3*32=96），因此该场景下会要求设备具备有 RAID5

16、 等冗余能力，且每 2U 设备空间的盘位肯定要大于12 个盘位，以保证随着场所本身运营要求的提高，机柜空间还能充裕使用。另外在越来越多的搜索和回放需求条件下，一般应尽量选用企业级硬盘，以应对 7x24 小时不间断写入和偶尔随机的业务要求。由于路数多，留存时间在分析需长，所以在智能分析方面也对求提出的时候能够尽快进行处理。提出了更高的 I/O 要求，以保证大量而在此方案下，一般也会单独配置安装客户端软件的 PC，作为基本实况使用和简单系统管理使用。从运维角度出发，设备本身也需要能自成体系地被管理，而不是分散成一台一台，因此多数会采用 IP SAN 和 NAS 集中方案。类似的还有联网的场景，即便

17、是上一小节的分析情况，一旦涉及到了联网的场景，就会向大中型场所的方案选择上靠近。比如说轨道交通中，每个站的根据站的大小不同本来应该有所区别的，但是考虑到联网使用的一致性，以及运维的统一性，一般都会统一采用大中型场所场景下的方案。在联网场景下，根据业务的重要性和运维的统一性，也会尽量选用企业级硬盘，除了前面所考虑应对 7x24 小时不间断写入和偶尔随机的回放要求外，还要考虑到实况调用和级，对应的回放乃至的诉求，甚至因为联网后整体路数量更提升了一个数量也达到一个海量的总数，因此的可靠性和回放的可用性要求会进一步提高。在此场景下，多数会采用 NAS 分布式方案和 NVR方案。方案，也会根据具体站点情

18、况采用 IP SAN而在上面提到的小型服务提供商，整个端到端场所又涉及到联网场景的时候，最近市场上正在兴起云系统提供租赁而不需要客户、用户去自建，在不考虑法律等要求的情况下，部分云服务确实给客户、用户带来了便捷。但该方案主要不在本章节的讨论范围内。文档版本 1.5 (2016-12-08)专有和所有 ©信息技术5VCN3000技术白皮书3 应用场景及常见方案3.1.3 平安城市以公共安全为主题建设的平安城市业务场景，基本上是上面两个小节所描述场景的集大成者，在该业务场景下一般在国内单个区域建设规模能超过 5000 路，在海外单个区域建设规模超过 2000 路。由于路数总量大，且公共安

19、全对保存并作为证据的要求较高，基本上对设备的需求都是大中型场所及联网场景的最高要求。一般由于路数总量大所带来的组网压力问题，多数会采用 1 个超大型数据中心或多个区域数据中心的后端建设模式。另外由于在一个区域内还可能包含跟金融网点、机场、校园、轨道交通等前面提及的场景的联网有更高的要求。，所以对设备系统的超大容量管理能力和联理能力也会因此目前除了前面已经提及的多种方案及结合各种方案外，随着 IT 技术的演进，还出现采用高密 IP SAN 的解决方案，以及云的解决方案。3.2 NVR、IP SAN、NAS 及云方案分析3.2.1 NVR方案前面章节已经提过，作为从 DVR 演进过来的 NVR方案

20、，在减少了原来的压缩编码后，重点就是做好摄像机这类的设备接入，然后在此基础上再做好放所需要的元数据索引，最后才是把文件数据保存在 NVR 的硬盘里。搜索回NVRIPC这个方案最大的好处是跟 DVR 传统系统一脉相承，对于集成商部署实施，以及客户用户具体使用，都会感觉与原来的差别并不大。而由于传统上都是采用 ARM作为 NVR 的的，因此在设备接入方面，也会受此影响特别重，即便同级别 ARM没有了作为 DVR 的时的路数编码限制，一般 NVR 单个设备可以同时接入的设备也非常有限。设备来说，一般索引文件也就是保存在 NVR 的作为文件系统内，受设备常用的板上 Flash 器件选择的容量一般比较小

21、限制，索引文件总容量也不能做得太大，因此在搜索方面肯定也会性能差一些，对日益提高使用的标记定位，以及将来的智能标记来说也会难以支持。文档版本 1.5 (2016-12-08)专有和所有 ©信息技术6文件数据索引设备接入VCN3000技术白皮书3 应用场景及常见方案同样受 ARM的性能限制，对文件的写入主要基于该操作系统下的提供支持。因文件系统进行，而且 RAID 组方面如果需要，还得通过额外的硬件此在文件数据写入方面稳定可靠性方面也会略差。另外在 I/O 方面相对于 x86的服务器设备来说要弱上不少，因此在大量单个容量较大的文件写入也会存在瓶颈。同时对于正在进行的保存业务的 NVR

22、来说，如果是在联网场景下还需要同时转发大量的码流，必然会对设备的可靠性和稳定性造成影响。3.2.2 IP SAN方案大量地采用 IP得益于技术的演进以及友商们的力捧，近年来大中型网络SAN 方案，而这一方案通过对服务器和不错。的灵活配置，在适配不同的场景方面确实ServerIPCiSCSIIP SAN如上图所示，通过灵活配置 Server 数量，可以应付不同数量 IPC 的接入规模；同时采用 Server 上配置的的文件系统，IP SAN多个 LUN，保证了 Server 能够对大量的通过自身的 RAID 能力，向 Server 提供了文件数据进行写操作。该方案在部署上需要注意两方面的配置，一

23、个是 Server 的配置数量，确保能够满足对这么多 IPC 的设备接入以及流转发；另一个是 LUN 的配置参数，确保 Server 所转发的流写入操作是能充分使用到 IP SAN 所配置的 LUN 并发写入的。也正是因为这方面配置的，传统安防行业的集成商和用户对这种 IT 设备的配置不熟悉，也导致了个别工程、项目在不合适的实施和配置下，达不到原先系统设计的初衷。虽然是同一个文件系统，但是在设备接入后进行流转发，以及根据索引去找到录像文件进行回放，均通过 iSCSI 协议进行网络封装。因此该方案最大的不足就是通过 iSCSI 反复进行拆解包所带来的消耗，从以往项目经验来看，在搜索、回放方面要明

24、显比 NVR 那类的 DAS 方案稍慢一些。另外在可靠性方面，一旦服务器的索引受损，即便该故障不是因为服务器上与 IP SAN共同的文件系统引起，IP SAN 本身不受影响，失去了索引的文件数据也没有办法准确地搜索到所需要的，基本可以认为失去作用了。因此该方案在可靠性方面需要一些辅助进一步加强。文档版本 1.5 (2016-12-08)专有和所有 ©信息技术7文件数据索引设备接入VCN3000技术白皮书3 应用场景及常见方案该方案主要采用 scale-up 的模式进行扩容，从整体管理来说比较适合集中场景，比如说前面章节提及的大中型场所及联网场景。的应用基于此灵活架构，还衍生出了两个轻

25、微差别的方案：3.2.2.1 IP SAN 直存方案如下图所示，摄像机直接将码流通过 iSCSI 协议写入到 IP SAN 中去。这个方案虽然降低了服务器上的 I/O 带宽，但是索引仍然需要保存在服务器中，同样根本没有解决前面提及的索引丢失带来的可靠性问题。ServerIPCiSCSIIP SAN另外因为摄像机与 IP SAN 之间需要直接能建立起 iSCSI 协议的写入连接，而目前已知的通用协议 GB/T 28181 和 ONVIF 并没有iSCSI 协议进行的详尽定义，摄像机也需要该 IP SAN 具备私有的信令协议交互能力。3.2.2.2 高密 IP SAN 方案该方案既有上述的 IP

26、SAN 直存组网方案，也有前述的典型 IP SAN 组网方案，唯一的区别在于采用了高密 IP SAN，即 IP SAN 的机头性能尚可，而拖框方面则采用了高密硬件，比如说 48 盘位、60 盘位、75 盘位等。该方案最大的不足正是来自“高密”的硬件，主要有两方面的问题，一方面是高密硬件往往是从设备的上面进行硬盘拔插操作的，对于在前面场景分析中可见的机柜部署来说，往往是上下间隔并不大的，也就意味着该方案必须要有十分直观的故障报告方式，比如说不用通过拖轨把机箱拉出来就能通过指示灯看到需要进行故障处理了；而另一方面也是因为高密硬件可以支持的容量上去了，从容量角度来看自然对于单一场景下的摄像机可以支持

27、的数量是变多了，所以也进一步考验机头能够承受的最大并发 I/O。3.2.3 NAS方案该方案主要见于海外市场，尤其是 EMC 在 NAS 方面做得比较好，在 EMC 的优势区域以及欧美的传统 VMS 市场上会比较多用。文档版本 1.5 (2016-12-08)专有和所有 ©信息技术8文件数据索引设备接入VCN3000技术白皮书3 应用场景及常见方案ServerIPCCIFS/NFSNAS如上图所示，NAS 设备通过 CIFS、NFS 等网络文件系统协议，共享了 NAS 设备上的文件系统给服务器，服务器通过网络文件系统协议对 NAS 进行读写操作。很明显该方案在协议上的开销要比 IP

28、SAN 来得更大，CIFS/NFS 的方式远比 iSCSI 的硬件拆解包方式更消耗DAS 方案慢。，也使得在搜索、回放方面要明显比 NVR 那类的另外运维方面，因为 NAS 跟服务器的文件系统也不一致，所以在 NAS 管理方面也需要一些辅助进一步加强。不过在组网和扩容方面该方案凸显出强大的灵活性，明显可以看到 NAS 因为直接通过网络 TCP/IP 交互，所以在网络中可以相对随意地进行部署，另外在扩容中也可以采用scale-out 而不是 scale-up 的方式，带来了更为灵活的选择，不需要在服务器上像 IPSAN 扩容那样增加的 LUN 进行细致的配置。因此该方案比较适用于分布式部署应用场

29、景，比如前面章节所描述的联网场景。3.2.4 云方案该方案比较少见，主要是来自于一些非传统的 IT 厂商，随着云计算、大数据等 IT 新技术的兴起，采用了云的方案来适配网络场景。ServerIPC云节点由于目前该方案实在比较少见，所以上图示意的索引部分还是存在变数，目前方案可能在服务器和云VMS 服务器跟云管理节点都有保存索引；而暂时分析最为合理的方案应该是看看管理节点能否进行合设。文档版本 1.5 (2016-12-08)专有和所有 ©信息技术9云管理节点文件数据索引设备接入文件数据索引设备接入VCN3000技术白皮书3应用场景及常见方案但是无论怎么调整，云大的方向还是基于 HDF

30、S 进行数据的，这一块是整个架构，是为后面方案用于网络最为不合适的地方。因为 HDFS 的数据云搜索所需的 M-R（Map-Reduce）服务的，因此其通过多个副本实现的快速搜索是符合类似互联网结构化数据搜索的业务应用诉求的。虽然在前面的应用场景分析里多次提及客户、用户对可靠性保障的需求，但是即便是对于 7x24 小时的重点场所来说，依然有大量的是没有价值的，在经过研判分析后都可说是没有用的。所以简单把对互联网结构化数据搜索，是不合适的。搜索的潜在需求，生搬地类比为不应采用 HDFS 这样的“云”技术，因为 HDFS 的副本综上，网络率比较高，无论怎么优化，都远远高于 RAID 所占用的冗余空

31、间。大量非结，传统 IT 云构化的技术并不适用。文档版本 1.5 (2016-12-08)专有和所有 ©信息技术10VCN3000技术白皮书4VCN 方案4VCN 方案4.1 云架构设计从前面章节的场景分析和方案分析，可以看到目前网络的发展方向并不是简单地套用传统 IT 的 IP SAN 和 NAS 方案，也可以看到简单地套用云方案更是完全适配不了网络场景。因此坚持从业务本质出发，试图探索出一条云的可行。VCN3000 的上一代V1300N 首次采用了 Server SAN 架构模型，结合了 NVR管理能力，也综合了 IP SAN 和 NAS 的大部分传统 IT的传统读写优点，推出市

32、场之后逐步受到国内个行业都在树立起类似的云客户的认可，导致了多个友商的跟进学习，带动了整架构模式。而在 V1300N 的基础上，VCN3000 系列进一步加强设计，丰富完善整个云监控节点架构，并采用这一云节点架构设计为基础去构筑全网云体系去适配多种应用场景。体系，以统一架构4.1.1 Server SAN架构Server SAN 的定义最早出自国外著名的分析师社区 Wikibon，其定义非常直白，Server SAN is software-led storage built on commodity servers with directly attached storage (DAS) 还

33、有 Server SAN is defined as a pooled storage resource comprising more than one storage device directly attached to separate multiple servers (more than one)，即通过软件定义的，由多个服务器带的组成的一个池。VCNIPC文档版本 1.5 (2016-12-08)专有和所有 ©信息技术11文件数据索引设备接入VCN3000技术白皮书4VCN 方案如上图所示，正是在 Server SAN 这个定义之下，我们找到了这么一个设计模式，可以兼顾

34、 NVR 传承自 DVR 的安防业务传统，也可以兼顾 IP SAN 的灵活配置和集中优势，以及 NAS 的灵活组网和分布式优势。贯穿始终的是软件定义（software defined）或者说是业务驱动（service driven）的设计理念云：1.从前面章节中对多个场景分析总结出来的，在做好和回放这个业务之VCN 方案选择是要前，一个好的云架构首先得先把设备接入管理做好，兼顾 NVR 的配置和管理模式，即集成并加强类似 NVR 的接入和管理部分软件；2.其次是对索引优化为搜索效率的加强和对可靠性的加强，即集成并加强类架构；似 NVR 的索引部分软件和单设备 SAN 的3.最后是对多个服务器带

35、的进行池管理的能力，设备既可以集中部署如 IP SAN 一般，也可以分布式部署如 NAS 一般，同时还能统一管理如云或新一代统一理能力。一般，即集成一个弹性的满足多个设备级扩容的空间统一管综上，VCN3000 的Server SAN 基础架构，在一台高性能 x86 硬件上既转发，保证了类似 NVR 的简单安防管理能了 Server 侧的设备管理、设备接入、力；也了 SAN 侧的池管理、多级索引（优化）、（增强），实现了集和回放的先中部署和分布式部署可以灵活配置调整，无论怎么组网都能高效进 IT 能力。而除了小型场所以外，大中型场所及联网场景，和平安城市一样，随着智能化建设需求的越来越多，除了平

36、安城市由于各个具体业务发生的设备点实际所需要的并发实况浏览和回放的需求是动态变化并巨大的，因此需要跟路数基本匹配的媒体转发能力以外，现在各个业务场景都需要预留给智能分析场景用于流提取进行分析运算的转发和分发能力。如下图架构，通过采用 Server SAN 这一新型基础架构，VCN3000 可以集多家方案之长，给予各种复杂场景以各种所需要的部署方式，满足业务的多样性。ServerSANVCN文档版本 1.5 (2016-12-08)专有和所有 ©信息技术12增强转发设备接入多级索引优化池管理设备管理VCN3000技术白皮书4VCN 方案4.1.2 索引元数据优化及数据保险箱技术4.1.

37、2.1 索引元数据优化设计传统 NVR 在索引等元数据方面是采用了 DVR 的元数据模式，都通过系统中的在主板上的 Flash进行了该类数据，由于对应的索引并不不多，所以虽然传统 Flash但是 Flash 这类的 I/O 并不是很大，但是基本的检索能力是可以保障的。最大的问题在于，其物理结构是电气化的，区别于磁盘的磁化，一旦出现数据丢失是非常容易出现整个都丢失掉的，而不像磁盘那样还是需要一段时间才能真正意义的将数据整个置零。所以传统 Flash 方案一般会通过外接 USB 存储的方式定期要求集成商等技术维护团队对索引等元数据进行备份。而在 IP SAN 和 NAS 引进到网络系统后，该类元数

38、据随着设备所管理的磁盘容量、数量的增多带来的需要管理的数据大量增加，整体容量上也需要进一步提升，因此一般都在服务器的磁盘中进行。但是因为服务器的磁盘上一般也没有太多的保护措施，所以在具体的建设中偶尔也会出现索引的丢失，而由于索引对应的量非常大，所以带来的后果也非常严重，那些还保存在设备中的几乎是不再可用的了。基于对传统方案的研究，以及具体业务场景的深入理解，VCN3000 设计了索引元数据优化方案，首先在索引元数据与的关联上，通过方面的技术优化（见下一小节 Safe优化），使得索引到的指针跳转非常快速，确保检索上面可以随着容量的不停增加以及检索请求的层级增多，检索时间出现量级上的变上采用了高速

39、 SAS化，保持在 3 秒内可以搜索到所需。其次在索引元数据的硬盘，并在使用中预到内存中，确保多个检索请求由于硬件造成瓶颈。最后还设计了数据保险箱技术，确保索引元数据可以在条件下进行恢复，保证了系统的整体可用性。的 SAS 硬盘损坏2. 索引硬件读写优化VCN1. 索引关联算法优化3. 数据保险箱技术IPC4.1.2.2 数据保险箱技术考虑到高速 SAS 硬盘损坏的条件下，索引等元数据在 SAS 硬盘中也全部丢失，默认就启用的数据保险箱技术在就自动将索引等元数据定期无人工干预的情况下保存到数据区域中，如下图所示。一般每个 RAID 都会进行备份，但是备份的内容是具体散列到每个数据盘中的。文档版

40、本 1.5 (2016-12-08)专有和所有 ©信息技术13索引文件数据设备接入VCN3000技术白皮书4VCN 方案元数据盘M1而当出现老的 SAS 硬盘故障时，可以采用新的 SAS 硬盘（通过保修获取，内置全新软件）到已经拔下老的 SAS 硬盘后的插槽中，系统自动将数据区域中数据全部可的元数据进行还原，这样恢复后的 VCN3000 设备又能继续投入使用，用。只要有一个 RAID 完好，都能保证索引等元数据的还原，如下图所示选择最完整的索引元数据进行还原。元数据盘M1文档版本 1.5 (2016-12-08)专有和所有 ©信息技术14RAID组3校验盘P3数据盘D12数

41、据盘D11数据盘D10数据盘D9RAID组2校验盘P2数据盘D8数据盘D7数据盘D6数据盘D5RAID组1校验盘P1数据盘D4数据盘D3数据盘D2数据盘D1元数据盘M2RAID组3校验盘P3数据盘D12数据盘D11数据盘D10数据盘D9RAID组2校验盘P2数据盘D8数据盘D7数据盘D6数据盘D5RAID组1数据盘D4数据盘D3数据盘D2校验盘P1数据盘D1元数据盘M2VCN3000技术白皮书4VCN 方案4.1.3 Safe优化技术系统的规模越来越大，随着化、网络化逐渐开始成为片段丢失的风险变得越的潮流和趋势，来越突出。对于很多系统需要应对海量数据的，的应用，往往需要满足严格的规范要求，以保

42、证数据的完好无损。由于内容一旦丢失即难以，因此保护硬盘数据对于系统来说点。同样的。如何对这些海量数据进行有效和数据保护成为了客户关注的焦，由于信息量的大幅增加，也使得用户对系统的海量数据读写能力有了更高的要求。业务的深入研究，研发出 Safe通过对流技术，有效应用于等流领域。Safe 够最大限度的发挥是一种基于磁盘块的流优化的和数据保护技术,能系统设备的作用。4.1.3.3 坏道缓解技术Safe优化技术从每一个硬盘开始进行构筑。Safe增强方案， 区和保留区。保留首先采用了磁盘坏道缓解的技术，将磁盘的逻辑空间，划分为区大概占整个逻辑空间约 5，专门在磁盘出现逻辑坏道的时候可以进行替换使用，以缓

43、解坏道出现所带来的硬盘损坏情况。传统 RAID 系统中，当硬盘的坏道数超过 5时，即直接认为硬盘故障。而 Safe技术中，系统自动检测磁盘坏道并即时用保留区替换以进行缓解处理，并在系统中告警日志；而逻辑坏道的情况，Safe还提供坏道修复功能，可以对磁盘逻辑坏道尝试恢复，提高磁盘可用性，降低故障率。路数建设的场景，设备采用此技术哪怕降低 1的平安城市这类超大规模磁盘故障率，也使得系统的可用性稳健地提高，连同在物理硬件设计中采用的硬盘缓上电技术，极大地降低了硬盘更换率，能使得整个系统的运维成本大大降低。Safe磁盘保留区磁盘正常的逻辑空间划分文档版本 1.5 (2016-12-08)专有和所有 &

44、#169;信息技术15VCN3000技术白皮书4VCN 方案磁盘逻辑坏道Safe磁盘保留区磁盘出现逻辑坏道的逻辑空间划分区：图上无论什么颜色，均是用来用户数据的区域；保留区：当逻辑区发生坏道时，用此区域的空间进行坏道替换，告警依然会产生，但是后续如果确认是逻辑坏道并能尝试软件修复的时候，在尝试失败后标记为坏道并产生告警，而如果能够修复，则在修复后出发告警消除通知，并将该修复空间转变为磁盘保留区。4.1.3.4文件系统与RAID 层融合技术采用的 Safe技术，结合应用场景实现了数据直写磁盘，避免了文件系统和 RAID 层层缓冲和切割造成的性能损坏。并且可以直接对单个硬盘进行直接，从而避免了的

45、IO 请求被分割成多个子 IO，极大的增强了数据的读写性能。在设计软件模块时的特点优化了数据流的 IO 特性，提高了单次 IO的吞吐量，提高系统性能，降低了 IO 频率。优化的算法提升了系统可靠性，同时带来额外的好处，降低磁盘占空比，延长磁盘服务周期。VCN FS & “ RAID”IP SAN FS & RAIDNAS FS & RAIDSafe文件系统及 RAID 层融合原理文档版本 1.5 (2016-12-08)专有和所有 ©信息技术16IP SAN RAIDNAS文件系统NAS RAIDSafe文件系统“Logical Unit Number”Saf

46、e“RAID”服务器文件系统Volume Group服务器文件系统Logical Unit NumberVCN3000技术白皮书4VCN 方案Safe应用场景将文件系统与 RAID 层组合起来，在操作技术创新地系统内不再像通用的 IP SAN 和 NAS 方案那样从文件系统再通过 LUN 或者 VG 来去访问 RAID 层，再通过 RAID 层来去硬盘。虽然 Safe也是模拟了 SAN 的 LUN接口方法和 RAID 层，但是通过 Safe技术实际上是能够非常清楚地直接触碰到具体的块。后，Safe技术能够给 server 侧的因此在抛开了层层逻辑接口对接的传统转发提供足够的 I/O，平安城市、

47、轨道交通、金融网点等回放业务固定比较多乃至同步回放的场景，能协助用户更快速、更大量地同时找到希望回放的数据存储段，利于业务的顺利开展。4.1.3.5文件系统块技术扇区是磁盘最小的物理单元，但由于传统文件系统无法对数目众多的扇区进行寻址，所以传统文件系统就将相邻的扇区组合在一起，形成一个簇，然后再对簇进行管理。每个簇可以包括 2、4、8、16、32 或 64 个扇区。显然，簇是文件系统所使用的逻辑概念，而非磁盘的物理特性。为了更好地管理磁盘空间和更高效地从硬盘数据，文件系统规定一个簇中只能放置一个文件的内容，因此文件所占用的空间，只能是簇的整数倍；而如果文件实际大小小于一簇，它也要占一簇的空间，

48、而如果文件实际大小大于一簇，它就会分割成两块占用两簇的空间，也因此在传统文件系统中会产生文件碎片。传统方案中，采用文件方式，流数据被切成一个个文件进行，历史图像回放都是通过调用下来的文件实现。在大规模系统中，采文件，给文文件的大小文件写入磁盘的用文件方案，存在两个严重技术缺陷，一方面是数量越来越多的件系统带来重负的处理；另一方面，随着时间的累积，因为不一，传统的文件系统具有固有的缺陷（上一段落描述），导致在时候占用传统文件系统的簇空间会产生大量的磁盘碎片，将导致文件系统性能随着时间推移极度。Safe将基于磁盘数据块的方式引入中，从而有效的解决了大规模数字监控方案中文件的固有问题，当保存的时间超

49、过计划中设定的留存期后可对原有数据进行依次覆盖。利用这点，采用块方式可以很好的规避传统文件系统工作机制的问题。文档版本 1.5 (2016-12-08)专有和所有 ©信息技术17VCN3000技术白皮书4VCN 方案4.1.3.6RAID 技术4.1.3.6.1 RAID 快速初始化随着摄像机的广泛使用，数据涉及到巨量数据的、和使用，因此一个高效能的系统成为必备的基础。另外，磁盘技术的演进，硬盘的容量越来越大，成本不断降低，如何解决大容量磁盘下的 RAID 系统的使用效率及数据可靠性，是传统技术的一大。Safe创新的设计，即插即用技术完美解决这两RAID 系统解决方案。题，是大容量磁

50、盘应用条件下非常完美的VCN FS & “ RAID”IP SAN FS & RAIDNAS FS & RAID上图是 RAID 初始化占时最少排名示意，最简单可以每个框件为一个层级步骤定义， 可以看到三个方案中 VCN 相当于 4 步，而 IP SAN 需要 5 步，NAS 更是需要 6 步，因此大体可以理解出上图所示意的初始化速度快慢排名对比。首先， Safe提供了便捷的 web 化配置，可以快速创建、删除 RAID 组，基于前面章节所说的 NVR 传统安防业务理念，了复杂的 IT 专业技术背景，一个普通的非技术即可完成系统配置；其次，启用并配置 RAID 后，优化的快速初始化算法，满框 108TB 的系统只需 15分钟即可完成系统初始化，相比于传统 RAID 技术，可缩短 50 小时以上的系统上线时间。最后，磁盘为机械部件，使用一段时间后会发生故障，在条件下，如果 RAID 组中有多盘故障失效，传统 RAID 系统中，数据全部丢失，业务恢复需要经专业技术人员完成配置及漫长的初始化时间，Safe进行了技术和业务创新，创造性地将故障 RAID 组调整为降级可读状态，继续提供数据服务，待系统侦测到故障硬盘更换后，采用 Safe的创新算法，自动重建 RAI