平安城市-大数据存储系统设计方案

1、 平安城市大数据存储系统设计目 录 TOC o 2-3 h z t 标题 1,1 HYPERLINK l _Toc45559831 第 一 章 概述 PAGEREF _Toc45559831 h 4 HYPERLINK l _Toc45559832 1.1 应用背景 PAGEREF _Toc45559832 h 4 HYPERLINK l _Toc45559833 1.2 总体目标 PAGEREF _Toc45559833 h 5 HYPERLINK l _Toc45559834 1.3 设计原则 PAGEREF _Toc45559834 h 6 HYPERLINK l _Toc4555983

2、5 1.4 设计依据 PAGEREF _Toc45559835 h 7 HYPERLINK l _Toc45559836 第 二 章 海量存储系统设计（CVR） PAGEREF _Toc45559836 h 9 HYPERLINK l _Toc45559837 2.1 需求概述 PAGEREF _Toc45559837 h 9 HYPERLINK l _Toc45559838 2.2 存储架构设计 PAGEREF _Toc45559838 h 9 HYPERLINK l _Toc45559839 2.2.1 实时视频存储 PAGEREF _Toc45559839 h 10 HYPERLINK

3、l _Toc45559840 2.2.2 实时图片存储 PAGEREF _Toc45559840 h 11 HYPERLINK l _Toc45559841 2.2.3 重要数据备份存储 PAGEREF _Toc45559841 h 13 HYPERLINK l _Toc45559842 2.3 方案优势分析 PAGEREF _Toc45559842 h 13 HYPERLINK l _Toc45559843 2.3.1 流媒体直存存储 PAGEREF _Toc45559843 h 13 HYPERLINK l _Toc45559844 2.3.2 关键技术和重点功能 PAGEREF _Toc

4、45559844 h 14 HYPERLINK l _Toc45559845 2.4 存储容量计算 PAGEREF _Toc45559845 h 18 HYPERLINK l _Toc45559846 2.4.1 视频图像存储容量计算 PAGEREF _Toc45559846 h 18 HYPERLINK l _Toc45559847 2.4.2 过车图片存储容量计算 PAGEREF _Toc45559847 h 19 HYPERLINK l _Toc45559848 2.5 设备选型 PAGEREF _Toc45559848 h 19 HYPERLINK l _Toc45559849 第 三

5、 章 微视云存储系统设计 PAGEREF _Toc45559849 h 20 HYPERLINK l _Toc45559850 3.1 系统概述 PAGEREF _Toc45559850 h 20 HYPERLINK l _Toc45559851 3.2 技术路线 PAGEREF _Toc45559851 h 20 HYPERLINK l _Toc45559852 3.3 逻辑架构 PAGEREF _Toc45559852 h 21 HYPERLINK l _Toc45559853 3.4 系统拓扑 PAGEREF _Toc45559853 h 23 HYPERLINK l _Toc45559

6、854 3.5 系统功能 PAGEREF _Toc45559854 h 24 HYPERLINK l _Toc45559855 3.5.1 录像管理功能 PAGEREF _Toc45559855 h 24 HYPERLINK l _Toc45559856 3.5.2 视频存储功能 PAGEREF _Toc45559856 h 25 HYPERLINK l _Toc45559857 3.5.3 图片存储功能 PAGEREF _Toc45559857 h 26 HYPERLINK l _Toc45559858 3.5.4 智能流功能 PAGEREF _Toc45559858 h 26 HYPERL

7、INK l _Toc45559859 3.5.5 系统管理功能 PAGEREF _Toc45559859 h 26 HYPERLINK l _Toc45559860 3.5.6 运维管理功能 PAGEREF _Toc45559860 h 27 HYPERLINK l _Toc45559861 3.6 系统特点 PAGEREF _Toc45559861 h 28 HYPERLINK l _Toc45559862 3.6.1 高经济性的架构设计 PAGEREF _Toc45559862 h 28 HYPERLINK l _Toc45559863 3.6.2 高效灵活的空间整合 PAGEREF _T

8、oc45559863 h 28 HYPERLINK l _Toc45559864 3.6.3 持续可靠的数据服务 PAGEREF _Toc45559864 h 30 HYPERLINK l _Toc45559865 3.6.4 高可扩展的应用支撑 PAGEREF _Toc45559865 h 30 HYPERLINK l _Toc45559866 3.6.5 开放透明的兼容系统 PAGEREF _Toc45559866 h 31 HYPERLINK l _Toc45559867 3.7 系统业务流程 PAGEREF _Toc45559867 h 32 HYPERLINK l _Toc45559

9、868 3.7.1 视频业务流程 PAGEREF _Toc45559868 h 32 HYPERLINK l _Toc45559869 3.7.2 图片业务流程 PAGEREF _Toc45559869 h 35 HYPERLINK l _Toc45559870 3.8 存储容量估算 PAGEREF _Toc45559870 h 38 HYPERLINK l _Toc45559871 3.8.1 视频图像存储容量估算 PAGEREF _Toc45559871 h 38 HYPERLINK l _Toc45559872 3.8.2 过车图片存储容量估算 PAGEREF _Toc45559872

10、h 39 HYPERLINK l _Toc45559873 3.9 设备选型 PAGEREF _Toc45559873 h 40 HYPERLINK l _Toc45559874 3.9.1 云存储DS-A81系列 PAGEREF _Toc45559874 h 40 HYPERLINK l _Toc45559875 3.9.2 云存储DS-A71系列 PAGEREF _Toc45559875 h 40 HYPERLINK l _Toc45559876 3.9.3 云存储DS-A72系列 PAGEREF _Toc45559876 h 41 HYPERLINK l _Toc45559877 第 四

11、 章 视频云存储系统设计 PAGEREF _Toc45559877 h 42 HYPERLINK l _Toc45559878 4.1 系统概述 PAGEREF _Toc45559878 h 42 HYPERLINK l _Toc45559879 4.2 存储技术选择 PAGEREF _Toc45559879 h 42 HYPERLINK l _Toc45559880 4.3 存储系统架构 PAGEREF _Toc45559880 h 43 HYPERLINK l _Toc45559881 4.3.1 视频云存储技术架构 PAGEREF _Toc45559881 h 43 HYPERLINK

12、l _Toc45559882 4.3.2 视频云存储逻辑架构 PAGEREF _Toc45559882 h 45 HYPERLINK l _Toc45559883 4.3.3 视频云存储部署架构 PAGEREF _Toc45559883 h 46 HYPERLINK l _Toc45559884 4.4 存储系统设计 PAGEREF _Toc45559884 h 48 HYPERLINK l _Toc45559885 4.4.1 软件设计 PAGEREF _Toc45559885 h 49 HYPERLINK l _Toc45559886 4.4.2 硬件设计 PAGEREF _Toc4555

13、9886 h 57 HYPERLINK l _Toc45559887 4.5 存储系统功能 PAGEREF _Toc45559887 h 58 HYPERLINK l _Toc45559888 4.6 存储业务流程 PAGEREF _Toc45559888 h 61 HYPERLINK l _Toc45559889 4.6.1 视频存储业务流程 PAGEREF _Toc45559889 h 61 HYPERLINK l _Toc45559890 4.6.2 图片存储业务流程 PAGEREF _Toc45559890 h 64 HYPERLINK l _Toc45559891 4.7 原有存储系

14、统改造方案 PAGEREF _Toc45559891 h 66 HYPERLINK l _Toc45559892 4.7.1 视频存储数据迁移 PAGEREF _Toc45559892 h 67 HYPERLINK l _Toc45559893 4.7.2 视频存储设备改造 PAGEREF _Toc45559893 h 68 HYPERLINK l _Toc45559894 4.8 存储容量估算 PAGEREF _Toc45559894 h 68 HYPERLINK l _Toc45559895 4.8.1 视频图像存储容量估算 PAGEREF _Toc45559895 h 68 HYPERL

15、INK l _Toc45559896 4.8.2 过车图片存储容量估算 PAGEREF _Toc45559896 h 69 HYPERLINK l _Toc45559897 4.9 设备选型 PAGEREF _Toc45559897 h 70概述应用背景随着我国“新常态”下政治经济层面宏观政策的不断调整，经济增速放缓，社会经济处于结构转型和产业升级的关键阶段，各类风险和不稳定因素不断积聚扩张，因利益格局深刻调整造成许多不可测和不可预见的不稳定因素。同时，随着社会开放程度日趋提高，交通设施的日益便捷以及各类新兴传播技术手段的普遍应用，各类利益群体跨地串联、抱团造势、非法聚集、频繁上访，预防化解社

16、会矛盾和群体性事件将面临更加严峻的考验。未来我国城镇化水平仍将进一步提升，人流、物流、资金流和信息流必将进一步加快，大量外来人口和本地农村人口涌入城市、集镇，必然导致社会治安局势更趋复杂，治安的动态性和犯罪的流窜性将更加突出。此外，近年来发生的一系列诸如北京金水桥、昆明火车站、厦门公交纵火等极端暴力恶性案事件，也预示着恐怖主义在我国正呈现从边疆向内地不断渗透、恐怖主义威胁的来源复杂化、恐怖袭击的手段方式趋向多样性等几个主要特征，恐怖活动短期之内难以根除，且有转向常态化的趋势，反恐压力剧增。为积极应对社会治安发展形势，“深入推进立体化社会治安防控体系建设，全面提升动态化、信息化条件下社会治安治理

17、能力。”原话出自国务委员、公安部部长郭声琨在2016年5月23日召开的全国公安机关社会治安防控体系建设推进会议上的讲话。党和国家出台了一系列政策法规，对社会治安防控体系和平安城市的建设提出了新的要求，具有极强的指导意义。在这一系列文件当中，尤以中共中央办公厅、国务院办公厅印发的关于加强社会治安防控体系建设的意见和九部委发布的关于加强公共安全视频监控建设联网应用工作的若干意见最为具有代表性。两办的关于加强社会治安防控体系建设的意见在宏观层面上对立体化治安防控体系的建设提出了总体目标，并且详细指导了立体化治安防控网络建设如何进行开展；九部委发布的关于加强公共安全视频监控建设联网应用工作的若干意见则

18、可看作是对两办文件精神在视频监控领域的深化与承接，其提出了“到2020年，基本实现全域覆盖、全网共享、全时可用、全程可控的公共安全视频监控建设联网应用，在加强治安防控、优化交通出行、服务城市管理、创新社会治理等方面取得显著成效”的宏伟目标。我国的平安城市视频监控建设起源于“科技强警”战略和城市报警与监控系统建设（即“3111”试点工程）两大项目。平安城市建设项目作为一个特大型、综合性非常强的管理系统，集安全防范技术、计算机应用技术、网络通信技术、视频传输技术、访问控制等高新技术为一体，是一项总体投资大、技术要求高、涉及用户广、链接环节多的系统工程。历经从“平安城市”到“平安中国”的战略提升，我

19、国的平安城市建设已走过十余个年头，各类公安自建监控点位数量稳步提升，视频图像信息在公安机关打击犯罪、治安防控以及城市管理等各项业务工作中业已发挥出了不可替代的重要作用，平安城市视频图像监控系统建设已取得了令人瞩目的阶段性成果。然而，不容忽略的，在当前平安城市系统建设中，依然存在着前端建设缺乏场景式科学布建指导，海量视频信息数据未能有效结构化，系统间数据无法进行比对碰撞和深度挖掘，上层业务应用智能程度不够等亟待解决的问题。新时期平安城市系统的建设，需要积极适应云计算、大数据、智能视频分析等前沿技术的发展形势，加强顶层设计，加快推进信息资源的整合共享，让海量的信息数据真正成为实现预防预警、精确防控

20、的源头活水，切实解决好信息壁垒、系统繁杂、共享不够等突出问题，努力打造以科技信息化为牵引的立体化社会治安防控体系。总体目标健全我区/县社会治安防控运行机制，密织立体化治安防控网络，以科技信息化为牵引，大力推进打防管控一体化，努力实现集约合成、高效运作，着力提高社会治安防控体系的整体效能，增强社会治安整体防控能力，努力使影响公共安全的暴力恐怖犯罪、个人极端暴力犯罪等得到有效遏制，使影响群众安全感的多发性案件和公共安全事故得到有效防范，人民群众安全感和满意度明显提升，社会更加和谐有序。设计原则平安城市视频监控系统的建设以“统一规划、统一标准、技术先进、突出应用、稳定可靠、资源共享、信息安全”为原则

21、，确保系统的设计和建设满足城市管理的全局需求，体现城市管理的数字化、自动化和智能化的领先水平：统一标准：平安城市视频监控系统的建设必须统一标准，系统建设在符合国家和行业相关标准及地方标准的建设要求基础上，采用先进的技术手段和系统架构，整合已建视频资源，在同一的标准框架下实现统一部署、资源共享、平台共用，构建全网各种设备接入、各子系统互联互通、区域视频信息系统互联共享的可扩展规模和升级应用的视频信息管理系统；统一规划：平安城市视频监控系统的建设必须统一规划，按照政府统一要求和部署，采用高科技、新方法对城市管理进行综合分析和管理监控，提高城市管理水平和城市运行效率，增强城市应对突发事件的应急能力，

22、加快城市数字化进程；技术先进：采用主流的、先进的技术构建系统平台，满足可视化社会治安防控需要，促进城市图像信息综合应用，实现“指挥点对点可视化、系统运行数字化、应对决策扁平化”；突出应用：平安城市视频监控系统的建设必须突出应用，在建设中应以现实需求为导向，以有效应用为核心，充分利用视频信息资源，结合各种应用业务，围绕打造“智慧城市”、创造“平安城市”，不断提高公安机关预防、打击犯罪、严密治安管理和维护社会稳定的能力；稳定可靠：平安城市视频监控系统的建设不是各种视频资源的简单组合，而是统一标准构架下的有机组成，系统采用的软硬件根据统一的规范、协议和要求选型，根据最新的标准规范，并经过具有相应资格

23、的软件评测中心、产品检测中心的测试，质量达标，性能稳定，能够持续有效运行，满足城市管理7*24小时不间断持续运行的需要；信息安全：平安城市视频监控系统构建信息传输专网，保证专网专用，安全畅通，社会监控资源通过互联网或VPN接入时，必须遵从规范要求采用严格的网络隔离和安全措施，不同专网之间，如公安视频专网与城管行政专网之间也应采用严格的隔离措施，确保各专网的信息安全。设计依据平安城市视频监控系统的建设依据国家相关法律规章、国家和行业相关标准、相关研究成果等资料进行规划设计，具体如下：安全防范视频监控联网系统信息传输、交换、控制技术要求（GB/T28181-2011）及其修改补充文件全国公安机关视

24、频图像信息整合与共享工作任务书（公科信201211号）全国公安机关图像信息联网总体技术方案公安信息通信网边界接入平台安全规范（试行）视频接入部分中华人民共和国公安部行业标准（GA70-94）视频安防监控系统技术要求（GA/T367-2001）民用闭路监视电视系统工程技术规范(GB50198-94)工业电视系统工程设计规范（GBJ115-87）安全防范系统通用图形符号（GA/T75-2000）道路交通安全违法行为图像取证技术规范（GA/T 8322009） 机动车号牌图像自动识别技术规范（GA/833-2009）闯红灯自动记录系统通用技术条件GA/T496-2009建筑及建筑群综合布线工程设计规

25、范 （GB/T50311-2000）公安部警用地理信息系统系列标准规范电视视频通道测试方法（GB3659-83）彩色电视图像质量主观评价方法（GB7401-1987）信息技术开放系统互连网络层安全协议（GB/T 17963）计算机信息系统安全（GA 216.11999）计算机软件开发规范（GB8566-88）安全防范工程程序与要求（GA/T75-94）安全防范工程技术规范(GB 50348-2004)电子计算机机房设计规范(GB50174-93）建筑物防雷设计规范(GB50057-94)建筑物电子信息系统防雷技术规范(GB50343-2004)安全防范系统雷电浪涌防护技术要求(GA/T670-

26、2006)民用建筑电气设计规范(JGJ/T16-92)公安交通电视监视系统验收规范（GA/T509）安全防范系统验收规则（GA308/2001）中国电气装置安装工程施工及验收规范（GBJ232-90.92）建筑与建筑群综合布线系统工程验收规范 (GB/T50312-2000)关于进一步加强公安机关视频图像信息应用工作的意见（公通字 20154号）；关于加强公共安全视频监控建设联网应用工作的若干意见（发改高技2015996号）；中共中央办公厅、国务院办公厅印发关于加强社会治安防控体系建设的意见。其他平安城市建设相关地方规范与标准海量存储系统设计（CVR）需求概述存储分系统的设计需建立满足承载应用

27、系统要求的数据存储能力，根据用户的网络和实际应用情况，对视频监控存储系统的建设要满足如下需求：高性能由于有多路摄像头数据并发持续写入，考虑以后摄像头的增加，并且同时有多路服务器可能读取数据，所以需要高性能处理的存储系统。海量存储空间要对海量视频数据进行存储，这就要求存储设备必须提供海量的存储空间。集中式管理与共享实现数据和存储空间的统一管理和共享，使数据的管理、备份非常方便。标准化选用的存储设备及软件等应采用开放式的产品或架构，支持主流标准协议，支持H.264/H.265/SVAC等编码方式，能够提供完整的SDK、API等二次开发环境，以支持构建统一的视频管理及应用平台。可靠性数据的安全性是第

28、一位的，系统应保障在单点或多点故障的情况下，仍然能够持续运行，并能在线的恢复正常。可扩展性 随着监控范围的扩大，摄像头数据量的增加和存储天数延长，存储系统的可扩展性尤为重要，良好的扩展性可以保证业务的连续性。易用性系统的操作应具有灵活简便，人机界面友好，易于掌握的特点，操作人员能够方便物进行使用及维护，使整个系统的功能得以最大实现。存储架构设计如何构建一个高效、经济、安全的存储架构对于平安城市的成功建设是至关重要的，我们采用集中存储、网络化调用等存储管理方式来构建平安城市视频图像信息存储系统。海量存储系统架构示意图实时视频存储实时监控存储应用中无论采用DAS直接存储结构或是SAN的网络化存储结

29、构，都需要配置大量的视频存储服务器。数据流通过视频存储服务器写入存储设备，点播回放的数据流也是需要通过存储服务器读出。这样造成的问题有：服务器往往会成为存储系统的瓶颈；服务器增加了整体系统的单点故障；服务器也增加了成本开销。因此，本方案设计采用更先进、更贴近安防应用的基于流媒体直写技术的存储产品，在区县中心机房设立集中存储中心，用于集中存储管理全区县所有前端监控镜头的实时监控录像。流媒体是指以流的方式在网络中传输音频、视频和多媒体文件的形式，常见的流媒体协议有RTSP/SIP（GB/T28181）/ONVIF/PSIA等标准流媒体协议或私有SDK流媒体协议。海康威视在业内率先提出的中心流媒体直

30、写，是基于TCP/IP或UDP网络传输协议，前端IPC/DVR/DVS/NVR等编码设备以流媒体协议，通过网络直接写入存储设备的技术。存储设备集成前端设备管理，视频存储，实时流转发、预览，历史视频查询、检索、回放、下载等功能。海康威视支持流媒体直写的存储产品统称为CVR（Center Video Record）。实时图片存储对于前端摄像机实时检测抓拍的车辆图片，目前传统方案均采用图片服务器挂载IPSAN的模式实现图片的转发存储，如下图所示：传统图片存储模式这种存储模式下车辆图片的转发与存储需要管理服务器、接入服务器、图片服务器、数据库服务器、IPSAN网络存储进行协同工作，交互非常复杂，且存在

31、以下弊端：卡口接入服务器、图片服务器会造成性能瓶颈，当系统规模较大时服务器的建设成本也十分可观并且管理复杂；存储存在单点故障隐患：所有过车数据读写都要经过图片服务器，服务器故障则整个系统将中断服务。若想避免单点故障则需要做服务器集群，这时服务器的开销将翻倍；IPSAN模式下，图片服务器采用的通用的文件系统，当图片数据循环覆盖时必然造成大量的文件碎片，导致存储性能逐步下降；一旦发生非正常关机，将造成图片服务器文件系统的损坏、数据的只读甚至丢失等问题。因此针对车辆抓拍图片的存储，可以采用更先进、更可靠的图片直存模式，实现对图片的流式数据直存，如下图所示：图片直存方案示意图海康威视图片直存CVR可实

32、现对卡口抓拍图片的集中存储，直接省去图片服务器，减少系统中间环节，不仅节约了建设成本，还从根本上解决了传统方案存在的诸多问题，提高了性能和可靠性。与传统的图片服务器+IPSAN的存储模式相比，海康威视图片直存CVR具有以下优势：无需图片服务器，大幅减少系统中间环节，彻底解决服务器性能瓶颈、单点故障等固有缺陷，系统更加高效、稳定、可靠，同时节省投资成本；解放卡口接入服务器性能负载，接入服务器只需传输过车信息，占99%以上带宽的过车图片由CVR直接存储；特有的流数据管理系统保证掉电、断网时系统和数据的可用性，彻底解决由于以上等因素引起的文件系统损坏而导致的服务停止、数据只读或丢失等故障问题。重要数

33、据备份存储重要数据备份主要指备份保存重要案（事）件视频以及公安用户在日常视频应用工作中所产生的视频片段、图片文件等有价值数据。此类数据非常重要，要求保存的周期至少为3个月以上（案事件数据至少保存1年以上），同时需要有数据备份机制，保障数据安全不丢失，并且需要提供检索、分析、比对等专业应用接口。基于上述备份视频存储的需求，本方案采用有价值视图库一体机，部署在区县局中心机房，实现备份数据的长时间保存。方案优势分析流媒体直存存储采用流直存技术的存储设备是一款集编码设备管理、录像管理、存储和转发功能为一体的专用化存储设备，具备低成本、高性能、高稳定、高可靠、架构开放等优势特点，具体如下：低成本省去视频

34、存储服务器、流媒体转发服务器；支持低价的监控级硬盘作单盘模式或组建RAID；支持视频抽帧存储，可节省存储空间。高性能支持高达1024路2M码流并发写入；视频流无需打包成文件，可即时回放查看、快速定位，检索效率高；采用专用数据管理结构，无文件系统，规避长期循环覆盖写产生的文件碎片而引起的系统性能下降的问题；对外提供大容量录像卷。高稳定规避断网断电情况下，出现文件不可读或丢失的问题；由于省去了存储服务器，简化了系统架构，降低了系统单点故障。高可靠设备N+0集群，设备故障时其他工作机自动接管其业务；断网补录（ANR），当前端设备与CVR设备之间的网络中断时，录像可自动保存在前端，待网络恢复后再回传到

35、CVR设备；数据备份，可支持前端设备录像备份，录像数据本地备份和异地备份；录像丢失检测报警，支持实时数据的丢帧报警（取流失败持续15秒报警）和历史数据丢失报警（每小时定时检测）。架构开放支持前端IPC/DVR/DVS/NVR等编码设备以RTSP/SIP（GB/T28181）/ONVIF/PSIA等标准流媒体协议或SDK私有流媒体协议，直接通过网络写入存储设备，支持H.264/H.265/SVAC等编码格式混合写入。关键技术和重点功能支持混合流存储支持视频流、图片流、智能数据流等的混合流直存，无需服务器参与，进一步简化系统架构。混合流直存流数据管理结构视频流直写存储采用流数据结构进行底层数据管理

36、，实现基于裸空间的预分配策略，规避文件系统损坏引起的文件不可读或丢失的问题，同时避免因文件碎片累积造成的覆盖写入性能衰减，保证性能稳定。“合流“技术：无论多少个视频流进入存储后结合海康Smart Sequence in Cache技术完全汇聚成一个写入磁盘的顺序数据流，实现并发随机转化为顺序录像，优化录像性能。为了实现合流技术，CVR内部维护了一个全局虚拟化的映射表完成随机到顺序的数据映射。“流存”技术：裸空间直接存储视频流，循环写入时视频流不断从头到尾覆盖整个存储空间，消除文件系统损坏问题带来的隐患，同时完全消除循环覆盖带来的文件碎片问题，彻底解决因文件碎片导致的写入性能下降问题。丰富的部署

37、方式和录像方式部署方式支持从IPC/DVS/DVR/NVR直接取流录像；支持从流媒体服务器取流录像和在存储中进行流媒体转发；支持主子码流录像，并可自动或手动切换（国标方式接入时不支持）。录像方式报警录像、定时录像、手动录像、移动侦测录像、信号量报警录像、视频丢失报警录像等多种录像方式。抽帧存储针对安防应用的特性，对过去一定时间的数据可进行抽帧存储，减少存储容量需求，抽帧后的录像数据仍然可以播放，录像质量不会降低。支持按1/2、1/4、1/8的剩余容量比例和抽I帧的不同策略抽帧方式。设备集群业务保护系统运行时间较长时，难免不出现设备级故障。系统开启N+0设备集群业务保护功能时，工作机间互相监听，

38、其中一台设备或多台设备故障时，其他设备自动接管业务。故障机恢复正常，接管设备则放弃接管，并回迁接管期间的数据。智能接管，性能负载均衡，避免压力集中引起的单点故障，无需额外增加热备机。设备集群业务保护数据完整性智能补录（ANR）前端与数据中心网络异常时，前端设备启动录像并保存在本地存储设备上（SD卡，硬盘等）；网络恢复后，录像自动回传到中心CVR存储，保证数据的完整性。同时，CVR设备支持回传策略设定，可选择在业务空闲时（例如下班时间）进行回传，解决业务繁忙时录像数据与业务数据的带宽竞争问题。智能补录示意图录像丢失检测报警针对恶劣的网络环境，经常出现网络中断导致视频数据丢帧或整段录像丢失的问题，

39、为提升系统的可靠性和安全性，方便客户即时发现数据的不完整性，海康威视提出录像丢失检测及报警技术，该技术支持实时流检测机制和历史数据定时检测两种机制。实时流即时检测，当录像取流失败持续15秒以上则触发报警机制；历史数据固定每小时检测一次，当发现在策略调度时间段内或者手动录像时间段内存在录像丢失，则报警，同时恢复策略录像。数据可靠性数据备份多种数据备份模式：与前端共同实现双重备份、存储本地备份以及存储间的异地备份。双重备份：带存储功能的前端设备实现本地录像存储，可同时吐流存入存储设备，实现数据前端和存储双重备份；存储本地备份：存储设备从前端设备取流后，将流数据写到录像卷的同时，自动将流数据备份到存

40、档卷，不占用外部数据带宽，也无需平台干预。由于存档卷不会被循环覆盖，这增加了重要通道数据的安全性。存储间异地备份：是指将存储A机器上的录像数据备份到B机器的存档卷中，防止A机器因为异常或录像卷循环覆盖而造成重要录像数据的丢失，可实现跨局域网备份，无需平台干预。数据备份录像锁定针对关键视频，需要超过录像周期时也不被循环覆盖。海康威视CVR存储设备可自动或按照策略对视频进行锁定。锁定方式： 根据锁定策略,录像的同时实现加锁；手动执行锁定录像段。锁定周期过后，自动解锁，同时支持随时手动解锁。VRAID（VideoRAID）技术同一个RAID组内，无论多少块硬盘故障，只要还剩余一块无故障硬盘，其上面的

41、视频仍可提供读取服务，最大限度的保护用户的数据资源，同时支持数据写入。VRAID技术存储容量计算视频图像存储容量计算系统支持高清200万及更高像素图像的实时存储和管理，新建视频监控系统存储容量按照1920*1080（1080P），4Mbps码流；1280*720(720P)，2Mbps码流；如采用H.265标准进行编码的，按照1920*1080（1080P），2Mbps码流；1280*720(720P)，1.5Mbps码流计算。存储空间计算公式：单路实时视频的存储容量(GB)【视频码流大小(Mb)60秒60分24小时存储天数/8】/1024；以一路视频图像在7天、15天、30天所需要的占用空间

42、为例：存储天数视频规格7天15天30天H.264:1920*1080(1080P),4Mb码流295.3 GB632.8GB1265.6GBH.2641280*720(720P) ,2Mb码流147.65 GB316.4GB632.8GBH.265:1920*1080(1080P),2Mb码流147.65 GB316.4GB632.8GBH.2651280*720(720P) ,1.5Mb码流110.74GB237.3GB474.6GB过车图片存储容量计算车辆图片信息采用JPEG 编码格式，符合ISO/IEC15442000 要求，压缩因子不高于70，300 万高清摄像机输出照片文件平均大小为

43、400K，按单车道日均2000 辆流量估算，每条车道的图片信息按不同存储时间的容量计算公式如下：2000 辆0.4MB1车道30天/月N个月/1024*GB单个车道按不同保存时间的数据存储容量计算如下：车道数3个月6个月1年2年3年1个车道70.32GB140.64GB281.28GB562.56GB843.84GB/上述计算公式中，视频码流大小、过车图片大小应根据项目中实际选用设备的码流及分辨率、抓拍机像素值等情况重新进行调整和计算，单车道日均2000辆的数值也应根据各地实际情况重新估算和调整。设备选型紧急报警系统主要设备选型表产品名称产品型号流媒体直存专用存储（多选一）DS-A81016S

44、DS-A71036RDS-A71048RDS-A82024DDS-A72048RDS-A80624S微视云存储系统设计系统概述随着高清视频的大规模应用，安防视频监控系统规模越来越大，系统中需要存储的数据类型多样、行业应用的复杂程度不断提高，且视频数据需要长时间持续地保存到存储系统中，并要求随时精确调用，对存储系统的可靠性和性能等方面都提出了新的要求。在未来的复杂系统中，数据将呈现爆炸性的海量增长，提供对海量数据的快速存储及检索技术，显得尤为重要，存储系统正在成为视频监控技术未来发展的决定性因素。云存储是在云计算（cloud computing）概念上延伸和发展出来的一个新的概念，是指通过集群应

45、用、网格技术或分布式文件系统等功能，应用存储虚拟化技术将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。所以云存储可以认为是配置了大容量存储设备的一个云计算系统。 在通常的云存储设计方案中，通常硬件设备较多、初始部署成本高。在小型监控系统以及大规模分散部署的场景下，云存储的常用部署方式会受到严重的制约。因此海康威视微视云存储系统作为海康威视视频云存储系统的小型化方案，其诞生旨在通过少量存储设备的集群化、虚拟化构建方式提供小型云存储服务。技术路线海康威视微视云存储系统基于云架构进行开发，采用面向用户业务应用的设计思路，融合集群应用、负载

46、均衡、虚拟化、云结构化、离散存储等技术，可将网络中大量各种类型的存储设备通过专业应用软件集合起来协同工作，共同对外提供高性能、高可靠、不间断的数据存储和业务访问服务。在视频云存储系统的设计中，采用的核心技术如下：采用存储全域虚拟化技术对具有海量存储需求的用户提供透明存储构架，可持续扩容避免瓶颈限制，可以更有效的进行资源管理，灵活增减空间，达到最大程度上合理利用空间的效果。采用高经济性架构设计，不再部署独立的元数据服务器，将云存储系统元数据服务器功能植入存储节点，利用存储节点集群自治构建云存储系统。采用集群技术，解决单/多节点失效问题，并利用负载均衡技术充分利用各存储节点的性能，提升系统的可靠性

47、和安全性。采用离散存储技术，保障了用户高效的读写的同时保证了业务的持续性。采用统一完善的接口，降低对接成本、平台维护成本和用户管理的复杂度。采用视频、图片的全直存技术方案，保证项目整体的成本控制，优化存储系统流程。逻辑架构云存储系统采用分层结构设计，整个系统从逻辑上分为四层，分别为设备层、存储层、管理层、接口层。微视云逻辑架构图设备层设备层是云存储最基础、最底层的部分，该层由标准的物理设备组成。存储层在存储层上部署云存储流式数据存储子系统，流式数据的索引由存储层自己管理，不再上报给管理层；存储层内置云数据转发模块，负责流式数据的提取。管理层管理层分为流式数据管理子系统融合了虚拟化管理、分散策略

48、、资源管理、集群管理、等多种核心的管理功能。可以实现存储设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护等；实现整个存储系统的虚拟化的统一管理，实现上层服务（视频录像、回放、查询、智能分析数据请求；图片URL提取、附属下载）的响应。接口层应用接口层是云存储最灵活多变的部分，接口层面向用户应用提供完善以及统一的访问接口，接口类型可分为Web Service接口、API接口、Mibs接口，可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。实现和行业专属平台、运维平台的对接；实现和智能分析处理系统之间的对接；实现视频数据的存储、检索、回放、浏览转发等操作；实现关

49、键视频数据的远程容灾；实现设备以及服务的监控和运维等。在海康威视视频云存储系统中，为了与视频监控系统的建设和应用更加紧密的结合，更加符合用户的业务需求，将应用层纳入了整个系统架构中，从根本上提高海康威视视频云存储系统的针对性。可将行业视频监管平台、运维平台、智能分析平台等通过相应的接口与云存储系统对接，实现与云存储系统之间的数据以及信令的交互。行业视频监控平台可与云存储系统进行配置录像计划、配置存储策略、检索视频资源、重要录像的备份存储等指令的交互，辅助流数据、视频数据、图片数据的存取。运维平台采用标准的SNMP协议实现并提供Mibs 接口，对云存储系统以及服务进行监控管理，及时将产生的告警传

50、递给用户。将智能分析平台可与云存储系统进行对接，实现基础数据的读取，以及经过存储的二次分析后的片段信息，文本信息写入和检索。系统拓扑微视云存储系统仅由存储节点（物理存储设备）组成，无独立的元数据服务器。系统内部通过集群竞选主管理模块负责上层业务调度响应、内部负载均衡、分布式存储等业务执行。云存储系统可以组建海量的存储资源池，容量分配不受物理硬盘数量的限制；并且存储容量可进行线性在线扩容，性能和容量的扩展都可以通过在线扩展完成。微视云存储物理结构如下图所示：微视云存储物理结构图视频云存储节点（CVSN）：作为云存储系统业务的具体执行者负责视频数据存储、读取、存储设备管理、存储空间管理等系统功能录

51、像管理功能录像管理功能功能项功能说明录像计划管理关联平台配置好的录像计划，并将录像计划同步到各个存储节点。录像计划执行根据配置要求确定通道和存储地址，负责将录像数据向下层模块的写入操作。移动侦测录像根据设定移动侦测区域自动执行相应的录像任务事件录像根据具体事件执行录像任务，优先级高于定时和移动侦测录像视频存储功能视频存储功能功能项功能说明视频录像系统可以按照用户制定的计划保存前端设备采集的录像数据，录像类型、录像头由用户指定，存储开启相关的资源。动态修订录像类型：前端采集视频数据过程中，按报警类型可以修改录像的类型，修改后采集的视频数据即时保存到系统中，并在数据保存类型上得到反映。视频检索用户

52、可以按监控点编号、录像类型、时间组合、锁定、标注等条件查询录像数据。视频回放支持根据监控点编号以及时间段、录像类型对录像数据进行回放。支持根据监控点编号以及时间段对录像数据进行回放时间定位。支持快放、慢放、倒序回放、I 帧回放。支持手动开启回放、暂停回放、停止回放。视频下载支持根据监控点编号以及时间段对录像数据进行下载。支持断点续传。视频锁定支持指定的录像片段进行锁定，锁定后的数据不被循环覆盖掉。支持已锁定的录像片段锁定时长到期自动解锁。视频备份支持根据监控点编号以及时间段对录像数据进行本云手动备份支持根据监控点编号以及时间段对录像数据进行异云手动备份支持录像写入时根据冗余份数进行自动备份周期

53、覆盖按策略支持按周期、容量进行录像数据的周期覆盖式存储。（可选）视频补录当取流出现异常时，支持自动将丢失的录像补全（可选）主/子码流存储支持按照计划有选择的存储前端的主子码流（可选）视频抽帧转存支持按周期进行录像数据的抽帧存储(只存储I帧)图片存储功能图片存储功能功能项功能说明图片存储支持图片从卡警服务器、图片服务器等直存云存储；支持图片从抓拍机直存云存储。图片检索（URL预览）支持根据URL进行图片预览；图片预览支持多种图片压缩方式:百分比压缩、大小压缩、宽高压缩。图片下载支持根据URL进行指定图片下载；支持根据车道/卡口编号、时间段对图片批量下载；图片下载时支持多种图片压缩方式:百分比压缩

54、、大小压缩、宽高压缩。图片锁定支持指定URL的图片进行锁定，锁定后的数据不被循环覆盖；支持根据车道/卡口编号、时间段对图片批量锁定；支持已锁定的图片锁定时长到期自动解锁。图片覆盖按策略支持按周期、容量进行图片数据的周期覆盖式存储。以图搜图（DS-A720XXR-CVS系列支持）支持对写入的图片数据进行建模并存储模型；支持根据输入的图片，进行模型分析，并返回相似度高的图片URL。智能流功能智能流功能功能项功能说明智能流存储视频存储时，支持剥离视频中的智能流数据单独存储；支持智能流和其对应的视频数据按照不同的周期存储。智能流检索用户可以按监控点编号、时间组合等条件查询智能流数据。智能流下载支持根据

55、监控点编号以及时间段对智能流数据进行下载；支持断点续传；支持高速下载。智能检索智能事件检索系统管理功能系统管理功能功能项功能说明集群化管理集群采用虚拟IP技术，对外提供统一的入口IP形式。集群采用无独立元数据服务器设计，由存储节点构建集群提供云存储服务负载均衡管理后端存储节点压力进行实时监控，当单台存储节点压力过大时能根据智能算法将业务平滑迁移至其他存储节点，达到整个集群间负载均衡目的。虚拟化管理支持对存储设备统一管理，虚拟化为资源池，且将虚拟资源划分为块进行管理。自动精简管理动态分配存储空间，通过实时的数据录像情况调整和分配系统内存储资源空间，提高系统存储空间利用率。分散存储管理将前端数据通

56、过特定算法，平滑分散至各个存储节点，从而降低大量回放对单台存储节点的压力。混合存储管理（视频/图片/智能流混合存储）在线扩展支持磁盘在线扩展功能支持磁盘阵列在线扩展功能故障接管支持节点设备故障时数据存储业务自动调整到其它设备上进行，保障业务不中断。最大支持故障台数(总设备台数-1)/2。存储空间管理支持为摄像机随机分配录像空间，且分配的存储空间可灵活调整，支持摄像机恢复录像时，记录日志。权限管理多级用户管理，对用户和资源池进行绑定，对用户的行为权限进行限定；交互协议采用摘要验证和加密机制，确保网络交互协议的安全。运维管理功能运维管理功能功能项功能说明系统信息获取支持系统信息：版本、CPU、内存

57、、网卡、磁盘等信息的获取。系统故障告警支持系统故障（CPU、内存等超过阈值）主动告警到运维平台。存储设备告警支持设备故障、掉线会主动告警到运维平台。标准协议对接支持标准的SNMP协议对接。系统特点高经济性的架构设计海康威视微视云存储系统在架构设计中将传统云存储架构中的元数据服务器与存储设备进行高效集成，在存储设备中植入元数据管理模块后降低对硬件成本投入，以少量的硬件投入提供功能丰富的云存储服务。高经济性的云存储服务云存储系统架构中元数据服务器与存储设备是不可缺失的两个重要硬件形态，一般情况下云存储系统会要求元数据服务器进行独立部署，以管理整个云存储系统的存储空间、资源申请、分配，以及策略调度等

58、工作。而存储设备则负责独立的数据存储、转发等执行工作。海康威视微视云存储系统将元数据管理模块从服务器形态中剥离，将其职责和功能与存储设备进行合并，从而在小型云存储系统的构建中省去服务器的投入，降低项目成本。自主高效的竞选机制海康威视微视云存储系统由存储节点组成，每台存储节点均内置元数据管理模块。多台设备的管理模块在运行时通过内部竞选创建主节点，主节点维护唯一的虚拟IP，提供存储空间、资源申请、分配，以及策略调度等工作。当主节点故障时，系统内部会重新选举主节点，并且维持同样的虚拟IP，在系统外部感知不到微视云存储系统内部的任何变化。微视云存储系统可支持3-8台存储设备组建，最可大容灾设备数量不超

59、过（n-1）/2台存储设备故障业务不中断，有效保障整个云存储系统运行的稳定性和可靠性。当存储节点数量持续扩容增加时，可过度到海康威视视频云存储标准解决方案，系统服务保持不变。高效灵活的空间整合海康威视微视云存储系统具有高效灵活的空间管理能力。为了突破传统存储在存储容量和系统性能上的矛盾，在管理大容量空间时通过全系统分层集群的设计将系统的管理资源进行整合，并根据负载均衡算法提供全高效并发处理机制，大大地提高了系统的整体性能。存储资源的虚拟化对存储空间的管理方面海康威视视频云存储系统将全域各存储节点的资源进行虚拟化后，向用户呈现出一个持续的、超大的数据资源池，将其称之为存储资源池。存储资源池的整合

60、过程完全透明，由系统算法自行完成，将用户从繁琐的空间管理和配置中解脱出来，提高了管理效率。存储资源的在线扩展当存储资源无法满足用户的容量需求，需要进行存储资源的扩展时，海康威视视频云存储系统能为用户提供十分便易的操作。用户只需要在集群内添加新增存储设备的IP地址，系统会自动辨别新增设备，对新增设备进行虚拟化整合，这样新增设备的容量就能融入集群，并作为集群内全部存储资源的一部分为用户所用；同时，在整个存储资源的扩展过程中，视频云存储系统的录像业务正常运行，保障用户不会因为系统的扩容而中断正在进行的正常业务，从而实现存储资源的在线扩展。云存储的系统架构保证了存储资源在线扩容的同时，可以满足容量与处