交通云存储系统视频、图片混合云存储设计方案

1、交通云存储系统视频、图片混合云存储设计方案交通云存储系统应用于视频、图片混合存储时，主要是承担整个系统内的视频/图片的数据写入/读取工作。云存储系统一方面采用了基于云架构的分布式集群设计和虚拟化设计，在系统内部实现了多设备协同工作、性能和资源的虚拟整合，最大限度利用了硬件资源和存储空间。另一方面，通过将云存储的存储功能、管理功能进行打包，通过开放透明的应用接口和简单易用的管理界面，与上层应用平台整合后，为整个交通监控系统提供了高效、可靠的数据存储服务。系统物理拓扑视频图片混合云存储系统主要由存储管理节点（服务器）和存储节点（物理存储设备）两部分组成。系统内部需要配置的元数据信息由云存储管理服务

2、器统一管理，云存储管理服务器还需要负责集群内部的负载均衡，失败替换等管理职能；云存储系统可以组建海量的存储资源池，容量分配不受物理硬盘数量的限制；并且存储容量可进行线性在线扩容，性能和容量的扩展都可以通过在线扩展完成。视频图片混合云存储物理结构如下图所示：视频图片混合云存储物理结构图交通云存储管理节点（CVMN）：部署存储管理服务器，是交通云存储系统的核心节点，作为云存储系统的调度中心负责云存储系统资源管理、索引管理、计划管理、策略调度等。根据项目对存储容量需求、前端支撑数目、性能要求、可靠性要求，存储管理节点可以按照两种方式部署：HA部署、集群部署。交通云存储节点（CVSN）：作为云存储系统

3、业务的具体执行者负责视频数据存储、读取、存储设备管理、存储空间管理等。系统功能设计交通云存储系统面向视频、图片应用定制化开发，提供丰富的功能接口供上层交通综合管控平台调用，主要功能如下图所示：交通云存储系统功能图视频存储功能功能项功能说明视频录像系统可以按照用户制定的计划保存前端设备采集的录像数据，录像类型、录像头由用户指定，存储开启相关的资源。动态修订录像类型：前端采集视频数据过程中，按报警类型可以修改录像的类型，修改后采集的视频数据即时保存到系统中，并在数据保存类型上得到反映。视频检索用户可以按监控点编号、录像类型、时间组合、锁定、标注等条件查询录像数据。视频回放支持根据监控点编号以及时间

4、段、录像类型对录像数据进行回放。支持根据监控点编号以及时间段对录像数据进行回放时间定位。支持快放、慢放。支持倒序回放。支持I 帧回放。支持手动停止回放。视频下载支持根据监控点编号以及时间段对录像数据进行下载。支持断点续传。视频锁定支持指定的录像片段进行锁定，锁定后的数据不被循环覆盖掉。支持已锁定的录像片段锁定时长到期自动解锁。视频标注对录像数据信息所对应的标签进行打标、存储、备份等操作；对录像等数据信息的标签信息进行查询、检索、筛选工作；对录像等数据信息所对应的标签进行修改、删除等操作。视频删除支持根据监控点编号、录像时间、录像类型删除视频录像。周期覆盖按策略支持按周期、容量进行录像数据的周期

5、覆盖式存储。录像管理功能功能项功能说明录像计划管理关联平台配置好的录像计划，并将录像计划同步到各个存储节点。录像计划执行根据配置要求确定通道和存储地址，负责将录像数据向下层模块的写入操作。移动侦测录像根据设定移动侦测区域自动执行相应的录像任务事件录像根据具体事件执行录像任务，优先级高于定时和移动侦测录像图片存储功能功能项功能说明图片写入支持图片数据写入存储，返回URL地址图片下载支持按时间段下载图片。支持浏览器http 的URL方式下载图片。图片写入支持图片数据写入存储，返回URL地址图片下载支持按时间段下载图片。支持浏览器http 的URL方式下载图片。图片压缩支持图片大小压缩和尺寸缩放。图

6、片锁定支持指定的图片进行锁定，锁定后的数据不被循环覆盖掉。支持已锁定的图片锁定时长到期自动解锁。图片删除支持单张图片URL方式删除。支持按照时间段删除图片。周期覆盖按策略支持按周期、容量进行图片数据的周期覆盖式存储。系统管理功能功能项功能说明集群化管理视频录像索引采用集群方式，无单点故障，保证索引数据的安全性。集群采用快速索引管理，能根据用户的各种查询条件（监控点编号、录像类型、时间段等）进行快速定位。负载均衡管理集群采用虚拟IP技术，对外提供统一的入口IP形式，将集群的访问在集群中根据各种算法进行分摊，降低单个节点的访问压力。后端存储节点压力进行实时监控，当单台存储节点压力过大时能根据智能算

7、法将业务平滑迁移至其他存储节点，达到整个集群间负载均衡目的。虚拟化管理支持对存储设备统一管理，虚拟化为资源池，且将虚拟资源划分为块进行管理。自动精简管理动态分配存储空间，通过实时的数据录像情况调整和分配系统内存储资源空间，提高系统存储空间利用率。分散存储管理将前端数据通过特定算法，平滑分散至各个存储节点，从而降低大量回放对单台存储节点的压力。存储空间管理支持为摄像机随机分配录像空间，且分配的存储空间可灵活调整，支持摄像机恢复录像时，记录日志。运维管理功能功能项功能说明系统信息获取支持系统信息：版本、CPU、内存、网卡、磁盘等信息的获取。系统故障告警支持系统故障（CPU、内存等超过阈值）主动告警

8、到运维平台。存储设备告警支持设备故障、掉线会主动告警到运维平台。标准协议对接支持标准的SNMP协议对接。系统业务流程下面分别介绍视频存储、检索、读取、补录、备份以及图片存储、检索、下载流程。视频存储流程视频数据存储：交通综合管控平台向交通云存储管理节点下发视频录像计划，存储管理节点根据各存储节点的负载状况，给存储节点的接入服务软件同步录像计划。接入服务软件获取录像计划后，直接访问监控点IPC获取到视频数据，再通过调用数据存储软件将数据写入存储节点中。当监控点录像计划发生变更，会及时通知存储管理服务器；由存储管理服务器统一控制并同步给存储节点。存储节点定期向管理服务器获取录像计划，并上报自身状态

9、。存储节点设备之间能够自动进行均衡负载，保证在故障时做到自动切换，不间断的提供视频数据存储服务。详细的视频存储流程如下图所示：视频存储流程流程特点：1）录像数据是直写磁盘方式，优化了读写性能；已经写入存储节点的数据不会受系统和其他设备的影响导致丢失。2）视频数据是分散存储，根据需求将IPC的数据按照算法分散到不同的存储服务器上，提高数据读写的速度，在可靠性和安全性上得到了加强。视频检索流程视频数据检索：视频监控平台检索视频录像信息，视频监控平台向交通云存储系统存储管理服务器发送检索指令，存储管理服务器查询本地数据库直接将检索信息发送到视频监控平台，采用一级检索方式完成整个流程。详细的视频检索流

10、程如下图所示：视频检索流程流程特点：独有的一级索引技术，当视频信息完成存储后立刻在云存储系统管理平台生成一套数据对应的索引表。改进了传统的索引机制，使得读取仅通过一次查询就能够精确定位到存储的数据。视频读取流程视频数据读取：用户通过视频监控平台调用监控点视频时，视频监控平台向交通云存储系统发送获取数据的请求，存储管理服务器转发请求到存储节点，数据从存储节点由数据管理服务软件直接（或转发）送至调用者。详细的视频读取流程如下图所示：视频读取流程流程特点：视频数据是分散存储的，便于数据的快速提取及分析，提高了数据读取的速度，在可靠性和安全性上得到了加强。图片存储流程云存储的图片存储流由两种不同流程组

11、成：1、图片直存方式；2、图片非直存方式。图片直存云存储的方式可以省去交通综合管控平台的接入服务器，但直存云存储方案目前仅支持海康威视抓拍机单元。非直存云存储方式对抓拍机单元无限制，但对于交通综合管控平台的接入服务器的数量和要求有变化。图片直存流程图片数据存储：直存流程由卡口抓拍设备发起，抓拍机抓取图片后主动写入云存储中。写入完成后将云存储返回的URL地址上传至交通综合管控平台的接入服务器，由接入服务器写入数据库中保存。存储节点设备之间能够自动进行均衡负载，保证在故障时做到自动切换，不间断的提供图片数据的存储业务。详细的图片存储流程如下图所示：图片直存流程流程特点：1）图片数据由前端抓拍机直写

12、入云存储，节省了平台大量接入服务器。2）图片数据的存储方案提供前端较高的兼容性能，能够支持多厂商前端的图片写入。3）图片数据是分散存储，将接入服务器推送的图片按照算法分散到不同的存储服务器上，提高数据写的速度，在可靠性和安全性上得到了加强。图片非直存流程图片数据存储：交通综合管控平台向交通云存储管理节点索要图片存储资源，存储管理节点直接分配存储资源给交通综合管控平台，平台的接入服务器开始将图片数据推送至指定存储资源内。存储节点设备之间能够自动进行均衡负载，保证在故障时做到自动切换，不间断的提供图片数据的存储业务。详细的图片存储流程如下图所示：图片非直存流程流程特点：1）部署接入服务器转发图片数

13、据，能兼容更多前端抓拍设备；2）图片数据是分散存储，将接入服务器推送的图片按照算法分散到不同的存储服务器上，提高数据写的速度，在可靠性和安全性上得到了加强。图片检索流程图片数据的索引数据是存储在交通综合管控平台自身的数据库中，包含云存储URL地址、过车信息等。因此图片检索流程由平台完成。图片下载流程图片数据下载：用户通过交通综合管控平台下载监控点图片时，交通综合管控平台向交通云存储系统发送下载数据的请求，存储管理服务器转发请求到存储节点，数据从存储节点由数据管理服务软件直接（或转发）送至交通综合管控平台。详细的图片下载流程如下图所示：图片下载流程流程优点：图片数据是分散存储的，便于数据的快速提

14、取及分析，提高了数据读取的速度，在可靠性和安全性上得到了加强。云存储管理服务器设计数量配置考虑到未来系统中的前端录像通道和抓拍车道数量总和会超过1024路，故采用管理服务器集群模式。集群部署可以保持线性增长，三台管理服务器集群可以支撑4000路以内的摄像机通道规模。如果摄像机通道规模更大可以通过增加管理服务器台数来提高集群的性能，如5台管理服务器可支撑6000路、7台管理服务器可支撑8000路。管理服务器的数量必须为奇数。管理节点集群部署是一种高可靠性、高稳定性的部署方式，此种方式是采用三台或三台以上奇数台服务器组成，安装交通云存储管理软件并运行集群工作模式，形成交通云存储管理集群。此种集群工

15、作模式，可实现单台或多台服务器应用的故障切换和负载均衡，提高了交通云存储管理节点的可靠性和稳定性，系统性能也得到了很大的提高，是大型视频监控项目首选的部署方式。集群部署物理拓扑如下图所示：管理节点集群部署方式硬件配置存储管理服务器是基于Intel最新的Romley平台开发的一款高性能双路服务器，该服务器采用了全新的架构设计：在CPU内集成了PCI-E，为CPU互联提供更多的QPI总线，更多的CPU内核数量等都直接带来了性能的大幅提升，相比上一代性能提升最高可达80%。存储服务器最大可以支持内存容量 512GB，集成高性能SAS控制器，支持最多达8块热插拔3.5寸SAS/SATA硬盘或2.5寸S

16、AS/SATA硬盘，内部横插卡的设计可以满足全高扩展卡的需求，强大的扩展性足以支撑关键任务的运行，满足资源密集型应用的需要。更多的PCI-E插槽、更高速率的PCI-E总线让用户轻松实现扩展。存储管理服务器非常适用于对服务器性能、扩展性及可靠性要求苛刻的数据中心环境。1）产品特点：全新处理器架构带来性能飚升；真正企业级的可靠和可用性；IO超强扩展；横插卡设计支持全高扩展卡；模块化设计，免工具拆卸。2）配置要求：E5-2620 V2(6核2.1GHz)2/8GB DDR3 ECC4/600G 15K SAS2/热插拔/DVD/1000M NIC2/(1+1)冗余电源/导轨/2U云存储存储设备设计存

17、储容量计算混合云存储的存储容量包括视频容量计算和图片容量计算两部分。视频监控录像存储容量视频录像数据包括：监控摄像机全天候定时录像、事件触发录像、手动录像。视频监控系统一般采用H.264 编码算法：1）设计码流为1080P30 帧（19201080）68Mbps，这样的算法和带宽可以确保图像清晰度、色彩还原及编解码延时等几个关键指标的综合最佳效果。1路1080P摄像机按照这样的码流计算 30 天的存储空间：8Mbps3600 秒24 小时30 天/1024/1024/8=2.48TB，根据具体情况（共规划建设视频监控系统XX套），存储容量总需求为： XXTB，系统建设存储设备总容量约为XXTB

18、。2）设计码流为720P25 帧（1280720）34Mbps，这样的算法和带宽可以确保图像清晰度、色彩还原及编解码延时等几个关键指标的综合最佳效果。1路720P摄像机按照这样的码流计算 30 天的存储空间：4Mbps3600 秒24 小时30 天/1024/1024/8=1.24TB，根据具体情况（共规划建设视频监控系统XX套），存储容量总需求为：XXTB，系统建设存储设备总容量约为XXTB。建议在项目设计规划好适当冗余空间，一般为总容量的110%-125%。车辆图片数据存储容量车辆图片信息采用JPEG 编码格式，符合ISO/IEC154442000 要求，压缩因子不高于70，200 万高清

19、摄像机输出照片文件平均大小为300Kb，300 万高清摄像机输出照片文件平均大小为400Kb，600 万高清摄像机输出照片文件平均大小为600Kb。例如对于200万高清摄像机按单车道日均2000 辆流量估算，一个车道的图片信息按6个月的时间的容量计算公式如下：2000 辆0.3MB1车道30天/月6个月/1024/10240.1TB总存储容量=0.1卡口数量车道数车辆图片数据根据具体情况（按照XX个车辆卡口，双向四车道计算），存储容量需求为：0.1XX4=XXTB。因此系统建设存储设备容量为XXTB。建议在项目设计规划好适当冗余空间，一般为总容量的110%-125%。存储设备数量配置以36盘位

20、网络存储设备为例，为了保证数据的可靠性，存储设备一般采用如下冗余措施：每台设备配置1片热备盘，剩余35片盘做3组RAID5。（建议：16盘位和24盘位做2组RAID5，36盘位做3组RAID5，48盘位做4组RAID5）。1）计算单块硬盘的实际可用存储容量采用3TB企业级硬盘，标准3TB硬盘的由于十进制与二进制计数的不同，其实际容量为3000GB（1.0241.0241.024）=2794GB；2）计算单台网络存储设备的实际可用存储容量考虑到RAID5冗余措施，每台设备可用的有效存储硬盘位32片，同时考虑5%的格式化空间损失，则每台存储设备的净存储空间为：单台存储设备净存储空间=3组RAID容

21、量之和2794GB110.9510242794GB110.9510242794GB100.95102482.94TB3）根据总容量计算出所需要的设备数量和硬盘数量（考虑到存储数据一致性原则，建议视频和图片存储设备分别计算后得出系统总的存储设备数量）视频存储设备台数M1=视频总存储容量/每台设备的净存储空间图片存储设备台数M2=图片总存储容量/每台设备的净存储空间系统需要的存储设备数量M=M1+M2台硬盘数量A=存储设备台数M36块存储设备硬件配置海康威视安防云存储设备，采用模块化结构，提供高性能的视频图片存储服务，快速响应高并发数据访问能力，高可靠业务保护，为大数据安防云存储系统提供高性价比的

22、解决方案。1）产品特点高密机箱设计:4U机箱可支持36块硬盘，节省结构空间，节省项目建设资源。高可靠系统设计:系统关键部件冗余设计，模块化抽屉式结构设计，全面提升系统可靠性；基于集群化技术，存储节点间负载均衡，互为备份，多节点故障时，业务自动调整服务不中断。高性能应用服务:基于离散存储技术，多设备可并发快速响应数据读取服务，可满足海量数据检索秒级呈现，数据高速下载的需求；基于虚拟化技术，所有存储节点空间虚拟化成统一可用资源，用户通过接口即可访问，空间资源可灵活划分，录像空间支持动态扩大和缩小，且数据不丢失。低成本系统建设:支持视频、图片混合存储，且直接写入存储设备，无需流媒体服务器和图片服务器

23、；支持流媒体转发服务，可节省转发服务器。高效能运维服务:具有完备的维护机制，提供维护工具；支持对CPU、内存、网卡、磁盘等硬件的运行状态监控；支持软、硬件系统故障主动报警；支持设备故障、掉线主动报警。易扩展:通过堆叠或级联的方式实现存储容量和性能的线性增长，且扩容过程中服务部中断，轻松实现几十TB到上百PB的快速扩容。磁盘检测修复及RAID优化技术:提供磁盘使用前的预检技术，做到未使用先预防；提供磁盘使用中的巡检技术，做到及时报警；提供磁盘故障后的修复技术和复活技术，提高磁盘使用效率。支持RAID 0、1、3、5、6、10、50多种RAID模式；支持RAID即建即用，支持逻辑卷的动态在线扩展。绿色节能:CPU根据负载动态调节工作频率，降低系统功耗；提供智能精细化调速策略，有效提高散热效率、降低噪声；可依据业务负载的情况，使部分或全部无读写的硬盘进入休眠模式，减少能源浪费，延长硬盘寿命；采用金牌高效电源，提高电源转换效率，降低电能损耗兼容开放：可提