CDS云存储解决方案

目录TOC\o"1-5"\h\zCDS云存储系统概述-2-CDS简介-2-CDS系统架构-2-与安防常用存储的对比-3-CDS组成部件-4-3实时业务设计-6-视频CDS云存储-6-图片CDS云存储-7-数据读取-8-数据生命周期管理-9-细粒度的数据冗余策略-9-数据逐级退化，有效提升留存空间比-10-CDS云存储可靠性设计-12-从低到上的全栈数据高可用性-12-跨数据中心级的业务可靠性保障-13-CDS云存储安全设计-13-CDS运维管理设计-14-集中运维，统一管理-14-事件告警管理-16-4系统优势总述-17-海量数据秒级检索，永无碎片-17-统一管理,弹性伸缩-19-系统高可用性-20-带外架构，安全可靠-21-unMgwCDS云存储系统概述CDS简介CDS(CloudDirectStorage)是宇视科技在提出“NGN(NextGenerationNetwork)"为核心架构的IMOS监控云平台后，为满足海量音视频数据、智能交通类行车图片、监控个体特征图片、安防大数据、智能业务以及多相关部门并发读取等安防行业发展的需求，推出的一套面向监控领域媒体文件的SAN®集群系统。CDSR取了传统监控存储主流设备如NV就作的易用性，同时基于对视频监控的理解，结合SAN1中存储高可靠稳定性的基础，引入了云的架构，海量存储，易于维护。和常见的文件集群系统所构造的通用“云”存储相比，整套SA檄集群系统既实现了性能和容量线性增长，又保留了宇视一代云“块直存”的安全性和高性能，海量音视频秒级检索，这些是通用云在监控业务方面所不具备的优势。CDS:百亿级索引的秒级检索区存储区存储2.0

百亿级CDS云存储1.0+云存储1.0亿级千万级西CSI块直存N+M年代CDS系统架构宇视科技云存储CDS系统基于云架构进行开发，采用面向用户业务应用的设计思路，融合SAN1群部署、负载均衡、资源池化、全局共享空间、数据切片等技术，可将网络中大量各种不同类型的存储设备通过专业应用软件集合起来协同

工作，共同对外提供高性能、高可靠、不间断的数据存储和业务访问服务。云存储系统的结构模型由存储层、基础管理层、应用接口层、访问层组成。NGN架构：信令和业务读号分警咔口信冶理信口DATANODEMETADATA资源池管理嘤块资源管珅I/O管瞬咔口信冶理信口DATANODEMETADATA资源池管理嘤块资源管珅I/O管瞬索引管理在视频云存储系统的架构设计中，采用的核心技术包括：采用存储虚拟化技术，对具有海量存储需求的用户提供透明存储构架，可持续扩容避免瓶颈限制，可以更有效的进行资源管理，灵活增减空间，达到最大程度上合理利用空间的效果。采用SAN集群技术，解决单/多节点失效问题，并利用负载均衡技术充分利用各存储节点的性能，提升系统的可靠性和安全性。采用数据切片技术，保障了用户高效的读写的同时保证了业务的持续性。采用统一完善的接口，降低对接成本、平台维护成本和用户管理的复杂度。采用开放的集成构架，使其可兼容业界各类SAN存储设备，保护用户现有存储投资资源。采用数据本地/异地备份保护技术，保证云存储中的数据不丢失，确证云存储服务的安全稳定。与安防常用存储的对比目前安防行业内常用的存储方式包括以下几种：1、硬盘录像机方式（DVRNVR;

2、集中类存储，包括FCSANIPSAN;3、文件服务器类存储，通用NAS4、高端存储，通常为多控架构存储；5、安防云存储，如宇视的CDS对比项NVR（网络视频录像机FCSAN（光纤通道集中存储）NAS（文件服务器）IPSAN（IP集中存储）多控制器架构高端存储CDS云存储接入性能低中中中高最高读取性能低中中中高最高平台对接方式GB28181/SDK对接，功能缺失，弱耦合流媒体服务器访问，性能瓶颈通用文件协议访问，无安防定制功能流媒体服务器访问，性能瓶颈流媒体服务器访问，性能瓶颈无需流媒体服务器，紧耦合网络建设分布式，设计复杂FC组网成本高，难以与IP网络融合，信息孤岛较集中较集中较集中最集中，易维护，高性价比扩容性无中低中高最高故障切换无，需要额外增加软硬件，成本高无需要增加额外软硬件，成本高有，低延时但成本高低延时，高性价比运维管理设备多，人力投入大专业程度高专业程度局专业程度高专业程度高界囿化统一＞理，易运维总体造价低高高中最高中CDS组成部件CDS存储方案主要由视频云存储管理软件（CDM,CloudDataManagement）＞视频云存储服务节点（CDV,CloudDataStorageVirtualService）、视频回放服务器（VOD,Videoondemand）等几个主要部件组成。云存储管理软件CDM:

CDM云存储管理服务器负责整个系统的运行与调度工作，主要职能是响应上层平台业务请求，对外提供业务响应接口，负责整合系统内多台存储节点信息，对业务整合成带优先级控制的统一虚拟化存储池，同时，维护系统运转，统一调度、协调云存储系统的运行与维护，具体功能范畴包括集群管理、虚拟化管理、存储资源管理、存储策略管理、存储设备管理等。云存储节点CDV:负责存储节点上存储空间的虚拟化，将单台存储节点空间格式化为对象存储空间提供给外部使用。其主要职能是接入各种类型的存储设备、进行云存储设备层整合，对本机存储空间进行对象化处理，对外提供本设备的虚拟化存储池，负责本机设备管理、存储空间管理和维护工作，提供WebService接口，提供直接图片等数据访问，具体功能范畴包括视频录像、图片存储、视频图片下载等。视频回放服务器VOD：负责回放业务的提供，其接入客户端RTSP的标准视频点播请求，转换为对存储内容的读取并封装为客户端能识别的码流。

3实时业务设计3.1视频CDS云存储EC/IPCEC/IPC视频CDS云存储组网图视频云存储组网，采用scale-out结构，分离数据平面和控制平面，即媒体流带外的方式，从IPC到CDV（存储节点）直接写入，中间无需其他服务器的介入。视频云存储组网中IPC主动的管理存储计划和前端智能数据告警，可以及时触发告警录像，同时简化了后端云存储架构，降低了存储业务压力，可以让云存储系统专注读写，更好的满足用户的存储需求。应该说，CDS存储模式是在宇视块直存基础上延伸出来的云存储模式，汲取了SAN共享技术及分布式文件系统的块分配策略，突出解决了空间按需占有、弹性扩容及负载均衡等问题。

扩容500G再扩600GCam3300GCam2I陇0轴扩容500G再扩600GCam3300GCam2I陇0轴Cam1500GCam1Cam1Cam1Cam3500G600Gcam4IPSANcam3IPSANcam3IPSJANIPSANIPSANcam4cam4cam4cam2IPSAN3.2图片CDS云存储EC/IPC图片云存储组网图图片云存储组网相对视频增加了TMS（智能交通管理服务器），主要负责图片智能数据分析、黑白名单及研判等业务，在IPC完成一定数量的图片存储后，以事务的方式上传卡口智能数据到TMS服务器。对于图片来说，大小从几KByte到上MByte不等，大量的图片小文件对元数据的操作开销非常大，既增加了总体数据的写入数量，也增加了磁盘的随机读写，同时也容易产生磁盘碎片。为此，CDW底层重新设计了块分配及元数据的组织算法，通过重组的方法将图片流化处理，充分利用视频存储的块组织模式CameraACameraBCameraACameraBT1TnTnFATA「、L■--L,FileSysternHT1TnTnFATA「、L■--L,FileSysternHLayerrHFATS,AT口Cluster基于文件的存储模型出于通用应用需求，文件系统层的抽象屏蔽了后端块资源的分配，但也正因为此而无法感知应用数据的写入特征，通过引入统一分配层，直接管理块设备上的空间分配，通过对存储时间和空间的一定预测保证分配的空间尽可能的连续化,避免长期循环覆盖情况下，性能和稳定性的下降，而且有应用针对性的进行优化,也很大程度上降低了空间管理的消耗,将有效空间率从文件系统的低于也很大程度上降低了空间管理的消耗,将有效空间率从文件系统的低于93炮高至IJ97.8%。数据读取数据读取流程数据读取流程CDS云存储当前提供了两种最常用的数据读取服务，RTSP点播回放服务（针对视频业务）和Http服务（针对图片业务）。Http服务直接部署在CDV上，客户端通过URL地址就可以显示和下载图片。这种方式的带来的好处是减少数据读取的中间环节，而且由于数据分布上在写入时经过客户段负载均衡后，大批量下载可以充分利用多CDV节点的读取能力。RTSP点播服务中引入了VOD集群功能，即用户可以随需配置，从而满足大规模的点播和下载需要，而且VOD集群会进行一定的数据缓存处理，从而在一定程度上降低对后端存储的压力，同时起到一定的CDN（内容分发网络）功能，提升播放体验。数据生命周期管理宇视CDS安防云存储方案，一方面对存储空间进行池化处理，另一方面也对安防数据业务进行了更合理的空间规划和数据可靠性保障。细粒度的数据冗余策略通用云存储都是在一个统一的存储层面，比如设定目录或是节点的冗余策略，常见的如多副本策略或是纠删码等方式，这种方式是割离了计算，单纯从存储层面进行的数据保障措施，但其粒度过大，性能开销大，存储设备硬盘配置要求高的缺陷也在一定程度上转嫁给了客户投资。而CDS,将安防业务中密切与存储或是媒体相关的功能进行了合理抽象，能将数据的冗余策略精确到更细粒度的时间片段数据，或是某一张图片文件，并通过告警或是事件联动的业务入口，提供给客户更灵活的可定制流程。

管理平台流媒体分发及点播服务器管理平台流媒体分发及点播服务器数据逐级退化，有效提升留存空间比宇视CDS云存储依然保留了对摄像机存储计划及留存期设定等过程，但在内部存储时，由于所有的存储空间均被CDS虚拟化，使得存储空间的组织和退化，均能从总体上来考虑。这个带来几层含义，一方面，留存期的维护是录像过程相对公平，同时也是系统容量可预测可配置的保障，另一方面，由于存储空间的池化处理，充分利用共享化容量来尽可能的拉长录像的留存期是实实在在的节约用户投资的手段，因此，所谓留存空间比，就是以尽可能少的存储空间来获取更长的留存期。通过在存储面引入诸如抽帧存储、录像清洗等手段来对事件类、超时效范围（如30天留存期中后15天录像）进行录像空间的压缩，既能保证重要录像的不丢失，又能降低用户存储空间的总需求。抽帧存储抽帧存储是在尽量保证数据完整性的情况下将备份的录像数据压缩到最小，以提供高效完整，节省存储空间的目的。当前IPC使用SVC即ScaledVideoCoding可分层视频编解码技术，就是在时间，空间，质量上会进行划分，输出多层码流（包括基本层和增强层），其中基本层的数据可以使解码器完全正常的解码出基本视频内容，但是基本层的数据获得的视频图像可能帧率较低，分辨率较低，或者说质量较低，而增强层又是可以多层编码的，这就意味着，在视频码流总码率的范围内，接收到的码率越大，视频质量越好。也就是说通过定制抽取的规则，比如设定某个摄像机存储空间规则为15天全帧存储、超15天抽帧存储，并确定抽帧规则为只保留I帧、1/2抽帧、1/4抽帧等。如下是只保留I帧的实测数据，仅作参考：视频码率配置原始录像/天抽帧备份录像/天比例

2Mb/s21GB7GB33%4Mb/s42GB12GB28%6Mb/s63GB16GB25%录像清洗录像清洗服务是结合前端设备的告警，如移动侦测等触发，来扫描这个时间点一定范围内的录像，然后根据录像中的移动量是否超过设定的阈值，来进行录像的抽取和清洗。可以分别配置警前留存时间和警后留存时间，警前录像取值范围［0~5分钟］,缺省1分钟，警后录像取值范围［1~30分钟］,缺省5分钟。此时录像空间的浓缩比例视告警的发生概率而来。CDS云存储可靠性设计从低到上的全栈数据高可用性CDS云存储并不是重新发明宇视存储，而是充分利用已有积累，在充分考量了数据路径的每一个环节合理性的同时，对每个环节进行了强化处理o故障率从3%睡跨数据中心级的业务可靠性保障蛀籍部门2■…苗酝I.露..•甘商防监芮区匠1监控区麻监控区域3在业务流程设计上，分级自建的监控机房不一定能达到运营商机房的可靠性,当发生机房断电、网络异常等情况下，利用前端IPC的网络可达性，将IPC的存储流引到更上级的部署机房存储，然后当本地机房恢复后，再将录像回传到本地机房存储空间中CDS云存储安全设计云存储的开放性的系统特点导致面临一系列安全问题，CDS采用一种以云存储为核心的在线分布存储系统，该系统有效结合数据分散存储管理技术以及数据自动恢复技术，来更好的保证云存储数据的安全性。（一）应用接口层到访问层的设计。为了有效提高云存储系统的安全性，CDS采用访问控制、身份认证以及ssl加密技术来对云存储的数据进行保护，使数据在网络传输中能有效避免各种安全威胁。同时通过实现云存储服务器与用户之间的相互认证，对双方的身份进行有效鉴别后用户代理通过安全应用程序接口来和云存储服务器建立通信连接，然后进行数据存储服务。（二）基础管理层的设计。在进行基础管理层的设计时CDSPJ用数据分片把存储的数据信息进行分片处理，从而使这些完整的数据变成一系列的数据片段，这样就不能被那些没有得到认证的系统识别。这样能够保证云存储的数据进行分片后就不会产生数据被窃取的现象，从而可以有效提高云储存数据的安全性。（三）存储层的设计。为了保证数据存储的安全，可以有效利用数据分散存储技术来满足用户大量的存储数据的要求。因为随着存储系统存储容量的增加，存储数据的出错率就会相应的增加。而数据分散存储技术能有效确保云存储数据的可靠性和可用性，因为基于数据分散存储技术的系统存储层中的设备是分布部置的，这些设备之间有一定冗余机制，从而可以有效提高设备的存储利用率及其容错能力。CDS运维管理设计集中运维，统一管理针又tCD除存储系统及各项软硬件的数据采集，运维管理平台对整个系统进行监控并收集数据、汇总、生成报告。主要对云存储的以下部分数据进行采集：管理服务器数据采集；云存储节点数据采集；该系统支持云存储部署环境的综合数据采集及检测，能对系统平台服务器、存储设备以及支持SNM初议的终端设备和网络设备进行全面的深入的数据采集管理。系统使系统管理人员能在日趋复杂的IT环境中即时快速方便的了解整个系统的运行状况，从而能从应用层对IT系统的关键资源、应用进行全方位的实时监控管理。对于详细的数据采集（及监控）要求如下所述：管理服务器数据采集系统可以从多个方面对管理服务器服务器的硬件设备、操作系统进行监控管理。通过采集相应服务器的CPU内存、磁盘、网卡等硬件的关键运行参数，软件和应用程序的进程、服务、端口的运行状况，系统能够及时对影响平台服务器运行性能的故障事件发送报警，并采取相应的故障处理措施，保证服务器的正常安全运行。系统中提供的与服务器相关监控指标主要包括CPU内存、磁盘空间、服务、进程、网卡、错误日志、事件日志、LOGC件等。对平台管理服务器主机的监测主要包括如下性能指标:处理器CPU利用率内存内存使用率逻辑磁盘逻辑磁盘剩余空间逻辑磁盘使用率磁盘IO传输速率每秒读取字节数每秒写入字节数网络适配器输入错误数据包数输入总的数据包数输出错误数据包数输出总的数据包数进程系统中关键进程数量目录系统中特定目录卜文件数量错误日志系统中指定日志中的错误条数进程排名系统中CPU使用率第一的进程名系统中CPU使用率第二的进程名系统中CPU使用率第三的进程名存储设备数据采集及监控系统可以对存储设备进行监控，监控方式主要是采用SNM新议，监测的具体指标如下：设备基本信息，包括处理器、磁盘、设备使用的端口信息等；设备性能信息，包括磁盘的读写速率以及字节数，磁盘缓存性能，处理器状态、磁盘状态等数据；其他方面，包括：设备温度，风扇状态等。其他类型的设备可以根据用户要求提供定制开发。事件告警管理CDS（统可以实现非常灵活的事件及警告管理功能。在管理平台中对于事件告警管理采用如下流程：告警推送--告警分析一一告警处理。告警推送系统可以收集CDS8统各节点的告警信息、文本文件格式的日志、NT事件日志、SNM净件、SNMPTrap消息、Syslog、WM事件，并且提供了基于SNMPSocket、WM等标准协议的采集接口，为用户提供了灵活的、可扩展的事件采集方式。通过这些接口用户可以采集自定义事件而不需要进行二次开发。告警分析系统对采集到的事件数据提供了分析规则，规则主要分为两种：预定义规则、自定义规则。预定义规则是指和管理包一起发布的，已经定义好的规则，自定义规则是指在预定义规则不能满足用户分析过滤的需求时，所提供的接口，通过使用自定义规则用户可以定制自己的事件分析规则。事件分析规则主要由事件源、过滤条件、报警信息组成。告警处理系统根据事件过滤表达式对事件进行过滤后，生成统一的事件格式并保存在系统的数据库中。事件数据主要包括：事件范围、级别、事件数据、消息、编号、事件参数等字段。其中事件级别包括：成功、信息、警告、错误、认证成功、认证失败六个级别，事件参数用于保存用户自定义的字段，并且支持多个自定义属性，事件数据展示时将以统计报表形式展现。系统中的事件数据存储在报表数据库，运行时数据库中的事件数据供实时查看使用，报表数据库中的事件数据为历史数据供生长报表以及分析时使用。事件在处理过程中不进行事件压缩，而是只针对该事件产生的报警进行压缩和抑制。unMew4系统优势总述见版工存储特总我生g保7视M云存储特点4.1海量数据秒级检索，永无碎片CDS云存储系统可扩展至上百PB级，音视频数据量过亿条，但是依然能够具备高效、准确、快速的数据检索能力。1)一体化索引设计CDSS存储系统的索引管理遵循宇视一代云”数据块直存”的思路。所有与用户业务相关的索引信息统一由云存储系统的存储管理节点进行管理。视频云存储管理集群在对索引的一体化设计上将海量数据索引查找、筛选进行了全面的优化，大大的提高了查找速度。在规模不断扩大时性能几乎相同，均能做到毫秒级耗时。2）与平台的应用设计CDSS存储系统本着安防云存储系统的特有性，在视频、图片的某些专有信息上也进行了独特的设计。平台可以根据监控点位案件发生频率，调整录像的存储时长；也可以与大数据、智能分析业务联动，满足平台的易用性。3）块级存储，永无文件碎片传统文件存储的数据存储过程是：数据-->文件系统-->卷-->RAID-->磁盘数据块整个过程中每份数据存储、读取都需要在单台存储设备上经过以上的流程，存在性能瓶颈也较多。安防行业中在设备层面还会更多的增加流媒体服务器这个环节。CDS云存储通过SANft群的设计，通过解决lun资源共享问题，对数据存储过程进行了优化，通过优化存储过程减少瓶颈、提高存储效率，优化后的数据存储过程是：视频/图片-->Raid—>磁盘数据块整个存储流程简化，速率更快，对数据块的地址控制则由视频云存储管理服务器唯一进行控制。海量i小/大文件1CDS;无辟片、、、一，，■存统一管理，弹性伸缩CD&存储系统具有高效灵活的空间管理能力。为了突破传统存储在存储容量和系统性能上的矛盾，在管理大容量空间时通过SANB群的设计将系统的管理资源进行整合，并根据负载均衡算法提供全高效并发处理机制，大大地提高了系统的整体性能。1）存储资源的虚拟化CDS系统将全域各存储节点的资源进行虚拟化，向用户呈现出一个持续的、超大的数据资源池，将其称之为存储资源池。存储资源池的整合过程完全透明，由系统算法自行完成，将用户从繁琐的空间管理和配置中解脱出来，提高了管理效率。2）存储资源的在线扩展当存储资源无法满足用户的容量需求，需要进行存储资源的扩展时，CDSzJ存储系统能为用户提供十分便易的操作。只需要在集群内添加新增存储设备的IP地址，系统会自动辨别新增设备，对新增设备进行虚拟化整合，这样新增设备的容量就能融入集群，并作为集群内全部存储资源的一部分为用户所用；同时，在整个存储