云存储专项方案

11云存放系统1/11系统概述伴随视频监控系统规模越来越大，和高清视频大规模应用，对视频监控系统中需要存放数据和应用复杂程度在不停提升，且视频数据需要长时间连续地保留到存放系统中，并要求随时能够调用，对存放系统可靠性和性能等方面全部提出了新要求。在未来复杂系统中，数据将展现爆炸性海量增加，提供对海量数据快速存放及检索技术，显得尤为关键，存放系统正在成为视频监控技术未来发展决定性原因。面对几百TB,乃至PB级海量存放需求，传统SAN或NAS在容量和性能扩展上会存在瓶颈。而云存放能够突破这些性能瓶颈，而且能够实现性能和容量线性扩展，这对于追求高性能、高可用性企业用户来说是一个新选择。云存放是在云计算(cloudcomputing)概念上延伸和发展出来一个新概念，是指经过集群应用、网格技术或分布式文件系统等功效，应用存放虚拟化技术将网络中大量多种不一样类型存放设备经过应用软件集合起来协同工作，共同对外提供数据存放和业务访问功效一个系统。所以云存放能够认为是配置了大容量存放设备一个云计算系统。依据云存放功效特点，海康威视企业专门针对大容量视频数据存放和管理和满足视频监控领域特殊应用需求，量身设计了一套海康威视视频云存放监控系统。海康威视视频云存放系统能够同时应用于视频、图片混合存放，负担整个系统内视频/图片数据写入/读取工作。云存放系统首先采取了基于云架构分布式集群设计和虚拟化设计，在系统内部实现了多设备协同工作、性能和资源虚拟整合，最大程度利用了硬件资源和存放空间。其次，经过将云存放存放功效、管理功效进行打包，经过开放透明应用接口和简单易用管理界面，和上层应用平台整合后，为整个安防监控系统提供了高效、可靠数据存放服务。1.1.2系统架构1.121技术路线在视频云存放系统设计中，采取关键技术以下：1） 采取存放全域虚拟化技术对含有海量存放需求用户提供透明存放构架，可连续扩容避免瓶颈限制，能够更有效进行资源管理，灵活增减空间，达成最大程度上合理利用空间效果。2） 采取集群技术，处理单/多节点失效问题，并利用负载均衡技术充足利用各存放节点性能，提升系统可靠性和安全性。3） 采取离散存放技术，保障了用户高效读写同时确保了业务连续性。4） 采取统一完善接口，降低对接成本、平台维护成本和用户管理复杂度。5） 采取开放集成构架，使其可兼容业界各类iSCSI/FC存放设备，保护用户现有存放投资资源。6） 采取数据备份和容灾技术，确保云存放中数据不丢失，确保云存放服务安全稳定。1.122逻辑架构云存放系统采取分层结构设计,整个系统从逻辑上分为五层，分别为设备层、存放层、管理层、接口层、应用层。应用层彳亍业平台智陡平台运维平台接口层ffebServiced口・录像计划-存備瓷源API^LI•数据管理•资源管理赃加接口•设备监控•腰务竇理管理层索引営理应用层彳亍业平台智陡平台运维平台接口层ffebServiced口・录像计划-存備瓷源API^LI•数据管理•资源管理赃加接口•设备监控•腰务竇理管理层索引営理日志管理资源管理调度管理集群管理设备管理存储层视频疗储附届流存储流武数据结构设备层IP-SAN存储设备FC-SAN存储设备囹I云存放逻辑架构图1）设备层设备层是云存放最基础、最底层部分，该层由标准物理设备组成，支持标准IPSAN、FCSAN存放设备。在系统组成中，存放设备能够是SAN架构下FC光纤通道存放设备或iSCSI协议下IP存放设备。2）存放层在存放层上布署云存放流数据系统，经过调用云存放流数据系统，实现存放传输协议和标准存放设备之间逻辑卷或磁盘阵列映射，实现数据（视频、图片、隶属流）和设备层存放设备之间通信连接，完成数据高效写入、读取和调用等服务。3)管理层在管理层，融合了索引管理、计划管理、调度管理、资源管理、集群管理、设备管理等多个关键管理功效。能够实现存放设备逻辑虚拟化管理、多链路冗余管理、录像计划主动下发，和硬件设备状态监控和故障维护等；实现整个存放系统虚拟化统一管理，实现上层服务(视频录像、回放、查询、智能分析数据请求等)响应。4)接口层应用接口层是云存放最灵活多变部分，接口层面向用户应用提供完善和统一访问接口，接口类型可分为WebService接口、API接口、Mibs接口，能够依据实际业务类型，开发不一样应用服务接口，提供不一样应用服务。实现和行业专属平台、运维平台对接；实现和智能分析处理系统之间对接；实现视频数据存放、检索、回放、浏览转发等操作；实现关键视频数据远程容灾；实现设备和服务监控和运维等。5)应用层从逻辑上划分，除了应用层外，剩下四层全部属于通常云存放范围，不过在海康威视视频云存放系统中，为了和视频监控系统建设和应用愈加紧密结合，愈加符适用户业务需求，将应用层纳入了整个系统架构中，从根本上提升海康威视视频云存放系统针对性。可将行业视频监管平台、运维平台、智能分析平台等经过对应接口和云存放系统对接，实现和云存放系统之间数据和信令交互。行业视频监控平台可和云存放系统进行配置录像计划、配置存放策略、检索视频资源、关键录像备份存放等指令交互，辅助流数据、视频数据、图片数据存取。运维平台采取标准SNMP协议实现并提供Mibs接口，对云存放系统和服务进行监控管理，立即将产生告警传输给用户。将智能分析平台可和云存放系统进行对接，实现基础数据读取，和经过存放二次分析后片段信息，文本信息写入和检索。

物理组成视频云存放系统关键由管理节点和存放节点（物理存放设备）两部分组成。系统内部需要配置元数据信息由管理服务器统一管理，管理节点还需要负责集群内部负载均衡，失败替换等管理职能；视频云存放系统能够组建海量存放资源池，容量分配不受物理硬盘数量限制；而且存放容量可进行线性在线扩容，性能和容量扩展全部能够经过在线扩展完成。挥制觀盘疔业平台中亞普遇1片.胺第器混a类旅仔储系统储冇点存错节点弃储节点廿丫点 邛槁节点.++*!*■+■«册云存储LAN剛辭裔埔摄像机^>DVS挥制觀盘疔业平台中亞普遇1片.胺第器混a类旅仔储系统储冇点存错节点弃储节点廿丫点 邛槁节点.++*!*■+■«册云存储LAN剛辭裔埔摄像机^>DVS撮像机十l睜1bI禹清抓拍眾像肌视频类荊端图片类前端视频类荊端视频云存放管理节点（CVMN）：布署管理服务器，是视频云存放系统关键节点，作为云存放系统调度中心负责云存放系统资源管理、索引管理、计划管理、策略调度等。依据项目对存放容量需求、前端支撑数目、性能要求、可靠性要求存放管理节点能够根据两种方法布署：双机布署、集群布署。视频云存放节点（CVSN）：作为云存放系统业务具体实施者负责视频数据存放、读取、存放设备管理、存放空间管理等。1.1.3系统特点1） 高效灵活空间管理对存放资源进行虚拟化整合，提升用户管理效率；支持存放资源在线扩展，实现容量和性能线性增加；虚拟空间可灵活调整，不仅能扩大，一样能缩小。2） 海量数据快速检索采取一体化索引设计，大大提升了查找速度；深化视频、图片应用设计，支持I帧信息快速读取。3） 连续可靠数据服务提供7X二十四小时不间断高效可连续数据服务，充足保护数据安全和可靠性；采取全集群化设计，性能全方面提升，设备压力负载均衡，单/多点故障，录像业务不中止；数据存放采取离散存放算法，提供系统级高效、稳定存取服务。4） 高可扩展应用支撑系统高性能设计，能够并发服务以满足视频数据高速读取需求。采取流式数据结构，面向视频、图片数据而设计，满足视频数据连续写入；深入开发视频录像专业化应用设计，优化了应用服务质量。5） 开放透明兼容系统统一开放应用功效接口，由上层业务平台直接调用；采取是标准设备兼容模式，支持标准IPSAN、FCSAN存放设备接入。114系统功效视频云存放系统关键实现功效以下表所表示：功效项功效说明

系统功效集群化管理负责CVMN集群创建和维护工作。负责集群内各节点添加、删除、修改和运行状态监控工作。负责业务响应、处理集群内负载均衡工作，动态调配集群处理资源，提升系统运行效率和响应速度。维护集群运行高可靠性，单/多点故障时业务压力自动调整确保业务处理不中止。虚拟化管理将系统内存放节点内数据块经过虚拟化统一整合成为资源池，实现用户对资源池透明管理管理。资源池灵活划分录像池，经过录像池负载视频/图片数据存放工作。录像池灵活调整，支持录像池创建后扩大和缩小。离散存放管理对某路或多路数据流进行切片后根据内置离散算法自动分散到不一样存放设备数据块中进行存放。对某路或多路数据流进行切片后根据内置离散算法分散到指定部分存放设备数据块总进行存放。提供数据读取并发响应功效，提升系统数据吞吐量和响应效率。录像管理功效录像计划实施1、依据配置要求确定通道和存放地址，负责将视频流数据向录像池写入操作。存放应用功效视频录像根据用户制订计划保留前端设备米集录像数据，录像类型、录像头。支持补录，即断网等条件下，前端设备能够将当地保留数据补录到系统中。支持动态修改录像类型，即采集视频数据过程中能够按报警类型修改录像类型并即时保留到系统中。视频回放支持依据编码器名称以立即间段、录像类型对录像数据进行回放。支持依据编码器名称以立即间段对录像数据进行回放

时间定位。支持快放、慢放、倒序回放和手动停止回放。支持I帧回放