云存储培训版课件

1、安防监控迈入云存储时代,背景篇,行到水穷处，坐看云起时,安防监控迈入云存储时代,大数据时代的4V特征,大数据时代，对存储系统提供更高要求,大容量,高效率,高可用,大数据时代,现有存储系统面临的难题,以智慧城市的建设为例, 海量数据存储，如何统一管理和统一调度,数以万计的监控点，存储容量已经达到PB级别,在并发读写时，存储设备的性能瓶颈在控制器或处理能力上。为提升并发处理能力，必须不断的进行硬件升级。, 大容量并发读写，设备性能成为瓶颈,单台最大并发处理能力,升级CPU,升级内存, 设备故障须及时修复，维护成本激增,某块硬盘发生故障时，例如RAID，只允许设备中有一块硬盘失效。而RAID恢复时间

2、往往需要十几个小时，期间再坏盘，就无法恢复了。因此，需要立即更换或修复故障硬盘。,某台设备发生故障时，虽可以用负载均衡技术分担给其它设备，但需要立即更换或修复故障设备，否则存储于其中的数据无法读取。,故障,故障,容量达到“PB”级别，维护就成为最大的难题, 不同的应用系统间数据难以融合,各个应用系统，都建设独立的一套存储调度系统，可移植性和重复利用率较差。而且，不同的应用系统需要各种类型的存储系统，NAS、IPSAN或集群NAS，难以融合。,如何解决些难题？,海量数据存储，如何统一管理和统一调度, 大容量并发读写，设备性能成为瓶颈, 不同的应用系统间数据难以融合, 设备故障须及时修复，维护成本

3、激增,云存储应运而生,概念篇,只在此山中，云深不知处,什么叫做”云”？,云 Cloud,像是拧开水龙头取水，打开开关获取电一样便捷，用户也可以方便的使用“云”资源。,什么叫做”云”？,什么是云存储？,用户按需使用存储资源，无需关心存储设备在何处，如何构建。在视频监控领域，云存储作为基础资源，其“用户”为各类业务系统。,难题的解决之道,架构篇,有形不累物，无迹却随风,存储节点,存储节点,存储节点,存储节点,云存储的系统架构,云存储的系统架构，分为“控制节点”和“存储节点”两个部分。,注：元数据（metadata），包括文件目录组织、属性维护、访问控制信息、文件操作日志记录、文件到块的映射信息、块

4、当前所在的位置等。,云存储的工作流程,控制节点,控制节点,控制节点,存储节点,存储节点,存储节点,存储节点,网 络,业务系统,调度,备份,同步,云存储系统,3,4,1,2,1,2,3,4,业务系统向控制节点申请存储资源，控制节点回复调度信息,数据经由网络，到达存储节点进行分布式存储,控制节点与存储节点间同步调度与存储信息,控制节点间进行元数据同步备份,存储节点的数据进行复制或RAID备份,存储节点,存储节点,存储节点,海量存储，弹性伸缩,相比传统的存储设备，云存储可支持的存储节点数以千计，支持的容量达百PB级别，并可弹性伸缩，无缝扩展。,1,2,3,4,8,5,6,7,9,控制节点,控制节点,

5、控制节点,1,2,3,4,8,5,6,7,9,增加存储节点,，数据自动重组,减少存储节点,，数据自动恢复,6,4,7,传统的存储设备并发读写性能，受到NAS机头、CPU或控制器的能力限制，而云存储系统采用控制与数据分离的架构，脱离了单台设备的能力束缚，整个系统的性能主要受到网络吞吐能力的限制。,存储节点,存储节点,存储节点,数据流不经过控制节点,千兆交换网络,万兆交换网络,高并发读写性能，摆脱单台设备能力束缚,传统的存储设备并发读写性能，受到NAS机头、CPU或控制器的能力限制，而云存储系统采用控制与数据分离的架构，脱离了单台设备的能力束缚，整个系统的性能主要受到网络吞吐能力的限制。,高并发读

6、写性能，摆脱单台设备能力束缚,已经撑不住了,毫无压力,云存储系统的控制节点采用集群架构，单点发生故障时，可无缝切换，系统业务不会中断。,控制节点,工作节点,备份节点,备份节点,高可靠，系统业务不中断,云存储可为多个业务系统同时提供服务，内部架构对其透明，提供统一的访问入口，利于数据共享与融合。,控制节点,控制节点,控制节点,存储节点,存储节点,存储节点,存储节点,存储节点,业务系统1,业务系统2,业务系统3,业务系统4,统一访问入口，多用户并行访问,云存储的特点-高可用，由及时维护变为定期维护,云存储系统摆脱单台束缚，采用数据冗余存储机制，硬盘或存储节点损坏时，其余节点可自动重组，数据不丢失，

7、系统运行不受影响。,一个月后,云存储的特点-高可用，由及时维护变为定期维护,维护人员仅需定期检查受损硬盘或节点，更换或修复即可。,应用篇,多谢好风吹起后，化为甘雨济田苗,19英寸4U 机架式 支持16 盘位，支持热插拔，支持不同容量磁盘混插 单台设备既可作为控制节点，也可作为存储节点 控制节点支持三台以上集群部署，业务不受中断 存储节点支持双份、多份复制或RAID的方式，确保数据完整 支持数百PB级存储容量,科达云存储系统- KCloudStor,KCloudStor1000-48T 3T企业硬盘 2折售价 ￥80000 KCloudStor1000-S48T 3T监控硬盘 2折售价 ￥750

8、00,科达云存储系统- KCloudStor1000,部署模式与关键特性,控制节点与存储节点合一，工程部署时自由选择三台设备作为控制节点，在做为控制节点的同时，它也可以作为存储节点使用。,KCloudStor1000内置： 控制模块 手动启用 存储模块 手动启用,视频监控主平台,LAN,视频监控从平台,云存储,智慧城市对云存储的要求,KCloudStor在视频监控系统中的应用,视频监控平台,云存储,卡口平台,违章查询系统,KCloudStor在卡口和电警解决方案中的应用,卡口&电警解决方案对云存储的要求,LAN,每台卡口式电警一年的抓拍量约在300w张左右，对于存储系统来说，需要管理大量的小文

9、件。KCloudStor可以管理的文件数量达百亿级别，完全符合需求,图像侦查系统,视频监控平台,移动警务,KCloudStor在视频图像信息数据库中的应用,视频图像信息数据库对云存储的要求,LAN,云存储,图像资源库,实战应用系统,卡口平台,信息数据库库中的数据可由不同的业务系统并发写入和读取，云存储系统可提供统一访问空间，无需在各类业务系统间进行调度，极利于数据的融合与共享。,竞争篇,曾经沧海难为水，除却巫山不是云,存储系统的发展历程,首先，我们来回顾一下存储系统的发展历程,业务系统,操作系统,磁盘柜,优点：基于块存储，性能高，速度快 缺点：不易于用户访问和数据共享,FC或IP,磁盘柜,业务

10、系统,操作系统,磁盘柜,优点：基于文件存储，可多用户访问和共享 缺点：性能较低，不利于扩展,IP,DAS,SAN,NAS,“集群NAS”的诞生,集群NAS,“NAS”机头，可以集群，2-32台服务器不等。,利用“SAN”技术，采用数据“块”存储方式,为了同时满足快速存储与数据共享的需求，业内很多厂家集合了“SAN”“NAS”和“集群”概念的，推出了“集群NAS”。,“集群NAS”的局限性,业务系统,业务系统,业务系统,3,4,1,2,近年来，业内厂家利用“集群NAS”技术来打造“云存储”产品，但它真正是“云”么？,集群NAS,友商分析之海康,海康威视云存储系统是海康威视监控云平台和云存储系统的

11、结合，其系统设计之初就融合了海康威视视频监控技术优势和自研的流媒体存储技术特点。它采用了基于流媒体的文件管理结构和Hadoop分布式文件系统（HDFS），对于构建针对视频流应用的监控云存储系统具有天然的应用优势。 具体的应用场景为： l视频监控：平安城市项目或大中型企业厂区视频监控； l网络电视节目：海量扩展，用于存放网络IPTV内容的数据； l高性能分析：公安视频业务应用数据，要求大量可访问的命名空间作分析和非常高的性能计算；,IPSAN,CVR (网络直存）,云存储,基于流媒体的文件管理结构和Hadoop分布式文件系统,自主第二代流媒体直写技术,海康威视云存储系统是海康威视监控云平台和云存

12、储系统的结合，其系统设计之初就融合了海康威视视频监控技术优势和自研的流媒体存储技术特点。它采用了基于流媒体的文件管理结构和Hadoop分布式文件系统（HDFS），对于构建针对视频流应用的监控云存储系统具有天然的应用优势。,友商分析之海康,友商分析之海康,云存储管理 服务器,前端设备,存储设备集群,存储设备集群,LAN,产品形态管理与存储分离 管理节点（元数据节点）采用相互热备、负载均衡机制，同时工作。 强调自己是在开发一套符合视频监控特点（与时间强关联）的流式云存储文件系统。 云存储与云计算的基本数据单元应在格式、大小和标准上保持一致，减少云计算的系统消耗。 融合快速索引引擎，可实现图片和视频

13、I帧快速检索 应用开发接口，例如录像标签、I帧回放和图片缩放,海康的“云”产品,海康习惯于在架构和接口制定完善的基础上，搭积木一样，组合成符合市场需求的可独立使用的产品或整个系统解决方案。 海康的“云”，目前的产品为“云存储”与“视图库”，前者是分布式存储，后者是分布式检索。而上层监控平台和业务系统架构维持不变，可兼容各类“云”和“非云”的技术和产品。,分布式 数据库,视图库,监控平台,业务系统,普通存储,云存储,海康非常注重于实用功能。,友商分析之海康,具体的应用场景为： l视频监控：平安城市项目或大中型企业厂区视频监控； l网络电视节目：海量扩展，用于存放网络IPTV内容的数据； l高性能

14、分析：公安视频业务应用数据，要求大量可访问的命名空间作分析和非常高的性能计算； 宣传点为： 云存储产品作为独立的产品进行推进， 强调符合安防监控需求的，流式云存储文件系统， 竞争分析是与集群NAS作对比，强调其更适合安防监控需求。,友商分析之宇视,十分怀疑宇视是否有自己的独立的云存储产品，在任何可见的资料中，宇视均强调其“云”监控概念，弱化“云”存储概念。 近期推出的DM8500-E云存储管理服务器与原有的数据管理服务器无论是硬件规格还是产品型号均是相同的。这款DM8500-E和原来的数据管理服务器相比，新增的特性有： 1、由双机热备升级为多级备份 2、具有全局统一命名空间 3、超级多媒体块的

15、多备份 与原来的数据管理服务器相比，相同的特性有： 1、支持128个数据节点 2、业务功能集成，支持录放像相关的一系列功能的分配和管理功能，RTSP/ONVIF 3、存储接入要求iSCSI或NAS，需要存储设备端支持RAID5,两种可能： 集群NAS（数据经过DM8500-E） 基于原有的数据管理服务器做了统一命名空间的封装（数据不经过Dm8500-E）,宇视的“云”产品,宇视近年来的口号就为“云监控，易安防”，是业内最早提出云概念的厂家。宇视与海康的设计思路相反，强调的是“大数据” ，注重于“云监控”系统的整体交付。 宇视原来的系统架构忽悠的成分占多，今年展会上推出的第一个具有“云”特性的产品是其“云计算”产品。宇视的云计算产品硬件产品是2U的机箱设备，分为元服务器和计算节点进行集群。下图是宇视资