媒体存储技术-8网络存储技术现状与发展

网络存储技术现状与发展中国传媒大学研究生硕士课程《数字媒体存储技术》朱立谷手机mail:zhuligu@资源和课件下载1.电子书2013年硕士研究生.rar

http://163.fm/WfFrpMs提取码：Iimzvr3E2.课件

网络存储技术现状与发展.pptx http://163.fm/Y3MVGwy提取码：u34R9dkI内容

网络存储的新技术方法02云存储服务03网络存储的技术现状01网络存储的发展方向04存储面临的问题?业务需求更多的数据!烦恼的

IT经理人数据量总在不断的增长CEO/CFO“减少费用!

企业面临的挑战数字宇宙2010年全球信息突破了ZB大关。每两年翻一番。2011年世界将创建一个惊人的1.8zettabytes。信息量继续以惊人的速度增长。这样的增长和“大数据”正在改变企业和社会的各个方面。到2020年，数字宇宙将会膨胀到40000EB，或40万亿GB(也就是说每个人可以均摊到5200GB以上)。到2020年，数字宇宙中约三分之一的数据(超过13000EB)将具有大数据价值，但只有当其被标签、被分析时这种价值才会显现。2010年报告2012年报告网络存储的发展1986—SCSI协议1997—FC协议Direct-Attached

Storage(DAS)SCSIinitATAUFSEXT2NTFSand

/orBlock/Cache/RAIDNetwork-Attached

Storage(NAS)

IPStorage(IPSAN)FCStorageArea

Network(SAN)NFSclEthernetEthernetCIFSNFSserCIFSTCP/IPTCP/IPSCSIinitATAUFSEXT2NTFSand

/orBlock/Cache/RAIDIPNetworkSCSIinitFCand

/orBlock/Cache/RAIDEXT2FC-4FC-1,2FC-0FC-3FC-0FC-1,2FC-3FC-4UFSEXT2NTFSBlockFabric2003—iSCSI协议1989—NFS协议EthernetATATCP/IPiSCSIEthernetSCSIinitFCRAIDTCP/IPiSCSIand

/oriSCSIUFSEXT2NTFSEthernetTCP/IPBlockEthernetRAIDTCP/IPiSCSIIPNetwork光纤通道的优势网络通道/总线扩展有限距离短管理有限脆弱非块数据传输错误检测能力差光纤通道高速度低延迟数据一致性大数据传输超强错误检测路由巨大连接能力长距离可管理兼有网络和总线的优势网络存储的优势存储大整合SANROI主机大整合VIRTUALIZATIONROIDirectAttachedStorageStorageAreaNetworkDASSANCostpermegabyteofuserdata,basedona3-Yeartotalcostofownership“Virtualizationwillsaveus$60MinOpExandCapExthrough2010.”AlargeVMwareenterprisecustomer$costpermegabyteofuserdata90%runinproduction43%arestandardizing

onVMware66%areusingVMmanagementproducts$0.84$0.38ChannelsIPFileBlockNASDistanceSharing

FCSANPerformanceControlMPFSPerformanceSharingIPSANDistanceControlMPFS=Multi-pathfilesystem网络存储架构SAN的优劣势SAN的优点

能接受任何数据容量

(大型，中型，小型)IO带宽的不断提升

(1G,2G,4G,8G)稳定的存储解决方案广泛的应用SAN的困扰固态容量增大,性能没有提升

(垂直扩展模式,有限扩展能力)带宽增加,但IOPS没有相对的增加(固态性能表现)容错和负载均要通过复杂管理一切仍然以硬性磁盘结构为中心(主机绝对控制权,存储为随从,静态配置)10典型的刚性系统当今SAN技术存储体系架构的融合应用文件/纪录副系统数据块副系统主机级数据块聚合SAN级数据块聚合设备级数据块聚合磁盘阵列SAN2主机主机NAS头LAN3磁盘或磁盘阵列NAS服务器411.DAS直连2.SAN直连3.NAS头4.NAS服务器01存储体系架构的融合应用主机通过IPSAN访问存储资源应用主机通过CIFS或NFS访问NAS共享资源NAS和SAN资源共用同一存储池通过IPSAN供给SAN资源，通过CIFS和NFS共享NAS资源最大限度利用存储资源，在同一存储池中同时分配SAN和NAS资源为SAN和NAS同时提供存储服务镜像、快照、复制、时间标记及动态容量申请等存储功能统一的硬件和软件的管理SAN访问NAS访问SAN网络统一存储系统：SAN和NAS的融合SAN和NAS的融合解决方案存储体系架构的融合DataCenterEthernetIPConnectivity

FCUltra320SCSIIPSANIPSAN和FCSAN融合解决方案FCSANIPSANExtension

基础通用网络的发展14IBMTokenRingInitially(1985)ranat4Mbit/s,in1989introduced16Mbit/sFDDITheprimaryringoffersupto100Mbit/scapacityEthernet10Mbits/s100Mbits/sTCP/IPNovell’sIPX/SPXOSIDHCP,HTTP,VPN,IPSec,IPv6八零年代九零年代1,000Mbits/s02应用网络的发展存储应用

网络基础通用

网络服务器联系

网络光纤通道(1G,2G,4G,8G)InfiniBandEthernet1G,10G–未来的100GFCoE201020072001UnifiedFabric以Ethernet为统一网络目标网络存储的发展T11的FCOE标准FC与以太网“混血”的FCoE

是答案吗?仍然依赖于FC协议构思(静态路径)仍然依赖于固定配置仍然是主从式结构技术SCSI的架构Initiator的应用层封装好SCSICDB后，调用SCSI传输协议接口Target的应用层收到SCSICDB后，根据CDB内容进行相应处理，封装好SCSI响应后，调用SCSI传输协议接口iSCSI正是SCSI传输协议的一种主从式架构MPX网络存储平台MPX作为视频存储MPX可以打造功能强大的视频存储系列产品MPX＋视频优化＝视频存储MPX+视频管理软件(搜索)=存储设备＋视频服务器MPX+DVR=NVRMPX集群（SCALEOUT方式）=安防大数据综合处理平台MPX+视频分析处理＝安防大数据一体机内容

网络存储的新技术方法02云存储服务03网络存储的技术现状01网络存储的发展方向04存储的价值观贯彻到底的方便性和在线性高ROI/TCO业务持续性数据保护平台超强的数据保护能力而不影响性能容量高性能,高带宽12容量虚拟化（动态自动追加,全掌控空间分配）云存储（动态横向扩展,,多变一基制）（存储大整合,一变多基制）（静态,限制型追加/缩减空间分配）34网络存储的新方法技术层技术要求技术方法数据层

从静态的以设备为导向到动态的以应用和客户需求为导向自动数据迁移重复数据删除网络层真正线性的性能扩展，带宽永远不会成为架构瓶颈集群存储存储层系统可适应业务变化存储虚拟化自动精简配置存储虚拟化研究内容带外的体系结构存储虚拟化策略定制屏蔽存储设备异构性异构存储设备多级多接口存储虚拟化存储虚拟化接口的扩展自动精简配置系统架构研究多用户存储视图技术基于逻辑卷的存储容量动态分配策略研究空间分配和空间回收技术研究基于RAID的存储空间扩容研究自动精简配置技术对所依附存储系统的性能影响研究内容动态分级存储研究内容分级存储技术数据迁移技术数据管理策略技术关键技术多粒度迁移多环境分级高速迁移动态调控和可恢复能力重复数据删除研究内容相同数据检测算法相似数据检测算法删除技术可靠性、性能分布式重复数据删除关键技术高去重率分级重复数据删除技术加快相同数据检测低能耗存储设备研制2011年国家支撑计划项目（编号：2011BAH04B05）通过对数据存储和管理技术的研究，降低存储系统的能耗成本和运营成本。相关的技术包括SSD与传统存储混合使用，动态电源管理技术，智能数据管理技术等，通过在本课题研制的产品中应用这些技术，达到比传统存储系统节能30%的效果。研究SSD固态硬盘与传统存储设备结合技术（自动数据迁移）研究智能数据管理技术和各种提供存储利用率的技术（重复数据删除、存储虚拟化、自动精简配置）存储虚拟化、自动精简配置、自动数据迁移、重复数据删除是云存储的技术基础。

IBMSmartStorageCloud内容云存储服务03

网络存储的新技术方法02网络存储的技术现状01网络存储的发展方向04从传统存储到云存储技术革新不断降低存储成本，最新的“云存储”更是如此传统存储方案使用昂贵的专业设备搭建基于光纤的存储网络基于IP的存储网络，通过以太网互联，既改善兼容性又降低初始成本，主导此技术的几家创新公司已成功上市最新的云储存技术使用普通服务器即可构建直连式存储，初始和运营存储成本都大大降低了传统“巨头”专业存储方案价格昂贵，光纤解决方案为主（FC-SAN）专业存储方案基于IP的解决方案（IP-SAN，NAS)“新”公司使用普通服务器用”云“达到NAS的效果存储成本由高到低三层结构和三种服务数据库引擎开发平台在线应用计算资源存储资源标准化Web服务Web浏览器SaaSPaaSIaaS/HaaS后台系统（黑盒）基础硬件设备云存储的层次结构服务器、存储设备、网络设备集群容错、负载均衡认证、计费、租约、管理存储空间等资源服务或虚拟主机服务云数据库、超大表等引擎平台API及在线订制开发工具在线应用Web浏览器云存储的基本单元采用通用硬件Typicallyin2levelarchitecture–NodesarecommodityPCs–30-40nodes/rack–Uplinkfromrackis3-4gigabit–Rack-internalis1gigabit多层次动态结构WindowsLinuxAIXBSDXENUnixWareSolarisHP-UXVMwareNovell各类系统平台各类互联接口处理能力扩展存储容量扩展多种介质整合云存储的特性优势极强扩展能力最大节点数百万级最大系统容量ZB级最大IO带宽万GB高度灵活性保持存储容量单独扩展处理单元保持处理单元单独扩展磁盘空间InfiniBand/10GbE/8GbFC多种主机链接SSD/FC/SAS/SATA多种磁盘介质彻底实现全冗余处理单元及存储单元均无单点故障任一单元失效时即刻重定向冗余资源无磁盘重建过程，避免隐含故障点冗余机制不要求磁盘容量或类型相同，不同采购周期设备可混用云存储服务云存储的核心特征通过网络获得：云特征的模式易获得：随时随地随方式永不丢失：一辈的资产集体共享和下载影视作品免费软件学习资料歌曲……云存储服务个人资料的网络备份异地异时分享网络存储服务FTP云存储服务平台云存储的核心特征通过网络获得：云特征的模式易获得：随时随地随方式永不丢失：一辈的资产安全：隐私保护集体共享和下载影视作品免费软件学习资料歌曲……现有云存储个人资料的网络备份异地异时分享现有网络存储服务FTP我们的云存储系统云存储服务平台实现文件数据的复制备份、在线存储和共享，提供本地和互联网的统一文件管理视图为全部用户提供共享存储服务为团队用户提供共享存储服务为个人用户提供共享存储服务统一视图本地资源与互联网资源统一文件管理，多机、多设备文件同步复制数据传输多文件传输、大文件传输（断点续传）、分片加密传输资源发布资源发布、标签添加、图片预览、对整个在线存储空间的文件搜索云存储服务平台产品定位：企业私有云存储系统（如跨国公司和总部、分公司多地办公的情况）网络存储架构NEW块文件块对象IP记录FC、IB多路径自动精简配置重复数据删除存储虚拟化自动数据迁移数据库OSDSANNAS网络类型访问方式云存储融合网络内容云存储服务03

网络存储的新技术方法02网络存储的技术现状01网络存储的发展方向04网络存储新的理论工具大规模网络存储新的理论工具网络存储实际是：存储（时）＋网络（空）

用时空二维理论将会获得新的结果

例1：数据迁移，存储纠错一遍，传输又来一遍，时空统一考虑，就可能只来一遍

例2：连续数据保护，恢复时空点

通讯：信息跨越空间的传递存储：信息跨越时间的传递“数字宇宙”研究“数字宇宙”研究到2020年，数字宇宙将会膨胀到40万亿GB(人均5200GB)。数字宇宙中约三分之一的数据将具有大数据价值，但只有当其被标签、被分析时这种价值才会显现。重要结论：1)信息量以惊人的速度增长和大数据对社会产生巨大影响

2)大数据价值只有当其被分析时才会显现数字宇宙，IDC、EMC2012年12月大数据的产生如果互联网仅有通讯，产生不了大数据（一过性的信息，产生后消逝了）；如果仅有存储，没有互联网，信息孤岛也产生不了大数据。大量的人，大量的信息终端，大量的摄像头，条形码，RFID,…产生大量的数据，经过互联网传输，然后保存下去，就形成大数据。大数据的价值—时空痕迹大数据是巨量信息源时空传递的结果时空痕迹：以武汉破获银行爆炸案为例

典型的大数据（25万摄像头，12PB容量），罪犯留下了时空痕迹

在信息充分发达时代，商业活动、日常生活、几乎一切事件都会在大数据中留下时空痕迹，对这些时空痕迹的发掘，就会形成宝贵的财富（某孕妇的例子）存储科学的研究新方向（一）大数据的信息挖掘与分析如何从海量的视频提取有价值的信息将是重要课题之一

“平安城市”应用是视频监控领域规模最大、业务最复杂的系统，其视频接入规模从几千甚至到几十万都有，它涉及到了治安监控、指挥通信、侦查破案、规范执法、社会服务等多个分区领域；“平安城市”视频监控采集到的海量数据只有