媒体存储技术网络存储技术现状与发展

网络存储技术现状与发展中国传媒大学研究生硕士课程《数字媒体存储技术》朱立谷手机：资源和课件下载1.电子书2013年硕士研究生.rar

http://163.fm/WfFrpMs提取码：Iimzvr3E2.课件

网络存储技术现状与发展.pptx http://163.fm/Y3MVGwy提取码：u34R9dkI内容

网络存储的新技术方法02云存储服务03网络存储的技术现状01网络存储的发展方向04存储面临的问题?业务需求更多的数据!烦恼的

IT经理人数据量总在不断的增长CEO/CFO“减少费用!

企业面临的挑战数字宇宙2010年全球信息突破了ZB大关。每两年翻一番。2011年世界将创建一个惊人的1.8zettabytes。信息量继续以惊人的速度增长。这样的增长和“大数据”正在改变企业和社会的各个方面。到2020年，数字宇宙将会膨胀到40000EB，或40万亿GB(也就是说每个人可以均摊到5200GB以上)。到2020年，数字宇宙中约三分之一的数据(超过13000EB)将具有大数据价值，但只有当其被标签、被分析时这种价值才会显现。2010年报告2012年报告网络存储的发展1986—SCSI协议1997—FC协议Direct-Attached

Storage(DAS)SCSIinitATAUFSEXT2NTFSand

/orBlock/Cache/RAIDNetwork-Attached

Storage(NAS)

IPStorage(IPSAN)FCStorageArea

Network(SAN)NFSclEthernetEthernetCIFSNFSserCIFSTCP/IPTCP/IPSCSIinitATAUFSEXT2NTFSand

/orBlock/Cache/RAIDIPNetworkSCSIinitFCand

/orBlock/Cache/RAIDEXT2FC-4FC-1,2FC-0FC-3FC-0FC-1,2FC-3FC-4UFSEXT2NTFSBlockFabric2003—iSCSI协议1989—NFS协议EthernetATATCP/IPiSCSIEthernetSCSIinitFCRAIDTCP/IPiSCSIand

/oriSCSIUFSEXT2NTFSEthernetTCP/IPBlockEthernetRAIDTCP/IPiSCSIIPNetwork光纤通道的优势网络通道/总线扩展有限距离短管理有限脆弱非块数据传输错误检测能力差光纤通道高速度低延迟数据一致性大数据传输超强错误检测路由巨大连接能力长距离可管理兼有网络和总线的优势网络存储的优势存储大整合SANROI主机大整合VIRTUALIZATIONROIDirectAttachedStorageStorageAreaNetworkDASSANCostpermegabyteofuserdata,basedona3-Yeartotalcostofownership“Virtualizationwillsaveus$60MinOpExandCapExthrough2010.”AlargeVMwareenterprisecustomer$costpermegabyteofuserdata90%runinproduction43%arestandardizing

onVMware66%areusingVMmanagementproducts$0.84$0.38ChannelsIPFileBlockNASDistanceSharing

FCSANPerformanceControlMPFSPerformanceSharingIPSANDistanceControlMPFS=Multi-pathfilesystem网络存储架构SAN的优劣势SAN的优点

能接受任何数据容量

(大型，中型，小型)IO带宽的不断提升

(1G,2G,4G,8G)稳定的存储解决方案广泛的应用SAN的困扰固态容量增大,性能没有提升

(垂直扩展模式,有限扩展能力)带宽增加,但IOPS没有相对的增加(固态性能表现)容错和负载均要通过复杂管理一切仍然以硬性磁盘结构为中心(主机绝对控制权,存储为随从,静态配置)10典型的刚性系统当今SAN技术存储体系架架构的融合合应用用文件/纪录副系统数据块副系统主机级数据块聚合SAN级数据块聚合设备级数据块聚合磁盘阵列SAN2主机主机NAS头LAN3磁盘或磁盘阵列NAS服务器411.DAS直连2.SAN直连3.NAS头4.NAS服务器01存储体系架架构的融合合应用主机通过IPSAN访问存储资源应用主机通过CIFS或NFS访问NAS共享资源NAS和SAN资源共用同同一存储池池通过IPSAN供给SAN资源，通过CIFS和NFS共享NAS资源最大限度利利用存储资资源，在同一存存储池中同同时分配SAN和NAS资源为SAN和NAS同时提供存储服务镜像、快照照、复制、、时间标记记及动态容容量申请等等存储功能能统一的硬件件和软件的的管理SAN访问NAS访问SAN网络统一存储系系统：SAN和NAS的融合SAN和NAS的融合解决决方案存储体系架架构的融合合DataCenterEthernetIPConnectivity

FCUltra320SCSIIPSANIPSAN和FCSAN融合解决方方案FCSANIPSANExtension

基础通用网网络的发展14IBMTokenRingInitially(1985)ranat4Mbit/s,in1989introduced16Mbit/sFDDITheprimaryringoffersupto100Mbit/scapacityEthernet10Mbits/s100Mbits/sTCP/IPNovell’sIPX/SPXOSIDHCP,HTTP,VPN,IPSec,IPv6八零年代九零年代1,000Mbits/s02应用网络的的发展存储应用网网络基础通用网网络服务器联系系

网络光纤通道(1G,2G,4G,8G)InfiniBandEthernet1G,10G––未来的100GFCoE201020072001UnifiedFabric以Ethernet为统一网络目目标网络存储的的发展T11的FCOE标准FC与以太网网“混混血”的的FCoE是答案吗吗?仍然依赖赖于FC协议构思思(静态路径径)仍然依赖赖于固定配置仍然是主从式结构技术SCSI的架构Initiator的应用层层封装好好SCSICDB后，调用用SCSI传输协议议接口Target的应用层层收到SCSICDB后，根据据CDB内容进行行相应处处理，封封装好SCSI响应后，，调用SCSI传输协议议接口iSCSI正是SCSI传输协议议的一种种主从式架架构MPX网络存储储平台MPX作为视频频存储MPX可以打造造功能强强大的视视频存储储系列产产品MPX＋视频优优化＝视视频存储储MPX+视频管理理软件(搜索)=存储设备备＋视频频服务器器MPX+DVR=NVRMPX集群（SCALEOUT方式）=安防大数数据综合合处理平平台MPX+视频分析析处理＝＝安防大大数据一一体机内容容

网络存储的新技术方法02云存储服服务03网络存储储的技术术现状01网络存储储的发展展方向04存储的价价值观贯彻到底的方便性和在线性高ROI/TCO业务持续续性数据据保护平平台超强的数数据保护护能力而而不影响响性能容量高性能,高带宽宽12容量虚拟拟化（动态自自动追加加,全掌控空空间分配配）云存储（动态横横向扩展展,,多变一基制）（存储大大整合,一变多基制）（静态,限制型追追加/缩减空间间分配））34网络存储储的新方方法技术层技术要求技术方法数据层

从静态的以设备为导向到动态的以应用和客户需求为导向自动数据迁移重复数据删除网络层真正线性的性能扩展，带宽永远不会成为架构瓶颈集群存储存储层系统可适应业务变化存储虚拟化自动精简配置存储虚拟拟化研究内容带外的体系结构存储虚拟化策略定制屏蔽存储设备异构性异构存储设备多级多接口存储虚拟化存储虚拟化接口的扩展自动精简简配置系统架构研究多用户存储视图技术基于逻辑卷的存储容量动态分配策略研究空间分配和空间回收技术研究基于RAID的存储空间扩容研究自动精简配置技术对所依附存储系统的性能影响研究内容动态分级级存储研究内容分级存储技术数据迁移技术数据管理策略技术关键技术多粒度迁移多环境分级高速迁移动态调控和可恢复能力重复数据据删除研究内容相同数据检测算法相似数据检测算法删除技术可靠性、性能分布式重复数据删除关键技术高去重率分级重复数据删除技术加快相同数据检测低能耗存存储设备备研制2011年国家支支撑计划划项目（（编号：：2011BAH04B05）通过对数数据存储储和管理理技术的的研究，，降低存存储系统统的能耗耗成本和和运营成成本。相相关的技技术包括括SSD与传统存存储混合合使用，，动态电电源管理理技术，，智能数数据管理理技术等等，通过过在本课课题研制制的产品品中应用用这些技技术，达达到比传传统存储储系统节节能30%的效果。。研究SSD固态硬盘盘与传统统存储设设备结合合技术（（自动数据据迁移）研究智能能数据管管理技术术和各种种提供存存储利用用率的技技术（重复数据据删除、、存储虚虚拟化、、自动精精简配置置）存储虚拟拟化、自自动精简简配置、、自动数数据迁移移、重复复数据删删除是云云存储的的技术基基础。IBMSmartStorageCloud内容容云存储服务03网络存储储的新技技术方法法02网络存储的技术现状01网络存储储的发展展方向04从传统存存储到云云存储技术革新新不断降降低存储储成本，，最新的的“云存存储”更是如此此传统存储储方案使使用昂贵贵的专业业设备搭搭建基于于光纤的的存储网网络基于IP的存储网网络，通通过以太太网互联联，既改改善兼容容性又降降低初始始成本，，主导此此技术的的几家创创新公司司已成功功上市最新的云云储存技技术使用用普通服服务器即即可构建建直连式式存储，，初始和和运营存存储成本本都大大大降低了了传统“巨巨头”专业存储储方案价格昂贵贵，光纤纤解决方方案为主主（FC-SAN）专业存储储方案基于IP的解决方方案（IP-SAN，NAS)“新”公司使用普通服务器用”云“达到到NAS的效果存储成本由高高到低三层结构和三三种服务数据库引擎开发平台在线应用计算资源存储资源标准化Web服务Web浏览器SaaSPaaSIaaS/HaaS后台系统（黑盒）基础硬件设备备云存储的层次次结构服务器、存储储设备、网络络设备集群容错、负负载均衡认证、计费、、租约、管理理存储空间等资源服务或虚拟主主机服务云数据库、超大大表等引擎平台API及在线订制开开发工具在线应用Web浏览器云存储的基本本单元采用通用硬件件Typicallyin2levelarchitecture–NodesarecommodityPCs–30-40nodes/rack–Uplinkfromrackis3-4gigabit–Rack-internalis1gigabit多层次动态结结构WindowsLinuxAIXBSDXENUnixWareSolarisHP-UXVMwareNovell各类系统平台台各类互联接口口处理能力扩展展存储容量扩展展多种介质整合合云存储的特性性优势极强扩展能力最大节点数百万级最大系统容量ZB级最大IO带宽万GB高度灵活性保持存储容量单独扩展处理单元保持处理单元单独扩展磁盘空间InfiniBand/10GbE/8GbFC多种主机链接SSD/FC/SAS/SATA多种磁盘介质彻底实现全冗余处理单元及存储单元均无单点故障任一单元失效时即刻重定向冗余资源无磁盘重建过程，避免隐含故障点冗余机制不要求磁盘容量或类型相同，不同采购周期设备可混用云存储服务云存储的核心心特征通过网络获得得：云特征的的模式易获得：随时时随地随方式式永不丢失：一一辈的资产集体共享和下下载影视作品免免费软件学习资料歌歌曲……云存储服务个人资料的网网络备份异地异时分享享网络存储服务FTP云存储服务平平台云存储的核心心特征通过网络获得得：云特征的的模式易获得：随时时随地随方式式永不丢失：一一辈的资产安全：隐私保保护集体共享和下下载影视作品免免费软件学习资料歌歌曲……现有云存储个人资料的网网络备份异地异时分享享现有网络存储储服务FTP我们的云存储储系统云存储服务平平台实现文件数据据的复制备份、、在线存储和共享，，提供本地和互互联网的统一文件管理理视图为全部用户提提供共享存储服务务为团队用户提供共享存储服务务为个人用户提提供共享存储服务务统一视图本地资源与互互联网资源统统一文件管理理，多机、多多设备文件同同步复制数据传输多文件传输、、大文件传输输（断点续传传）、分片加加密传输资源发布资源发布、标标签添加、图图片预览、对对整个在线存存储空间的文文件搜索云存储服务平平台产品定位：企企业私有云存存储系统（如跨国公司司和总部、分分公司多地办办公的情况））网络存储架构构NEW块文件块对象IP记录FC、IB多路径自动精简配置置重复数据删除除存储虚拟化自动数据迁移移数据库OSDSANNAS网络类型访问方式云存储融合网络内容云存储服务03网络存储的新新技术方法02网络存储的技术现状01网络存储的发展方向04网络存储新的的理论工具大规模网络存存储新的理论论工具网络存储实际际是：存储（（时）＋网络络（空）用时空二维理理论将会获得得新的结果例1：数据迁移，，存储纠错一一遍，传输又又来一遍，时时空统一考虑虑，就可能只只来一遍例2：连续数据保保护，恢复时时空点通讯：信息跨跨越空间的传传递存储：信息跨跨越时间的传传递“数字宇宙””研究“数字宇宙””研究到2020年，数字宇宙宙将会膨胀到到40万亿GB(人均5200GB)。数字宇宙中约约三分之一的数据将具有有大数据价值，但只有当其其被标签、被分分析时这种价值才会会显现。重要结论：1)信息量以惊人人的速度增长长和大数据对社会产生巨巨大影响2)大数据价值只有当其其被分析时才会显现数字宇宙，IDC、EMC2012年12月大数据的产生生如果互联网仅仅有通讯，产产生不了大数数据（一过性性的信息，产产生后消逝了了）；如果仅仅有存储，没没有互联网，，信息孤岛也也产生不了大大数据。大量的人，大大量的信息终终端，大量的的摄像头，条条形码，RFID,……产生大量的数数据，经过互互联网传输，，然后保存下下去，就形成成大数据。大数据的价值值—时空痕迹大数据是巨量量信息源时空空传递的结果果时空痕迹：以以武汉破获银银行爆炸案为为例典型的大数据据（25万摄像头，12PB容量），罪犯犯留下了时空空痕迹在信息充分发发达时代，商商业活动、日日常生活、几几乎一切事件件都会在大数数据中留下时时空痕迹，对对这些时空痕痕迹的发掘，，就会形成宝宝贵的财富（（某孕妇的例例子）存储科学的研研究新方向（一）大数据据的信息挖掘掘与分析如何从海量的的视频提取有有价值的信息息将是重要课课题之一“平安城市””应用是视频频监控领域规规模最大、业业务最复杂的的系统，其视视频接入规模模从几千甚至至到几十万都都有，它涉及及到了治安监监控、指挥通通信、侦查破破案、规范执执法、社会服服务等多个分分区领域；““平安城市””视频监控采采集到的海量量数据只有进进行了智能、、高效处理才才更具价值。（二）超长期期存储信息的超长期期保存（50年以上甚至1000年）有真实的的需求不仅有载体体问题，还还有语义问问题中华文化是是少有的延延续文化，，2000年前的字现现在还认识识，原因是是语义保持持下来；埃埃及人不认认识古埃及及字，伊拉拉克人不认认识古巴比比伦的楔形形文字，语语义丢失，，载体还在在，信息却却丢失了。。存储理论突突破香农框框架Weaver的通信的三三个水平：：语法、语义义、语用香农的理论论只管信息息的语法结结构（只管管信息的形形式，不管管信息的意意义），只只管高效可可靠的将信信息形式传传递到接受受端*事物与表征征的映射关关系就是语语义利用语义就就可以进一一步提高信信息传输的的效率和可可靠性：例1、将汉字每每隔一个字字抽取擦除除，根据上上下文的意意义，可以以恢复数据据例2、一个眼神神传递大量量信息（一一对多的映映射）*信息对系统统产生的作作用，就是是语用一条微博，，一小时产产生了10万条转发，，这个现象象新浪可以以自动检测测，这是语语用信息，，有很广的的应用：如如舆情控制制数据恒久存存储原理及及其关键技技术在人类产生生的数据中中，有大量量数据需要要保存数十十年，还有有很多数据据需要永续续保存；随随着大数据据技术的兴兴起，数据据的超长期期和持久保保存具有更更重要的价价值。但现现有的数据据存储方式式没有考虑虑持久保存存的问题，，无法确保保在长时间间之后数据据能够被存存取和正确确的理解。。数据的超长长期保存需需要解决两两方面的科科学问题：：第一，研究究适于超长长期保存数数据的物理理介质。第二，要研研究数据及及其运行环环境的演化化规律和信信息理论层层次的问题题，保证数数据能够被被不断更新新的信息系系统所理解解。－－2014年基础研究究重大战略略需求方向向建议2022年年12月31日中国传媒大大学存储实实验室科技部存储储产业技术术创新战略略联盟成员员单位国家计算机机质量监督督检测中心心存储测评评联合实验验室(国家网络存存储测评中中心)朱立谷谢谢！9、静夜四四无邻，，荒居旧旧业贫。。。12月-2212月-22Saturday,December31,202210、雨中中黄叶叶树，，灯下下白头头人。。。05:53:5905:53:5905:5312/31/20225:53:59AM11、以我独沈沈久，愧君君相见频。。。12月-2205:53:5905:53Dec-2231-Dec-2212、故故人人江江海海别别，，几几度度隔隔山山川川。。。。05:53:5905:53:5905:53Saturday,December31,202213、乍见翻疑梦梦，相悲各问问年。。12月-2212月-2205:54:0005:54:00December31,202214、他乡乡生白白发，，旧国国见青青山。。。31十十二二月20225:54:00上上午05:54:0012月月-2215、比不了得得就不比，，得不到的的就不要。。。。十二月225:54上上午12月-2205:54December31,202216、行动出成成果，工作作出财富。。。2022/12/315:54:0005:54:0031December202217、做前，，能够环环视四周周；做时时，你只只能或者者最好沿沿着以脚脚为起点点的射线线向前。。。5:54:00上午午5:54上午午05:54:0012月-229、没有失败，，只有暂时停停止成功！。。12月-2212月-22Saturday,December31,202210、很多事情情努力了未未必有结果果，但是不不努力却什什么改变也也没有。。。05:54:0005:54:0005:5412/31/20225:54:00AM11、成成功功就就是是日日复复一一日日那那一一点点点点小小小小努努力力的的积积累累。。。。12月月-2205:54:0005:54Dec-2231-Dec-2212、世间间成事事，不不求其其绝对对圆满满，留留一份份不足足，可可得无无限完完美。。。05:54:0005:54:0005:54Saturday,December31,202213、不知知香积积寺，，数里里入云云峰。。。12月月-2212月月-2205:54:0005:54:00December31,202214、意志坚坚强的人人能把世世界放在在手中像像泥块一一样任意意揉捏。。31十十二月20225:54:00上午午05:54:0012月-2215、楚塞三湘接接，荆门九派派通。。。十二月225:54上上午12月-2205:54December31,202216、少