媒体存储技术-8网络存储技术现状与发展

1、网络存储技术现状与发展中国传媒大学研究生硕士课程数字媒体存储技术朱立谷朱立谷手 机 ： 1 8 6 0 1 1 3 7 4 2 8Email:资源和课件下载资源和课件下载1.电子书 2013年硕士研究生.rarhttp:/163.fm/WfFrpMs 提取码：Iimzvr3E2.课件网络存储技术现状与发展.pptxhttp:/163.fm/Y3MVGwy 提取码：u34R9dkI内 容 网络存储的新技术方法02 云存储服务03网络存储的技术现状01 网络存储的发展方向04存储面临的问题存储面临的问题?业务需业务需求求更多的数据更多的数据!烦恼的烦恼的IT 经理人经理人 数据量总在不断的数据量总

2、在不断的增长增长CEO/CFO“减少费用减少费用!企业面临企业面临的挑战的挑战数字宇宙数字宇宙2010年全球信息突破了年全球信息突破了ZB大关。大关。每两年翻一番。每两年翻一番。2011年世界将创建一个惊人的年世界将创建一个惊人的1.8 zettabytes。信息量继续以惊人的速度增长。信息量继续以惊人的速度增长。这样的增长和这样的增长和“大数据大数据”正在改正在改变企业和社会的各个方面。变企业和社会的各个方面。到到2020年，数字宇宙将会膨胀到年，数字宇宙将会膨胀到40000EB，或，或40万亿万亿GB(也就是说每也就是说每个人可以均摊到个人可以均摊到5200GB以上以上)。到到2020年，

3、数字宇宙中约三分之一的数据年，数字宇宙中约三分之一的数据(超过超过13000EB)将具有大数将具有大数据价值，但只有当其据价值，但只有当其被标签被标签、被分析被分析时这种价值才会显现。时这种价值才会显现。20102010年年报告报告 2012 2012年报告年报告网络存储的发展网络存储的发展1986SCSI1986SCSI协议协议1997FC1997FC协议协议Direct-AttachedStorage (DAS)SCSIinitATAUFSEXT2NTFSand/orBlock / Cache / RAIDNetwork-AttachedStorage (NAS) IP Storage(I

4、P SAN)FC Storage AreaNetwork (SAN)NFSclEthernetEthernetCIFSNFSserCIFSTCP/IPTCP/IPSCSIinitATAUFSEXT2NTFSand/orBlock / Cache / RAIDIP NetworkSCSIinitFCand/orBlock / Cache / RAIDEXT2FC-4FC-1,2FC-0FC-3FC-0FC-1,2FC-3FC-4UFSEXT2NTFSBlockFabric2003iSCSI2003iSCSI协议协议1989NFS1989NFS协议协议EthernetATATCP/IPiSCSIE

5、thernetSCSIinitFC RAIDTCP/IPiSCSIand/oriSCSIUFSEXT2NTFSEthernetTCP/IPBlockEthernet RAIDTCP/IPiSCSIIP Network光纤通道光纤通道的优势的优势网络网络通道通道/ /总线总线扩展有限扩展有限距离短距离短管理有限管理有限脆弱脆弱非块数据传输非块数据传输错误检测能力错误检测能力差差光纤通道光纤通道 高速度高速度 低延迟低延迟 数据一致性数据一致性 大数据传输大数据传输 超强错误检测超强错误检测 路由路由 巨大连接能力巨大连接能力 长距离长距离 可管理可管理兼有网络和总线的优势兼有网络和总线的优势网络

6、存储的优势网络存储的优势 存储大整合存储大整合SAN ROI 主机大整合主机大整合VIRTUALIZATION ROIDirect AttachedStorageStorage AreaNetworkDASSANCost per megabyte of user data, based on a 3-Year total cost of ownership“Virtualization will save us $60M in OpEx and CapEx through 2010.” A large VMware enterprise customer$ cost per megabyte

7、of user data90% run in production 43% are standardizing on VMware 66% are using VM management products $0.84$0.38Channels IPFileBlockNASDistanceSharing FC SANPerformance ControlMPFSPerformanceSharingIP SANDistanceControlMPFS = Multi-path file system网络存储架构网络存储架构SANSAN的优劣势的优劣势 SAN的优点的优点 能接受任何数据容量能接受任何

8、数据容量(大型，中型，小型大型，中型，小型) IO带宽的不断提升带宽的不断提升(1G, 2G, 4G, 8G) 稳定的存储解决方案稳定的存储解决方案 广泛的应用广泛的应用 SAN的困扰的困扰 固态容量增大固态容量增大, 性能没有提升性能没有提升 (垂直扩展模式垂直扩展模式,有限有限扩展能力扩展能力)带宽增加带宽增加, 但但IOPS没有相对的没有相对的增加增加 (固态固态性能表现性能表现)容错和负载均要通过复杂复杂管理一切仍然以一切仍然以硬性硬性磁盘结构为中磁盘结构为中心心 (主机绝对控制权主机绝对控制权, 存储为存储为随从随从, 静态静态配置配置)存储体系架构的融合存储体系架构的融合应 用23

9、4101存储体系架构的融合存储体系架构的融合应用主机通过应用主机通过IP SAN访问存储资源访问存储资源应用主机通过应用主机通过CIFS或或NFS访问访问NAS共享资源共享资源NAS和和SAN资源共用同一存储池资源共用同一存储池l 通过IP SAN供给SAN资源，通过CIFS和NFS共享NAS资源l 最大限度利用存储资源，在同一存储池中同时分配SAN 和 NAS 资源l 为SAN和NAS同时提供存储服务 镜像、快照、复制、时间标记及动态容量申请等存储功能l 统一的硬件和软件的管理SAN 访问访问NAS 访问访问SAN网络网络统一存储系统：SAN和NAS的融合l SAN 和 NAS的融合解决方案

10、存储体系架构的融合存储体系架构的融合Data Center EthernetIP Connectivity FCUltra 320 SCSIIP SANl IP SAN 和 FC SAN 融合解决方案FC SANIP SANExtension 基础通用网络基础通用网络的发展的发展14IBM Token RingInitially (1985) ran at 4 Mbit/s, in 1989 introduced 16 Mbit/sFDDIThe primary ring offers up to 100 Mbit/s capacityEthernet10 Mbits/s100 Mbits/s

11、TCP/IPNovells IPX/SPXOSIDHCP, HTTP, VPN, IPSec, IPv6八零年代九零年代1,000 Mbits/s02应用网络的发展应用网络的发展存储应用网络基础通用网络服务器联系网络光纤通道 (1G, 2G, 4G, 8G)InfiniBandEthernet1G, 10G 未来的100GFCoE201020072001以Ethernet为统一网络目标网络存储的发展网络存储的发展 T11的的FCOE标准标准 FC与以太网 “混血”的FCoE 是答案吗?仍然依赖于FC协议构思(静态路径)仍然依赖于固定固定配置仍然是主从式主从式结结构技术SCSISCSI的架构的架

12、构Initiator的应用层封装好SCSI CDB后，调用SCSI传输协议接口Target的应用层收到SCSI CDB后，根据CDB内容进行相应处理，封装好SCSI 响应后，调用SCSI传输协议接口SCSI应用SCSI传输协议SCSI物理连接SCSI应用SCSI传输协议SCSI物理连接Initiator 设备Target 设备互连协议应用协议传输协议传输协议接口互连协议接口iSCSI正是SCSI传输协议的一种主从式架构主从式架构MPXMPX网络存储平台网络存储平台MPXMPX作为视频存储作为视频存储MPX可以打造功能强大的视频存储系列产品可以打造功能强大的视频存储系列产品MPX视频优化视频存储

13、MPX+视频管理软件(搜索)=存储设备视频服务器MPX+DVR=NVRMPX集群（SCALE OUT方式）=安防大数据综合处理平台MPX+视频分析处理安防大数据一体机内 容 网络存储的新技术方法02 云存储服务03网络存储的技术现状01 网络存储的发展方向04存储的价值观存储的价值观贯彻贯彻到底的到底的方便性方便性和和在在线性线性高高ROI/TCOROI/TCO业务持续性数据保护平台业务持续性数据保护平台超强的数据保护能力而不影响性能超强的数据保护能力而不影响性能容量容量高性能高性能, ,高带宽高带宽12容量虚拟化容量虚拟化（动态自动追加, 全掌控空间分配）云存储云存储（动态横向扩展, , 多

14、变一多变一基制）（存储大整合, 一变多一变多基制）（静态, 限制型追加/缩减空间分配）34网络存储的新方法网络存储的新方法技术层技术层技术要求技术要求技术方法技术方法数据层从静态的以设备为导向到动态的以应用和客户需求为导向自动数据迁移重复数据删除网络层真正线性的性能扩展，带宽永远不会成为架构瓶颈集群存储存储层系统可适应业务变化存储虚拟化自动精简配置存储虚拟化存储虚拟化 带外的体系结构 存储虚拟化策略定制 屏蔽存储设备异构性 异构存储设备多级多接口存储虚拟化 存储虚拟化接口的扩展研究内容自动精简配置自动精简配置系统架构研究多用户存储视图技术基于逻辑卷的存储容量动态分配策略研究空间分配和空间回收技

15、术研究基于RAID的存储空间扩容研究自动精简配置技术对所依附存储系统的性能影响研究内容动态分级存储动态分级存储 分级存储技术 数据迁移技术 数据管理策略技术研究内容 多粒度迁移 多环境分级 高速迁移 动态调控和可恢复能力关键技术重复数据删除重复数据删除 相同数据检测算法 相似数据检测算法 删除技术可靠性、性能 分布式重复数据删除研究内容 高去重率 分级重复数据删除技术 加快相同数据检测关键技术低能耗存储设备研制低能耗存储设备研制2011年国家支撑计划项目（编号：年国家支撑计划项目（编号：2011BAH04B05）通过对数据存储和管理技术的研究，降低存储系统的能耗成本和运营成本。相关的技术包括S

16、SD与传统存储混合使用，动态电源管理技术，智能数据管理技术等，通过在本课题研制的产品中应用这些技术，达到比传统存储系统节能30%的效果。 (a) 研究SSD固态硬盘与传统存储设备结合技术（自动数据迁移自动数据迁移）(b) 研究智能数据管理技术和各种提供存储利用率的技术（重复数据删重复数据删除、存储虚拟化、自动精简配置除、存储虚拟化、自动精简配置） 存储虚拟化、自动精简配置、自动数据迁移、存储虚拟化、自动精简配置、自动数据迁移、重复数据删除是云存储的技术基础。重复数据删除是云存储的技术基础。IBM Smart Storage Cloud内 容 云存储服务03 网络存储的新技术方法02网络存储的技

17、术现状01 网络存储的发展方向04从传统存储到云存储从传统存储到云存储技术革新不断降低存储成本，最新的技术革新不断降低存储成本，最新的“云存储云存储”更是如此更是如此传统存储方案使用昂贵的专业设备搭建基于光纤的存储网络传统存储方案使用昂贵的专业设备搭建基于光纤的存储网络基于基于IPIP的存储网络，通过以太网互联，既改善兼容性又降低初始成本，主导此技的存储网络，通过以太网互联，既改善兼容性又降低初始成本，主导此技术的几家创新公司已成功上市术的几家创新公司已成功上市最新的云储存技术使用普通服务器即可构建直连式存储，初始和运营存储成本都最新的云储存技术使用普通服务器即可构建直连式存储，初始和运营存储

18、成本都大大降低了大大降低了 传统传统“巨头巨头” 专业存储方案专业存储方案 价格昂贵，光纤解价格昂贵，光纤解决方案为主（决方案为主（FC-FC-SANSAN） 专业存储方案专业存储方案 基于基于IPIP的解决方案的解决方案（IP-SANIP-SAN，NAS)NAS) “新新”公司公司 使用普通使用普通服务器服务器 用用”云云“达到达到NASNAS的效果的效果存储成本由高到低存储成本由高到低三层结构和三种服务三层结构和三种服务标准化Web服务Web浏览器云存储的层次结构云存储的层次结构服务器、存储设备、网络设备集群容错、负载均衡认证、计费、租约、管理存储空间等资源服务或虚拟主机服务云数据库、超大

19、表等引擎平台API及在线订制开发工具在线应用Web浏览器云存储的基本单元云存储的基本单元采用通用硬件采用通用硬件Typically in 2 level architecture Nodes are commodity PCs 30-40 nodes/rack Uplink from rack is 3-4 gigabit Rack-internal is 1 gigabit多层次动态结构多层次动态结构WindowsLinuxAIXBSDXENUnixWareSolarisHP-UXVMwareNovell各类系统平台各类互联接口处理能力扩展存储容量扩展多种介质整合云存储的特性优势云存储的特性

20、优势极强扩展能力 最大节点数百万级 最大系统容量ZB级 最大IO带宽万GB高度灵活性 保持存储容量单独扩展处理单元 保持处理单元单独扩展磁盘空间 InfiniBand / 10GbE / 8Gb FC多种主机链接 SSD / FC / SAS / SATA多种磁盘介质彻底实现全冗余 处理单元及存储单元均无单点故障 任一单元失效时即刻重定向冗余资源 无磁盘重建过程，避免隐含故障点 冗余机制不要求磁盘容量或类型相同，不同采购周期设备可混用云存储服务云存储服务云存储的核心特征云存储的核心特征通过网络获得：云特征的模式易获得：随时随地随方式永不丢失：一辈的资产集体共享和下载影视作品 免费软件学习资料

21、歌曲 云存储服务个人资料的网络备份异地异时分享网络存储服务FTPFTP云存储服务平台云存储服务平台云存储的核心特征云存储的核心特征通过网络获得：云特征的模式易获得：随时随地随方式永不丢失：一辈的资产安全：隐私保护集体共享和下载影视作品 免费软件学习资料 歌曲 现有云存储个人资料的网络备份异地异时分享现有网络存储服务FTPFTP我们的云存储系统我们的云存储系统云存储服务平台云存储服务平台实现文件数据的复制备份、在线存储和共享，提供本地和互联网的统一文件管理视图为全部用户提供为全部用户提供共享存储服务共享存储服务为团队用户为团队用户提供提供共享存储服务共享存储服务为个人用户提供为个人用户提供共享存

22、储服务共享存储服务统一视图统一视图本地资源与互联网资源统一文件管理，本地资源与互联网资源统一文件管理，多机、多设备文件同步复制多机、多设备文件同步复制数据传输数据传输多文件传输、大文件传输（断点续多文件传输、大文件传输（断点续传）、分片加密传输传）、分片加密传输资源发布资源发布资源发布、标签添加、图片预览、对资源发布、标签添加、图片预览、对整个在线存储空间的文件搜索整个在线存储空间的文件搜索云存储服务平台云存储服务平台产品定位：企业私有云存储系统产品定位：企业私有云存储系统（如跨国公司和总部、分公司多地办公的情况）（如跨国公司和总部、分公司多地办公的情况）网络存储架构网络存储架构块块文文件件块

23、块对对象象IP记记录录FC、IB多路径多路径自动精简配置自动精简配置重复数据删除重复数据删除存储虚拟化存储虚拟化自动数据迁移自动数据迁移数据库数据库OSDSANNAS网络类型网络类型访访问问方方式式云云存存储储融合网络融合网络内 容 云存储服务03 网络存储的新技术方法02网络存储的技术现状01 网络存储的发展方向04网络存储新的理论工具大规模网络存储新的理论工具大规模网络存储新的理论工具 网络存储实际是：存储（时）网络（空）网络存储实际是：存储（时）网络（空） 用时空二维理论将会获得新的结果用时空二维理论将会获得新的结果 例例1 1：数据迁移，存储纠错一遍，传输又：数据迁移，存储纠错一遍，传

24、输又来一遍，时空统一考虑，就可能只来一遍来一遍，时空统一考虑，就可能只来一遍 例例2 2：连续数据保护，恢复时空点：连续数据保护，恢复时空点 通 讯 ： 信 息 跨 越 空 间 的 传 递通 讯 ： 信 息 跨 越 空 间 的 传 递存 储 ： 信 息 跨 越 时 间 的 传 递存 储 ： 信 息 跨 越 时 间 的 传 递“数字宇宙数字宇宙”研究研究“数字宇宙数字宇宙”研究研究到2020年，数字宇宙将会膨胀到40万亿GB(人均5200GB)。数字宇宙中约三分之一的数据将具有大数据价值，但只有当其被标签、被分析时这种价值才会显现。重要结论重要结论：1)信息量以惊人的速度增长和信息量以惊人的速度

25、增长和大数据大数据对社会产生巨大影响对社会产生巨大影响 2)大数据大数据价值只有当其价值只有当其被分析被分析时才会显现时才会显现数字宇宙，IDC、 EMC 2012年12月大数据的产生大数据的产生如果互联网仅有通讯，产生不了大数据（一过性的信息，产生后消逝了）；如果仅有存储，没有互联网，信息孤岛也产生不了大数据。大量的人，大量的信息终端，大量的摄像头，条形码，RFID, 产生大量的数据，经过互联网传输，然后保存下去，就形成大数据。大数据的价值时空痕迹大数据是巨量信息源时空传递的结果时空痕迹：以武汉破获银行爆炸案为例 典型的大数据（25万摄像头，12PB容量），罪犯留下了时空痕迹 在信息充分发达时代，商业活动、日常生活、几乎一切事件都会在大数据中留下时空痕迹，对这些时空痕迹的发掘，就会形成宝贵的财富（某孕妇的例子）存储科学的研究新方向（一）大数据的信息挖掘与分析如何从海量的视频提取有价值的信息将是重要课题之一 “平安城市”应用是视频监控领域规模最大、业务最复杂的系统，其视频接入规模从几千甚至到几十万都有，它涉及到了治安监控、指挥通信、侦查破案、规范执法、社会