网络存储技术发展综述09

1、l信息存储的定义信息存储的定义l数字信息学的科学基础数字信息学的科学基础l容量问题容量问题l高可用性问题高可用性问题l性能问题性能问题l管理复杂性问题管理复杂性问题l 生命周期问题生命周期问题 处理处理 传输传输 存储存储l处理：对信息进行变化和加工处理：对信息进行变化和加工l传输：信息跨越空间的传播传输：信息跨越空间的传播l存储：信息跨越时间的传播存储：信息跨越时间的传播 存储是信息技术的三大基石之一存储是信息技术的三大基石之一 （被我国忽略的领域）（被我国忽略的领域）l处理：产生知识处理：产生知识l通讯：传播知识通讯：传播知识l存储：积累知识存储：积累知识 处理：大脑处理：大脑 通讯：语言

2、，手势、表情通讯：语言，手势、表情 存储：大脑存储：大脑通过技术的发明来克服自然状态的局限与通过技术的发明来克服自然状态的局限与不足不足大自然赋予人类大脑极其优秀的处理能力，而大自然赋予人类大脑极其优秀的处理能力，而通讯和存储能力不足通讯和存储能力不足在电脑发明前，几乎所有的信息工具发明都集在电脑发明前，几乎所有的信息工具发明都集中在通讯和存储中在通讯和存储: :通讯：通讯：烽火台、旗语、鼓语、邮递、交通、电报、电话、无线电、电视、Internet存储存储：结绳计数、文字、绘画、纸和印刷（非常伟大的发明，现代技术很多方面都没有超过它）、照相、录音、录像、数字存储处理处理：算筹、算盘、计算机l我

3、们处于人类历史上（数万年）信息技术（IT)的一个伟大的转折过程（大约需要100年）:各种信息技术都向数字化转移!(电的对比)l现在正处于变化最剧烈的拐点，一切都变化得这样快l我们对这个过程有没有足够的认识?l世纪之交的信息技术大转移：数字化大转移世纪之交的信息技术大转移：数字化大转移l时间：世纪之交前后时间：世纪之交前后5050年年l5050年前开始（以计算机发明为开端），年前开始（以计算机发明为开端），5050年后成年后成熟，信息领域数字技术一统天下熟，信息领域数字技术一统天下l目前正是转移的高峰期：目前正是转移的高峰期：l数字控制、数字录音、数据通讯（目前主干，即数字控制、数字录音、数据通

4、讯（目前主干，即将用户）、数字计算、数字电视、数字广播、数将用户）、数字计算、数字电视、数字广播、数字相机、数字摄像、数字城市、数字流域、数字字相机、数字摄像、数字城市、数字流域、数字地球地球 . . 数字化生存数字化生存l50年后，不是数字的信息产品很难见到（成熟年后，不是数字的信息产品很难见到（成熟)l“数字”是人类至今为止找到的最佳信息媒介！(终于找到了！）l可与各种信息形式进行转化可与各种信息形式进行转化（人能接受的信息：文字、声音、图形、（人能接受的信息：文字、声音、图形、图像、视频；触觉？嗅觉？味觉？图像、视频；触觉？嗅觉？味觉？ ；机；机器能接受的信息：电流、电压等）器能接受的信

5、息：电流、电压等）l可表达人的思想、办法、事物的规律可表达人的思想、办法、事物的规律 （程序的巨大能力）（程序的巨大能力）l可以单一的形式进行可以单一的形式进行处理、传输、存储处理、传输、存储，是唯一可以承担三种信息任务的媒介是唯一可以承担三种信息任务的媒介 信息技术统一于数字！结结 论论进入数字域讨论进入数字域讨论科学基础（力学：牛顿定律)(电学：麦克斯韦方程）(数字信息学：？）l希尔伯特问：希尔伯特问： 存不存在一个解决所有数学问题的一般算法？存不存在一个解决所有数学问题的一般算法？l图灵答道：有！图灵答道：有！l图灵理论的俗解：图灵理论的俗解：l如果不考虑时间，只要按某种规律对如果不考虑

6、时间，只要按某种规律对bitbit进行处理、传输、进行处理、传输、存储三种简单操作，就能在理论上解决任何数学计算问存储三种简单操作，就能在理论上解决任何数学计算问题！题！l图灵机模型主要是针对计算的，但存储和通讯隐含在其图灵机模型主要是针对计算的，但存储和通讯隐含在其中中l这个理论指明了这个理论指明了bitbit的强大功能，也包含了计算机的设计的强大功能，也包含了计算机的设计思想思想l在通讯和存储两个领域工作过的人都会发现，他们涉在通讯和存储两个领域工作过的人都会发现，他们涉及的问题竟然如此类似及的问题竟然如此类似l通讯的编码理论完全可以用于存储通讯的编码理论完全可以用于存储l通讯：信源编码，

7、信道编码通讯：信源编码，信道编码l存储：纠错编码，调制编码，存储：纠错编码，调制编码， 磁盘阵列的容错原理磁盘阵列的容错原理l加密理论、信息的压缩原理对通讯和存储是一样的加密理论、信息的压缩原理对通讯和存储是一样的l本质的道理：通讯和存储都是信息的传播，差别在于：本质的道理：通讯和存储都是信息的传播，差别在于：一个跨越空间，一个跨越时间一个跨越空间，一个跨越时间l原来信息论适用于信息的传播！在空间和时间原来信息论适用于信息的传播！在空间和时间上，他们遵从一样的原理！上，他们遵从一样的原理！l图灵机主要是针对计算的，但隐含了通图灵机主要是针对计算的，但隐含了通讯和存储讯和存储l信息论主要是针对通

8、讯和存储的，但隐信息论主要是针对通讯和存储的，但隐含了计算含了计算l处理、传输、存储在理论上是三位一体处理、传输、存储在理论上是三位一体的，缺一不可的，缺一不可l上述理论解决了数字信息学的全部？上述理论解决了数字信息学的全部？NO!l只要对只要对bitbit进行处理、传输、存储，就能进行处理、传输、存储，就能解决一切信息问题！解决一切信息问题！l只要处理和传输的速度足够快，存储的只要处理和传输的速度足够快，存储的容量足够大，一切信息问题都能解决！容量足够大，一切信息问题都能解决！（存在着这样的可能性）（存在着这样的可能性）l美国科学家Stephen Wolfram 2002年出版了一部科学巨著

9、:A New Kind of Science数学只能表达相对简单的科学规律，不能描述复杂现象：生物世界，湍流，社会，思维，经济，股票新科学的要点：宇宙的一切规律都可以由简单的程序经过反复计算而得到!可能揭示了前所未知的科学本质!有新的结果！数字的潜力还没有被充分认识!上述理论给予我们的终极信念上述理论给予我们的终极信念l对数字的操作能表达对数字的操作能表达一切信息规律和现象！一切信息规律和现象！l数字化的信息世界一定能实现！数字化的信息世界一定能实现！l第一步：现实域数字域l第二步：数字域三种简单的操作处理（计算），传输，存储l第三步：数字域现实域软硬件新论软硬件新论l硬件：对数字操作的机器系

10、统l不论多么复杂的硬件系统，基本原理极为简单l即:操作数字!l数字硬件：对数字进行处理、传输、和存储的硬件l转换硬件：将各种形式的信息转换为数字信息，或者将数字信息转换为各种形式的硬件（图像、声音、文字输入输出设备，目前重要的设备是显示器）l处理处理：CPU, DSP, ASIC, FPGA, Gatel传输传输：总线：总线(CPU内部、系统总线内部、系统总线, I/O总线总线), 网络（机器内部网，网络（机器内部网，LAN，WAN，INTERNET,无线网）无线网）l存储存储：RAM，ROM，FLASH，硬盘，光盘，硬盘，光盘，存储系统（存储系统（RAID，NAS，SAN）l硬件的核心技术：

11、集成电路技术l（可运行的）思想和内容的数字化（可运行的）思想和内容的数字化l思想：算法、规律、办法思想：算法、规律、办法-程序表达程序表达l内容：图形、图像、数据、声音、文字内容：图形、图像、数据、声音、文字等等l 归结为程序和数据归结为程序和数据l软件的核心软件的核心: 算法算法(一个好的算法可以代一个好的算法可以代替大量的硬件替大量的硬件: FFT, MPEG) l各种硬件在数字域都有相同或相似的内脏（只有三个部分：处理、传输、存储）-IT全息论l今后的各种信息工具和设备外部虽然千变万化，内部都是一样的（统一性）l软件是思想和内容的数字化，各个领域都有自己的软件，所以是各不相同的l创造越来

12、越快、越来越大、越来越可靠创造越来越快、越来越大、越来越可靠的硬件的硬件l利用硬件平台创造具有共性的软件利用硬件平台创造具有共性的软件( (操作操作系统，语言平台，工具软件，中间件，系统，语言平台，工具软件，中间件，办公软件），应用软件则应由各行各业办公软件），应用软件则应由各行各业的人自己去开发的人自己去开发当前硬件的发展规律当前硬件的发展规律l1 MooreMoore定律：微处理器内晶体管数每十八个月翻定律：微处理器内晶体管数每十八个月翻一番；一番；l2 2 Bell Bell定律：如果保持计算能力不变，微处理器的定律：如果保持计算能力不变，微处理器的价格每十八个月减少一半；价格每十八个月

13、减少一半；l3 3 Gilder Gilder定律：未来定律：未来2525年（年（19961996年与预言）里，主年与预言）里，主干网的带宽将每干网的带宽将每6 6个月增加一倍；个月增加一倍；l4 4 Metcalfe Metcalfe定律：网络价值同网络用户数的平方成定律：网络价值同网络用户数的平方成正比。正比。 5.5.半导体存储器发展规律：半导体存储器发展规律：DRAMDRAM的密度每年增加的密度每年增加60%60%，每三年翻四倍。，每三年翻四倍。l6 6。硬盘存储技术发展规律：硬盘的密度每年增加约一。硬盘存储技术发展规律：硬盘的密度每年增加约一倍倍l后PC时代计算机发展的特点：l1.

14、无所不在的含有l智能的小装置；l2. 支持服务的后台l服务器和巨型计算机l移动存储：移动存储：Flash, 微硬盘，微光盘微硬盘，微光盘l企业级海量存储企业级海量存储当一切信息都转换为数字，问题就产生了WirelessOnline VideoE-CommerceCustomer Mgmt.D A T AData AnalysisEnterpriseApplicationsClient/Server70s80s90s00s10sBasic Accounting数据信息爆炸式增长数据信息爆炸式增长 第一爆发点：单机多媒体第一爆发点：单机多媒体第二爆发点：第二爆发点：Internet 第三爆发点第三

15、爆发点:宽带宽带(目前）目前） 第四爆发点：第四爆发点： 空间影像和虚拟现实普遍应用空间影像和虚拟现实普遍应用 即使处理、传输能力固定不变，随着数据即使处理、传输能力固定不变，随着数据不断产生，存储能力也需要动态单调地不断产生，存储能力也需要动态单调地增加。（水泵、水管、水桶的比喻）增加。（水泵、水管、水桶的比喻） 处理和传输速度越高，容量的增加的梯处理和传输速度越高，容量的增加的梯度就越高，这就是存储系统的不断扩展度就越高，这就是存储系统的不断扩展特性。特性。结论：结论： 无限的容量需求和动态扩展需求无限的容量需求和动态扩展需求1. 减小减小bit位元尺度，提高密度位元尺度，提高密度 采用各

16、种物理原理和现象减小位元采用各种物理原理和现象减小位元 磁磁（翻转尺寸）、（翻转尺寸）、光光(光点大小）、光点大小）、电电（线宽）、（线宽）、生物生物、量子量子 密度：道密度、面密度、体密度密度：道密度、面密度、体密度2. 建立存储系统，用建立存储系统，用“砖头砖头”构造构造“大厦大厦”l硬盘硬盘是最重要的大容量存储设备，是最重要的大容量存储设备，50年年代由代由IBM发明以来密度增加了发明以来密度增加了1，000，000倍，到目前为止，还没有找到能与之倍，到目前为止，还没有找到能与之竞争的对手竞争的对手l最近的密度超过最近的密度超过100Gb/in2，主要技术：，主要技术：超低飞行磁头超低飞

17、行磁头10nm，加钌超稳定介质，加钌超稳定介质，PRML读通道，光磁混合纪录，垂直磁读通道，光磁混合纪录，垂直磁记录记录硬盘的进展硬盘的进展-密、快、小、廉密、快、小、廉l应用领域l移动计算l数码相机、数码摄像机 目前：目前：CD-ROM, DVD-ROM, DVD机机 DVD-RW(DVR) 最近要产品化的技术：向高密度进军最近要产品化的技术：向高密度进军 蓝光蓝光DVD, HD-DVD 多层多阶光存储多层多阶光存储 近场光存储近场光存储 全息光存储全息光存储 l正如无论多快的正如无论多快的单处理器无法满单处理器无法满足超级计算的要足超级计算的要求一样，求一样，无论多无论多大的单个硬盘也大的

18、单个硬盘也无法满足网络存无法满足网络存储和企业存储的储和企业存储的需要需要单处理器单处理器-多处理器多处理器-多计算机多计算机-网格网格硬盘硬盘- 阵列阵列-存储网存储网-数据网格数据网格由软件和硬件共同实现由软件和硬件共同实现磁盘阵列磁盘阵列（多个硬盘）（多个硬盘）容量、速度、可用性容量、速度、可用性l存储虚拟化软件（单一逻辑映像）l存储资源管理软件（容量、级别，性能）l存储备份、数据迁移软件l对很多领域，数据是比硬件设备宝贵得对很多领域，数据是比硬件设备宝贵得多的资源多的资源: : 银行、电信、保险、电子商务、网站、银行、电信、保险、电子商务、网站、企业信息企业信息l处理部件、传输部件损坏

19、：处理部件、传输部件损坏： 损失有限，损失有限， 更换可恢复更换可恢复l存储部件损坏：存储部件损坏： 数据丢失！巨大的损失！数据丢失！巨大的损失！建筑行业一定有安全系数，建筑行业一定有安全系数，80%80%的信息系统的信息系统没有安全系数！没有安全系数！l1. 数据不丢失（最起码的要求）l2.系统不停机（724服务的保障）l3.性能不下降（优质服务的保障）解决可用性问题的典型途径： 冗余 （双机，网络RAID) 备份 （磁带、光盘、硬盘）l具有耗散结构的存储具有耗散结构的存储系统系统l借鉴生物系统原理：借鉴生物系统原理：心脏之所以保证数十心脏之所以保证数十年的可用性，不是因年的可用性，不是因为

20、材料特别好，而是为材料特别好，而是因为新陈代谢因为新陈代谢lUCBUCB的的ISTOREISTOREDiskHalf-height canister共享处理机共享处理机 共享存储器里的数据共享存储器里的数据Make the common case fast!网站的存储网站的存储：几十万用户同时点击到一个站点：几十万用户同时点击到一个站点去获得海量存储系统中的信息。去获得海量存储系统中的信息。WWW: world wide web 变为变为world wide wait1.Cache 1.Cache 技术，技术，RAM-DISK, RAM-RAIDRAM-DISK, RAM-RAID RAID-

21、TAPE(HSM) RAID-TAPE(HSM)2.2.高速高速I/OI/O通道通道:SCSI(160-320), FC(1-2-4G):SCSI(160-320), FC(1-2-4G) SATA(150-300), IP(1-10G) SATA(150-300), IP(1-10G)3. 3. 聚合带宽（并行技术）：聚合带宽（并行技术）： 多主机多主机- -单存储，单主机单存储，单主机- -多存储多存储4. 4. 改变工作方式：基于磁盘的系统，随机小写改变工作方式：基于磁盘的系统，随机小写与连续大写性能差与连续大写性能差100100倍，变小写为大写倍，变小写为大写5.5.提高协议效率：提高

22、协议效率：FC vs iSCSIFC vs iSCSI6.6.采用就近原则采用就近原则7. PTP7. PTP对等存储原理对等存储原理8.8.第三方直接传输第三方直接传输l对现状的观察对现状的观察 （1 1）硬盘每年的容量和性能都在提高）硬盘每年的容量和性能都在提高 （2 2）现有的）现有的RAIDRAID系统，换了一个硬盘之后系统，换了一个硬盘之后整体性能没有提高整体性能没有提高 （3 3）越用性能越差）越用性能越差进化存储系统进化存储系统（1 1）物理进化）物理进化（2 2）数据分布进化）数据分布进化 l异构的存储系统异构的存储系统l规模越来越大规模越来越大l系统越来越难以管理，人为错误越

23、来越系统越来越难以管理，人为错误越来越多多l管理成本越来越高，管理成本超过设备管理成本越来越高，管理成本超过设备成本成本l原因原因：目前的存储设备都是被动的，对设备的：目前的存储设备都是被动的，对设备的管理都在上层进行，面对异构的多种存储设备管理都在上层进行，面对异构的多种存储设备和异构的互联网络，管理软件都要适应，造成和异构的互联网络，管理软件都要适应，造成复杂性日益增加复杂性日益增加l解决途径解决途径：基于对象的存储系统，主动存储：基于对象的存储系统，主动存储 CMUCMU提出提出OBD, SNIAOBD, SNIA提出标准提出标准 存储对象：包括数据和对数据的操作存储对象：包括数据和对数据的操作 管理下移，使存储设备包含更多的智能管理下移，使存储设备包含更多的智能 标准的对外接口和描述标准的对