数据存储及解决方案ppt课件

1、华中科技大学信息存储系统华中科技大学信息存储系统武汉武汉 430074 430074 处置处置 传输传输 存储存储l处置：对信息进展变化和加工处置：对信息进展变化和加工l传输：信息跨越空间的传播传输：信息跨越空间的传播l存储：信息跨越时间的传播存储：信息跨越时间的传播l 存储是信息技术的三大基石之存储是信息技术的三大基石之一一l 被我国忽略的领域被我国忽略的领域l处置：产生知识处置：产生知识l通讯：传播知识通讯：传播知识l存储：积累知识存储：积累知识l l 科学根底力学：牛顿定律)(电学：麦克斯韦方程(数字信息学：？l希尔伯特问：希尔伯特问：l 存不存在一个处理一切数学问题的普通算法？存不存在

2、一个处理一切数学问题的普通算法？l图灵答道：有！图灵答道：有！l图灵实际的俗解：图灵实际的俗解：l假设不思索时间，只需按某种规律对假设不思索时间，只需按某种规律对bitbit进展处置、传输、进展处置、传输、存储三种简单操作，就能在实际上处理任何数学计算问存储三种简单操作，就能在实际上处理任何数学计算问题！题！l图灵机模型主要是针对计算的，但存储和通讯隐含在其图灵机模型主要是针对计算的，但存储和通讯隐含在其中中l这个实际指明了这个实际指明了bitbit的强大功能，也包含了计算机的设计的强大功能，也包含了计算机的设计思想思想l在通讯和存储两个领域任务过的人都会发现，他们涉在通讯和存储两个领域任务过

3、的人都会发现，他们涉及的问题竟然如此类似及的问题竟然如此类似l通讯的编码实际完全可以用于存储通讯的编码实际完全可以用于存储l通讯：信源编码，信道编码通讯：信源编码，信道编码l存储：纠错编码，调制编码，存储：纠错编码，调制编码， 磁盘阵列的容错原理磁盘阵列的容错原理l加密实际、信息的紧缩原理对通讯和存储是一样的加密实际、信息的紧缩原理对通讯和存储是一样的l本质的道理：通讯和存储都是信息的传播，差别在于：本质的道理：通讯和存储都是信息的传播，差别在于：一个跨越空间，一个跨越时间一个跨越空间，一个跨越时间l原来信息论适用于信息的传播！在空间和时间上，他原来信息论适用于信息的传播！在空间和时间上，他们

4、服从一样的原理！们服从一样的原理！l图灵机主要是针对计算的，但隐含了通图灵机主要是针对计算的，但隐含了通讯和存储讯和存储l信息论主要是针对通讯和存储的，但隐信息论主要是针对通讯和存储的，但隐含了计算含了计算l处置、传输、存储在实际上是三位一体处置、传输、存储在实际上是三位一体的，缺一不可的，缺一不可l上述实际处理了数字信息学的全部？上述实际处理了数字信息学的全部？NO!l1Moore定律：微处置器内晶体管数每十八个月翻一番；l2Bell定律：假设坚持计算才干不变，微处置器的价钱每十八个月减少一半；l3Gilder定律：未来25年2019年与预言里，主干网的带宽将每6个月添加一倍；l4Metca

5、lfe定律：网络价值同网络用户数的平方成正比。l5.半导体存储器开展规律：DRAM的密度每年添加60%，每三年翻四倍。l6。硬盘存储技术开展规律：硬盘的密度每年添加约一倍l后PC时代l计算机开展的特点：l1.无所不在的含有l智能的小安装；l2.支持效力的后台l效力器和巨型计算机l挪动存储：挪动存储：Flash, 微硬盘，微光盘微硬盘，微光盘l企业级海量存储企业级海量存储当一切信息都转换为数字，问题就产生了典型的存储容量需求挑战典型的存储容量需求挑战WirelessOnline VideoE-CommerceCustomer Mgmt.D A T AData AnalysisEnterprise

6、ApplicationsClient/Server70s80s90s00s10sBasic Accounting数据信息爆炸式增长数据信息爆炸式增长l半导体存储：RAM,ROM,FLASH的高速开展l目前硬盘存储：l100GBl2万转/分l实验室程度：l一道一GPCPC机的主流硬盘机的主流硬盘容量添加容量添加8,0008,000倍倍10MB100MB500MB4GB10GB80GB 第一迸发点：单机多媒体第一迸发点：单机多媒体第二迸发点：第二迸发点：Internet 第三迸发点第三迸发点:宽带宽带(目前目前 第四迸发点：第四迸发点： 空间影像和虚拟现实普遍运用空间影像和虚拟现实普遍运用 即使处

7、置、传输才干固定不变，随着数据即使处置、传输才干固定不变，随着数据不断产生，存储才干也需求动态单调地不断产生，存储才干也需求动态单调地添加。水泵、水管、水桶的比喻添加。水泵、水管、水桶的比喻 处置和传输速度越高，容量的添加的梯处置和传输速度越高，容量的添加的梯度就越高，这就是存储系统的不断扩展度就越高，这就是存储系统的不断扩展特性。特性。结论：结论： 无限的容量需求和动态扩展需求无限的容量需求和动态扩展需求1.减小bit位元尺度，提高密度采用各种物理原理和景象减小位元磁翻转尺寸、光(光点大小、电线宽、生物、量子密度：道密度、面密度、体密度2.建立存储系统，用“砖头构造“大厦l硬盘是最重要的大容

8、量存储设备，硬盘是最重要的大容量存储设备，50年年代由代由IBM发明以来密度添加了发明以来密度添加了1，000，000倍，到目前为止，还没有找到能与之倍，到目前为止，还没有找到能与之竞争的对手竞争的对手l最近的密度超越最近的密度超越100Gb/in2，主要技术：，主要技术：超低飞行磁头超低飞行磁头10nm，加钌超稳定介质，加钌超稳定介质，PRML读通道，光磁混合纪录，垂直磁读通道，光磁混合纪录，垂直磁记录记录硬盘的进展硬盘的进展-密、快、小、廉密、快、小、廉l1.用于效力器的硬盘：高容量、高速度l2.用于桌上机的硬盘：主流容量、速度、低价钱l3.用于笔记本电脑的硬盘：小体积、低功耗l4.用于手

9、持式设备的硬盘：l微硬盘Microdrive四类硬盘的规格目的四类硬盘的规格目的l运用领域l挪动计算l数码相机、数码摄像机l软盘：1.44MB顽强的生命力l高密度软盘：Zip100/200MB(IOMAG)lLS-120(兼容1.44)lHiFD-200(兼容1.44)l磁光盘MO：1.3GB/650MB/230MBlCD-R/W,DVD-RW,DVD-RAMl只读光盘：CD-ROM，DVD-ROMl各种规格lSmartMedialCompactFlashlMemoryStick(SONY)lPCMCIA接口lUSB接口-Easedisk、lNetech 目前：目前：CD-ROM, DVD-R

10、OM, DVD机机 DVD-RW(DVR) 最近要产品化的技术：向高密度进军最近要产品化的技术：向高密度进军 蓝光蓝光DVD, HD-DVD 多层多阶光存储多层多阶光存储 近场光存储近场光存储 全息光存储全息光存储 l半导体存储：RAM,ROM,FLASH的高速开展l目前硬盘存储：l100GBl2万转/分l实验室程度：l一道一GPCPC机的主流硬盘机的主流硬盘容量添加容量添加8,0008,000倍倍10MB100MB500MB4GB10GB80GBl正如无论多快的正如无论多快的单处置器无法满单处置器无法满足超级计算的要足超级计算的要求一样，无论多求一样，无论多大的单个硬盘也大的单个硬盘也无法满

11、足网络存无法满足网络存储和企业存储的储和企业存储的需求需求单处置器单处置器-多处置器多处置器-多计算机多计算机-网格网格硬盘硬盘- 阵列阵列-存储网存储网-数据网格数据网格由软件和硬件共同实现由软件和硬件共同实现磁盘阵列磁盘阵列多个硬盘多个硬盘容量、速度、可用性容量、速度、可用性l存储虚拟化软件单一逻辑映像l存储资源管理软件容量、级别，性能l存贮藏份、数据迁移软件l对很多领域，数据是比硬件设备珍贵得对很多领域，数据是比硬件设备珍贵得多的资源多的资源: :l 银行、电信、保险、电子商务、网站、银行、电信、保险、电子商务、网站、企业信息企业信息l处置部件、传输部件损坏：处置部件、传输部件损坏：l

12、损失有限，损失有限， 改换可恢复改换可恢复l存储部件损坏：存储部件损坏：l 数据丧失！宏大的损失！数据丧失！宏大的损失！l两个亲身阅历的例子：两个亲身阅历的例子：l 同济医院信息系统，广东石龙医院火同济医院信息系统，广东石龙医院火灾灾l建筑行业一定有平安系数，建筑行业一定有平安系数，80%80%的信息系的信息系统没有平安系数！统没有平安系数！l1. 数据不丧失最起码的要求l2.系统不停机724效力的保证l3.性能不下降优质效力的保证l处理可用性问题的典型途径：l 冗余 双机，网络RAID)l 备份 磁带、光盘、硬盘l具有耗散构造的存储系具有耗散构造的存储系统统l自创生物系统原理：心自创生物系统

13、原理：心脏之所以保证数十年的脏之所以保证数十年的可用性，不是由于资料可用性，不是由于资料特别好，而是由于新陈特别好，而是由于新陈代谢代谢lUCBUCB的的ISTOREISTOREl华中科技大学的进化存华中科技大学的进化存储系统储系统DiskHalf-height canister共享处置机共享处置机 共享存储器里的数据共享存储器里的数据Make the common case fast!网站的存储：几十万用户同时点击到一个站点网站的存储：几十万用户同时点击到一个站点去获得海量存储系统中的信息。去获得海量存储系统中的信息。WWW: world wide web 变为变为world wide wa

14、it1.Cache 1.Cache 技术，技术，RAM-DISK, RAM-RAIDRAM-DISK, RAM-RAID RAID-TAPE(HSM) RAID-TAPE(HSM)2.2.高速高速I/OI/O通道通道:SCSI(160-320), FC(1-2-4G):SCSI(160-320), FC(1-2-4G) SATA(150-300), IP(1-10G) SATA(150-300), IP(1-10G)3. 3. 聚合带宽并行技术：聚合带宽并行技术： 多主机多主机- -单存储，单主机单存储，单主机- -多存储多存储4. 4. 改动任务方式：基于磁盘的系统，随机小写改动任务方式：基

15、于磁盘的系统，随机小写与延续大写性能差与延续大写性能差100100倍，变小写为大写倍，变小写为大写5.5.提高协议效率：提高协议效率：FC vs iSCSIFC vs iSCSI6.6.采用就近原那么采用就近原那么7. PTP7. PTP对等存储原理对等存储原理8.8.第三方直接传输第三方直接传输l对现状的察看对现状的察看l 1 1硬盘每年的容量和性能都在硬盘每年的容量和性能都在提高提高l 2 2现有的现有的RAIDRAID系统，换了一个系统，换了一个硬盘之后整体性能没有提高硬盘之后整体性能没有提高l 3 3越用性能越差越用性能越差l l异构的存储系统异构的存储系统l规模越来越大规模越来越大l

16、系统越来越难以管理，人为错误越来越系统越来越难以管理，人为错误越来越多多l管理本钱越来越高，管理本钱超越设备管理本钱越来越高，管理本钱超越设备本钱本钱l缘由：目前的存储设备都是被动的，对设备的缘由：目前的存储设备都是被动的，对设备的管理都在上层进展，面对异构的多种存储设备管理都在上层进展，面对异构的多种存储设备和异构的互联网络，管理软件都要顺应，呵斥和异构的互联网络，管理软件都要顺应，呵斥复杂性日益添加复杂性日益添加l处理途径：基于对象的存储系统，自动存储处理途径：基于对象的存储系统，自动存储l CMUCMU提出提出OBD, SNIAOBD, SNIA提出规范提出规范l 存储对象：包括数据和对

17、数据的操作存储对象：包括数据和对数据的操作l 管理下移，使存储设备包含更多的智能管理下移，使存储设备包含更多的智能l 规范的对外接口和描画规范的对外接口和描画l 管理大为简化管理大为简化l一切都存下来，不是一个好的方法l无限扩展容量，本钱无谓添加l管理和保管无用的数据，是宏大的浪费l无用信息干扰当前信息存取的性能l处理途径：向大脑学习遗忘机制l重要的信息深层记忆，不重要的浅层记忆，无用的信息忘掉l处置、传输、存储是信息技术的三大基石处置、传输、存储是信息技术的三大基石l存储是信息跨越时间的传播存储是信息跨越时间的传播l只需对数字进展操作，就能处理一切信息问题只需对数字进展操作，就能处理一切信息问题l信息论是信息时空传播的共同实际根底信息论是信息时空传播的共同实际根底l硬件是数字操作机只需三种简单操作：处置、硬件是数字操作机只需三种简单操作：处置、存储、传输存储、传输l软件是思想和内容的数字化软件是思想和内容的数字化l 存储系统的根本问题有容量、可用性、性能、存储系统的根本问题有容量、可用性、性能、管理复杂性、数据生命周期等，它们都有各自管理复杂性、数据生命周期等，它们都有各自的处理