数据存储及解决方案课件

数据存储及解决方案华中科技大学信息存储系统武汉430074三种基本的信息操作处理传输存储基本定义处理：对信息进行变化和加工传输：信息跨越空间的传播存储：信息跨越时间的传播存储是信息技术的三大基石之一（被我国忽略的领域）对人类文明的重要性处理：产生知识通讯：传播知识存储：积累知识

数字信息学的科学基础（力学：牛顿定律)(电学：麦克斯韦方程）(数字信息学：？）第二层的理论：信息论

关于信息时空传播的理论在通讯和存储两个领域工作过的人都会发现，他们涉及的问题竟然如此类似通讯的编码理论完全可以用于存储通讯：信源编码，信道编码存储：纠错编码，调制编码，磁盘阵列的容错原理加密理论、信息的压缩原理对通讯和存储是一样的本质的道理：通讯和存储都是信息的传播，差别在于：一个跨越空间，一个跨越时间原来信息论适用于信息的传播！在空间和时间上，他们遵从一样的原理！三位一体的数字信息学理论图灵机主要是针对计算的，但隐含了通讯和存储信息论主要是针对通讯和存储的，但隐含了计算处理、传输、存储在理论上是三位一体的，缺一不可上述理论解决了数字信息学的全部？NO!后PC时代的计算--普适计算

PervasiveComputing后PC时代计算机发展的特点：1.无所不在的含有智能的小装置；2.支持服务的后台服务器和巨型计算机对应于后PC时代

两极分化的存储移动存储：Flash,微硬盘，微光盘企业级海量存储数据存储的

基本问题当一切信息都转换为数字，问题就产生了……典型的存储容量需求挑战网站多媒体,XonDemand数字化XX:数字化流域，数字化城市，数字化地球…...电子商务虚拟现实人类基因库从现在起的18个月内,新的存储量等于有史以来老的存储量之和!

———1998年图灵奖获得者JimGray容量问题和

新摩尔定理从现在起，每18个月,新增的存储量等于有史以来存储量之和!

———1998年图灵奖获得者JimGrayWirelessOnlineVideoE-CommerceCustomerMgmt.DATADataAnalysisEnterprise

ApplicationsClient/Server70’s 80’s 90’s 00’s 10’sBasic

AccountingExplosioninDataVolumes数据信息爆炸式增长第一爆发点：单机多媒体第二爆发点：Internet第三爆发点:宽带(目前）第四爆发点：空间影像和虚拟现实普遍应用

空间影像容量问题的解决途径1.减小bit位元尺度，提高密度采用各种物理原理和现象减小位元

磁（翻转尺寸）、光(光点大小）、电（线宽）、生物、量子密度：道密度、面密度、体密度2.建立存储系统，用“砖头”构造“大厦”单个硬盘的技术进展的进展硬盘是最重要的大容量存储设备，50年代由IBM发明以来密度增加了1，000，000倍，到目前为止，还没有找到能与之竞争的对手最近的密度超过100Gb/in2，主要技术：超低飞行磁头10nm，加钌超稳定介质，PRML读通道，光磁混合纪录，垂直磁记录硬盘的进展-密、快、小、廉硬盘的分类1.用于服务器的硬盘：高容量、高速度2.用于桌上机的硬盘：主流容量、速度、低价格3.用于笔记本电脑的硬盘：小体积、低功耗4.用于手持式设备的硬盘：微硬盘Microdrive四类硬盘的规格指标不同尺寸的硬盘密度与技术IBM微硬盘

Microdrive应用领域移动计算数码相机、数码摄像机可换式存储软盘：1.44MB顽强的生命力高密度软盘：Zip100/200MB(IOMAG)LS-120(兼容1.44)HiFD-200(兼容1.44)磁光盘（MO）：1.3GB/650MB/230MBCD-R/W,DVD-RW,DVD-RAM只读光盘：CD-ROM，DVD-ROM闪存（Flashmemory)

移动存储的新星各种规格SmartMediaCompactFlashMemoryStick(SONY)PCMCIA接口USB接口--Easedisk、Netech光存储的进展目前：CD-ROM,DVD-ROM,DVD机DVD-RW(DVR)最近要产品化的技术：向高密度进军蓝光DVD,HD-DVD多层多阶光存储近场光存储全息光存储

存储的前沿半导体存储：RAM,ROM,FLASH的高速发展目前硬盘存储：100GB2万转/分实验室水平：一道一GPC机的主流硬盘容量增加8,000倍10MB100MB500MB4GB10GB80GB存储系统—用“砖头”构建的大厦正如无论多快的单处理器无法满足超级计算的要求一样，无论多大的单个硬盘也无法满足网络存储和企业存储的需要存储系统的技术发展思路

（处理与存储的对比）单处理器---多处理器---多计算机----网格硬盘-------阵列-------存储网-----数据网格由软件和硬件共同实现磁盘阵列（多个硬盘）容量、速度、可用性StorageAreaNetworks

（SAN）存域网结构图系统结构必须和软件相配合存储虚拟化软件（单一逻辑映像）存储资源管理软件（容量、级别，性能）存储备份、数据迁移软件可靠性和可用性问题当关键信息转换为数据时，数据成为最宝贵的财富对很多领域，数据是比硬件设备宝贵得多的资源:

银行、电信、保险、电子商务、网站、企业信息………数据物理安全：存储最重要处理部件、传输部件损坏：损失有限，更换可恢复存储部件损坏：数据丢失！巨大的损失！两个亲身经历的例子：同济医院信息系统，广东石龙医院火灾建筑行业一定有安全系数，80%的信息系统没有安全系数！三种级别的可用性1.数据不丢失（最起码的要求）2.系统不停机（7×24服务的保障）3.性能不下降（优质服务的保障）解决可用性问题的典型途径：冗余（双机，网络RAID)备份（磁带、光盘、硬盘）解决可用性的新思路具有耗散结构的存储系统借鉴生物系统原理：心脏之所以保证数十年的可用性，不是因为材料特别好，而是因为新陈代谢UCB的ISTORE华中科技大学的进化存储系统DiskHalf-heightcanister性能问题：瓶颈的转移应用的转移CPU瓶颈70年代90年代网络瓶颈80年代内存瓶颈00年代海量存储瓶颈共享处理机共享存储器里的数据Makethecommoncasefast!Network网站的存储：几十万用户同时点击到一个站点去获得海量存储系统中的信息。WWW:worldwideweb变为worldwidewait解决性能问题的8条途径1.Cache技术，RAM-DISK,RAM-RAIDRAID-TAPE(HSM)2.高速I/O通道:SCSI(160-320),FC(1-2-4G)SATA(150-300),IP(1-10G)3.聚合带宽（并行技术）：多主机-单存储，单主机-多存储4.改变工作方式：基于磁盘的系统，随机小写与连续大写性能差100倍，变小写为大写5.提高协议效率：FCvsiSCSI6.采用就近原则7.PTP对等存储原理8.第三方直接传输解决性能问题的新思路对现状的观察（1）硬盘每年的容量和性能都在提高（2）现有的RAID系统，换了一个硬盘之后整体性能没有提高（3）越用性能越差

管理复杂性问题异构的存储系统规模越来越大系统越来越难以管理，人为错误越来越多管理成本越来越高，管理成本超过设备成本管理复杂性的解决途径原因：目前的存储设备都是被动的，对设备的管理都在上层进行，面对异构的多种存储设备和异构的互联网络，管理软件都要适应，造成复杂性日益增加解决途径：基于对象的存储系统，主动存储CMU提出OBD,SNIA提出标准存储对象：包括数据和对数据的操作管理下移，使存储设备包含更多的智能标准的对外接口和描述管理大为简化数据生命周期问题一切都存下来，不是一个好的办法无限扩大容量，成本无谓增加管理和保存无用的数据，是巨大的浪费无用信息干扰当前信息存取的性能

解决途径：向大脑学习遗忘机制

重要的信息深层记忆，不重要的浅层记忆，无用的信息忘掉结论处理、传输、存储是信息技术的三大基石存储是信息跨越时间的传播只要对数字进行操作，就能解决一切信息问题信息论是信息时空传播的共同理论基础硬件是数字操作机（只有三种简单操作：处理、存储、传