存储的相关知识

1、hba 主机总线适配器 (host bus adapter,hba)是一个在服务器和存储装置间提供输入/ 输出(i/o) 处理和物理连接的电路板和/ 或集成电路适配器。 因为 hba减轻了主处理器在数据存储和检索任务的负担， 它能够提高服务器的性能。一个 hba和与之相连的磁盘子系统有时一起被称作一个磁盘通道。我们知道网卡是用于连接计算机和计算机网络。网卡一般插在计算机大总线扩展槽上，卡上有连接计算机网络的接口。网卡物理上连接计算机内部总线， 例如 pci,pci-x,pci-e,sun 的 sbus总线等，和计算机网络，例如以太网等。存储系统中也有类似的用于连接计算机内部总线和存储网络的设备

2、。这种位于服务器上与存储网络连接的设备一般称为主机总线适配卡（host bus adaptor ）hba 。hba是服务器内部的i/o 通道与存储系统的i/o通道之间的物理连接。最常用的服务器内部i/o 通道是 pci 和sbus，它们是连接服务器cpu和外围设备的通讯协议。存储系统的 i/o 通道实际上就是光纤通道。而 hba的作用就是实现内部通道协议 pci或 sbus和光纤通道协议之间的转换。常见的服务器和存储设备之间的数据通讯协议是ide，scsi和光纤通道。 为了实现服务器和存储设备之间的通讯，通讯的两端都需要实现同样的通讯协议。存储设备上通常都有控制器，控制器实现了一种或几种通讯协

3、议，它可以实现ide,scsi 或光纤通道等存储协议到物理存储设备的操作协议之间的转换。而服务器的通讯协议是由扩展卡或主板上的集成电路实现的，它负责实现服务器内总线协议和ide，scsi 等存储协议的转换。例如pc机中，一般主板上都有ide 协议的功能，ide 磁盘控制器上有ide协议的功能。因此ide 磁盘可以连接到pc机的 ide 连接线上。如果磁盘只支持scsi协议，那么这种磁盘就不能直接与pc机连接。这时就需要在pc机扩展槽上插入一块scsi 卡， scsi磁盘可以与卡连接。 scsi卡实现了 pc总线到 scsi的转换。这种 scsi卡实现的功能就是主机总线适配卡的功能。如果磁盘只支

4、持光纤通道协议， 那么服务器上就需要支持光纤通道协议，因为光纤通道的高速特性一般服务器主板都不支持，需要专门的主机总线适配卡。服务器插入主机总线适配卡后，就可以与支持光纤通道的磁盘通过光纤通道连接了。主机总线适配卡内部有一个小的中央处理器，一些内存作为数据缓存以及连接光纤通道和总线的连接器件等。这个小的中央处理器负责 pci 和光纤通道两种协议的转换。它还有其他的一些功能，初始化与光纤通道网络连接的服务器端口，支持上层协议例如 tcp/ip，scsi等， 8b/10b 的编码解码等。二、存储域网络san 简介存储域网络（ storage area network）的支撑技术是fibre cha

5、nnel( fc )技术，这是ansi 为网络和通道io 接口建立的一个标准集成。支持hippi ，ipi，scsi ，ip，atm 等多种 高级协议 ，它的最大特性是将网络和设备的通讯协议与传输物理介质隔离开这样多种协议可在同一个物理连接上同时传送，高性能存储体和宽带网络使用单i/o 接口使得系统的成本和复杂程度大大降低。如通过 switch 扩充至交换仲裁复用结构则可将用户扩至很多。fc 使用全双工串行通讯原理传输数据，传输速率高达1062.5mbps ，fibre channel 的数据传输速度为100mb s，双环可达200mb s，使用同轴线传输距离为30 米，使用单模光纤传输距离可

6、达10 公里以上。光纤通道支持多种拓扑结构，主要有：点到点（links ） 、仲裁环（fc-al ）、交换式网络结构（fc-xs ）。点对点方式的例子是一台主机与一台磁盘阵列透过光纤通道连接；其次为光纤通道仲裁环 (fc-al) ，在 fc-al 的装置可为主机或存储装置。第三种 fc-xs 交换式架构在主机和存储装置之间透过智能型的光纤通道交换器连接，使用交换架构需使用存储网络的管理软件。fc 技术具有以下优越性：（1）既具有单通道的特点，又具有网络的特点，它是把设备连接到网络结构上的一种高速通道。而这种网络结构描述了连接两套设备的单条电缆以及连接许多设备的交换机产生网状结构。（2）光纤通道

7、最大优点是速度快，它可以给计算机设备提供接近于设备处理速度的吞吐量。（3）协议无关性，它有很好的通用性，是一种通用传输机制。适用范围广，可提供多性价比的系统，从小系统到超大型系统，支持存在的多种指令集，如ip、scsi 、ipi。光纤通道规范定义的速率最高可到4gbps ，目前 t11 工程组对 10gbps 传输速度的fc 规范也在紧锣密鼓的制定之中。fc 是一种分层结构，每个层次定义为一个功能级，但是所分的层不能直接映射到osi 模型的层上。fc 通道的五层定义为：物理媒介和传输速率、编码方式、 帧协议和流控制、 公共服务以及上级协议（ulp ）接口。1) fc-0 ：fc-0 是物理层底

8、层标准。fc-0 层定义了连接的物理端口特性，包括介质和连接器（驱动器、接收机、发送机等）的物理特性、电气特性和光特性、传输速率以及其它的一些连接端口特性。物理介质有光纤、双绞线和同轴电缆。带有ecl 的铜芯同轴电缆，用于高速、短距离传输。双绞线用于25mb/s 数据传输，距离可达 50 米。带有激光和led 传导的光纤，用于长距离的传输，光纤通道的数据误码率低于10e-12 ，它具有严格的抖动容许规定和串行i/o 电路能够进行正常管理的其他一些电气条件。2) fc-1 （传输协议）fc-1 根据 ansi x3 t11标准，规定了8b/10b 的编码方式和传输协议，包括串行编码、解码规则、特

9、殊字符和错误控制。传输编码必须是直流平衡以满足接收单元的电气要求。特殊字符确保在串行比特流中出现的是短字符长度和一定的跳变信号，以便时钟恢复。8b/10b 码在现实中的应用是稳定和简单的。3) fc-2 （帧协议）：fc-2 层定义了传输机制、包括帧定位、帧头内容、使用规则以及流量控制等。光纤通道数据帧长度可变，可扩展地址。用于传输数据的光纤通道数据帧长度最多达到2k，因此非常适合于大容量数据的传输。帧头内容包括控制信息、源地址、目的地址、传输序列标识和交换设备等。64 字节可选帧头用于其它类型网络在光纤通道上传输时的协议映射。光纤通道依赖数据帧头的内容来引发操作，如把到达的数据发送到一个正确

10、的缓冲区里。4) fc-3 （公共服务）：提供高级特性的公共服务，即端口间的结构协议和流动控制，它定义了三种服务：条带化（striping ）、搜索组（ huntgroup ）和多播（ multicast ）。条带化的目的是为了利用多个端口在多个连接上并行传输，这样 i/o 传输带宽能扩展到相应的倍数。搜索组用于多个端口去响应一个相同名字地址的情况，它通过降低到达 占线 的端口的概率来提高效率。多播用于将一个信息传递到多个目的地址。5) fc-4 （ulp 映射）：它是光纤通道标准中定义的最高等级，固定了光纤通道的底层跟高层协议（ulp ）之间的映射关系以及与现行标准的应用接口，这里的现行标准

11、包括现有的所有通道标准和网络协议，如scsi 接口和 ip、atm、hippi 等。整个 fc 的分层体系结构如下表：san 的典型结构主要协议fc & fcp ：光纤信道 和光纤信道协议（fc & fcp ： fibre channel and fibre channel protocol）fcip：在 ip 上传输的光纤信道数据帧（fcip：entire fibre channel frame over ip）ifcp ：internet 光纤信道协议（ifcp ：internet fibre channel protocol）iscsi ：internet 小型计算机系统

12、接口（iscsi ：internet small computer system interface）isns：internet 存储名称服务（isns ：internet storage name service）ndmp ：网络数据管理协议（ndmp ：network data management protocol）sas ：串行scsi （sas ：serial attached scsi）scsi ：小型计算机系统接口（scsi ：small computer system interface）相关协议lan 、wan 、tcp/ip 组织来源存储区域网络 协议由ietf 、ansi

13、 和 iso 定义。相关链接http:/ area network san 是计算机信息处理技术中的一种架构，它将服务器和远程的计算机存储设备（如磁盘阵列、磁带库）连接起来，使得这些存储设备看起来就像是本地一样。和san 相反， nas 使用基于文件（ file-based ）的协议，如 nfs 、smb/cifs等，在这里仍然是远程存储，但计算机请求的是抽象文件中的一部分，而不是一个磁盘块。san (storage area network存储区域网络 ): 将不同的 数据存储 设备连接到服务器的快速、专门的网络。可以扩展为多个或远程站点以实现和备份和存档存储。san 采用光纤通道 (fib

14、re channel)技术，通过光纤通道交换机连接存储阵列和服务器主机，建立专用于数据存储的区域网络。san 经过十多年历史的发展，已经相当成熟，成为业界的事实标准。san 存储采用的带宽从100mb/s 、200mb/s ，发展到目前的1gbps 、2gbps 。san 专门用于提供企业商务数据或运营商数据的存储和备份管理的网络。因为是基于网络化的存储，san 比传统的 存储技术 拥有更大的容量和更强的性能。通过专门的存储管理软件，可以直接在san 里的大型主机、服务器或其他服务端电脑上添加硬盘和磁带设备。现在大多数的san 是基于光纤信道交换机和集线器的。san 解决方案san 是一个专有

15、的、 集中管理的信息基础结构，它支持服务器和存储之间任意的点到点的连接，san 集中体现了功能分拆的思想， 提高了系统的灵活性和数据的安全性。san以数据存储为中心，采用可伸缩的网络拓扑结构，通过具有较高传输速率的光通道连接方式，提供 san 内部任意节点之间的多路可选择的数据交换，并且将数据存储管理集中在相对独立的存储区域网内。在多种光通道传输协议逐渐走向标准化并且跨平台群集文件系统投入使用后，san 最终将实现在多种操作系统下，最大限度的数据共享和数据优化管理，以及系统的无缝扩充。san 是独立出一个数据存储网络，网络内部的数据传输率很快，但操作系统仍停留在服务器端，用户不是在直接访问sa

16、n 的网络， 因此这就造成san 在异构环境下不能实现文件共享。为了很好的理解san ，我们可以通过图来看其结构。我们可以看到， san 的特点是将数据的存储移到了后端，采用了一个专门的系统来完成，并进行了raid 数据保护。san 的常见问答storage area network (san)称为储域网络， 是储存资料所流通的网域； 以往mis 人员常常为了scsi 的讯号不稳定及长度限制所困扰，无法满足储存资料量的成长速度，san 正好可以解决这些问题，san 架构在光纤信道之上，所使用的是fibre channel 标准协议，一个loop 速度即可达100mb/sec ，长度可延伸至 3

17、0 公里，一个loop 可连接的装置多达127 个，在不用关机的状况下即可进行硬盘数组的储存容量扩充。透过 san 来作 lan-free backup 可以将备份的效率达到最高值，解决网络频宽的瓶颈问题， 把 lan的频宽留给database server或 mail server 来使用；san solution 规划包含软件及硬件，因为 san 产品目前在市场上并不是很兼容及普及，所以在选购软硬件时需要注意互相支持的问题；hp 在 san solution 提供了fibre channel hub、fibre channel host bus adapter、fibre/scsi swi

18、tch 等连接设备， hp 虽然提供完整 san ready的产品，也必须有san 软件解决方案搭配，才能提供给客户完整的规划，hp 在备份解决方案中提供最新的dlt 8000 磁带柜，最大容量可达4.8 tb ，可升级至6 个 dlt 8000 磁带机，已经是san ready 的产品，直接可连接fibre channel cable 至 hub 或 switch 上，目前支持fibre channel interface hp dlt library 的备份软件有ca arcserveit 、 hpomnibackii 、 veritas backup exec、veritas netba

19、ckup等备份软件，但是每一厂商的san backup 架构不尽相同，最好先了解客户的实际环境需求，再为客户选择最佳的san backup solution，或是分阶段规划亦可，因为hp dlt library 还有一项最贴心的升级方案，就是即使现在客户购买的不是fibre channel interface 的磁带柜， 将来也可以升级为 fibre channel的 interface ，一直伴随客户成长而提供适当的解决方案。q1. 什么是 san ? 跟 lan 有何不同?a1.san 是 storage area network 的缩写， san 的基础根源于lan 的技术，我们今日谈论

20、的大多使用 lan 的专业术语，如 switch 、 hub 和 bridge 都是现今 lan 上使用的网络连接装置， lan 与 san 较大的差别是： lan 对 server 是 front-end 的网络，而 san 对 server 来说是back-end 的网络。san 架构的完成必须是根基在由ansi （美国国家标准局）以及一些共同发展fibre channel的团体对目前及未来的 fibre channel所制定的一些特别的规划设计，以确保相互间的兼容互动以及资料的整合。q2.fibre channel 跟 san 有什么关系? fibre channel 跟 scsi 有何

21、不同?a2. san 是架构在fibre channel standard 的储域网络， fibre channel 改善了许多scsi 的限制，从下面表格可以看到fibre channel 和 scsi 的差异：q3.san 有什么优点?a3. a. 分享资源存取与设备- disk and tape。b.高速度、距离长，可提高资料的可使用率。c.可作 remote mirror增加灾难防御力及重建速度。d.透过san 备份，降低经过lan 备份的 traffic 负载。e.集中管理与整合储存设备资源。f.fc-loop 可连接 127 个 device ，不需要 shutdown serve

22、r ，即可扩充储存容量，san 解决方案具备良好扩充性。q4. 为什么要规划san ? 什么样的环境需要san ?a4.如果储存资料的成长率持续增高，近两年内可能成长至1 tb 以上，建议规划san ready 的储存设备，包括raid 及 tape library ，因为资料量扩增，必定增加硬盘数量，但scsi 的 raid 有 id 及 cable 长度的种种限制，在扩充性来说，无法达到需求及稳定度的要求，而且当资料量愈来愈大，可能分享给更多client ，绝不容许机器有 shutdown的时间，而san ready 的 raid 可以让机器在不shutdown 的状况下扩充硬盘容量，维持

23、系统不停的正常运作。q5. 我要如何选购san 的产品？a5.当公司规划san 的架构时，除了san ready 的 fibre channel raid 及备份的tape library ，还有下面这些设备是必需选购的：a.host bus adapter - 依连接的作业平台选择fibre channel card 的种类，装置在主机中，连接storage 、fibre channel hub 或 switch 。b.fibre channel hub - 可将储存设备分享给多台服务器。c.fibre channel switch - 如果要将储存设备分享给不同平台的操作系统，或要作san

24、 的 security 进阶控管及连接多个fibre channel hub，须购买此设备及控管软件。d.fibre channel cable 及 gbic - 依主机及储存设备的连接长度选购cable ， cable 有分 optical 及copper 两种线材，决定使用哪一种cable 后再选择gbic 的种类，以符合cable connector 的连接型态。e.fibre channel /scsi conventer - 若有些储存设备是scsi 界面，要连接上san 的设备，则需购买fc/scsi的讯号转接器。q6.san 对备份系统有何影响?a6.现在一般普遍的备份架构皆是透

25、过网络来作集中备份，但是网络的速度一直是备份速度的主要瓶颈，针对一些资料量大的服务器，适合将数据传输从lan 转移至san ，让 lan 的频宽留给ap 来使用，避免影响服务器正常运作，增加备份及资料回存的速度。q7.san 有哪些连接方式?a7.san 是一个总括的组合名词，目前已被用来定义几乎是任何连接主机与储存设备的架构，例如 host-hub-storage，或 host-scsi switch-storage以及 host-fibre switch- storage 等不同连接方式，san 连接拓扑分为point-to-point topology、loop topology 、sw

26、itch topology。当前各类存储技术优缺点由于每个服务器购买者都会问到这样一个基本的问题：在一次新的服务器购买过程中应该包含多大的存储空间？对于比较大的公司来说，你可能已经通过实现存储区域网络来解决这个问题。然而，对于那些大量存在的中小型组织和企业来说，直到最近，进行集中存储的价格仍然是他们所不能接受的。不考虑你的公司中所存在的特定情况，但是有一样是确定的：在如今的存储市场上，有大量可供选择的选项并且可以根据这些选项作出很多不同的决定。在本文中，我们将概述当前的存储技术以及他们的优缺点。对于你的公司业务来说， 你可以使用techrepublic 网站提供下载的 存储产品对比表来得到不同

27、的选项， 从而可以得到更好的想法。在本文的随后章节中，我将为这些解决方案提供一份更为深入的概述。存储选项至少有三个比较全面的存储选项值得你考虑：直连存储（das ）、网络直连存储（nas）、和存储区域网络（ san）。正如你所期望的，每个选项都会满足特定的需要，并且每个选项都会有自己的优点和缺点，在作出决定之前你需要权衡一下利弊。下面将详细的讨论每个存储选项。直连存储任何曾经接触过服务器的人都会对das 比较熟悉。 das 是一种将存储介质直接安装在服务器上或者安装在服务器外的存储方式。例如，将存储介质连接到服务器的外部scsi 通道上也可以认为是一种直连存储方式。das 已经存在了很长时间，

28、并且在很多情况下仍然是一种不错的存储选择。由于这种存储方式在磁盘系统和服务器之间具有很快的传输速率，因此，虽然在一些部门中一些新的san 设备已经开始取代das ，但是在要求快速磁盘访问的情况下，das 仍然是一种理想的选择。更进一步地，在das 环境中，运转大多数的应用程序都不会存在问题，所以你没有必要担心应用程序问题，从而可以将注意力集中于其他可能会导致问题的领域。然而，das 并不是总是具有美好的一面。首要的一个问题是it 经理必须要经常面对所谓的空间问题 问题，这些问题需要考虑以下常见的方面：对于一个新的服务器，我需要多少存储空间？如果物资不充沛但需要增加空间时我应该如何做？目前市场上

29、的一些选项可以帮助你减轻与这些问题相关的存储负担，但是不管怎样，你也需要对这种存储方式进行一次较好的评估，否则的话，你对存储所做的扩展将只是一个没有预测的表面上的需要。另外，你还需要管理几乎所有基于服务器的das 系统，这意味着你需要在适当的位置上有一个监控服务器上每个物理单元的磁盘使用率工具。大多数的 it 经理都不希望其磁盘空间在工作日的中间出现不够用的情况。在很多情况下， das 是一种理想的选择：如果你的存储系统中需要快速访问，但是公司目前还不能接受最新的san 技术的价格时或者san 技术在你的公司中还不是一种必要的技术时，这是一种理想的选择。对于那些对成本非常敏感的客户来说，在很长

30、一段时间内，das 将仍然是一种比较便宜的存储机制。当然，这是在只考虑硬件物理介质成本的情况下才有这种结论。如果与其他的技术进行一个全面的比较-考虑到管理开销和存储效率等方面的因素的话，你就会发现，das 将不再占有绝对的优势。对于那些非常小的不再需要其他存储介质的环境来说，这也是一种理想的选择。网络直连存储有时候，你必须将一些可以让很多用户来访问的存储空间放在网络中，并且他们有可能每天都要访问这些存储空间。那么，你可以使用网络直连存储（nas ）这种解决方案。一般说来，nas 的安装工作非常简单。和 das 一样的是，对于特定的任务，你必须要回答一些基本问题，如对于该任务你需要多大的存储空间

31、等。和 das 不一样的是，在你需要增加额外的容量的时候，你可以很容易的扩展nas 设备。例如，通常可以使用的das 设备最大可以达到2tb 的容量， 但是，市场上的一些nas 设备却可以扩展到200tb的容量。除了少数例外情况以外，对于那些仅仅需要将存储空间放在网络中来解决问题的情形来说，一个nas 是非常完美的选择。对于这个经验法则来说，还是有很多的例外情形：非常重要的一点是，在那些对数据需要进行块级访问的情况中，例如对数据库存储和exchange 信息存储来说，使用nas 就不是一种很合适的解决方案。确实有一些 nas 支持这些过程， 但是这只是强制让某个工具适合某项特定工作的一个例子而

32、已。其次， 在你真的需要高速访问服务器上的存储空间时，nas 也许不是很适合你的需要，因为所有的数据都需要转移到网络中去，因此访问的速度将受到你的网络速度的限制。在以下两种情形中，nas 设备真的让人感到眼前一亮：首要的是网页服务，第二种情形也是非常相近的情形，是常用文件的存储。这两种应用都需要大量的磁盘空间，但是很少要求直接对服务器进行数据访问。相反，通过这两种类型的存储访问的大多数数据都是通过网络来实现的，所以究竟这些数据是来自于nas 硬件还是来自于das 硬件就变成了一个无关紧要的问题。还有更好的理由可以来说明nas 设备真的非常适合于网页服务和文件服务，而不适合于数据库存储和exch

33、ange 存储。这确实与所谓的文件级数据访问和块级数据访问有关系。在文件级访问系统中，数据的访问是通过文件名字来实现的，因为文件名字是带有一定含义的。而在块级访问系统中，数据的访问是通过数据块的地址来实现的，这个地址是特定数据存放的位置。在一个客户机/服务器的环境中，如果你需要从文件服务器读取一个文件时，你要指定文件，服务器完成数据块的读取工作，并且将得到的数据返回给你就可以了。数据库存储和exchange存储在这种方式的通信过程中存在着很多问题。所以他们并不适合存储于 nas 设备中。使用das 和 san 解决方案中提供的块级访问可以更为有效的实现数据库存储和交换存储中的数据访问。虽然在需

34、要将存储空间放在网络时，nas 是一个非常伟大的解决方案，但是，nas 也还有一些不足：在拥有相同的存储空间时，它的成本比das 要高很多。对于数据库存储和exchange存储这种要求高使用率的任务来说，不是很适合。获得数据的最大速率受到连接到nas 的网络速率的限制在存储基础设施中存在潜在的结点故障的可能。存储区域网络作为存储解决方案中的重要一员，san 是最昂贵的存储选项，同时也是最复杂的选项。然而，虽然san 在初始阶段需要投入大量的费用，但是san 却可以提供其他解决方案所不能提供的能力，并且可以在合适的情形下可以为公司节约一定的资金。如今的 san 解决方案通常会采取以下两种形式：光

35、纤信道以及iscsi 或者基于ip 的 san 。光纤信道是 san 解决方案中大家最熟悉的类型，但是，最近一段时间以来，基于iscsi 的 san 解决方案开始大量出现在市场上，与光纤通道技术 相比较而言，这种技术具有良好的性能，而且价格低廉。san 真正的综合了das 和 nas 两种存储解决方案的优势。例如，在一个很好的san 解决方案实现中，你可以得到一个完全冗余的存储网络，这个存储网络具有不同寻常的扩展性，确切地说，你可以得到只有 nas 存储解决方案才能得到的几百t 字节的存储空间，但是你还可以得到块级数据访问功能，而这些功能只能在das 解决方案中才能得到。对于数据访问来说，你还可以得到一个合理的速度，对于那些要求大量磁盘