ibm刀箱小机维护培训blade-io技术

1、IBM 刀片中心I/O连接技术基础王夏BladeCenter-E的I/O连接IBM BladeCenter-E -前视图CD-ROM 驱动器磁盘 驱动器处理器刀片定位过热信息系统错误USB端口电源处理器刀片 填充模块机箱服务 标签凹槽前面板 LEDIBM BladeCenter-E - 内视图背板下半部背板上半部上部处理器刀片连接器下部 IBM BladeCenter-E 机箱后视图以太网交换模块 1扩展交换模块 3扩展交换模块4以太网交换模块2电源模块3电源模块4风扇1风扇2电源模块1电源模块2管理模块1管理模块2BladeCenter-E的I/O模块槽位12341/2槽位和标配千兆网卡连接

2、的以太网 I/O 模块3/4 槽位和CIOv卡对应的I/O模块CFFh 插槽CIOv 插槽HS22刀片服务器内部I/O扩展卡槽位CFFh 卡HS22刀片在BC-E机箱内的I/O连接标配的两个网卡端口，分别从上下背板连接到I/O模块1或2后加的CIOv卡（无论是HBA卡还是网卡），分别从上下背板连接到I/O模块3或41243上背板下背板IBM 刀片中心- I/O连接通道中板 (顶部)中板 (底部)交换模块 12.14交换模块 12.142.14交换模块 32.14交换模块 4CIOv扩展卡标配网卡1标配网卡2链路1链路3链路4链路2刀片服务器 #1标配2个千兆以太网端口的对外连接网卡I/O模块2

3、I/O模块1要考虑的问题：1、客户需要1个网卡还是2个？每台HS22标配带2个千兆端口如果刀片中心配置1块I/O模块，只有1个网卡端口能使用如果刀片中心配置2块I/O模块，2个网卡端口都能使用两个I/O模块槽位独立工作，可配置不同类型的模块，也可配成相同的模块（在特定型号中可实现冗余和故障切换等高级功能）标配2个千兆以太网端口的对外连接要考虑的问题：2、用直通模块还是交换机？网卡1I/O模块2I/O模块1直通模块交换机网卡2网卡3刀片4刀片14刀片1的网卡1端口刀片2的网卡1端口刀片3的网卡1端口刀片14的网卡1端口所有刀片的网卡2端口均可以从这里任意一个口对外通信IBM BladeCente

4、r-E 以太网交换机端口示意图Ethernet SwitchModule14 ports1000 MbpsInternal linksto BladeServers2 ports -100 MbpsInternal links to the Management Modules10/100/1000 MbpsRJ45 links for external network connections1 Service portSerial console connection on faceplateBlade Slot1Blade Slot2Blade Slot3Blade Slot4Blade

5、Slot5Blade Slot6Blade Slot7Blade Slot8Blade Slot9Blade Slot10Blade Slot11Blade Slot12Blade Slot13Blade Slot14MM1MM2SerialBladeCenterInt 1Int 2Int 3Int 4Int 5Int 6Int 7Int 8Int 9Int 10Int 11Int 12Int 13Int 14Mgt 1Mgt 2Ext 1Ext 2Ext 3Ext 4Ext 5Ext 6标配2个千兆以太网端口的对外连接要考虑的问题：2、交换机用2层？2/3层？还是2/7层？标配2个千兆以太网

6、端口的对外连接要考虑的问题：4、上联用电口还是光口？千兆还是万兆？BNT L2-3 电口交换机2层千兆交换机6个千兆电口上联Server Connectivity ModuleBNT L2-7 交换机2/3层千兆交换机6个千兆电口上联2/7层千兆交换机支持负载均衡功能4个千兆电口上联BNT 1/10 交换机2/3层千兆交换机6个千兆电口上联3个万兆端口上联BNT L2-3 光口交换机2/3层千兆交换机6个千兆光纤上联注意！这是以太网交换机和连接存储的光纤通道交换机不是一回事！千兆（1Gb）RJ45接口俗称“电口”用普通双绞线网线连接千兆（1Gb）光纤接口俗称“光口”，需配SFP用光纤网线连接S

7、FP module for fiber GbE switch module除了BNT，还可选Cisco 交换机模块 更智能于Layer 2的以太网交换机 (L2+)Cisco IOS 基础每个BladeCenter最大支持四个交换模块8 MB 缓存of Flash memory32 MB 的DRAM两个交换ASICs芯片 ( 5690) 内部连接为10 Gb每个交换ASIC芯片支持12 Gb端口每个交换ASIC芯片对数据包有1 MB的缓存基于MIPS设计的CPU，运行频率为100 MHzPCI bus 配置为50 MHz特性简介:交换机设备管理面板在刀片CIOv 插槽内配置的I/O扩展卡 如果

8、刀片服务器配置CIOv网卡刀片中心3/4 IO槽位要配置以太网交换机（直通）模块如果刀片服务器配置CIOv FC HBA卡刀片中心3/4 IO槽位要配置光纤通道SAN交换机（直通）模块FC SAN存储交换机是否要配冗余？配置1个FC SAN交换机第二个槽位空着（HBA卡的第二口无法使用）连接单控制器存储链路存在单点故障成本低配置2个互为冗余的FC SAN交换机HBA卡的2个端口分别通过两个交换机对外连接连接冗余控制器的存储设备链路冗余，无单点故障可用性高，但成本较高光纤通道交换模块QLogic 10 口和 20 口光纤SAN交换模块4Gbps和8Gbps两个型号Brocade 10口和20 口

9、光纤SAN交换模块4Gbps和8Gbps两个型号 QLogic智能光纤通道直通模块10-port 和 20-port 什么含义?对于 10-port产品, 每个交换模块有3个外部端口启用及7个内部端口启用 对于20-port产品,每个交换模块所有6格外不断口启用且所有14个内部端口都启用Blade Bay 1Blade Bay 2Blade Bay 3Blade Bay 4Blade Bay 5Blade Bay 6Blade Bay 7Blade Bay 8Blade Bay 9Blade Bay 10Blade Bay 11Blade Bay 12Blade Bay 13Blade Bay

10、 14Blade Bay 1Blade Bay 2Blade Bay 3Blade Bay 4Blade Bay 5Blade Bay 6Blade Bay 7BladeCenter-H的I/O连接IBM BladeCenter H 正面视图正面系统面板 电源模块1和冷却风扇组件 前置USB接口 CD DVD 光驱 电源模块2带滤网 电源模块4和冷却风扇组件 电源模块3带滤网 刀片滤网 1HS20刀片服务器 IBM BladeCenter H 背面视图及I/O连接说明 I/O模块2和6 电源连接口1 电源连接口2 I/O模块4 背板LED 面板和串行接口 高级管理模块 1 (标配） I/O模块

11、1和5 冷却装置1和2 I/O模块 9和10高级管理模块2（可选）I/O模块3 I/O模块7和8 I/O槽位1/2对应标配2个网卡 I/O槽位3/4对应CIOv扩展卡 I/O槽位7/9对应CFFh扩展卡 其余槽位为特殊用途或保留未来使用 IBM BladeCenter-H 刀片机箱 中间背板媒体托盘接口 4 速Fabric 电源模块接口 刀片电源接口 电源模块接口 电源模块接口 电源模块接口 1速Fabric和Controls 刀片电源接口 1速Fabric和控制器 背面LED 面板和串行接口 媒体托盘校正仪 高带宽解决方案 CFFH卡和BladeCenter-H刀箱高速网络接口，与背板相连双

12、端口10G以太网扩展卡（CFFh）10Gb以太网高速交换机HS21,BladeGb EnetGb EnetBladeCenter-H 多通道解决方案CIO-V1 Gb Enet1 Gb EnetCFF-H4Gb FC1Gb Enet4Gb FC1Gb EnetSM 4ESMSM 3ESMSM 2ESMSM 1ESMMSIM 8/10MSIM 7/9ESMESMFC SMFC SM6 * 1Gb 以外网接口2 * 4Gb 光纤通道接口刀片中心背板BladeCenter-S的I/O连接28BladeCenter S 前面板正视图Variety of legacy & future blades s

13、upportedSAS Connectivity Module Flexible & dedicated storage to serverRAID 0, 1, 1ESAS, SATA, and intermix supportedManage storage with AMM or SCMSAS RAID Controller Module Shared StorageRAID 0, 1, 1E, 5SAS, SATA, and intermix supportedMSCS/VMware Support Easy access to shared USB portsand DVD ROM7U

14、BladeCenter-S刀片中心的I/O连接标配2个网卡端口全部连接到1号I/O槽位（只配1个交换机或直通模块即可实现所有2个网卡端口的对外连接）2号I/O槽位暂时不可用3/4号I/O槽位对应刀片中的CIOv卡用于安装SAS RAID模块连接BC-S中的两个DSMIBM BladeCenter 存储和I/O解决方案NameTitleJanuary 15, 2007Slide 32SSL AppliancesCaching AppliancesSANInternetInternetSAN=BladeCenter替代的不仅仅是服务器刀片中心不仅仅把不同形状、不同架构的服务器整合到一个统一的平台，

15、而且整合了企业IT中另外的几个重要元素：存储、I/O 管理刀片本地存储特征：2个SAS 硬盘 （ 10K rpm， 最大146GB） 支持Raid 0 和 Raid 1优点简单缺点容量利用率Slide 33HS21HS21/LS21/LS41使用SFF 2.5 inch SAS NHS HDD26K5776SFF NHS 36GB 10K SAS26K5777SFF NHS 73GB 10K SAS 42D0421 SFF NHS 146GB 10K SASHS20/LS20 使用SFF SCSI Ultra320硬盘：40K1037小型 U320 Non Hot-Swap 36GB HDD4

16、0K1038小型 U320 Non Hot-Swap 73GB HDD最新的IBM闪存驱动器固态闪存技术已经成熟价格每年降低50，容量每9个月翻一番消费类市场大量需求推动更多的技术创新极高的可靠性：连续读写寿命达到16+年极低的功耗 （2W vs 20W）体积很小 （与1元硬币相仿）IBM在电信行业成功验证了该产品目前容量4GB，年中发布8GB产品Slide 34HS21 XMIBM Modular Flash Dirve2.5” SAS HDD目标应用对可靠性要求较高的应用（符合NEBS标准）对本地存储容量要求不高，例如仅安装Linux启动内核支持Linux操作系统从该装置启动HS21 XM

17、上使用的USB Flash Drive39R8697IBM 4GB Modular Flash Device本地存储扩展Slide 35HS21 存储扩展单元39R7563SIO Blade - Storage Expansion Unit 3 HDDs for SIO (unique to SIO)39R7388 SFF Hot Swap 36GB SAS 10K39R7389SFF Hot Swap 73GB SAS 10K43X0832 SFF Hot Swap 146GB SAS 10KHS20 （8843系列）存储扩展单元39R8625SCSI Storage Expansion U

18、nit 2可以扩展3个热插拔2.5inch SAS硬盘最大容量：5146GB720GB可以选择安装Raid 8K，支持Raid 0，1，5，带电池保护还可以扩展2个额外的SFF PCI-X 子卡和1个CFF卡可以扩展2个3.5 inch热插拔SCSI硬盘最大容量：2*73G+2*146G=438GB共享的 SAS 存储: SAS Storage BladeSlide 36占用3个刀片插槽，每个机箱最多可以安装4个双RAID 控制器支持RAID 0,1,5,10，带电池保护容量：18 x 146GB = 2.6TB性能： 1200 MBps 通过2个控制器使用方式共享给应用刀片服务器支持无盘刀片

19、启动低成本的SAN解决方案36SAS交换机SAS HBA卡即将发布共享的 SAS 存储: 外置SAS盘柜Slide 37通过SAS交换机与外置盘柜连接 SAS 交换机支持 对内: 14 SAS 1X ports (300 MBps/port)对外: 4 SAS 4X ports (1200 MBps/port)SAS zoning DS320012个3.5 inch SAS 硬盘最大容量：12x300GB=3.6TB可以通过EXP3000扩到48个盘，容量14.4TB 共享存储、低成本SAN解决方案支持无盘刀片启动 boot from SAN37SAS交换机SAS HBA卡DS3200DS32

20、00已经上市，SAS交换机和HBA卡即将发布DS3200 简介Slide 38DS3200EXP3000EXP3000EXP3000System X和刀片中心通用外置存储最新的SAS直连技术支持双控制器，每个控制器11个3-Gbps SAS 接口2U高, 19” 宽，安装3.5” SAS硬盘使用3个EXP3000s可以扩展到48个盘使用300GB硬盘最大容量14.4TB管理:DS3000 Storage Manager每个控制器有一个以太网管理口每个控制器带512MB cache，可以扩展到1GB双电源iSCSI SAN 存储基于IP的SAN解决方案服务器通过IP与存储通讯, SCSI 协议被

21、打包后在TCP/IP上传输支持标准网卡支持TOE 网卡支持 iSCSI HBA支持标准的IP交换机和路由速度有 1Gb 和 10Gb比FC SAN更经济，成本不到FC SAN的40Initiator硬件Initiators iSCSI HBA软件Initiators (Windows, Linux)支持boot from iSCSISlide 39DS300或者升级产品02004006008001,0001,2001,4001,6001,8002003200420052006200720082009K UnitsFC Server AttachmentsiSCSI Server Attachm

22、entsBladeCenter FC SAN存储解决方案开放式平台 存储整合提高数据备份效率成熟的解决方案今天30的刀片使用FC SAN支持Boot from SAN容易备份数据Slide 40FC SAN Storage Ctlr ACtlr BApplication BladeApplication BladeApplication BladeApplication BladeApplication BladeApplication BladeApplication BladeApplication BladeApplication BladeApplication BladeApplic

23、ation BladeApplication Blade FC SWFC SWFC HBA FC HBA FC HBA FC HBA FC HBA FC HBA FC HBA FC HBA FC HBA FC HBA FC HBA FC HBA 2007 BladeCenter光纤通道交换机系列Slide 41Supplier: QLogic/McDATA10 or 20 port offeringsIncludes McDATA SANbrowser Provides non-disruptive code load activation using McDATA HotCAT Functi

24、onality Supports optional McDATA SANtegritySupplier: Brocade10 or 20 port offeringsIntegrates the Brocade SAN fabric to simplify Utilizes Brocades proven Silkworm technologyBrocade 10/20 4GB Fibre Channel Switch ModuleSupplier: QLogic10 or 20 port offeringsIncluded with every switch, QLogics SANsurf

25、er Management Suite eases installation, configuration and management of your SAN infrastructure - all from one GUI QLogic 10/20 port4GB Fibre ChannelSwitch Module全系列的产品，为用户提供足够的灵活性和选择！IBM BladeCenterOptical Pass-thru ModuleSupplier: IBMProvides unswitched and unblocked optical connection Up to 14-op

26、tical connections to external SAN (requires breakout cable option)McDATA 10/20-port 4GB Fibre Channel Switch Module Supplier: Cisco10 or 20 port offeringsSupports SANOS (Cisco Storage Area Networking Operating System) VSANs, port channelsLong/short wave SFPsCisco 10/20 4GB Fibre Channel Switch Modul

27、eIBM 2007 磁盘存储系列Slide 42DS4700DS4800DS6800Direct AttachEntry to Midrange SANHigh-end SANDS8100DS8300EXP3000JBODDS3400 FCDS3200 SASDS3400 简介直连或者SAN 解决方案System X和BladeCenter通用的外部存储2个控制器，每个控制器有2个自适应 4-Gbps 光纤接口高度2U,宽度19”,使用3.5” SAS 硬盘可以与 3个 EXP3000 连接扩展到 48 硬盘使用300GB 硬盘最大可以达到14.4TB 容量管理工具： Storage Mana

28、gerSlide 43BladeCenter Storage Options OverviewSlide 44复杂性价格iSCSI SAN+ Simple low cost Ethernet infrastructure+ Diskless blades w/“Virtual C: Drive”+ Lower cost network- New technology- Gb performance + HBA or SW initiatorFC SAN (4Gb)+ Ports on demand+ DS400+ Vendor choice+ Interoperability+ Best pe

29、rformanceEEEEEEEEEEEEEESwitchSwitchExternal Enet SwitchSSSSSSSSSSSSSSSwitchSwitchFFFFFFFFFFFFFFSwitchSwitch8 port External FC SwitchSwitchSwitchSSSSSSSSSSSSSSNAS本地SAS磁盘扩展+ RAS (RAID 5, Hot Swap)+ Physical deployment- Loss of processor blade density- Increases amortized infrastructure costNAS+ Second

30、ary storage+ Scalable capacitySSSSSSSSSSSSSSSSSSSSSSSSSSSSSAS 本地磁盘+ RAS (SAS SFF, RAID0 mirroring) - RAS (service impact)- Capacity, performance (SFF)SSSSSSSSSSSSSSSSSSSSSSSSSSSRAIDRAIDBBCBBC共享SAS+ Diskless blades+ “Nearby” disks (disk blade or external)+ Server Admin controlled- CostSSSSSSSSSSSSwit

31、chSwitchSSSSSSSSSSSSSwitchSwitch无盘刀片的好处可以打破容量的限制提高硬盘的利用率 数据更安全维护更方便Blade 更可靠有利于实现虚拟化I/O技术至关重要2006年处理器基础取得飞跃发展双核 AMD Rev F双核和四核 Intel Xeon八核的Cell处理器双核的PowerPC这些处理器使得双CPU x86 服务器能够做一些之前服务做到的事情HPC 应用IPTV 和 Web 2.0虚拟化行业需要一种更智能的I/O架构满足这些应用所需要的处理能力每个刀片需要更多的通道刀片和机箱需要更快的连接技术更好的部署和管理 I/O 的方法更高的可用性Slide 45200

32、7 将是 I/O 技术获得长足发展的一年 2006 是处理器技术取得突破的一年Slide 46Nortel Networks L2-7 GbE Switch ModuleNortel Networks 6-port GbE L2/3Switch ModuleCisco Systems Intelligent GbE L2 Switch Module普通应用的I/O解决方案 Supplier: Nortel OS: AOS 6-port copper/fiber Layer 2 Switching Multiple STP Layer 3 Routing Supplier: Cisco OS:

33、IOS Layer 2 Switching Layer 3 Services Supplier: Nortel Layer 2 - 7 functionality OS: AOS Load Balancing Routing / Switching Advanced Filtering Content IntelligenceIBM BladeCenter 6-port GbE L2 Connectivity ModuleSupplier: IBMLayer 2 SwitchingVLANSSimplified ConfigurationP/N: 39Y9324IBM BladeCenter

34、Pass Through ModuleSupplier: IBMPass throughCopper or Fibre新业务对带宽要求越来越高Slide 47Voice over BroadbandGamingWorldwide Consumer VoIP Users & Revenue, 2003-2008 Source: Ovum, 2004TV/ Video over DSL & CableWorldwide Mobile Music Download Revenue ($USB), 2003-2008Source: PwC. 2004CAGR: 123%CAGR: 62%CAGR: 7

35、%Worldwide Basic and Premium TV Revenue ($USM), 2003-2008Source: PwC, 2004Broadband Gaming Subscription Revenue ($USB), 2003-2008Source: PwC, 2004Music高带宽解决方案BladeCenter H 面向未来的性能和带宽BladeCenter H 的I/O带宽提高了10倍！Slide 48I/O Module (Ethernet)ESMCPMOPMI/O Module(Ethernet)ESMCPMOPMI/O Module or BridgeESMF

36、CSMCPMOPMI/O Module or BridgeESMFCSMCPMOPMBridge ModuleBridge ModuleHigh Speed SwitchInfiniBand or EthernetHigh Speed SwitchFutureHigh Speed SwitchInfiniBand or EthernetHigh Speed SwitchFuturepwrpwrBlowerBlowerLS - EthernetLS - EthernetLS or BridgeLS or BridgeMMMMHS SwitchHS SwitchHS SwitchHS Switch

37、 Bridge Bridge34561279108高带宽解决方案Slide 4910Gb 以太网子卡10Gb 高速以太网交换机10Gb上联以太网交换机4x Infiniband交换机Infiniband直通模块FC 桥接模块以太网桥接模块1x Infiniband交换机Slide 50今天的 BladeCenter连接GigE / 100Mb Ethernet2Gb Fiber ChannelIPNetworkSANFabricBladeCenterFC SwitchEthernet SwitchEthernetSwitchBlade 2Blade 1Blade 3Blade 1456 Gbp

38、sFC Switch14 Gbps6 Gbps6 Gbps24 Gbps高带宽解决方案 InfiniBandSlide 51InfiniBandSwitch ModuleInfiniBandSwitch ModuleInfiniBandNetworkSANFabricBlade 2Blade 1Blade 3Blade 144X InfiniBand最多 6个 4Gb Fibre ChannelBladeCenter H EthernetNetwork最多(6个 1Gb Ethernet最多 2个 4X 和 2个 12X InfiniBand接口最多 2个 4X 和 2个 12X InfiniBand接口 80Gbps80Gbps10Gbps虚拟化的IO简化的BC 接口高速的连接RDMA EnabledFC 通讯IP 通讯高带宽解决方案 10Gb 以太网Slide 52高速网络接口，与背板相连双端口10G以太网扩展卡10Gb以太网高速交换机插槽BladeCenter H多通道解决方案Slide 53虚拟化、多核、集群技术都需要单个刀片提供更多接口BladeCenter H 可以支持每个刀片集成8个接口Multi-Switch Interconnect Module 提供了把单个刀片扩展到8个接口的一种方式