HDS云数据中心架构

HDS信息基础架构解决方案陈楠

神州数码HDS售前工程师2014年12月存储业内的不同定位HDS专业的存储技术厂商存储行业的先驱者、领导者IBM专业的主机厂商核心技术在小型机存储只是附带产品HP专业的主机厂商产品多而不精今年下滑明显EMC生意型的存储厂商大量的收购产品纷杂存储技术一般NetApp存储软件厂商核心技术在NAS始终是PC架构HDS公司简介1989年成立于美国硅谷(美国国家半导体子公司)传承30余年大型主机设计及制造经验在全球170+个国家有生意往来总部位于美国的SantaClara业界广泛的合作SUN代理HDS高端存储

(2001年)HPOEMHDS高端存储，XP系列(1998年)Unisys代理HDS高端存储(2005年)AcerCo-Branding(2004年)LenovoCo-Branding(2004年)业界领先的技术业界第一款具有冗余部件设计的高可用存储系统FreedomStorage7700（1995年）业界第一台基于交换架构的全光纤架构高端存储Lighting9900系列（2000年）业界第一台具有异构平台虚拟化功能存储USP（2004年）业界第一台3D存储（2010年）

丰富的统一存储产品与方案内容平台HCP300HCP500CommandSuite块平台VSPHUS110HUS130HUS150HUSVM统一平台HUS110HUS130HUS150HUSVM专用平台HDISoftwareHUSVMHitachiComputeSystems100%数据可用性承诺文件平台HNAS4040HNAS4060HNAS4100

HDS的基础架构云、内容云和信息云的三步战略基于企业现有的IT投资，为所有数据提供一个单一的虚拟化统一平台大数据时代的HDS云战略规划INFRASTRUCTURE基础架构云虚拟化与移动性,集成的统一管理数据中心融合方案随需应变的基础架构CONTENT内容云独立于应用的内容搜索、查询、调用随需应变的内容提供内容生命周期管理服务INFORMATION信息云商业智能大数据分析数据挖掘集成与融合VISIONANDSTRATEGYStorageInfrastructureandTechnologies基础架构云：虚拟化基本数据池面向服务的数据中心云信息基础架构一个平台承载客户所有类型数据NASVTLEnterpriseMidrangeCloud非虚拟化存储服务CAS虚拟化后的存储服务平台检索备份内容非结构化NAS服务器SAN“大数据”HDS统一存储平台的云战略意义内容云SHARE-POINTFILESYSTEMS

EXCHANGESAPORACLEPDF

孤立的应用和存储资源庞大的数据和低效的利用率复杂的架构和高昂的成本难于检索、分析和保护应用孤岛存储孤岛典型环境SHARE-POINTFILESYSTEMS

EXCHANGESAPORACLE提高效率，简化管理和降低成本无中断的数据自由流动跨应用的数据检索云就绪HDS当前云战略目标统一的虚拟化存储池基础架构云控制器1控制器2主机1主机2后端后端前端MPU+ASIC前端MPU+ASIC前端MPU+ASIC前端MPU+ASIC缓存缓存缓存缓存后端ASIC后端ASIC后端ASIC后端ASIC主机1主机2缓存缓存普通双控架构，一旦单控故障，缓存彻底失效!高端容错设计“堡垒”式数据中心核心存储架构100%可用性承诺DS5000/P6000/VNX/CompellentVSP/VMVSPWithoutScale-out

2to4VirtualStorageDirectorblades–8to16cores2to12FEDbladeswith16to96ports2to8cacheadapterswith32to512GBcache2to4BEDbladeswith8to32SASlinksVSPwithScale-out8VirtualStorageDirectorblades–32cores2to24FEDbladeswith16to192ports2to16cacheadapterswith64to1,024GBcache8to16BEDbladeswith8to64SASlinks贵族基因：USP-V/HUS-VM/VSP体系架构剖析

12HUS-VM2VirtualStorageDirectorblades–8to16cores2to6FEDbladeswith16to48ports2to4cacheadapterswith32to256GBcache0to4BEDbladeswith0to32SASlinksUSP-V/VMDMX-3/4容量/性能成本多控制器架构双控制器架构单控制器架构单控松耦合集群架构XIV,Isilon,Panasys普通通用标网互连双控松耦合集群架构3PAR,VMAX,Fujitsu8000非交换式专网互连多控紧耦合集群架构VSP,P9500全交换式系统互连磁盘阵列体系架构最近进展韩晓明，中国科学院计算技术研究所存储中心副主任EMCVNX,HPEVAIBMDS8000/V7000,HDSHUS100….USP-V，DMX存储虚拟化技术——存储多合一ERPVideoStreamingDataMiningE-mailPrintServices100%HighPerf.ArchiveBackup99.9%GeneralPurposeFileandVTLServicesOneplatformforalldata利旧&资源灵活部署！带内存储虚拟化技术IBMSVC,EMCV-plex带外存储虚拟化技术EMCInvista基于阵列控制器的存储虚拟化技术VSP,VMAXFTS业界存储虚拟化技术架构解析新型数据中心整合存储基础架构VirtualizedPoolofMedicalRecords各种不同的应用系统E-mailERP订单物流图书

积分DocumentManagementSystem

真正统一的存储池存储虚拟化技术——存储一分多AMSHDS高端存储Partition#3Partition#1Partition#29900V9500V

SATAIBMESSSANWindowsHostUnixHostNAS应用EMCDMXUnixHostVol1Vol2Vol3Vol4ol1Vol1Vol1Vol1Vol1Vol2Vol2Vol2Vol3Vol2Vol2存储资源池CacheVol5Vol3Vol3Vol4Vol3Vol3Vol4动态调整存储资源隔离&优先级调整！存之有效与储之有道的平衡业界独有HDS保持无数据丢失记录关于双活数据中心深入思考LVM双写方案虚拟化机头双写方案服务器A服务器BSAN光纤交换机LUN1LUN2主机LVM同步镜像磁盘阵列柜A磁盘阵列柜B服务器A服务器BSAN光纤交换机LUN1LUN2虚拟化机头LVM同步镜像磁盘阵列柜A磁盘阵列柜B虚拟化机头HAM存储级复制方案服务器A服务器BLUN1LUN2磁盘阵列TrueCopy同步镜像磁盘阵列柜A磁盘阵列柜BSAN光纤交换机双活数据中心？自动还是盲动？双写可用性烦恼无退路的

‘双活’高可用选高端！2X86更可靠吗？热点话题“双活”生产数据中心SAN数据库/应用TCP/IP网络存储阵列容灾数据中心SAN数据库/应用TCP/IP网络存储阵列客户端/用户客户端/用户客户端/用户WAN/广域网应用/数据库Active/Active存储/数据同步与镜像EMCVPLEX产品定位应用和数据迁移高可用集群员工合作跨越两个数据中心内进行同步传输更远距离的异步复制保持应用程序可用性和不间断的数据访问同时访问跨两个数据中心的一个版本信息华为：存储整合和云计算建设LANHDSUSP-V*3HDSAMS2300*9HAMHAM华为2010年给予HDS实施团队的感谢信云技术是近一时期以来最为火热和复杂的新兴技术。在华为的云系统建设中，HDS和用户共同规划、共同设计、同甘共苦，共同完成了基于HDS存储虚拟化的云存储架构。StorageInfrastructureandTechnologies基础架构云：虚拟化基本数据池内容云：文件、对象的内容池C:C:/DEV/DEVARCHIVEARCHIVEBACKUPBACKUP面向服务的数据中心云信息基础架构HNAS:独特硬件和软件技术的专业NAS存储一般

服务器通用服务器运行路由软件客户化操作系统运行文件服务软件通用服务器运行CIFS/NFS软件优化的软件套件客户化操作系统运行路由软件优化的软硬件套件专有硬件实现路由专有硬件和系统实现文件服务HitachiNAS软件限制了性能硬件限制了性能ASICsFPGAsM1/M2（HNAS3080/3090）硬件架构IntelCPU串行运算（其他厂商）共享处理器共享内存每个时间周期运行单任务共享总线FPGA并行计算(HDS)独享处理器独享内存每个时间周期多任务多线并行并行与串行NAS系统体系结构对比多达12.8GB/sHDS的PACS归档解决方案PACS在线存储LAN网络SAN网络客户端HNASPACS自动归档PACS数据库服务器PACS数据库服务器基于HNAS自动归档PACS在线数据-高性能磁盘PACS近线数据-大容量磁盘数据存储区数据处理区业务处理区PACS近线存储统一界面管理StorageInfrastructureandTechnologies基础架构云：虚拟化基本数据池内容云：文件、对象的内容池C:C:/DEV/DEVARCHIVEARCHIVEBACKUPBACKUPGlobalOrchestration信息云：融合的计算资源池计算网络面向服务的数据中心云信息基础架构基础架构部署面临的挑战PlanBuyIntegrateCodeTestDeploySupportITDevelopment太多的管理传递

太多工具太多供应商

太耗时

成本剧增ITInfrastructure“ITorganizationsspend23.3%ofstafftimeandresourcesonthistypeofpre-systemdeployment”两种云平台基础架构模型客户测试分别购买元件产品AppAppAppStorageMgmtVirtualizationMgmtServerMgmtNetworkMgmtStorageNetworkServerVirtualization参考架构(灵活)MgmtMgmtMgmtMgmt供应商提供验证

购买单品SKU或灵活地选择元件AppAppAppStorageNetworkServerVirtualizationUnifiedManagement集成方案(一体化)供应商组装外加统一管理和组合购买单品AppAppApp减少复杂性

增加灵活性价值HDSUCP统一计算平台HitachiUCPSelectHitachiUCPPro网络虚拟化存储服务器集成的解决方案(TurnkeySolution)预验证的解决方案:HDS企业级存储HDS企业级服务器UCPDirector:和vCenter集成的协调管理软件各组件管理软件包HDS提供统一配置HDS及HDS合作伙伴提供安装实施服务参考架构解决方案(ReferenceArchitecture)预验证的参考架构解决方案:HDS企业级存储HDS企业级服务器各组件管理软件包HDS提供产品配置清单HDS和HDS合作伙伴提供安装及技术支持Bestinclasschoice:Integratedorreferencesolutions面向服务的UCP云平台功能区域战略合作伙伴解决方案数据库联机业务处理OracleSAP数据保护内容文件服务虚拟化MicrosoftCitrixSymantecUCPforOracleUCPforHANAUCPforHyper-VUCPforExchangeUCPforVMwareUCPforVDIUCPforContentCoreHighPerf.FileOthersHCRUCPforSQLUCPforSharePointUCPforBackupVMwareHDSUCP刀片虚拟化多合一技术——SMP多刀片聚合功能4-BladeSMP计算/内存/IO性能平衡扩展1Blade2Blades4BladesSockets248Cores204080MemorySlots3264128MemorySize768GB1536GB3072GBMezzanineSlots248PCIeSlots2484CPUSMP计算节点——Nehalem-EXQPI互联技术SMP内存扩展单个刀片节点:768GB2刀片SMP:

1.5TB4刀片SMP:3TBSMP

IO扩展

PCIe2.0x8lanes:8slots/2blades;16slots/4bladesSMPCPU扩展单个刀片:2路CPU2刀片SMP:4路CPU4刀片SMP:8路CPUICHCPUNehalem-EXCPUNehalem-EXCPUNehalem-EXPCIeOnBoardNICICHI/OHubBoxboro-EXCPUNehalem-EXGbEGbEI/OHubBoxboro-EXPCIeMezzanineMezzanineBlade0Blade1刀片虚拟化多合一技术——SMP计算节点独有SMP功能/优于Xeon机架式服务器的IO扩展能力刀片虚拟化一分多技术——LPAR逻辑分区HDS刀片服务器——LPAR逻辑分区HitachiLogicalPartitioningFeature(LPAR)更好的性能对操作系统透明更好的安全性内置硬件虚拟化技术:HVM通过LPAR进行服务器虚拟化提高刀片服务器利用率刀片虚拟化一分多技术——LPAR逻辑分区专用模式共享模式

专用模式ModePCIPCIPartition1NICNICMemoryCPUCPU共享模式PCIPCIPCINICNICNICMemoryMemoryCPUCPUCPUPartition2Partition3内置硬件虚拟化:HVM2GB8GB10GB35%65%LPAR#1LogicalPartitioningCPUMemI/OVirtualI/OSharedDynamicCPUAllocation#34GBCoreCoreCoreCoreDedicatedModeSharedMode6GB#4#2#5OS1OS4OS3OS2OS5DedicatedI/OShared更好的性能/对操作系统透明/更好的安全性

Rear使得刀片服务器支持Unix-classIO扩展能力单个大片最多可支持16个PCIIO插槽4刀片的SMP节点(80Core)最多可支持64个PCI插槽PCI插槽10U2000机柜4UIO扩展单元刀片IO扩展模块统一数据存储池信息处理计算处理SAN智能虚拟化云存储HP

EVAEMC

CX4HDS

AMS办公办公文件共享服务-HNAS海量数据检索-HDDS应用应用SANHP

EVAEMC

CX4HDS

AMS客户端影像NAS数据内容存储服务-HCP+业务计算处理快速数据备份同城容灾异地容灾基于阵列的同步数据复制所有数据的副本所有数据的副本克隆快照VTL/带库离线备份3DC独特的“拉”方式异步数据复制数据属性对象数据统一数据存储池信息处理

HDS面向服务的数据中心云信息基础架构HDSUCP统一管理某科研机构基于刀片的云平台建设案例MonitorESXESXCB2000ESXESXCB2000ESXESXCB2000HUS150VSPESXESXCB2000HNAS3080ITOAHDPSQuestionsandDiscussion容灾建设的重要性数据是核心资产，业务连续性至关重要各种灾难造成的数据损坏或业务中断对企业正常运作带来巨大影响美国911

灾难的分类：自然风险，例如地震、火灾、水灾、气象、疾病、战争人为风险，例如错误操作、黑客攻击、病毒发作、员工发泄不满技术风险，例如设备失效，软件错误，通讯中断、电力失效……政策法规要求2007年，国信办联合八大重点行业推出《信息系统灾难恢复规范》台北桃园机场某著名电子商务企业系统瘫痪需求：能否统一多种数据保护功能？重复数据删除灾难恢复?归档索引/搜索CDP法律文件跟踪报告一次写多次读快照数据泄露备份复制??HUS综合数据保护解决方案数据保护的三个要素：1.

源端；2.操作；3.目标端---复杂工作简单化数据实例管理——全面管理数据，保障数据安全、业务安全复制或1.源端2.操作3.目标端存储池复制点归档设备HCP磁带库/虚拟磁带库WindowsLinuxVMWAREHyper-VCDP备份归档文件跟踪安全2.连续数据保护/实时备份APPOSAPPOSAPPOSAPPOSSource保护点AgentWindows实时数据保护管理台近几年的实时备份存储池近期的CDP通过实时数据传输实现用户的的持续数据保护使用于数据不能丢失的用户结合实时备份功能，既实现数据的不丢失，有能实现数据的长期保护实时数据监控和传输，对主机和网络影响最小挑战：仅适用Windows/CDP的数据需要进行恢复最新数据每分钟恢复点旧数据每小时恢复点返回目录3.文件追踪/文件安全管理台可以按照路径、进程、类型、用户定义需要追踪保存的文件只要有修改，就会保存可以回滚任何一个修改的版本同时记录操作的用户和操作的方式、设定文件访问权限挑战：仅支持windows10:15V110:25V210:55V311:05V411:30V510:0011:0012:00每次修改会有一个保存文件追踪--实时10:15V110:25V210:55V311:05V411:30V5返回目录4.文件/邮件归档文件邮件文件/邮件流向元数据流向HCP对象存储管理台通过时间/大小可以将文件/邮件归档到HCP进行长期保存对文件服务器和邮件服务器进行瘦身，提高性能和效率同时拥有备份功能，在归档的同时保证实现数据和应用的保护集中管理挑战：仅支持windows/Exchange,归档设备为：HCP可查询可快速搜索历史数据HDIM存储池返回目录HUS：

数据集中，数据分发Master管理机APPOSAPPOSAPPOSAPPOSSource保护点AgentWindowsAPPOSAPPOSAPPOSAPPOSSource保护点AgentWindowsAPPOSAPPOSAPPOSAPPOSSource保护点AgentWindowsAPPOSAPPOSAPPOSAPPOSSource保护点AgentWindows通过复制技术将分支机构的数据复制到中心存储，中心可以直接启用或者查询

windows操作系统通过复制技术将数据自动分发到各个分支机构分支机构可以直接使用该数据HUS：多级数据容灾Master管理机APPOSAPPOSAPPOSAPPOSSource保护点AgentWindowsAPPOSAPPOSAPPOSAPPOSSource保护点AgentWindows/Linux通过HDIM实现多级数据容灾容灾中心的数据可以恢复到本地进行测试和容灾的演练适用：Windows/Linux/VMWARE/Hyper-v管理台APPOSAPPOSAPPOSAPPOS测试环境AgentWindows/Linux一级容灾中心Repository存储池Repository存储池Repository存储池windows保护原理数据存储Sourcemachine1SnapshotSnapshot1001110011010源端目标端：存储池实时数据传输元数据存储最小4GB磁盘空间HDIMDistributorHDIMBuffer最小4GB磁盘空间操作系统内核文件系统HDIMDistributor过滤器日志文件HDIMBuffer用户文件系统驱动过滤器HDIMFilterI/O子系统管理器存储管理器APIAPISnapshotSourcemachine2SnapshotSnapshotSnapshotSourcemachine3SnapshotSnapshotSnapshotSourcemachine4SnapshotSnapshotSnapshotHDIMsynchronizeHDIMsynchronizeHDIMVerify先进行初始化同步，由VSS进程保证数据一致性；初始化同步后，由HDIMAgent的四个子进程完成数据保护任务：Filter：过滤器写IO和过滤器日志的获取；Distributor：源端数据发送和目标端数据接收；Synchronize：同步数据传输；Verify：数据校验；HDIM一个Agent实现实现全部功能基于windowsNTFS文件系统元数据：metadata:标签和索引，快速的定位数据Stor:用户的实际数据，可以看到snapshot/version这两种模式Linux备份：保护原理图数据存储Sourcemachine1SnapshotSnapshot1001110011010源端目标端：存储池定时数据传输元数据存储最小4GB磁盘空间HDIMDistributorHDIMBuffer最小4GB磁盘空间定时文件系统扫描HDIMDistributorHDIMBuffer用户LVM快照物理磁盘SnapshotSourcemachine2SnapshotSnapshotSnapshotSourcemachine3SnapshotSnapshotSnapshotSourcemachine4SnapshotSnapshotSnapshotHDIMsynchronizeHDIMsynchronizeLinux备份机制：Agent根据策略，定时启动创建LVM快照；LVM快照仅拷贝原始卷中的元数据，几乎实时完成；将快照指向的数据复制到目标端存储池；网络抖动通过HDIMBUFFER实现断点续传；物理卷（PV）卷组（VG）逻辑卷（LV）文件系统QuestionsandDiscussionHUS中端存储设备配置与规格吞吐量

扩展性入门--

HUS110企业级设计主机多路径硬件负载均衡动态性能优化99.999+%可用性8GB+7GB缓存8FC和4iSCSI端口混插至120块盘SSD,SAS和NL-SAS8SASlinks(6Gb/sec)最大4个标准2.5”扩展柜最大9个标准3.5”扩展柜中级—HUS13016GB/32GB+7GB缓存16FC,8FC和4iSCSI端口

混插至360块盘SSD,SAS和NL-SAS16SASlinks(6Gb/sec)最大14个标准2.5”扩展柜最大19个标准3.5”扩展柜最大7个紧凑3.5”扩展柜最大4个高密度3.5”扩展柜高级—HUS15032GB+7GB缓存16FC,8FC和4iSCSI端口混插至960块盘SSD,SAS和NL-SAS32SASlinks(6Gb/sec)最大40个标准2.5”扩展柜最大40个标准3.5”扩展柜最大20个紧凑3.5”扩展柜最大11个高密度3.5”扩展柜模块化存储系统企业级存储系统前端路径控制Active/ActiveAsymmetric,Active/PassivesetupSymmetricActive/Active

SymmetricActive/Active存储控制器体系结构复杂性简单群集简单群集多控制器群集控制器性能负载均衡能力低很高(接近100%)很高(100%)CTL#1CTL#0BroadbandCrossPath前端卡前端卡后端卡后端卡PathPathPathPathCrossPathSwitchCH-CTL#0