SAP HANA基础平台技术建议书

1、 DOCPROPERTY DocumentName SAP HANA基础平台技术建议书 STYLEREF Contents 目 录 DOCPROPERTY Product&Project Name BTS3606C CDMA基站 DOCPROPERTY DocumentName XXX项目 华为SAP HANA数据库基础设施技术建议书 STYLEREF Contents 目 录目 录 TOC o 1-3 h z u HYPERLINK l _Toc523645874 1.项目概述 PAGEREF _Toc523645874 h 1 HYPERLINK l _Toc523645875 1.1项目

2、背景 PAGEREF _Toc523645875 h 1 HYPERLINK l _Toc523645876 1.2项目需求 PAGEREF _Toc523645876 h 2 HYPERLINK l _Toc523645877 1.2.1需求描述 PAGEREF _Toc523645877 h 2 HYPERLINK l _Toc523645878 1.3SAP HANA数据库基础设施解决方案优势 PAGEREF _Toc523645878 h 2 HYPERLINK l _Toc523645879 1.3.1技术优势 PAGEREF _Toc523645879 h 2 HYPERLINK

3、l _Toc523645880 1.3.2服务保障能力 PAGEREF _Toc523645880 h 3 HYPERLINK l _Toc523645881 1.3.3投资保护 PAGEREF _Toc523645881 h 3 HYPERLINK l _Toc523645882 1.3.4商用案例 PAGEREF _Toc523645882 h 4 HYPERLINK l _Toc523645883 2.SAP HANA数据库基础设施总体方案 PAGEREF _Toc523645883 h 5 HYPERLINK l _Toc523645884 2.1SAP HANA数据库基础设施方案架构

4、 PAGEREF _Toc523645884 h 5 HYPERLINK l _Toc523645885 2.2集群方案 PAGEREF _Toc523645885 h 7 HYPERLINK l _Toc523645886 2.3数据持久化方案 PAGEREF _Toc523645886 h 8 HYPERLINK l _Toc523645887 2.3.1数据持久化方案 PAGEREF _Toc523645887 h 8 HYPERLINK l _Toc523645888 2.3.2数据持久化介质 PAGEREF _Toc523645888 h 9 HYPERLINK l _Toc5236

5、45889 2.3.3Cache加速机制 PAGEREF _Toc523645889 h 9 HYPERLINK l _Toc523645890 3.SAP HANA数据库基础设施组网方案 PAGEREF _Toc523645890 h 10 HYPERLINK l _Toc523645891 3.1框内各节点组网 PAGEREF _Toc523645891 h 10 HYPERLINK l _Toc523645892 3.2一框组网（可选） PAGEREF _Toc523645892 h 11 HYPERLINK l _Toc523645893 3.3两框组网（可选） PAGEREF _To

6、c523645893 h 12 HYPERLINK l _Toc523645894 3.4三框组网（可选） PAGEREF _Toc523645894 h 13 HYPERLINK l _Toc523645895 3.5多框组网（可选） PAGEREF _Toc523645895 h 14 HYPERLINK l _Toc523645896 4.高性能分布式存储系统 PAGEREF _Toc523645896 h 16 HYPERLINK l _Toc523645897 4.1产品形态介绍 PAGEREF _Toc523645897 h 16 HYPERLINK l _Toc523645898

7、 4.1.1产品特点 PAGEREF _Toc523645898 h 16 HYPERLINK l _Toc523645899 4.1.2虚拟资源池 PAGEREF _Toc523645899 h 16 HYPERLINK l _Toc523645900 4.1.3功能框架 PAGEREF _Toc523645900 h 17 HYPERLINK l _Toc523645901 4.1.4应用场景 PAGEREF _Toc523645901 h 18 HYPERLINK l _Toc523645902 4.2产品特性介绍 PAGEREF _Toc523645902 h 19 HYPERLINK

8、 l _Toc523645903 4.2.1性能卓越 PAGEREF _Toc523645903 h 19 HYPERLINK l _Toc523645904 4.2.2高可靠 PAGEREF _Toc523645904 h 23 HYPERLINK l _Toc523645905 4.2.3弹性扩展 PAGEREF _Toc523645905 h 27 HYPERLINK l _Toc523645906 4.2.4管理简便 PAGEREF _Toc523645906 h 29 HYPERLINK l _Toc523645907 5.基础设施统一管理平台 PAGEREF _Toc5236459

9、07 h 31 HYPERLINK l _Toc523645908 5.1概述 PAGEREF _Toc523645908 h 31 HYPERLINK l _Toc523645909 5.2特点 PAGEREF _Toc523645909 h 32 HYPERLINK l _Toc523645910 5.3管理系统架构介绍 PAGEREF _Toc523645910 h 33 HYPERLINK l _Toc523645911 5.4物理资源管理 PAGEREF _Toc523645911 h 33 HYPERLINK l _Toc523645912 5.5监控管理 PAGEREF _Toc

10、523645912 h 34 HYPERLINK l _Toc523645913 5.6组织管理 PAGEREF _Toc523645913 h 34 HYPERLINK l _Toc523645914 5.7统计报表 PAGEREF _Toc523645914 h 36 HYPERLINK l _Toc523645915 5.8告警管理 PAGEREF _Toc523645915 h 37 HYPERLINK l _Toc523645916 5.9日志管理 PAGEREF _Toc523645916 h 38 HYPERLINK l _Toc523645917 6.业务连续性方案 PAGER

11、EF _Toc523645917 h 38 HYPERLINK l _Toc523645918 6.1节点故障自动切换方案 PAGEREF _Toc523645918 h 42 HYPERLINK l _Toc523645919 6.2容灾方案 PAGEREF _Toc523645919 h 43 HYPERLINK l _Toc523645920 7.数据备份和恢复方案 PAGEREF _Toc523645920 h 44 HYPERLINK l _Toc523645921 7.1内置分布式存储备份方案 PAGEREF _Toc523645921 h 44 HYPERLINK l _Toc5

12、23645922 7.2外置传统存储备份方案 PAGEREF _Toc523645922 h 45 HYPERLINK l _Toc523645923 8.扩减容方案 PAGEREF _Toc523645923 h 46 HYPERLINK l _Toc523645924 8.1扩容方案 PAGEREF _Toc523645924 h 46 HYPERLINK l _Toc523645925 8.2减容方案 PAGEREF _Toc523645925 h 47 HYPERLINK l _Toc523645926 9.华为 SAP HANA数据库基础设施节点类型介绍 PAGEREF _Toc52

13、3645926 h 47 HYPERLINK l _Toc523645927 9.1管理节点 PAGEREF _Toc523645927 h 48 HYPERLINK l _Toc523645928 9.2CH222存储节点（可选） PAGEREF _Toc523645928 h 48 HYPERLINK l _Toc523645929 9.3CH223存储节点（可选） PAGEREF _Toc523645929 h 49 HYPERLINK l _Toc523645930 9.4计算节点 PAGEREF _Toc523645930 h 50 HYPERLINK l _Toc523645931

14、 9.5各类型节点配置原则 PAGEREF _Toc523645931 h 50 HYPERLINK l _Toc523645932 10.硬件设备E9000介绍 PAGEREF _Toc523645932 h 51 HYPERLINK l _Toc523645933 10.1E9000产品介绍 PAGEREF _Toc523645933 h 51 HYPERLINK l _Toc523645934 10.1.1产品定位 PAGEREF _Toc523645934 h 51 HYPERLINK l _Toc523645935 10.1.2技术优势 PAGEREF _Toc523645935 h

15、 52 HYPERLINK l _Toc523645936 10.2E9000系统架构 PAGEREF _Toc523645936 h 54 HYPERLINK l _Toc523645937 10.2.1概述 PAGEREF _Toc523645937 h 54 HYPERLINK l _Toc523645938 10.2.2计算系统 PAGEREF _Toc523645938 h 55 HYPERLINK l _Toc523645939 10.2.3交换系统 PAGEREF _Toc523645939 h 55 HYPERLINK l _Toc523645940 10.2.4管理&机电系统

16、 PAGEREF _Toc523645940 h 56 HYPERLINK l _Toc523645941 10.3E9000硬件描述 PAGEREF _Toc523645941 h 57 HYPERLINK l _Toc523645942 10.3.1功能 PAGEREF _Toc523645942 h 57 HYPERLINK l _Toc523645943 10.3.2外观 PAGEREF _Toc523645943 h 57 HYPERLINK l _Toc523645944 10.3.3物理结构 PAGEREF _Toc523645944 h 60 HYPERLINK l _Toc5

17、23645945 10.4E9000产品特性 PAGEREF _Toc523645945 h 63 HYPERLINK l _Toc523645946 10.4.1计算/存储/网络融合 PAGEREF _Toc523645946 h 63 HYPERLINK l _Toc523645947 10.4.2灵活的资源配置 PAGEREF _Toc523645947 h 65 HYPERLINK l _Toc523645948 10.4.3丰富的加速部件 PAGEREF _Toc523645948 h 66 HYPERLINK l _Toc523645949 10.4.4优秀的散热设计 PAGERE

18、F _Toc523645949 h 66 HYPERLINK l _Toc523645950 10.4.5无源背板设计 PAGEREF _Toc523645950 h 67 HYPERLINK l _Toc523645951 10.4.6易部署 PAGEREF _Toc523645951 h 68 HYPERLINK l _Toc523645952 10.5SAP HANA数据库基础设施系列刀片 PAGEREF _Toc523645952 h 68 HYPERLINK l _Toc523645953 10.5.1基于Intel IvyBridge CPU的CH242 V3计算刀片 PAGERE

19、F _Toc523645953 h 68 HYPERLINK l _Toc523645954 10.5.2CH222管理刀片 PAGEREF _Toc523645954 h 69 HYPERLINK l _Toc523645955 10.5.3CH222存储刀片 PAGEREF _Toc523645955 h 69 HYPERLINK l _Toc523645956 10.5.4CH223存储刀片 PAGEREF _Toc523645956 h 69 HYPERLINK l _Toc523645957 10.6SAP HANA数据库基础设施系列交换板 PAGEREF _Toc523645957

20、 h 70 HYPERLINK l _Toc523645958 10.6.110GE/FCoE融合交换模块CX311 PAGEREF _Toc523645958 h 70 HYPERLINK l _Toc523645959 10.6.2InfiniBand交换模块CX611 PAGEREF _Toc523645959 h 71 HYPERLINK l _Toc523645960 11.本项目方案 PAGEREF _Toc523645960 h 72 HYPERLINK l _Toc523645961 11.1设备规划 PAGEREF _Toc523645961 h 72 HYPERLINK l

21、 _Toc523645962 11.2部署规划 PAGEREF _Toc523645962 h 73 HYPERLINK l _Toc523645963 11.2.1一框3*1TB典型配置（可选） PAGEREF _Toc523645963 h 73 HYPERLINK l _Toc523645964 11.2.2一框4*1TB典型配置（可选） PAGEREF _Toc523645964 h 75 HYPERLINK l _Toc523645965 11.2.3两框6*1TB典型配置（可选） PAGEREF _Toc523645965 h 76 HYPERLINK l _Toc52364596

22、6 11.2.4两框8*1TB典型配置（可选） PAGEREF _Toc523645966 h 78 HYPERLINK l _Toc523645967 11.2.5多框典型配置（可选） PAGEREF _Toc523645967 h 80 HYPERLINK l _Toc523645968 11.3与客户网络对接 PAGEREF _Toc523645968 h 82 HYPERLINK l _Toc523645969 11.4配置清单 PAGEREF _Toc523645969 h 82项目概述/（请删除该行）XXX根据标书，描述对项目理解。下面正文是举例，请根据具体项目进行修改。项目背景随

23、着企业业务的发展，企业置身于激烈的商业竞争中。企业要想在竞争中立于不败之地，需要迅捷的反应能力，决策者希望随时随地看到全业务的运营状态分析数据。一般企业实施了ERP信息系统之后，会用一些商务智能分析软件进行业务数据的抽取（从ERP、CRM、SCM以及其它自开发系统等数据源）、筛选、建模、重新创建出适用于企业管理的运营报表。但以前的模式由于数据处理速度太慢，基本是“白天跑业务，晚上抽数据，隔天看报表”的模式，不能满足决策者“Anywhere Anytime”的要求，难于抓住瞬息万变的商业机会。SAP 公司针对这种市场需求于2011年6月适时推出SAP HANA内存数据库软件平台，这款数据库软件配

24、合经过SAP公司认证的硬件基础设施助力企业走上迅捷之路。实时复制近实时复制SLT复制服务器数据服务应用表视图Web Intelligence水晶报表呈现SAP Business Objects水晶报表XXX企业已实施ERP、CRM、SCM等系统，计划通过SAP HANA的实施来达到以下目的：简化企业网应用平台，为企业所有数据建立统一的分析平台；将企业的业务数据彻底的从个系统解放出来，发挥最大的价值；向“迅捷型”企业迈进，实时管理、实时监控、实时分析，AnyWhere AnyTime。项目需求需求描述纳入SAP HANA的数据源/（删除此行）需要根据具体项目修改XXX企业需要纳入SAP HANA

25、的源数据详细清单见下表：序号系统及描述是否新建数据量1ERP否3T2小计业务数据备份需求（可选）/（删除此行）需要根据具体项目修改业务数据容灾需求（可选）/（删除此行）需要根据具体项目修改SAP HANA数据库基础设施解决方案优势采用SAP HANA数据库基础设施解决方案，有以下优势：技术优势SAP HANA数据库基础设施是基于内存运算的数据库基础设施。在华为创新的软硬件平台中，搭载业界领先的SAP HANA内存数据库软件，软硬结合，为客户带来极速性能体验。同时SAP HANA数据库基础设施基于融合基础设施方案，简化了管理。高可靠方案计算和存储隔离，计算和存储相互不影响，比IBM计算和存储合一

26、架构，IBM计算和存储故障相互影响，华为方案更可靠更可靠存储：华为多机头分布式存储，单块磁盘故障，多节点并行重构，重构时间15分钟，友商需要10小时恢复1块磁盘数据，20倍数据重构速度，存储可靠性大幅提升。更安全：性能优化华为HANA集群方案存储和网络设备上具备低延时和高带宽特性，在复杂查询与数据加载指标上，相对友商占有较大优势。大幅提升SAP HANA数据吞吐性能：华为目前是所有已认证SAP HANA厂家中唯一采用56Gbps Infiniband网络作为存储网络，存储网络带宽提升710倍。提升HANA数据库加载性能60%：采用企业级分布式存储引擎FusionStorage，分布式多机头并发

27、读写能力突破传统存储SAN机头读写瓶颈。提升ETL数据抽取入库性能：大容量内存做cache和更低时延的56Gpbs Infini band网络设备，数据持久化时延低至150s，低于业界平均时延50%-75%。易管理降低企业Opex支出：相对其它厂家采用传统设备，系统集成复杂，加大了运维复杂度。而SAP HANA数据库基础设施基于融合基础设施方案，支持预集成、预安装，针对服务器、存储和网络设备集中监控，和运维自动化措施，降低企业Opex30%以上。服务保障能力最佳的中国本土服务保障团队HANA集群规模越大，因为性能和规模产生的问题会更复杂，友商国内服务团队缺乏大规模HANA集群交付经验。而华为有

28、基于本土更强的故障响应、服务保障团队。其它国外厂家复杂问题需要升级海外处理，响应不及时。全自研产品华为HANA集群涉及到的服务器、存储、网络，以及存储软件和管理软件全自研，研发团队在中国，能深入到软硬件代码级、操作系统源代码级快速定位复杂问题，保障更快速定位复杂问题。投资保护高集成度，减少机房占用空间采用华为超级融合基础设施FusionCube，使用高密刀片、内置高性能分布式存储。相对友商机架服务器和外置SAN存储方案，大幅减少客户机房空间，减少机架占用空间50%75%。线性平滑扩容相对友商HP、dell扩容按柜或存储按套扩容，华为HANA集群方案支持按单计算节点和存储节点扩容，扩容更平滑。集

29、群拆分合并更平滑中石油后续有集群拆分合并需求，友商方案拆分新增集群时，需要新增单独的计算或存储设备，且拆分或者合并集群需要重新连线。而华为方案基于分布式架构，机箱交换，拆分合并更平滑，连线更简单。商用案例国内唯一有超大规模HANA集群成功商业实践经验的厂家华为在项目中积累了丰富的实施和运维经验。案例：中国石化9节点18T集群，SAP 中国研究院15节点30T集群，华为2套*16节点 16T集群，以供应链实时订单分析为例，从之前查询近两个小时，优化为5秒钟。友商在国内普遍只有4节点集群商业交付案例。众多行业大规模应用SAP HANA数据库基础设施目前已服务于能源、医疗、教育、咨询、制造业、零售业

30、、政府和高科技、运营商等众多行业客户。SAP HANA数据库基础设施总体方案SAP HANA数据库基础设施方案架构SAP HANA的软件架构如下图：Persistence layerSAP HANA是一内存数据库平台，上图红色框内为SAP HANA数据库软件所涉及的组件，其它是周边强关联的系统。SAP HANA 组件必须运行在经过SAP公司认证的基础设施上。华为作为SAP的全球战略合作伙伴，推出多种基于华为硬件的SAP HANA 一体机都获得了SAP的认证。有基于华为RH5885机架式服务器实现的单机板，也有基于华为E9000刀片式服务器的多节点集群版本。多节点集群版本按持久化存储的不同分为“

31、E9000刀片服务器+华为FusionStorage存储”融合架构以及“E9000+SAN存储”分离式架构两种形态，根据本项目需求，采用E9000刀片服务器+华为FusionStorage存储融合架构形态的多节点集群版本，以下称作SAP HANA 一体机。SAP HANA数据库基础设施的总体架构如下图：一体机管理FusionManager分布式块存储FusionStorage精简配置负载均衡链式快照链接克隆故障恢复DHT自动化发送自动化运维服务模板容量管理性能报表APPAPPAPPAPP单点登录操作维护计算/存储/网络融合设备统一硬件管理文件系统OCFS2XFSHANA DatabaseSAP

32、 HANA数据库基础设施基于华为的融合基础设施（Huawei FusionCube Converged Infrastructure）FusionCube一体机，一体机是华为公司IT产品线云计算领域的旗舰产品。FusionCube遵循开放架构标准，于12U机框中融合刀片服务器、分布式存储及网络交换机为一体，无需外置存储、交换机等设备，并预集成了分布式存储引擎及管理软件，资源可按需调配、线性扩展。计算/存储/网络融合设备：硬件设备使用E9000刀片服务器，采用计算、存储、交换、电源模块化设计，计算、存储、网络都在E9000框内部署完成，计算和存储节点可按需灵活配置，支持丰富的交换模块，如GE,1

33、0GE,FC,FCoE,IB等。每框E9000服务器内置8个计算或存储节点。计算配置4路E7-4880或4890 V2 CPU，配以1T或2T大内存，提供高性能的计算。提供两种存储节点，一种存储节点采用快速响应的PCIe SSD卡，配以处于内存位置的NVDIMM 提供写缓存，将Log卷建在SSD卡组成的资源池上，保证低时延的Log数据写入；另一种存储节点采用SAS硬盘做主存，配以2.4TB大容量PCIe SSD卡提供读写缓存，将Data卷建在SAS盘组成的资源池上，既保证了大的存储容量也保证了高存储带宽。计算节点与存储节点间采用高带宽低时延的IB网络，保证数据加载时有极高的I/O吞吐量。Fus

34、ionStorage：使用分布式块存储技术，通过合理有序将存储刀片服务器的本地硬盘组织成共享的资源池，提供高性能高可靠的块存储业务。分布式存储的资源池为每个工作节点提供数据卷，当工作节点故障需要切换到备用节点时，这些数据卷被挂载到备用节点，为业务持续性提供保障。FusionManager：负责云平台资源管理、弹性调度以及操作维护等综合管理功能，是云平台管理的核心，提供基于web的统一维护界面；整个系统的业务通过云管理FusionManager呈现；用户管理、集群管理、业务模板管理、虚拟机管理、桌面发放、统一硬件管理、告警、监控等功能均由FusionManager对外提供。文件系统：为实现与SA

35、P HANA数据库层的接口对接，华为适配了XFS本地文件系统。XFS和FusionStorage的结合使得华为可以提供基于块接口的存储，由于无需采用NFS，获得极高的性能和可靠性。SAP HANA数据库基础设施具有高带宽、低时延的网络和存储，高性能及高可靠的计算，同时提供简捷的统一管理。集群方案为了保证SAP HANA业务的持续性，必须具备节点失效自动切换功能。这种方案将HANA安装在至少两个的多个节点上，一个主节点和若干个从节点组成工作节点，一个或多个备用节点；当主节点或者从节点发生单点故障时，备用节点能识别并自动从备用状态转到运行状态，代替失效的节点。SAP HANA数据库基础设施采用计算

36、和存储物理上分离的集群架构，逻辑架构图如下：管理节点内部互联网络备用节点活动节点日志持久化层（SSD/HDD）数据持久化层（HDD）。HANA DB内存计算集群活动节点高性能存储集群。共享存储NAS计算存储分离架构：多个工作节点及可选的多个备用节点构成HANA集群，多个存储节点组成存储集群，HANA集群与存储集群之间通过NAS共享文件系统与分布式块存储联系。Log卷和Data卷逻辑上分开部署。Log卷创建在PCIe SSD构成的存储节点上，DATA卷创建在SAS盘构成的存储节点上，Share卷创建在NAS存储上。采用分离架构具有如下优点：充分利用E7刀片关键资源：由于计算节点上没有太多的存储软

37、件在运行，昂贵的E7 CPU资源能都被SAP HANA数据库使用，确保SAP HANA数据库性能；故障隔离能力好：计算节点和存储节点互相不影响；例如存储节点如果故障一个，需要进行数据重建时CPU占用大，但由于重建动作不在SAP HANA刀片上，因此，不会影响SAP HANA性能；扩容灵活性好：华为采用刀片形式构筑存储池，随着计算节点能力增加（例如CPU更新换代、增加内存容量、增加HANA节点等），都可以通过增加存储刀片的形式简单完成；而且，不管计算部分的HANA节点如何变化，原有的存储刀片都可以继续使用。数据持久化方案 数据持久化方案SAP HANA数据库正常运行时所有数据都在内存中，为保证系

38、统掉电重启后系统还能够运行，内存数据必须进行持久化保存。其原理如下图所示：分为2种持久化数据：Log: 这是关于数据改变的信息，即redo日志信息，这些信息在事务完成后直接写入持久化介质，根据SAP的要求，Log的存储介质缺省采用SSD卡，也可以采用SAS盘。Log区域空间被占满后，会将Log备份写到Data的区域，然后再重复写Log区域；Data:这包括 SQL数据、undo日志信息、附加的SAP HANA信息（例如建模数据）。根据SAP的要求，推荐采用HDD作为存储介质，也可以采用SSD卡作为存储介质。写操作：Log: 是一种同步操作。即在一个事务完成后，必须写Log成功完成后，SAP H

39、ANA数据库才会给用户返回成功，因此这个写动作会直接影响到SAP HANA数据库的性能；Data: 是一种异步操作。一般是每5分钟自动写一次，间隔时间可以设置。采用Savepoint的方式，采用增量的方式，写入的是改变数据和undo日志信息。每一次需要写的时候由内存变化的数据决定，SAP公司对文件系统层以下的写带宽有要求，以最常见的1M块为例，最低要求是200MB/S。当底层硬件出现故障，无法写入时，需要SAP HANA软件进行提供和告警。 由于Log是同步写，会直接影响SAP HANA数据库的性能，为保证SAP HANA内存数据库的高性能，要求同步写动作尽可能快。 数据持久化介质基于E7V1

40、的华为512G的集群方案采用全SSD方案作为持久化介质，即无论是Log还是Data，主存都是SSD卡。基于E7V2的华为集群方案（包括512G，1T两种规格）的Log持久化介质缺省采用SSD，也可以采用SAS盘； Data持久化介质采用SAS盘。SAP HANA数据库基础设施采用华为公司自研的ES3000 PCI-E SSD卡。华为ES3000 PCI-E SSD卡是业内最快的PCI-E SSD卡，由国际权威存储设备评测机构StorageReview评测：ES3000 OLPT 性能比Fusion-IO高16%，平均响应时间节省14%。 Cache加速机制华为采用自研的NVDIMM不掉电内存条

41、作为缓存，进一步提高同步写Log的性能，在SAP SAP HANA的认证中取得了优异地写时延性能。NVDIMM是华为公司自研的不掉电的DIMM条，能获得和内存一样的读写性能。理论上，将把SSD卡8us的访问时延，降低到200ns，降低40倍；SAP HANA数据库基础设施组网方案SAP HANA数据库基础设施的各种节点放置在框内，框内网络扣卡通过背板分别连交换板。目前支持的规模最大为5框，单框时直接从交换板上行，多框时交换板在框间级联方式进行框间组网，不用外接交换机。框内各节点组网管理节点框内组网：存储节点框内组网：CH242 V3计算节点框内组网：一框组网（可选）E9000_0管理+4计算+

42、3存储16x10GE+8GFC16x10GE+8GFC18x56Gb18x56GbERPClient管理DR2x10GE2x10GE2x10GE2x10GE4xFDR224x10GE4x1GE1111FC Switch基本框XCUB使用CX311基本框预留FC接口，可能外接FC交换机或者FCSAN说明：1、起步配置为：1管理+3存储+2 HANA；2、采用外置NAS作为共享存储。3、扩容步长为1个HANA节点，或者1个存储节点（若是新增1个存储资源池，则存储节点至少需为3个） ；4、第一框标准配置为1个管理+4个HANA+3个存储 ；5、单框对外出2*10GE到管理， 2*10GE到ERP复制

43、，2*10GE到Client，2*10GE到容灾；HANA管理和FusionCube一体机外部管理合并 ；6、单框内服务器板间存储通信带宽为8*56Gb/2=224Gb；当全部交叉双点故障时通信带宽为4*56Gb=224Gb，不影响业务。两框组网（可选）E9000_0管理+4计算+3存储16x10GE+8GFC16x10GE+8GFC18x56Gb18x56GbERPClient管理DR2x10GE2x10GE2x10GE2x10GEE9000_14计算+4存储16x10GE16x10GE18x56Gb18x56Gb42248x10GE2222224x10GE4x1GE1111FC Switc

44、h基本框XCUB使用CX311基本框预留FC接口，可能外接FC交换机或者FCSAN说明： 1、采用外置NAS作为共享存储。2、基本框做汇聚，同时对外提供上行接口；3、两框之间的IB连接采用交叉互连，每IB交换板外出6*56Gb的端口，分为4+2与另一框互连；4、两框 之间的10GE采用80GE互连，每10GE交换板出4*10GE的端口，分为2+2与另一框互连。三框组网（可选）E9000_0管理+4计算+3存储16x10GE+8GFC16x10GE+8GFC18x56Gb18x56GbERPClient管理DR2x10GE2x10GE2x10GE2x10GEE9000_14计算+4存储16x10

45、GE16x10GE18x56Gb18x56Gb42248x10GEE9000_24计算+4存储16x10GE16x10GE18x56Gb18x56Gb448x10GE222222222224x10GE4x1GE1111基本框XCUB使用CX311FC Switch基本框预留FC接口，可能外接FC交换机或者FCSAN说明： 采用外置NAS作为共享存储。基本框做汇聚，同时对外提供上行接口；扩展框与基本框之间的IB连接采用交叉互连，每IB交换板外出6*56Gb的端口，分为4+2与另一框互连；扩展框与基本框之间的10GE采用80GE互连，每10GE交换板出4*10GE的端口，分为2+2与另一框互连。多

46、框组网（可选）最大规格5框时组网方案如下：框间IB互联：第1框和第2框作为IB的汇接框，后三框与这2框进行IB全互联；每个框每个IB交换板出8根IB线与前2框相连。框间10GE互连：第1框作为10GE网络的中心交换框；其他所有框的Ethernet网络与之连接；前4框都包含有HANA节点，每个框最大4个HANA节点，提供主备平面共8*10GE与第1框相连，确保每个HANA节点有充足的10GE连接；第5框没有HANA节点，仅需要2*10GE与第1框相连，作为FusionCube融合架构的管理平面；所有框间连接线采用交叉连接，以保证框间网络交叉故障时系统仍然可用；系统外出连线：第1框作为基本框，提供

47、(3+3)*10GE的连接。其中1个作为业务连接线、1个作为数据复制线（包括数据复制导入、容灾复制导出、备份和容灾）、1个管理连线（包括HANA Studio管理、FusionCube管理、HANA Client等）单框组网：单框不需要框间互联，其它与多框的第一框一样，从位于X2/X3位置的10GE交换板外出上行线。高性能分布式存储系统SAP HANA数据库基础设施采用FusionStorage作为存储系统，华为FusionStorage采用创新的分布式软件架构，以高性能、高可靠、高扩展为设计理念，充分满足SAP HANA数据库对高性能、高可靠的业务需求。产品形态介绍产品特点华为FusionS

48、torage是一个分布式存储软件，在通用x86服务器上部署该软件把所有服务器的本地硬盘组织成一个虚拟存储资源池，提供块存储功能。FusionStorage分布式存储软件系统具有如下特点：领先的分布式架构。FusionStorage存储软件的采用全分布式的架构：分布式管理集群，分布式哈希数据路由算法，分布式无状态机头、分布式智能Cache等，这种架构使得整个存储系统没有单点故障。 高性能和高可靠性。FusionStorage存储软件在所有磁盘中实现负载的均衡，数据打散存放，不会出现热点，高效的路由算法和分布式Cache技术保证了高性能。FusionStorage支持多个数据副本，每个副本分配在不

49、同服务器/不同磁盘上，单个硬件设备的故障不影响业务。同时FusionStorage的强一致性复制技术确保各个数据副本的一致性。并行快速故障重建。数据分片在资源池内打散，硬盘故障后，可在全资源池范围内自动并行重建，重建效率高。易扩展和超大容量。FusionStorage的分布式无状态机头可横向扩展，存储与计算同步平滑扩容，支持非烟囱式超大容量扩展。计算存储深度融合。FusionStorage存储软件部署在挂载本地硬盘的服务器上，把各服务器的本地硬盘组织成一个虚拟的资源池，替代外置的存储设备，天然支持计算和存储设备的高度融合。虚拟资源池FusionStorage把所有服务器的本地硬盘组织成若干个资

50、源池，基于资源池提供创建/删除应用卷（Volume）、创建/删除快照等接口，为上层软件提供卷设备功能。FusionStorage资源池具有如下特点：每块硬盘分为若干个数据分片（Partition），每个Partition只属于一个资源池，Partition是数据多副本的基本单位，也就是说多个数据副本指的是多个Partition。系统自动保证多个数据副本分布在不同的服务器上。系统自动保证多个数据副本之间的数据强一致性。Partition中的数据以Key-Value的方式存储。对上层应用提供卷设备（Volume），没有LUN的概念，使用简单。系统自动保证每个硬盘上的Partition数量是相当的，

51、避免出现集中的热点。所有硬盘都可用作资源池的热备盘，在2副本场景下，单个资源池最大支持96块硬盘。功能框架FusionStorage采用分布式集群控制技术和分布式Hash数据路由技术，提供分布式存储功能特性。FusionStorage功能架构图如下所示：FusionStorage功能模块存储接口层：通过SCSI驱动接口向操作系统、数据库提供卷设备。存储服务层：提供各种存储高级特性，如快照、链接克隆、精简配置、分布式cache、容灾备份等。存储引擎层：FusionStorage存储基本功能，包括管理状态控制、分布式数据路由、强一致性复制技术、集群故障自愈与并行数据重建子系统等。存储管理层：实现F

52、usionStorage软件的安装部署、自动化配置、在线升级、告警、监控和日志等OM功能，同时对用户提供Portal界面。应用场景FusionStorage是一款尤其适合计算和存储融合的系统，例如华为FusionCube融合基础设施。传统的虚拟化方式是在相互分离的计算、存储和网络设备上叠加了一层虚拟化软件。这种方式虽然可以提升资源利用率，但是由于系统的复杂性，并不能简化各类基础设施的运维成本。华为FusionCube真正实现了计算、存储和网络设备的深度融合，硬件设备与虚拟化软件平台的一体化。FusionCube采用FusionStorage把计算服务器的本地硬盘组织成一个类似SAN设备的虚拟存

53、储池，对上层应用提供存储功能。FusionStorage在FusionCube场景中的上下文环境如下图所示：FusionStorage上下文环境FusionStorage替代了传统的外置存储设备，适合使用FusionStorage的应用场景：VDI、OA应用。其典型特点是：容量共享精简分配、性能共享分时复用、计算和存储配比相对均衡、成本性价比要求高。虚拟化环境混合应用。其典型特点是：容量共享需求明显、多应用混合负载、线性扩展。OLAP应用。其典型特点是：大并发吞吐量，计算和存储带宽要求高。OLTP应用。其典型特点是：IOPS并发度高。FusionStorage应用场景产品特性介绍性能卓越Fus

54、ionStorage通过创新的架构把分散的、低速的SATA/SAS机械硬盘组织成一个高效的类SAN存储池设备，提供比SAN设备更高的IO，把性能发挥到了极致。FusionStorage支持使用SSD替代HDD作为高速存储设备，支持使用Infiniband网络替代GE/10GE网络提供更高的带宽，为对性能要求极高的大数据量实时处理场景提供完美的支持。分布式机头FusionStorage采用无状态的分布式软件机头，机头部署在各个服务器上，无集中式机头的性能瓶颈。单个服务器上软件机头只占用较少的CPU资源，提供比集中式机头更高的IOPS。分布式缓存FusionStorage实现了计算和存储的融合，缓

55、存和带宽都均匀分布到各个服务器节点上。FusionStorage集群内各服务器节点的硬盘使用独立的I/O带宽，不存在独立存储系统中大量磁盘共享计算设备和存储设备之间有限带宽的问题。FusionStorage支持将服务器部分内存用作读缓存，NVDIMM和SSD卡用作写缓存，数据缓存均匀分布到各个节点上，所有服务器的缓存总容量远大于采用外置独立存储的方案。即使采用大容量低成本的SATA硬盘，FusionStorage仍然可以发挥很高的IO性能，整体性能提升13倍，同时提供更大的有效容量。FusionStorage支持PCIe SSD用作数据缓存，除具备通常的写缓存外，增加热点数据统计和缓存功能，加

56、上其大容量的优势，进一步提升了系统性能。FusionStorage 计算和存储融合全局负载均衡FusionStorage的实现机制保证了上层应用对数据的IO操作均匀分布在不同服务器的不同硬盘上，不会出现局部的热点，实现全局复负载均衡。第一，系统自动将数据块打散存储在不同服务器的不同硬盘上，冷热不均的数据会均匀分布在不同的服务器上，不会出现集中的热点。第二，数据分片分配算法保证了主用副本和备用副本在不同服务器和不同硬盘上的均匀分布，换句话说，每块硬盘上的主用副本和备副本数量是均匀的。第三，扩容节点或者故障减容节点时，数据恢复重建算法保证了重建后系统中各节点负载的均衡性。分布式SSD存储Fusio

57、nStorage支持为高性能应用设计的分布式SSD存储系统，拥有比传统的机械硬盘（SATA/SAS）更高的读写性能。华为SSD卡具有如下特点高带宽：采用PCIe 2.0 x8的接口，提供高达3.0GB的读/写带宽。高IO：4KB数据块，100随机，提供高达600K的持续随机读IOPS和220K的持续随机写IOPS。FusionStorage分布式SSD存储系统通过以下措施增强了可靠性：内嵌的ECC检错/纠错引擎和RAID5引擎, 数据通道间形成二维的检错/纠错机制。内置DATA Scrubbing引擎定时检测存储数据，提前预防数据错误的产生。通道间使用Dynamic RAID算法，实现通道间的

58、资源共享，确保在芯片坏块过多甚至是多个芯片故障的情况下均能正常工作。内部实现冷热数据分类与管理，配合先进的磨损算法，最大程度上提升回收效率，降低写磨损，从而提升SSD的使用寿命。FusionStorage 支持分布式SSD存储系统高性能快照FusionStorage提供了快照机制，将用户的逻辑卷数据在某个时间点的状态保存下来，后续可以作为导出数据、恢复数据之用。FusionStorage快照数据基于DHT机制，快照不会引起原卷性能下降。通过一次Hash查找即可判断有没有做过快照，以及最新快照的存储位置，因此效率很高。FusionStorage 快照高性能链接克隆FusionStorage基于增

59、量快照提供了链接克隆机制，基于一个快照创建出多个克隆卷，各个克隆卷刚创建出来时的数据内容与快照中的数据内容一致，后续对于克隆卷的修改不会影响到原始的快照和其他克隆卷。FusionStorage支持1:256的链接克隆比，提升存储空间利用率。FusionStorage支持批量进行虚拟机卷部署，能够在秒级批量创建上百个虚拟机卷。克隆卷继承普通卷所有功能：克隆卷可支持创建快照、从快照恢复以及再次作为母卷进行克隆操作。FusionStorage 链接克隆高速Infiniband网络FusionStorage支持为高带宽应用设计的Infiniband网络，存储交换无瓶颈。56Gbps FDR Infin

60、iBand，超高速互联。标准成熟多级胖树组网，平滑容量扩容。近似无阻塞通信网络，数据交换无瓶颈。纳秒级通信时延，计算存储信息及时传递。无损网络QOS，数据传送无丢失。主备端口多平面通信，冗余通信无忧。单口56Gbps带宽，完美配合极速SSD存储吞吐，性能无限。高可靠集群管理FusionStorage分布式存储软件采用集群管理方式，不会出现单点故障，一个节点或者一块硬盘故障自动从集群内隔离出来，不影响整个系统业务的使用。集群内选举进程Leader，Leader负责数据存储逻辑的处理，当Leader出现故障，系统自动选举其他进程成为新的Leader。多数据副本FusionStorage存储系统中没