SAPHANA一体机技术白皮书(分布式存储)

1、华为SAP HANA一体机技术白皮书-集群版（分布式存储）文档版本V1.0发布日期2014-01-26华为技术有限公司版权所有 © 华为技术有限公司 2013。 保留一切权利。非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。商标声明和其他华为商标均为华为技术有限公司的商标。本文档提及的其他所有商标或注册商标，由各自的所有人拥有。注意您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。除非合同另有约定，华为公司对本文档内容不做任何明示或暗示的声明或保证。由于

2、产品版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。华为技术有限公司地址：深圳市龙岗区坂田华为总部办公楼 邮编：518129网址：文档版本V1.1 (2013-05-0812)华为专有和保密信息 版权所有 © 华为技术有限公司13华为FusionCube虚拟化一体机 技术白皮书-集群版（分布式存储）前 言前 言修改记录日期修订版本描述作者2013-01-260.9初稿闵小勇001186972013-04-101.0评审修改稿闵小勇00118697华为FusionCube虚拟化一体机 技术白皮

3、书-集群版（分布式存储）目 录目 录前 言ii1 SAP HANA概述11.1 什么是SAP HANA一体机11.2 SAP HANA应用场景21.3 SAP HANA一体机上下文31.4 本文范围42 华为SAP HANA一体机概述42.1 华为FusionCube SAP HANA一体机42.2 华为FusionCube SAP HANA一体机销售形态52.3 SAP HANA一体机软硬件架构52.3.1 SAP HANA一体机集群架构52.3.2 SAP HANA一体机部署架构82.3.3 SAP HANA一体机软件架构93 FusionCube SAP HANA一体机系统组成113.1

4、 系统总体架构113.2 计算存储网络融合设备133.2.1 E9000高密度机框133.2.2 E9000高密度刀片133.2.3 E9000高性能交换173.3 高性能分布式存储子系统193.3.1 高性能快照203.3.2 高性能链接克隆213.3.3 自动精简配置213.4 基础设施统一管理平台223.4.1 概述223.4.2 实现架构233.4.3 接口及协议253.4.4 特点253.5 FusionCube SAP HANA一体机系统特点254 FusionCube SAP HANA一体机关键方案274.1 集群方案274.2 数据持久化方案284.2.1 数据持久化原理284

5、.2.2 数据持久化介质294.2.3 Cache加速机制304.3 业务连续性保证304.3.1 HA概述304.3.2 Host Auto-failover:节点自动切换方案334.3.3 Backups:数据备份和恢复方案354.3.4 Disaster recovery：容灾方案354.4 组网方案384.4.1 网络互联方案384.4.2 端口及Bond方案404.4.3 组网方案特点424.5 扩减容支持424.5.1 扩容支持424.5.2 减容支持434.6 其他方案444.6.1 统一管理方案444.6.2 虚拟化支持方案444.6.3 兼容性444.6.4 数据加载能力45

6、5 FusionCube SAP HANA一体机规格455.1 SAP HANA一体机交付范围455.2 SAP HANA一体机系统规格465.3 SAP HANA一体机性能规格486 FusionCube SAP HANA一体机配置496.1 SAP HANA一体机配置原则496.2 SAP HANA一体机配置计算方法516.2.1 输入信息516.2.2 计算节点个数计算526.2.3 存储节点个数计算536.2.4 网络连线个数计算586.3 SAP HANA一体机配置速查596.3.1 典型配置推荐596.3.2 按照内存量配置626.3.3 按照机框数配置637 FusionCube

7、 SAP HANA一体机路标648 术语65华为FusionCube虚拟化一体机 技术白皮书-集群版（分布式存储）Error! No text of specified style in document.Error! No text of specified style in document.1 SAP HANA概述数字化浪潮正在开始席卷这个星球，如何实时快速处理巨大的数据量，需要一种创新性的处理设备，SAP HANA一体机就是这样一种设备。本文档描述了基于华为FusionCube的SAP HANA一体机架构、软硬件及其配置形态，本文档供销售工程师、渠道商、高级业务经理以及希望用Fusio

8、nCube部署高性能数据处理设施的客户。1.1 什么是SAP HANA一体机SAP HANA是SAP公司于2011/06年推出的内存数据库软件平台产品。SAP HANA一体机是将SAP HANA数据库软件和经过SAP认证的硬件基础设施结合而形成的一体机产品，其主要目标市场是数据仓库市场（OLAP），支撑企业进行实时的数据分析；同时，也支持交易式数据处理市场（OLTP）：l SAP HANA是SAP提供的内存数据库平台 ；l 一般以软件+硬件+管理的一体机形式交付； l 交付主要由经过认证的硬件合作伙伴提供； l 适用于OLAP类型应用，也可以用于OLTP；l SAP提供丰富的周边应用软件，包括

9、数据复制、BI等 ；l 向应用层提供SQLMDXBICS接口； (MDX: Multi dimension expression, BICS: Business Intelligence Consumer Services)l 提供多种数据导入的方式； l SAP历史上增长最快的产品； l 世界上最快的数据库，根据已经上线的2000多个例子，比客户原数据库系统快成百上千、甚至上万倍；图1-1 SAP HANA简介1.2 SAP HANA应用场景图1-2 SAP HANA应用场景简介SAP HANA可以应用于多个场景：l SAP HANA作为其他数据库的加速器；l SAP HANA直接作为报表分

10、析的数据源；l SAP HANA直接用作OLAP分析型数据仓库：l SAP HANA直接作为OLTP套件的数据库：l SAP HANA直接作为SAP公司统一的数据库平台；1.3 SAP HANA一体机上下文图1-3 SAP HANA上下文n Data Sources和Data Services： 负责向SAP HANA提供分析数据，有些数据（SAP ERP System）可以直接通过Replication Agent直接导入到SAP HANA，有些数据（SAP BW System和第三方系统）需要通过Data Services软件转换后导入SAP HANA。n SAP HANA Applian

11、ce: 提供内存数据库的实现，进行数据的存储、查询、计算。n Admin Workstations：是SAP HANA系统管理员的客户端，可以通过SAP HANA Studio等软件来管理和使用SAP HANA系统。n End Users WorkStations：是SAP HANA系统的终端用户客户端, 终端用户可以通过Excel、Web BI等形式来管理和使用SAP HANA系统。n SAP HANA Database client提供JDBC、ODBC、ODBO、SQL DBC等接口，使得各应用软件可以以标准的SQL形式访问到SAP HANA数据库1.4 本文范围华为 SAP HANA一

12、体机包括单机版(Single Node)和集群版(Scale Out)：l 单机版本，参见华为SAP HANA一体机技术白皮书-单机版l 集群版本的HANA一体机叫做华为FusionCube SAP HANA一体机，其中集群版又包括两种：l 基于分布式存储的集群版本；如果无特别说明，本文范围都是指基于分布式存储的SAP HANA一体机的集群版本，有时候也叫做基于融合架构的SAP HANA一体机集群版本；l 基于SAN存储的集群版本；参见华为SAP HANA一体机技术白皮书-集群版（SAN存储）；2 华为SAP HANA一体机概述2.1 华为FusionCube SAP HANA一体机华为作为S

13、AP 的全球战略合作伙伴，联合推出了基于华为硬件平台的SAP HANA一体机，我们都统称为华为SAP HANA一体机。单机版本基于华为RH5885机架式服务器实现，华为已经通过了全系列的单机版SAP HANA一体机认证（包括XS/S/M/L/L+系列）；集群版本基于华为的FusionCube刀片式服务器，统称为华为FusionCube SAP HANA一体机（本文后面也简称为华为SAP HANA一体机），目前有2种实现方式，包括： l 融合架构方案：E9000+FusionStoragel SAN存储方案：E9000+IPSAN本文档描述的是基于E9000+FusionStorage的Fusi

14、onCube SAP HANA一体机集群方案。基于融合架构的华为SAP HANA一体机由SAP HANA内存数据库软件和华为的E9000基础设施组成。通过采用分布式存储、高速SSD卡、一体化的安装和集成等技术，从而提供高密度、高性能、高性价比的SAP HANA一体机解决方案。说明：在华为FusionCube系列一体机产品中，SAP HANA一体机属于数据库基础设施的一种。数据库基础设施在安装不同数据库软件的时候，可以分别叫Oracle RAC(Real-time application Cluster)数据库一体机、SybaseIQ数据库一体机、SAP HANA数据库一体机等。2.2 华为Fu

15、sionCube SAP HANA一体机销售形态华为SAP HANA一体机主要属于被集成的销售形式，即由渠道商/分销商作为主界面与客户进行合同签订，华为提供SAP HANA一体机设备；根据与SAP的合同约定，华为提供SAP HANA一体机硬件设施部分的原厂服务；华为SAP HANA集群方案有2种节点型号，分别是512G内存的节点（称为M型节点，即中型节点）和1T内存的节点（称为L型节点，即大型节点）；SAP HANA销售时根据用户的源数据量，用户选择的节点型号，就可以计算出用户需要多大规模的集群。SAP HANA以64G内存为单位进行软件License的销售。硬件另外销售，不包含在SAP HA

16、NA数据库软件License里面。硬件伙伴销售的范围包括：硬件设备（计算、存储、网络）、硬件设备的服务、OS。用户购买华为SAP HANA一体机需要获得2个License许可：l SAP HANA软件License：按照内存大小收费；此License可以由用户直接向SAP 购买；l FusionStorage软件License：按照磁盘存储容量大小收费，按照每T的收费形式；2.3 SAP HANA一体机软硬件架构2.3.1 SAP HANA一体机集群架构图2-1 SAP HANA集群示意图SAP HANA一体机集群版本由多个节点（Node）构成，本文约定如下对节点名称的叫法：l SAP HAN

17、A节点：构成SAP HANA集群的逻辑单元。1个SAP HANA节点包括了指定规格的CPU、内存、Log盘和Data盘。SAP HANA一体机销售时，就是按照SAP HANA节点的Size（即每个节点的内存大小）和个数进行报价的。1个SAP HANA节点在物理上可以有多种表现形态，与硬件厂家的具体实现方案有关。在华为方案中：1个SAP HANA节点物理上对应1个CH242刀片，再加上由CH223或者CH222刀片构成的存储池的一部分。l 计算节点：负责内存数据库计算的部分。华为方案中，CH242刀片上安装有SAP HANA数据库，负责数据的计算，称为计算节点。l 存储节点：在SAP HANA解

18、决方案中，负责数据的持久化保存的部分，称为存储节点。在华为方案中，数据的持久化保存在E9000中的CH223/CH222刀片上，因此一个CH223/CH222刀片就是一个存储节点；一个SAP HANA节点肯定包括一个计算节点，但是不一定有物理上单独的存储节点；因此，有时候我们说SAP HANA节点，计算节点是同一个概念；SAP HANA节点的角色（见图4）：包括三类节点：主节点、从节点、备用节点，这三类节点在物理部署时不能合设。l 主节点（Master）：配置有3个，但只有一个激活（从3个Master配置角色中选举，这是SAP HANA软件本身的集群管理机制）。起到全局事务协调器的作用。保存计

19、算节点集群信息的全局元数据。l 从节点(Slave)：缓存需要的元数据，采用分布式架构，承担由主节点分配来的任务，执行对应的数据库操作。一个集群内多个。l 备用节点(Standby)：切换时接管故障节点。一个集群可以0到多个。正常情况下此节点的软件是运行的，只不过其内存数据库中没有数据，不能执行业务处理。切换的过程是自动进行的。图2-2 SAP HANA节点角色示意图SAP HANA节点的主要进程（见图5）：l 每个节点主要包括NameServer、IndexServer、EsEngine、StatisticsServer等进程。l NameServer有配置角色和实际角色的区分，配置角色包括

20、Master和Slave两种，只会有3个节点配置为Master角色，实际角色只会有一个节点是Master角色。在实际Master角色的节点故障时，它只能从其他两个也是配置成Master角色的节点中选择1个；l IndexServer也有配置角色和实际角色，配置角色包括Worker和Standby两种，Standby的配置角色可以是0个或多个；实际角色包括Master、Slave和Standby三种，只会有一个节点是实际的Master角色。l NameServer和IndexServer是2个不同的集群，但是他们的实际Master角色保持一致图2-3 SAP HANA主要进程示意图2.3.2 S

21、AP HANA一体机部署架构图2-4 SAP HANA主要进程部署示意图在主节点上安装有：l SAP HANA Studio:SAP HANA数据库的管理客户端，可以进行SAP HANA数据库建模、配置、监控、告警等；l SAP HANA Client：数据库客户端软件，提供如ODBC等接口，供用户访问数据库数据；l SAP HANA Database：内存数据库实现软件；其部署包括几个进程：n NameServer:命名服务器，负责集群管理，三个Master角色，1个激活Master角色；n IndexServer:索引服务器，是真正执行数据库操作的模块。分为Master、Slave、Sta

22、ndby角色。n StatisticsServer：统计服务器，负责记录数据库的运行信息，只在Master上运行。l SAP SMD Agent:系统统一管理的代理，用于在整个SAP集成解决方案中对SAP HANA进行管理；l SUM for SAP HANA ：软件升级管理器；Master节点通过这个软件，自动连接到SAP公司的软件更新平台，负责master、slave、standby所有节点上SAP HANA相关软件的升级。OS和驱动是由硬件厂家厂家负责安装和升级的。l SAP Host Agent ：主机代理，来自远端的重启/停止等对节点的操作命令通过这个模块来实施；这些操作都是对SAP

23、 HANA软件的操作。l SAPCAR ：安装脚本 ，这些脚本只对SAP HANA软件起作用。在其他节点（从节点和备用节点上）l SAP Host Agent：l SAP HANA Client：l SAP HANA Database：l SAP SMD Agent：2.3.3 SAP HANA一体机软件架构图2-5 SAP HANA主要软件架构示意图SAP HANA Database是整个系统的核心部分，图中红色框之内是SAP HANA Database按照功能区分的主要模块：l Session Management:会话管理模块，负责与各种业务客户端软件进行连接管理的模块；l Replic

24、ation Server和Load Controller: 复制管理模块，负责将ERP/SAP NetWeaver/第三方数据库等的数据复制到SAP HANA数据库；l Transaction Manager：事务管理模块，负责对数据库事务管理，当一个事务完成后，会要求做数据持久化操作；l Authorization Manager:认证管理模块，对连接到SAP HANA数据库的客户端用户进行权限管理；l Metedata Manager：元数据管理模块。它会与SAP HANA Studio中的Modelling以及SAP Data Service（SAP一种ETL服务软件）相配合，对所有建立

25、到SAP HANA数据库中，或者导入到SAP HANA数据库中的数据的元数据进行管理；l SQL Parser：SQL语句解析优化器；负责对于业务客户端来的SQL请求进行分析和解析，将一个SQL工作分解成多个子任务，分发给所有的节点去完成；l MDX:多维表达式，对来自Excel等应用端的复杂计算进行分析和解析；l SQL Script：提供类似于存储过程的复杂编程能力；l Calc Engine：执行SQL计算的模块；l ROW Store：行记录内存数据库；l Column Store：列存储内存数据库；l Page Management和 Logger：持久化保存处理模块，负责将内存数据

26、库的记录同步或者异步的写入SSD或者HDD中3 FusionCube SAP HANA一体机系统组成3.1 系统总体架构如下是华为FusionCube SAP HANA一体机的总体架构图：图3-1 华为FusionCube SAP HANA一体机总体架构华为SAP HANA一体机基于华为的融合基础设施FusionCube一体机（Huawei FusionCube Converged Infrastructure）,这是华为公司IT产品线云计算领域的旗舰产品。FusionCube遵循开放架构标准，在12U机框中融合刀片服务器、分布式存储及网络交换机为一体，无需外置存储、交换机等设备，并预集成了分

27、布式存储引擎及云管理软件，资源可按需调配、线性扩展。l 计算/存储/网络融合设备：硬件设备使用E9000，支持计算、存储、交换、电源、风扇等部件的模块化设计，计算、存储、网络都在E9000框内部署完成，计算和存储节点可按需灵活配置。支持丰富的交换模块，如GE,10GE,FC,FCoE,IB等 l FusionStorage：使用分布式云存储技术，通过合理有序组织存储刀片服务器的本地硬盘，提供高性能高可靠的块存储业务。l FusionManager：负责云平台资源管理、弹性调度以及操作维护等综合管理功能，是云平台管理的核心，提供基于web的统一维护界面；整个系统的业务通过云管理FusionMan

28、ager呈现；用户管理、集群管理、业务模板管理、虚拟机管理、桌面发放、统一硬件管理、告警、监控等功能均由FusionManager对外提供。l 文件系统：为实现与SAP HANA数据库层的接口对接，华为适配了OCFS2集群文件系统，以及XFS本地文件系统。XFS和FusionStorage的结合使得华为可以提供基于块接口的存储，由于无需采用NFS，性能和可靠性都有提高；华为FusionCube虚拟化一体机 技术白皮书8 术语3.2 计算存储网络融合设备3.2.1 E9000高密度机框华为FusionCube SAP HANA的硬件采用华为公司自研的Tecal E9000（以下简称E9000）机

29、箱产品，这是一款计算、存储、网络融合的硬件设备，提供12U空间，可安装华为E9000系列计算节点、存储节点、业务处理节点以及相应的资源扩展节点。l 可配置8个横插的全宽计算节点或者16个半宽计算节点，支持槽位拆分。在SAP HANA一体机中，全部使用全宽刀片节点。l 半宽槽位散热能力850W。全宽槽位散热能力1700W。l 半宽槽位最大支持2P+24DIMM的计算节点。l 全宽槽位最大支持4P+48DIMM的计算节点。l 单机箱支持32CPU/480core计算密度，最大12TB内存。l 背板最大交换容量15.6Tbps。l 4个（2对）交换槽位，支持Eth/FC/FCoE/IB等多种交换协议

30、类型，支持直出I/O接口。l FusionCube一柜最大可支持3个E9000机框；图3-2 E9000外观3.2.2 E9000高密度刀片FusionCube支持多种类型的刀片，其中在SAP HANA一体机中使用的有： 基于Westmere EX的CH242计算刀片图3-3 CH242计算刀片主要参数：形态 全宽单槽4S刀片服务器 处理器数量 2/4 个 处理器型号 Intel Xeon Westmere E7-4800系列6核、8核、10核处理器内存插槽 32个DDR3 DIMM插槽，最大内存容量1TB 硬盘数量 8个2.5英寸SSD、SAS或SATA硬盘RAID支持 支持R

31、AID0、1、10、5、50、6、60，1GB RAID CachePCIe扩展 支持扩展2个PCIe x16 MEZZ扣卡 支持扩展1个PCIe x8FHHL的标准卡 操作系统支持 Microsoft Windows Sever 2008/2012SSUSE Linux Enterprise ServerCitrix XenServer VMware ESX 工作温度 5-40 尺寸（WDH） 423 mm*525mm*60.46mm主要特点：l 超强性能：全宽槽位支持部署4个E7-4800系列CPU，32根内存，最大内存容量达1Tl 超大存储：全宽槽位最多可配置8个2.5寸硬盘，最大硬盘容

32、量8T，适合对性能和容量均要求较高的数据库应用l 灵活开放：支持标准PCIe扩展插槽，用户可灵活选择标准PCIe插卡进行业务优化 基于Ivybridge EX的CH242 V3计算刀片结构形状同CH242，主要不同：n CH242支持的CPU是Westmere平台；CH242 V3升级到Ivybridge平台，且每个CPU最大有15核。n CH242只支持1个MZ512的10GE网卡；CH242 V3支持2个MZ512的10GE网卡。n CH242母板上自带RAID卡；CH242 V3母板不带RAID卡，需要另外配置。 CH222管理刀片图3-4 CH222 管理刀

33、片CH222刀片具有如下特点：（1）2P Intel® Xeon® E5-2600 V1/V2系列高性能处理器；（2）24个DIMM插槽，支持高达768G DDR3内存；（3）最大支持15个2.5英寸SSD、SAS或SATA硬盘；（4）独特热插拔设计，支持单个硬盘带电更换,可选支持 1个PCIe x16 全高3/4长标准插槽 。CH222作为管理刀片使用时，仅安装2个硬盘作为系统盘，其他硬盘位置空着。 CH222存储刀片参数同CH222管理刀片，仅是在实际使用时硬盘配置稍有不同。除了2个系统盘外，还安装有12或者13个硬盘。 CH223存储刀片图

34、3-5 CH223 存储刀片主要参数：形态 全宽单槽2S刀片服务器 处理器数量 1/2 个 处理器型号 Intel Xeon E5-2600或Intel Xeon E5-2600 V2处理器 内存插槽 24个DDR3 DIMM插槽，最大内存容量768GB 硬盘数量 2个2.5英寸SSD、SAS或SATA硬盘RAID支持 支持RAID0、1PCIe扩展 支持扩展2个PCIe x16 MEZZ扣卡(CH220/CH221)(注：MEZZ2被占用)支持扩展4个PCIe x8FHHL标准卡(CH220)或2个PCIe x16FHHL标准卡(CH221)操作系统支持 Microsoft Windows

35、Sever 2008/2012Red Hat Enterprise LinuxSUSE Linux Enterprise ServerCitrix XenServer VMware ESX工作温度 5-40 尺寸（WDH） 423 mm*525mm*60.46mm主要特点：l 超强扩展：支持标准PCIe扩展插槽，最大支持全宽槽位部署4个PCIe卡，每个可以插2.4TB SSD。l 1.5倍高内存：支持1.5倍高大内存，大内存应用性价比业界第一 3.2.3 E9000高性能交换以太网交换HANA一体机以太网交换采用CX310交换模块。CX310是E9000机框式服务器的交换控制单元，为整个系统内

36、部各服务槽位提供数据交换功能，并集中对外提供业务接口和管理接口。物理图如下：图3-6 CX310外观其支持的功能和性能指标如下：表3-1 CX310指标项目说明面板接口数量l 提供1个BMC串口和1个SYS串口。l 提供16个上行10GE以太网光口。交换容量 1.28 Tbit/s包转发率 960Mpps Ethernetl 支持全双工、自动协商工作方式l 支持GE、10GE速率VLANl 支持Access、Trunk、Hybrid方式l 支持default VLANl 支持QinQ、增强型灵活QinQl 支持MUX VLANQoSl 支持基于Layer2协议、Layer3协议、Layer4协

37、议、802.1p优先级等的组合流分类l 支持ACL、CAR、Remark、Schedule等动作l 支持PQ、WRR、DRR、PQ+WRR、PQ+DRR等队列调度方式l 支持WRED、尾丢弃等拥塞避免机制l 支持流量整形安全和管理l 命令行分级保护，未授权用户无法侵入l 支持防止DOS、ARP攻击功能、ICMP防攻击l 支持端口隔离、端口安全、Sticky MACl 支持IP、MAC、端口、VLAN的组合绑定l 支持AAA、Radius、HWTACACS等多种认证方式l 支持RMONInfiniband交换HANA一体机的存储网络采用CX610交换模块实现InfiniBand(以下简称为IB)

38、网络交换，每框配置2个IB交换模块，物理图如下：图3-7 CX610外观n 提供1个BMC串口和1个SYS串口。n 提供18个QSFP+光口，用于连接外部设备3.3 高性能分布式存储子系统FusionCube SAP HANA一体机的存储软件使用华为自研的FusionStorage分布式块存储子系统。高性能是企业级存储系统需要满足的关键需求。但是，在最近几年，持续为所有的应用长期提供高性能支持变成了尤其艰巨的挑战。这是因为屡经证实，传统的存储系统架构无法通过成功扩展性能来跟上前所未有的存储数据增长步伐。另外高端存储作为独立网元，不但需要专门管理和维护，而且价格昂贵，让一般企业望而却步。分布式存

39、储FusionStorage作为一种与计算融合的存储软件，通过在通用服务器上部署该软件，可以将所有服务器的本机磁盘组织成一个虚拟存储资源池，在某些使用场景下完全替换外置SAN。FusionStorage使计算和存储高度融合，达到高性能、高可靠、高性价比。l 突破性的架构和设计。FusionStorage存储产品的创新设计使其能够实现传统架构通常无法达到的非凡性能优化。这种优化将允许您充分利用系统资源并且在所有的系统硬盘驱动器之间自动分配工作负载。此外，系统还支持一系列高级功能，如精简调配和快照等，当然不会对性能产生负面影响。 l 一致的、可预测的性能及可扩展性。FusionStorage系统在

40、所有磁盘之间优化分配所有工作负载的能力以及强大的分布式缓存结构允许您通过添加服务器节点来平滑、线性扩展高性能。由于这个高性能是一致的，无需手动调试，因此，用户可在因为业务量和快照使用模式发生变化而造成的高峰期和低谷期享受到相同级别的高性能，即使在组件发生故障时也不例外。l 高弹性和自愈能力。FusionStorage存储系统可在硬件故障期间保持高弹性，继续正常运行，几乎不会对性能产生任何影响。此外，这个解决方案的高级自愈功能使其能够在最初的故障恢复之后抵御更多的硬件故障。l 计算存储高度融合。FusionStorage作为一种把存储与计算融合的存储软件，将所有服务器的本机磁盘组织成一个虚拟存储

41、资源池进行管理，具有管理自动化、运行高性能、安装免工程配置等优点。存储不再作为单独网元进行专门的配置和管理，使计算节点上的资源得到充分利用，企业用户在得到高性能存储的同时，节省了购买外置存储的高昂费用。3.3.1 高性能快照FusionStorage提供了快照机制，将用户的逻辑卷数据在某个时间点的状态保存下来，后续可以作为导出数据、恢复数据之用。FusionStorage快照数据基于DHT（Distribute Hash Table）机制，快照不会引起原卷性能下降。快照粒度针对1MB大小来实现，针对一块容量为2TB的硬盘，一共2M个Key，完全索引在内存中有24MB，一次Hash查找即可判断有

42、没有做过快照，以及最新快照的存储位置。快照次数只和Partition容量有关，而Partition容量不受限制，所以理论上可以支持无限次快照。图3-8 FusionStorage 快照3.3.2 高性能链接克隆FusionStorage基于增量快照提供了链接克隆机制，基于一个快照创建出多个克隆卷，各个克隆卷刚创建出来时的数据内容与快照中的数据内容一致，后续对以克隆卷的修改不会影响到原始的快照和其他克隆卷。FusionStorage支持1:256的链接克隆比，提升存储空间利用率。FusionStorage支持批量进行虚拟机卷部署，能够在秒级批量创建上百个虚拟机卷。克隆卷继承普通卷所有功能：克隆卷

43、可支持创建快照、从快照恢复以及再次作为母卷进行克隆操作。图3-9 FusionStorage 链接克隆3.3.3 自动精简配置FusionStorage提供了精简配置机制，为用户提供比实际物理存储更多的虚拟存储资源。相比直接分配物理存储资源，可以显著提高存储空间利用率。采用分布式Hash技术，天然支持分布式自动精简配置(Thin Provisioning)， 无需预先分配空间。精简配置(Thin Provisioning)无任何性能下降（IPSAN扩展空间时需要耗费额外的性能）。图3-10 FusionStorage 精简配置3.4 基础设施统一管理平台3.4.1 概述FusionCube S

44、AP HANA一体机的基础设施管理子系统采用华为公司统一的云管理平台FusionManager。FusionManager提供物理和虚拟机设备管理、服务自动化部署、资源管理和监控等功能，如下图所示。图3-11 FusionManager 应用架构l 从底层接入来看，FusionManager可以接入华为和第三方的虚拟化软件；也可以将物理硬件（包含计算设备、存储设备和网络设备），作为基础设备资源接入系统。l 从上层提供的功能来看，FusionManager可以实现PaaS和SaaS的部件自动化部署。因此，FusionManager的定位是集成多个虚拟化软件和物理设备，提供统一硬件资源管理和虚拟化

45、资源管理，为业务和应用提供一体化和自动化的运维手段。3.4.2 实现架构FusionManager的总体逻辑架构如下图所示。图3-12 FusionManager 实现架构BSS：Business Support System 业务支撑系统OSS：Operations Support System 运营支撑系统UPortal：Unified Portal 统一PortalSSP：Self-service Provisioning 自动发放AME：Automatic Management Engine 自动运维NBI：Northbound Interface 北向接口IAM：Identity a

46、nd Access Management 身份和访问管理CSB：Common Service and Bus 公共服务与总线DB：Database 数据库IRM：Integrated Resource Management 集成资源管理SWM：Software Management 软件管理UHM：Unified Hardware Management 统一硬件管理UPortal提供整个系统的UI框架，包括界面的框架风格和布局等。SSP将AME提供的功能以服务目录的形式对外展现，提供对用户的友好互动界面。AME是服务自动化的核心功能，主要是通过自动化引擎实现服务在虚拟机上的自动化部署，包括基础

47、设施的部署、服务的自动部署和服务的监控。NBI北向接口，提供与上层网管对接的接口。IAM提供系统基于角色的权限控制功能，包括组织管理、用户管理、角色管理、角色授权、登录认证、鉴权等功能。同时IAM对外提供用户认证的能力，即提供AD的认证服务。CSBFusionManager系统进程间的通信基于CSB消息总线。DB存储系统的资源数据，并对外提供资源数据的增删改查接口。IRM通过连接器实现与其它管理系统的对接和信息采集功能，是资源数据提供的主体。SWM实现FusionManager系统的软件安装和部署，并提供升级和补丁功能。UHM提供统一硬件接入和管理3.4.3 接口及协议FusionManage

48、r的接口和协议如下表所示：接口编号接口类型涉及的子系统功能说明IF1REST接口FusionManager<->上级网管FusionManager通过REST接口和上级网管通信，例如，上报告警和性能指标统计等。另外，FusionManager通过HTTP或HTTPS和上级网管进行身份认证和鉴权。IF2SNMP、IPMI、SSHFusionManager<->计算设备、存储设备、网络设备计算、存储和网络设备可以通过SNMP、IPMI或SSH接入FusionManager。IF3REST接口FusionManager<->虚拟化软件。FusionManager从

49、虚拟化软件获取虚拟化资源配置、告警等信息；虚拟化软件根据FusionManager的指令，对虚拟机进行管理。3.4.4 特点FusionManager是华为云计算的统一云管理平台，采用此平台，使得华为HANA一体机后续可以方便地扩展到云平台上，在统一管理、系统扩展、自动化运维等方面将可以取得优异表现。l 统一管理界面：华为HANA一体机由于计算、存储和网络都是华为单家提供，不依赖第三方设备，因此，可以采用统一的管理界面；无需像某些厂家，则管理SAN存储时，还需要登录到其他界面中。l 硬件资源集中管理：服务器、存储、IP交换机和IB交换机都能使用同一个风格进行管理。3.5 FusionCube

50、SAP HANA一体机系统特点l 高性能： n FusionStorage能分布式并行处理存储机头的内存和PCIE-SSD卡，能提供更高IOPS和更大的I/O带宽性能；n 在HANA里，Log需要同步写入存储介质，所以Log介质是影响系统性能的关键因素。在华为HANA解决方案中，Log数据是写入到每个存储服务器的NVDIMM缓存（华为自研的非易失性内存，能获得和内存一样的读写性能）中，这带来更好的的性能体验。n 华为融合的网络架构、Infiniband高速存储网络消除网络瓶颈，带来节点之间交互的高性能；l 高可靠：n 华为多节点HANA解决方案内建的FusionStorage存储能带来高可靠性

51、的保障，存储的数据可以设置为二或三份数据拷贝，任何一个或二个存储节点同时损坏，不会影响到上层业务。n 华为多节点方案计算存储隔离，存储系统的故障不会影响到计算系统n 华为节点方案网络、端口、交换、机框部件等都采用全冗余设计，无单点故障l 低TCO：n 华为解决方案采用融合架构，有更高的设备密度，减少空间占用，降低功耗；n 华为某些核心部件通过自研（例如PCIE-SSD），能较好控制成本、降低功耗、节省空间；n 华为HANA解决方案中，服务器、存储和交换设备都由华为公司提供，所有硬件组件能做到集中化统一管理，降低维护费用；4 FusionCube SAP HANA一体机关键方案4.1 集群方案华

52、为SAP HANA一体机集群版本采用了计算和存储物理上分离的集群架构，逻辑架构图如下：图4-1 Fusioncube 逻辑架构l 计算存储分离架构：内存计算部分组成集群，存储部分组成另外一个集群，2者之间通过共享文件系统或者分布式块存储联系 l Log卷和Data卷逻辑上分开部署； l 存储部分物理介质可采用SSD或SAS作为主存；l 计算节点、存储节点都采用刀片服务器；无需外置SAN/NAS存储；采用分离架构具有如下优点：l 充分利用E7刀片关键资源：由于计算节点上没有太多的存储软件在运行，昂贵的E7 CPU资源能都被SAP HANA数据库使用，确保SAP HANA数据库性能；l 故障隔离能

53、力好：计算节点和存储节点互相不影响；例如存储节点如果故障一个，需要进行数据重建时CPU占用大，但由于重建动作不在SAP HANA刀片上，因此，不会影响SAP HANA性能；l 扩容灵活性好：华为采用刀片形式构筑存储池，随着计算节点能力增加（例如CPU更新换代、增加内存容量、增加HANA节点等），都可以通过增加存储刀片的形式简单完成；而且，不管计算部分的HANA节点如何变化，原有的存储刀片都可以继续使用。4.2 数据持久化方案4.2.1 数据持久化原理SAP HANA数据库正常运行时所有数据都在内存中，为保证系统掉电重启后系统还能够运行，内存数据必须进行持久化保存。其原理如下图所示：分为2种持久

54、化数据：图4-2 Fusioncube SAP HANA持久化原理l Log: 这是关于数据改变的信息，即redo日志信息，这些信息在事务完成后直接写入持久化介质，根据SAP的要求，Log的存储介质缺省采用SSD卡，也可以采用SAS盘。Log区域空间被占满后，会将Log备份写到Data的区域，然后再重复写Log区域；l Data:这包括 SQL数据、undo日志信息、附加的SAP HANA信息（例如建模数据）。根据SAP的要求，推荐采用HDD作为存储介质；当然也可以采用SSD卡作为存储介质，此时系统在掉电重启、备份恢复等场景下性能更好，业务中断的时间更少。写动作：l Log: 是一种同步操作。

55、即在一个事务完成后，必须写Log成功完成后，SAP HANA数据库才会给用户返回成功，因此这个写动作会直接影响到SAP HANA数据库的性能；l Data: 是一种异步操作。一般是每5分钟自动写一次，间隔时间可以设置。采用Savepoint的方式，采用增量的方式，写入的是改变数据和undo日志信息。每写一次需要的时候由内存变化的数据决定，SAP公司对文件系统层以下的写带宽有要求，以最常见的1M块为例，最低要求是200MB/S。当底层硬件出现故障，无法写入时，需要SAP HANA软件进行提供和告警。l 由于Log是同步写，会直接影响SAP HANA数据库的性能，为保证SAP HANA内存数据库的高性能