GBase MPP数据库产品介绍

1、数据库产品介绍GBase 8a MPP Cluster目录GBase 8a MPP 产品简介及技术分析1GBase 8a MPP 应用场景及行业典型案例2GBase 8a MPP 平台稳定性及运维支撑体系3大数据任何单一的数据处理技术HadoopNoSQL，互联网、非结构化传统数据库OldSQL，交易、联机事务MPP数据库NewSQL,分析应用、结构化行业大数据大数据One Size Doesnt Fit All！合适的技术解决针对的问题多种数据处理技术的组合混搭架构OldSQLNewSQLNoSQL大数据平台GBase 8a MPP Cluster 产品简介产品简介 GBase 8a MPP

2、 Cluster是一款基于列式存储，依托MPP理念和Shared Nothing架构的并行数据库集群，为PB级超大规模数据管理提供高性价比的通用平台，并广泛地应用于各类数据仓库系统、BI系统和决策支持系统。GBASE 8aMPP Cluster高扩展性Shared NothingMPP高可用GBASE 8a核心技术特点及优势Shared Nothing MPP (massively parallel processing)架构基于列存储高动态扩展能力：横向扩展高可用性：Safegroup机制新型的Shared Nothing + MPP 架构技术disksdisksmemoryCPUCPUdi

3、sksmemoryCPUCPUdisksmemoryCPUCPUInterconnection Network数据MPP架构横向扩展GBase 8a MPP Cluster的技术架构MMMMAppsAppsGCware多MastersMMM1 扁平架构2 联邦架构GBase 8a MPP Cluster 产品软件架构分布式数据管理层 分布式集群管理层.集群节点分布式任务分布式并行任务管理层应用层统一接口层 JDBC，ODBC，.Net, CAPISQLSQLGNode列存储引擎A B全文检索引擎数据多个副本GCWareOS + 存储GClusterCoordinatorOptimizerPar

4、serGNode A B数据多个副本GCWareOS + 存储GClusterCoordinatorOptimizerParser列存储引擎全文检索引擎高速数据链接统一接口层：为上层应用SQL提供标准JDBC、ODBC、ADO.Net、CAPI访问接口GCluster：GCluster 负责SQL 的解析、SQL 优化、分布式执行计划生成、执行调度。GCWare：GCWare 用于各节点GCluster 实例间共享信息，以及控制多副本数据操作时，提供可操作节点，并在多副本操作中，控制各节点数据一致性状态。GNode：GNode 是GCluster 中最基本的存储和计算单元。GNode 负责集群

5、数据在节点上的实际存储，并从GCluster 接收和执行经分解的SQL 执行计划，执行结果返回给GCluster。GBase 8a MPP Cluster的关键技术GBase 8a采用了列存储、高效压缩和智能索引等特有技术，以实现降低磁盘I/O的主要设计目标上述每一项技术都有可能提升10倍的性能，GBase 8a的理论上能够实现1000倍的速度提升，实际性能提升可达10-100倍高效压缩MPP集群的分布式存储数据部署方式：复制(Replicated)和分布(Distributed)两种 复制表 分布表table副本table副本table副本table分片_1table分片_2table分片_

6、3集群的分布式存储分布表的分布方式：hash分布和随机分布两种 随机分布表 HASH分布表annbobliliannlilibob1,5,103,8,157,16,19node1T1p1T1p2T1p3node2T1p1T1p2T1p3node3T1p1T1p2T1p3主分片文件备份文件标注：T1p1Node1故障组内节点数据互备executor指向备份分片节点集群规划高可用方案集群特征-在线动态扩展机制GBase Clusterdatabase集群扩容速度与集群规模、新增节点个数有一定关联，但其影响主要在于网络、磁盘IO、内存资源是否充足集群多租户能力StorageStorageStorag

7、eStorageStorageStorageAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSAPPOSResource Pool In MPP ClusterMemoryCPUAPPOSAPPOSAPPOSMemoryCPUMemoryCPUMemoryCPUMemoryCPUMemoryCPUAPPOSAPPOSAPPOSStorageStorageMemoryCPUMemoryCPUAPPOSAPPOSAPPOSAPPOSAPPOSAPPO

8、SAPPOSAPPOSAPPOS业务系统 A业务系统 B业务系统 C。业务系统 AcGroup1cGroup2 业务系统 B业务系统 CcGroup3资源管理组-资源隔离和资源限额资源管理组CPU配比磁盘配比MPP数据库用户针对不同的资源使用，用户定义不同资源管理组，资源管理组内定义资源使用上限和资源配比，1个资源管理组就构成一个虚拟的资源容器，通过”沙盒“效果实现资源隔离以及资源过度消耗。APPOSAPPOSCPUIOAPPOSAPPOSCPUIOAPPOSAPPOSCPUIOAPPOSAPPOSCPUIOAPPOSAPPOSCPUIOAPPOSAPPOSCPUIOGBase 8a MPP

9、Cluster 监控平台可视化访问、控制和管理集群环境管理数据库、表、索引、视图、存储过程和函数等数据对象企业管理器集群监控工具运行状态资源利用情况网络通讯情况GBase 8a MPP Cluster支持的软件标准支持标准SQL92， SQL99， SQL2003提供标准的APIs: C API, JDBC, ODBC, ADO.Net完全支持中文国家标准的中文字符，包括GB2312、GB18030、GBK、UNICODE、UTF-8等兼容主流应用软件，包括商业智能系统、数据抽取转化加载工具等，如Cognos、BO、Informatica、Datastage等GBase 8a MPP Clus

10、ter支持的硬件环境支持标准Linux 内核：Cent OS，Redhat， Suse ，powerLinux等支持基于x86-64的标准PC服务器支持本地存储（Sata， SAS， SSD etc）支持阵列部署（SAN，NAS）支持SSD，Flash存储介质作为2级I/O缓存支持千兆，万兆 Ethernet 网络支持 Infiniband 网络GBase 8a MPP Cluster产品综述GBase 8a MPP Cluster是基于列存储开发的分布式并行OLAP数据库集群高并行处理MPP 并行架构支持高度并行执行；集群整体加载速度可达2TB/h以上；支持数据的边加载边查询；单节点上并发查

11、询能力大于300用户高可用提供Safegroup和任意副本分片数据的部署、提供冗余保护，自动故障探测和管理，自动FailOver， 自动同步多平台兼容在X86 PC服务器、一体机和虚拟机上均可部署，并且支持IBM的Power Linux新型开放平台，业界唯一PowerLinux支持可选架构MPP + Shared Nothing 的分布式架构；采用扁平结构 + 联邦架构的两种架构，业界唯一联邦架构；基于X86-PCserver具备高性能、高可用、高扩展特性，可以为超大规模数据管理提供高性价比的通用计算平台，用于支撑各类数据仓库系统、BI系统和自助查询类应用目录GBase 8a MPP 产品简介

12、及技术分析1GBase 8a MPP 应用场景及行业典型案例2GBase 8a MPP 平台稳定性及运维支撑体系3传统的onesizefitsall已经一去不复返了。未来大数据平台一定是各用其长，混搭配合使用给客户提供整体大数据平台解决方案。大数据时代分而治之的数据处理解决方案处理热数据传统事务型数据库适用于小数据量、业务逻辑复杂、并发度高的事务型业务场景处理冷数据Hadoop适合非结构化数据处理，流数据处理以及大规模批量作业处理温数据新型MPP数据库适合处理大规模的复杂分析No one could replace each other!传统事务型数据库新型MPP数据库Hadoop大数据平台G

13、Base 8a MPP数据库与Hadoop混搭大数据平台系统架构ETL平台结构化数据非结构化数据半结构化数据传统ETL数据仓库（基于MPP）Hadoop SQL星型模型雪花模型ACID应用平台存储过程关系模型HBasePIGHiveSqoopMRHDFSZooKeeper统一接入管理基于Hadoop云化ETL数据交换混搭结构数据平台案例1：山东移动云经分-项目背景22传统经分系统面临的问题数据规模增长快速活跃用户7800万，日均数据量超过3T，月数据90T数据总规模超过800T，并快速增长，正向PB级迈进现有系统响应慢各业务部门业务需求不断增长，但因系统资源紧张和响应较慢，业务需求的支撑压力较

14、大流量分析不够精细化流量分析相关的WAP日志、位置数据、数据业务话单、WLAN话单等并未实现有效整合和综合分析流量分析未到达事件级，无法实现精细化支撑的目标构建大BI架构下“低成本，高效益，高性能”的云平台，支撑精细化运营管理和实时精确营销需求项目建设内容去IOE，建设基于开放式、低成本的X86 PC Server集群云化架构搭建基于ETL的数据分发平台和MPP集群数据库以专题为单位将应用迁移到新的数据仓库平台23案例1：山东移动云经分-总体架构经分系统整体分为应用中心和数据中心两部分，应用中心采用MPP分布式并行数据库GBase 8a集群作为实现主体基于Hadoop的HDFS完成统一数据存储

15、，实现计算与存储的分离GBase 8a集群承载交往圈识别、重入网专题以及流量分析、CI自助分析等应用24案例1：山东移动云经分-解决方案交往圈识别重入网识别WLAN准实时营销CI自助分析Node1Node2Safegroup1Node3Node4Safegroup2Node25Node26Safegroup13基于JDBC ODBC ADO.NET C-API的统一接口数据加载机原系统使用3台IBM高端小型机+DB2，新系统使用26台x86服务器+GBase 8a集群新系统整体成本降为原系统的1/10，但性能基本相当（日报执行时间都约为6小时）系统拥有13个安全组，组内2个节点互为备份，节点发

16、生故障仍能提供服务，具备高可用性GBase节点基于IBM X3750 M4 CPU：4C*6core内存：128GB硬盘：16*900GB 10K SAS网卡：千兆网卡*2 ，万兆网卡*2系统已于2014年1月20日正式上线，与原系统并行运行。同年11月11日完成割接，完全替代DB2。案例3：中国农业银行数据仓库-项目背景25传统数据平台的问题基于Sybase IQ建立的分析类系统遇到性能瓶颈无法及时完成数据加载处理无法支撑更多的分析和访问行内对数据分析的迫切需求无法得到及时满足信用卡、贷记卡、电子银行资金转移计价反洗钱、监管报表、内部审计BoEing等核心系统逐步完善，宝贵历史数据需保存利用

17、项目建设内容以较低成本，建设能够支撑1PB数据量的数据仓库平台具备不断扩容能力能够适应未来大数据平台方案的规划案例3：中国农业银行数据仓库-整体架构26案例3：中国农业银行数据仓库-解决方案56台PC Server+GBase 8a替换传统小型机+Sybase IQ每节点占用磁盘空间为3.4TB实际数据量超过1PB （截止2015年3月）每天数据增量超过每节点80GB系统最大表超过1000亿行超过1P数据量27GBaseN1GBaseN28GBase 8a （DW）ETL1ETL4交换机G1交换机G2级联交换机12x66x10G负载均衡负载均衡管理交换机万兆网环境华为RH2288 V2内存：9

18、6GBCPU：24核 2GHzDisk：12 * 3T 该方案已在2013年9月上线行业案例：中国农业银行数据仓库项目 获奖情况该项目获得中国人民银行颁发的2014年度银行科技发展奖二等奖打破了国外基础软件在我国的垄断国产MPP数据库方案，撕开了国外MPP数据库产品垄断市场的缺口；在保证国家信息安全方面进行了有益探索该项目的成功是通过信息国产化保证国家信息安全方面的典型事件和有力证明；提升了国内各大数据领域的技术水平对国产MPP数据库的深层研究，提升了国内各行业客户在大数据领域的技术水平；解决大数据平台建设成本基于国产数据库，国内各行业大数据平台建设成本由亿元级别降低到千万级别；项目价值目录G

19、Base 8a MPP 产品简介及技术分析1GBase 8a MPP 应用场景及行业典型案例2GBase 8a MPP 平台稳定性及运维支撑体系3网络瞬断：一般情况可以根据网络层高可用机制在设备层实现自动切换，并且通过自动同步机制实现网络故障时瞬间离开集群的节点的自动恢复，通常情况无需手工介入。服务器宕机：一般通过重起服务器可以使集群恢复正常，并且集群内部可以通过自动同步机制自动恢复数据。但对于永久性服务器故障（例如内存损坏等），建议通过机器置换并手工同步的方式，可以恢复系统。介质故障：通过RAID5等机制，可以自动实现磁盘阵列层级的故障切换，但如果RAID卡等损坏时，建议通过机器置换并手工同

20、步的方式，可以恢复系统。GBase 8a MPP Cluster 常见故障的应对GBase 8a MPP Cluster 全局破坏时的恢复策略本地数据备份：通过gcrman备份工具实现数据的定期“全备 + 增备”或者通过lftp工具等进行定期的物理备份。在系统出现故障时，通过数据的restore操作手顺完成数据的自动恢复。GBase 8a MPP Cluster 全局破坏时的恢复策略备份同构集群：通过基于文件块的增量同步工具实现集群的并行节点之间的同步，从而实现同构的集群之间的高可用。并行节点到节点实时增量同步基于文件块高性能、高吞吐量对应用透明.集群1.集群2完善的服务支持流程，保障对一线项

21、目现场提供快速支撑响应GBase 8a MPP Cluster 服务体系 南大通用作为提供产品和技术服务的原厂商，提供包括GBase 8a MPP Cluster集群产品，以及产品维保、驻场支出服务、高级咨询、方案集成、应急处理服务等多种服务，这些服务共同组成我方对客户的服务体系，为客户提供全方位的大数据及数据仓库/BI分析领域的专业服务支撑。GBase 8a MPP Cluster 运维服务内容 （1）数据和SQL和存储过程迁移配合 配合实施针对客户原有数据库系统内数据以及存储过程向GBase 8a MPP Cluster数据库的迁移和迁移过程中调优。 （2）脚本开发服务 提供与GBase 8a MPP Cluster数据库、及其加载服务器等外围工具相关的运维用脚本开发服务，根据客户需求，此类脚本可实现数据自动入库、运维监控、数据导出等功能。 （3）系统性能的持续调优 针对客户的GBase 8a MPP Cluster数据库系统以及相关应用提供持续性的调优服务，并且针对系统软硬件提出优化建议等。 （4）系统状态的持续监控 根据客户提出的系统监控需求，提供针对客户的GBase 8a MPP Cluster数据库系统以及相关软件的监控计划和监控技术服务，并按