云海大数据平台介绍

1、大数据 新生态云海大数据平台介绍目录一.IT向DT变革面临的问题二.大数据解决方案三.问题解决之道“烟囱式”、每个应用建设相对独立构筑统一“平台”之上搭建不同应用单一应用平台构建独立应用独立应用独立应用独立应用大数据结构化数据半结构化数据非结构化数据应用应用应用应用应用以平台为基础，构建IT技术和业务服务能力，最终以智慧应用为目标大数据时代变革-以数据为核心服务器中间件应用云服务器云服务器云服务器云应用云应用云中间件云中间件大数据时代变革-分布式云架构技术架构变迁的本质是分布式云化大数据数据膨胀需求多变运维复杂 物联网/互联网+高可用高并发可弹性私有云公有云混合云多环境混合云跨云迁移开发运维一

2、体化传统架构硬件中间件应用云基础设施VMVM云架构云平台应用应用应用应用应用应用大数据时代变革-分布式架构的需求拉动硬件中间件应用采购上线安装测试工具招标测试安装中间件立项开发 安装OS需求需求调研硬件上架传统IT模型数据爆发式增长需求不确定/变更快大数据的创新需求高并发的用户访问云基础设施（IaaS）云中间件（PaaS）应用应用应用应用应用应用上线测试开发招标调研需求互联网+创新模型高可用/弹性伸缩互联网+/物联网大数据时代变革-业务创新与快速交付IT-DT变革带来的问题数据量增大，查询速度慢数据类型多，无法有效的存储、管理和利用互联网+/物联网业务的发展，对可靠性、并发性、弹性的要求高上完

3、虚拟化之后，如何进一步构建数据中心，如何实现服务化大平台目录一.IT向DT变革面临的问题二.大数据解决方案三.问题解决之道云应用开发服务化交付开放架构大数据解决方案010203SDA50000云海分布式并行数据库一体机海量结构化数据查询、统计分析SDA70000云海大数据一体机海量异构数据读写、分析和挖掘SDA80000云海超融合一体机融合云计算|大数据的新一代一体机MemDB企业级高并发内存数据库MPP改善数据导入查询速度HD企业级Hadoop发行版以大数据一体机为核心构建产品生态即将发布大数据解决方案总览采用世界领先的内核打造，产品稳定、性能良好，广泛应用于世界500强公司，以及金融、电信

4、行业云海Insight-大数据产品套件内存数据库实现上万超高的并发访问MPP并行数据库支持PB级结构化多维快速查询Hadoop发行版兼容社区API，超过30项优化的Hadoop引擎云海IOP-PaaS平台产品构建在IaaS之上，交付迅速稳定可靠，多重高可用架构，系统故障自动修复智能调度，应用实例自动弹性伸缩支持上万的大规模应用管理云海大数据一体机大大节省实施成本，缩短上线时间，开箱即用通过多重软硬件调优，提升系统性能及稳定性扩展能力强，支持数千节点涵盖GB-PB级处理场景的产品组合快速构建PaaS系统的平台级产品经过调优的大数据融合架构产品采 集服 务基础设施可视化/洞察计 算存 储产品/技术

5、解决方案/服务大数据生态-云海Insight多计算场景关联关系，离线计算、实时计算、流式计算、图计算多源数据混乱数据、全量数据、多源头、多类型多节点 - 横向扩展、易维护兼容性SQL兼容、社区API云海Insight产品概览产品名称技术架构关键功能特性适应场景响应时间云海Insight HD基于Hadoop大规模分布式架构可视化运维统一用户、证书认证滚动升级4000节点的横向扩展能力适合PB级以上的海量数据离线处理大数据应用建设中构建多源异构基础资源库分钟-小时云海Insight MPP基于MPP架构的分布式关系型数据库查询性能是传统关系数据库的10-100倍支持千节点内的稳定运行处理TB-P

6、B级的结构化数据的数据仓库和数据集市的最优选择BI领域替换传统架构毫秒-分钟云海Insight MemDB基于内存的无共享分布式架构支持Key-Value、及SQL关系型存储跨地区集群能力支持分布式事务高并发场景毫秒级响应适合TB以下规模超高并发访问的实时计算和加速场景毫秒、秒大数据处理平台面临业务的复杂性、多样性、数据量大、以及各种业务数据处理时间要求的不一致性，仅靠单一的产品无法满足业务需求，组合使用，效果更佳云海Insight产品家族一：云海insight HDInsight HD分布式计算引擎（Hortonworks Hadoop）数据集成数据访问数据存储安全操作数据采集SqoopKa

7、fkaFlumeWebHdfs分布式文件系统 HDFS资源调度 YARN批处理SQLNoSql流搜索内存脚本MapReduceTezHiveSparkSqlPhoenixHbaseStormSolrSparkPig管理认证审计数据防护RangerKerberosEncryption编排计划Oozie部署监控ManagerZookeeperHue提供大数据处理环境，基于社区开源软件增强，按场景选择业界最佳实践实现大规模配置、管理、监控和运营 运营团队能够轻松在企业数据生态系统中部署、监控和管理 Hadoop 群集整合各组件用户，统一认证、授权；数据加密及纠偏码机制确保数据安全以数据为中心思路，融

8、合多种数据处理手段及搜索方案Hadoop发行版：TB-EB级数据存储、分析云海Insight HD特性 SQL支持95%不停机维护滚动升级数据处理时延毫秒数据写入400MB/S统一用户认证、授权 多租户数据安全访问三员分立纠偏码节约70% 可视化部署运维组件全生命周期管理集群节点4000可以运行在虚拟化环境之上，降低运维成本（教学、实验等环境） 文件系统等30多项Hadoop改良18种关键组件 完整Spark支持HBase索引增强企业级安全性易运维丰富性100%全开源社区兼容性100%95%SQL兼容大于95%TP-DS评比最佳HAWQ/SQL on Hadoop云海Insight产品家族二：

9、云海Insight MPP分布式并行数据库：GB-TB级，数据分析领域替换传统数据库MPP传统架构化数据库数据库存储统计分析5000万条结构化数据以上，计算性能提高10倍；单集群200节点；分布式数据加载2T/节点/小时无共享架构、分布式架构解决关系型数据实时计算问题开放弹性架构基于Greenplum（已开源）打造，世界一流的MPP架构真正无共享的海量并行处理架构工业标准的X86平台服务器按需分配，按需搭建集群，按需缩放集群规模在线线性扩展增加节点可线性增加存储、查询和加载性能支持在线扩容，扩容期间保证系统继续对外提供服务保证用户不被专有平台锁定企业初期投入和后续扩容的成本可控海量并行处理支持

10、PB级的数据处理、存储和访问在数据加载、处理、访问等各个环节最大化并行处理能力优秀混合负载按需分配资源（CPU、内存、IO）动态调整资源平台持续可用数据镜像、硬件冗余等多种容错技术保证系统高可用故障切换和恢复，对用户透明扩容期间可持续对外服务拥有成本可控云海Insight MPP特性100%完全兼容SQL20030应用迁移无需修改20%总体拥有成本为传统20%DatabasesOther Data Systems文件系统常用的数据存储数据也可以备份分布式内存数据库Insight MemDB高吞吐量低延时高伸缩性持续可用性可靠的事件通知连续查询并行执行广域网分布数据调用方数据持久性数据加载、数据

11、同步数据加载、数据备份云海Insight产品家族三：云海Insight MemDB分布式内存数据库：GB-TB级数据，内存计算，互联网+应用，高并发云海Insight MemDB规格稳定单集群规模200单集群最大数据容量（理论值）40TB建议1TB以下跨数据中心部署支持并发查询能力2万/秒支持的查询接口SQL（较复杂查询）Key/ValueMap/Reduce支持数据多节点自动均衡支持可视化工具支持云海Insight MemDB特性在线扩展多级缓存机制增加节点可线性增加存储和加载性能数据自动重新分布数据高可靠多个数据备份数据自动同步数据可以写入磁盘(数据库)直写或是后写跨地域分布通过WAN连接

12、高性能计算所有计算操作都在内存，极大提高性能百万标准架构20000并发；轻松构建百万并发；延时毫秒；分布式单集群200节点；支持MapReduce;基于Gemfire（已开源）打造，世界一流的内存数据库，应用于12306余票查询采 集服 务基础设施可视化/洞察计 算存 储产品/技术解决方案/服务大数据生态-云海IOP智能运维微服务架构海量应用管理跨云管理SMS公安工商税务烟草金融PaaS高可用统一运维安全弹性高可靠稳定分布式可扩展某省公安厅200亿卡口数据300多轻量级应用20万用户烟草行业60个微服务业务单元400万用户某银行每秒5000次访问超2000万手机用户南北数据中心20152013

13、2011部署变更时间20分钟敏捷扩展性提高可维护性降低认证登录消息通信订单接收数据交互PaaS平台容器容器容器容器容器容器容器容器容器容器容器容器提升可维护性提升弹性能力某省厅大数据云平台虚拟资源池大数据仓库创新应用商店大数据创新应用实例200应用上线时间大幅缩短资源利用率大幅提升PaaS平台超过300万用户微服务化云海IOP-应云而生IaaS适配功能介绍-灵活动态路由动态路由APP1.IOP.COM负载均衡二级域名实例一多语言多框架容器多语言多框架会话共享实例二支持会话共享支持主流语言内置负载均衡内置动态DNSAPP1.IOP.COM功能介绍-简单容器容器应用容器应用容器应用容器应用容器应用

14、容器应用动态路由器软件/硬件负载均衡动态路由器 容器应用容器应用90%80%70%60%50%40%100%应用监控20%30%容器应用负载过高时 智能的自动 增加运算能力应用空闲时 自动释放资源应用部署时自动寻找空闲服务器功能介绍-智能云海IOP外接服务商店内置ServiceBroker40大数据中间件商业中间件开放的架构丰富的资源库统一服务商店功能介绍-开放IaaS环境PaaS内核PaaS中间件中间件高可用无共享架构多实例运行故障自动恢复内核高可用核心部件HA基础设施高可用虚拟机自动飘移弹性框架弹性框架控制器控制器消息组件消息组件容器应用引擎容器应用引擎容器应用引擎容器应用引擎容器应用引擎

15、虚拟机关系库虚拟机关系库虚拟机关系库虚拟机高速缓存虚拟机高速缓存虚拟机高速缓存多层高可用安全访问接口多级用户策略关系库关系库容器应用引擎功能介绍-安全移动应用Server端简单业务应用IaaS4CoreCPU8GB内存40G硬盘App1:01App2:02App2:03IaaS稳定可靠支持海量轻应用的PaaS平台容器容器容器容器容器容器容器容器容器容器容器容器APP1.IOP.COMAPP2.IOP.COMAPP3.IOP.COM1G内存2实例构建统一应用管理体系提升资源利用率应用商店应用场景-大量应用智能运维不管是运行在裸机还是虚拟机上的应用，对于应用的运维仍然没有统一的工具，仍然需要使用E

16、xcel等工具记录应用的IP等信息，应用膨胀时非常痛苦，且单个应用的系统资源利用率很低，很多轻量的应用占用了较大的资源，无法监控和回收。通过建设PaaS平台，构建统一的应用及中间件运维平台，核心的中间件不再单独部署和建设，通过统一的发布、监控，统一的域名体系，实现行业级的应用商店模式，且应用会随资源需求量自动分配，进一步提升了资源的利用率私有云公有云/托管云容器应用中间件容器应用中间件容器应用中间件PaaS 开发 生产应用场景-跨云应用管理（应用开发发布一体化管理平台）采 集服 务基础设施可视化/洞察计 算存 储产品/技术解决方案/服务大数据生态-云海大数据一体机优化 网络、分布式架构、并行计

17、算架构融合 分级分场景、网络分离一站式 整体交付、技术、运维云海大数据一体机大数据一体机产品系列010203SDA50000云海分布式并行数据库一体机海量结构化数据查询、统计分析SDA70000云海大数据一体机海量异构数据读写、分析和挖掘SDA80000云海超融合一体机融合云计算|大数据的新一代一体机即将发布标准版18节点最低3+5节点存储容量750TB+SmartRack版本32节点存储容量1200TB+63A/220V/240V/12KW18节点内置万兆交换机半配最低2+4节点存储容量240TB+220V/32A/10KW大数据一体机产品特性融合高效敏捷易用企业级增强开发支持融合高效采用新

18、型Scale-out分布式并行计算架构，横向扩展节点可达4000+；高效融合架构，计算向数据存储靠拢，多表组合可达13GB/分钟/节点；柜内数据交换，计算、存储和网络集中池化，资源利用率提升40%。敏捷易用开箱即用，易于部署，只需插电、连接网络、启动等简单几步即可开始使用，运维效率提升50%。组件化交付，一体化运维。一站完成对大数据软件、计算、网络和存储单元的运维管理，无需频繁切换控制台。写入文件速度可达25GB/分钟/节点高IO计算性能可达9GB/分钟/节点单节点IOPS可达200万以上并行文件加载可达2T/小时/节点最大集群规模4000节点运维、数据网络分离双万兆网络冗余Raid5+1级数

19、据保护支持SQL 92、99标准SQL 2003扩展可视化数据溯源、告警CPU、内存、网络运行期智能调度支持Tableau、, MicroStrategy等主流可视化工具对接多表组合查询可达13GB/分钟/节点可靠性高达99.999%支持不停机在线扩容企业级增强企业级RAS特性，关键部件N+N冗余，二级管理节点维生机制，平台可靠性可达99.999%；30项分布式文件系统特性优化，速度提高20%；例如小文件存储优化、数据导入自动创建二级索引等数据特性进行优化。整合和增强20项关键组件，适配多种计算场景。提供HBase、HDFS、Hive、Storm等关键组件，适配流式计算、离线处理、交互式分析、

20、迭代预测、图计算等多种计算场景开发支持兼容SQL-92/99/2003、OLAP扩展，PL/SQL兼容度超过95%；提供基于MATLib的高级机器学习和数据挖掘功能；无需数据导入，即可直接通过SQL访问HDFS、Hive、HBase、关系数据库等数据源的数据，进行统一的数据碰撞。统一SQL数据访问层目录一.IT向DT变革面临的问题二.大数据解决方案三.问题解决之道大数据产品应用场景利用分布式技术改善数据查询分析速度 海量异构数据仓库的建设 互联网+/物联网新型业务包含大数据服务的PaaS平台搭建 利用分布式技术改善数据查询分析速度SDA50000云海分布式并行数据库一体机关系数据库MPP10倍

21、+数据平均导入速度低成本复制查询分析模块10倍+数据平均查询速度列式存储并行计算海量异构数据仓库的建设 HDSDA70000云海大数据一体机异构存储海量数据快速定位非/半结构化数据分析日志分析网页分析全量订单库内容管理互联网+/物联网-新型业务高并发高可靠分布式弹性伸缩互联网+物联网SDA50000SDA70000分布式应用支撑层快速迭代容器架构分布式数据沉淀MemDB智慧交通智慧政务车联网智能制造手机APP企业级高并发内存数据集群包含大数据服务的PaaS平台搭建IaaSPaaS物理资源SaaS统一服务交付MPP数据库内存数据库软件定义计算软件定义存储软件定义网络Hadoop开放架构应用商店应用平台云管理平台容器即