大数据平台产品线售前资料-V1

1、大数据平台产品线产品产品汇报2015-12-022中国移动云计算平台典型架构存在的明显缺失云平台建设：重IaaS轻PaaS：以提供计算和存储服务的资源池建设为主，形成“薄平台厚应用”多个资源池独立建设：资源利用率低，缺乏统筹规划和集中运维管控能力，难以发挥规模化效益采用VMware等商用虚拟化软件：技术路线严重依赖厂商，建设成本居高不下，影响投资效率传统的运维管理方法：将虚拟资源当做物理资源按日、周进行申请和分配，丢失云平台资源动态调度和服务弹性伸缩的优点应用云化：新的应用资源竖井：资源池的资源重新被固定、静态分配给应用；应用缺乏足够的弹性和灵活性应用云化难度大：“薄平台厚应用”结果，每个应用

2、自行规划、建设所需的基础平台软件；难以提炼出标准化的软件服务组件应用云化不彻底：某些应用模块、核心数据库等仍然依赖小型机和专用高端存储提供的性能，难以迁往资源池市场分析之一：云计算平台的现状和分析业支资源池管理平台业支资源池计算资源存储资源网络资源网管资源池管理平台网管资源池计算资源存储资源网络资源IDC资源池管理平台IDC资源池计算资源存储资源网络资源CRM云化部分BOSS云化部分经分云化部分网管应用云化部分网管应用云化部分网管应用云化部分移动公网应用外部租户外部租户3云计算的基本特性：租户、服务和资源模型（亚信数据对NIST Cloud Computing Reference Archit

3、ecture的解读）租户和服务的关系 按需自助服务：服务的开通方式；租户没有绑定固定的服务 广泛网络访问：服务的访问方式；不限定租户对服务的访问方式和位置服务和资源的关系 快速可伸缩性：服务和资源的松耦合关系；在不中断服务的前提下增加、减少务所使用的资源，实现服务容量的动态调整租户和资源的关系： 动态资源池：租户和资源的动态分配关系；针对每个租户进行细粒度的资源动态分配和隔离 可计量服务：租户对服务、资源的使用方式；记录租户对服务和资源的使用量租户租户租户服务资源资源资源服务的访问服务的访问资源的供给资源的供给 从烟囱型到分层模型转变：规划、投资、建设、运维等都要从“以应用为核心”向“平台化思

4、维”转变 服务和资源的解耦：资源按需要快速采购从而灵活增加服务的容量和性能，对现有采购模式有很大影响4中国移动云计算平台典型架构存在的明显缺失从“资源池+应用云化”向“企业级云平台+应用上云”的思路转变服务内容：以IaaS和PaaS服务并重，PaaS服务以能被多个应用共享的标准化平台服务为主；应用按需申请所需服务IAAS服务：采用VMware和Openstack技术，建设跨资源池的IaaS服务平台PAAS服务：实现PAAS服务之间的资源共享和动态调度，提供服务的弹性伸缩能力市场分析之二：云计算平台的发展方向（亚信数据的观点）资源池资源池+应用云化应用云化企业级云平台企业级云平台+应用上云应用上

5、云建设思路自上而下，根据应用云化需求推动资源池的建设自下而上，根据云平台能力建设推动应用平滑、有序部署和迁移到云平台应用开发支持资源池提供标准化的计算、存储、网络服务，与应用开发关联度小云平台提供应用所需要的PaaS服务，应用基于云平台的PaaS服务进行开发和部署，关联度高建设模式应用和资源池相对独立，由各自主管部门规划、立项、建设和运维建议成立“云平台建设领导小组”统筹规划云平台能力建设和应用上云步骤，并协调、监督执行硬件采购模式通常按年编制预算、集中采购云平台根据应用需求按需提供服务，需要更及时、更灵活的硬件采购体制运维保障由偏硬件运维服务的团队承担，要求相对简单对硬件、操作系统、各种Pa

6、aS服务软件都要全面深入掌握，要求很高物理资源池物理资源池PAASPAAS平台平台大数据平台大数据平台IAASIAAS平台平台HadoopHadoop平台平台实时计算服务实时计算服务集群服务集群服务PAASPAAS服务服务MPPMPP数据库数据库一体机一体机容器集群容器集群虚拟机集群虚拟机集群通用服务通用服务BOSSBOSS服务服务企业级云管企业级云管理平台理平台计算服务计算服务X86/X86/小机小机虚拟机虚拟机存储服务存储服务块设备块设备文件系统文件系统对象存储对象存储网络服务网络服务路由交换路由交换负载均衡负载均衡容器容器安全安全计算资源计算资源存储资源存储资源网络资源网络资源CRMCR

7、M服务服务SAASSAAS服务服务使用使用IAASIAAS服务服务使用使用PAASPAAS服务服务MR/HiveMR/HiveSPARK/SparkSQLSPARK/SparkSQLHBASEHBASEStormStormSparkStreamingSparkStreamingRedisRedisImpalaImpalasqlfiresqlfire使用大数据服务使用大数据服务租户管理租户管理资源管理资源管理服务管理服务管理开发运维管开发运维管理理数据管理数据管理系统管理系统管理通用通用SAASSAAS服务服务业务支撑业务支撑SAASSAAS服务服务网络管理网络管理SAASSAAS服务服务管理信

8、息管理信息SAASSAAS服务服务我们的产品策略：私有云平台系统总体架构PAAS集群子系统集群子系统产品1/3：PAAS平台 的功能架构PAAS管理子系统管理子系统租户管理租户管理资源管理资源管理服务集群管理服务集群管理数据管理数据管理系统管理系统管理资源管理资源管理容器管理容器管理虚机管理虚机管理存储管理存储管理弹性集群管理弹性集群管理监控分析监控分析分布式协调分布式协调服务注册服务注册服务查询服务查询网络设置网络设置负载均衡设置负载均衡设置VLANVLAN设置设置数据管理数据管理镜像存储镜像存储PAAS服务子系统服务子系统应用应用PAASPAAS服务服务启动启动/ /停止停止扩缩容扩缩容在

9、线升级在线升级监控监控/HA/HA租户账号管理租户账号管理租户资源管理租户资源管理租户权限管理租户权限管理资源定义资源定义资源监控资源监控资源报表资源报表目录管理目录管理集群管理集群管理服务管理服务管理快照管理快照管理镜像管理镜像管理安全管理安全管理平台监控平台监控NATNAT设置设置通用通用PAASPAAS服务服务开源服务组件开源服务组件商用服务组件商用服务组件快照存储快照存储亚信亚信服务服务组件组件亚信亚信服务服务框架框架CSFCSF服务框架服务框架MSGMSG消息框架消息框架COMCOM流程框流程框架架SECSEC权限框架权限框架CACHECACHE缓存缓存框架框架LOG4XLOG4X日

10、志日志AIRuleAIRule规则规则AICEPAICEP事件事件AISchedulerAIScheduler调度调度AISEAISE搜索搜索AIExceptionAIException异常处理异常处理开源服务框架开源服务框架DADBDADB数据访问数据访问框架框架商用服务框架商用服务框架开发运维管理开发运维管理上线上线/ /发布发布运行监控运行监控故障处理故障处理快照快照远程命令远程命令产品2/3：大数据平台建设的四个阶段第一阶段：分散建设阶段第二阶段：统一服务阶段第三阶段：统一管控阶段第四阶段：云化建设阶段产品2/3：大数据云平台产品总体架构服务层服务层管理层管理层特定服务管理特定服务管理

11、平台层平台层批处理服务批处理服务实时计算服务实时计算服务服务器服务器服务器服务器服务器服务器服务器服务器服务器服务器存储服务存储服务MRMRSpark/Spark/SparkSQLSparkSQLStormStormSparkSparkStreamingStreamingHDFSHDFSHbaseHbase通用服务管理通用服务管理RedisRedis服务器服务器中间件服务中间件服务TomcatTomcat服务服务服务管理服务管理资源管理资源管理安全管理安全管理租户管理租户管理监控运维监控运维LVS/NginLVS/Nginx x服务服务KafkaKafka服务服务APIAPI接口接口用户操作接

12、口用户操作接口命令行接口命令行接口总线总线服务服务数据服务管理数据服务管理总线服务管理总线服务管理HDFSHDFSYARN/SliderYARN/SliderZookeeperZookeeperLVS/NginxLVS/NginxHive/Hive/TezTez产品2/3：大数据平台产品技术架构-某省移动样板点u产品设计目标：基于通用PC硬件和开源软件的分布式事务型关系数据库u 高可靠性：代替oracle等传统集中事务型关系数据库u 平滑迁移：支持现有核心业务系统安全、经济、平滑地迁移u 高扩展性：满足亿级用户规模数据量业务处理的系统建设需求u设计思路：以BSD license的开源PG为基础

13、，结合电信核心业务特点(实时、高并发、亿级用户、海量数据存储)自主开发相关模块，形成自主知识产权的高可用，高性能，易用的分布式数据库产品u技术思路：PG+自主功能模块（运维，监控，HA）集成易学、易用、好用的管理界面和辅助工具， 保证产品的稳定性和简捷性订制化低成本数据安全高可用简单易用高可靠高性能 High availabilityCluster managementPG Management ToolsNew Hardware SupportADB产品3/3： 亚信分布式数据库ADB（Asiainfo Data Base）mGTM：全局事务管理器u提供全局事务ID和快照号：实现事务并发控制

14、和事务隔离u提供全局序列号和时间戳功能产品3 /3 : ADB产品架构代理层：处理客户端的连接请求（主、从节点内）u支持SQL92标准：生成执行计划，将执行计划、全局事务ID和快照号发送给数据节点执行，对结果集归并处理u多协调节点同时接受客户端连接：提供读写可扩展性u对跨节点操作提供分布式事务支持u支持跨节点的关联、聚合类分析操作数据层：完成数据的存储和执行（主、从节点内）u支持数据节点的分组管理u提供应用透明的复制和分布两种存储方式u提供多种分片函数，支持定制开发u支持节点动态扩容和数据自动重平衡亚信分布式数据库提供透明的数据分布存储水平扩展性好无单点故障和秒级切换提供多数据副本的强一致性提供透明的ACID特性产品3/3: ADB总体技术特点功能特点承载复杂事物环境下高性能、高可用的OL