大云大数据平台及应用

1、“大云大云”大大数据平台及应用数据平台及应用中国移动通信研究院中国移动通信研究院 郭磊涛郭磊涛2013年年11月月电信运营商具有更多的数据电信运营商具有更多的数据移动互联网服务商电信运营商SNS博客电商视频图片音乐签到问答点评优惠券专业SNS微博消息论坛2G、3G、4G、WIFI除了像移动互联网服务商那样关注“结果”，电信运营商还需要关注“过程”！新闻地图典型的应用场景典型的应用场景之一：之一：大大数据批处理系统数据批处理系统目标：针对海量结构化、非结构化数据的ETL操作。从各种数据源获取数据，并进行清洗、转换、去重、缺值补充等操作。通常采用MapReduce等并行计算技术。技术要求举例：针对

2、海量数据实时离线批处理运算（ETL），通常时间要求较为宽松，如几个小时级别。数据ETL运算种类多，灵活性强，通常具有很强的定制化特征数据通常需要导出到数据库、数据仓库，提供报表能力需要灵活的调度的系统，便于系统需要和其他业务系统混合部署，提高资源利用水平例图：分时段汇总的业务场景典型的应用场景之二：大数据查询系统典型的应用场景之二：大数据查询系统目标：针对海量结构化、半结构化数据的精确定位、区段扫描等条件查询操作，用于网络优化、帐详单查询、故障定位、搜索引擎等业务场景。采集预处理计算1计算2融合处理大数据库大数据库原始数据消息营业厅系统营业厅1营业厅2营业厅3营业厅4例图：帐详单查询系统技术要

3、求举例：针对海量数据实施交互式查询，返回时间在1秒钟左右。针对海量大数据规模实施查询，数据规模可以达到100TB-10PB规模。数据插入通常采用批处理方式，而查询通常带有条件，通常返回结果数较少系统具备较高的并发性，支持大量用户同时查询，依然可以在给定时间出口返回结果数据具有很高的可靠性和可用性要求典型的应用场景之三：大数据挖掘系统典型的应用场景之三：大数据挖掘系统目标：针对海量结构化、非结构化数据的进行深度挖掘。通常需要根据业务需求设计模型、训练集并选择算法（分类、聚类、关联、非结构化）。通常会使用各种分布式数据挖掘工具和算法人群1其它人群例图：客户分类识别应用技术要求举例：针对海量数据实施

4、全量数据挖掘，规模达到10TB-PB规模。处理时间没有严格要求，通常达到几个小时，甚至更长时间需要支持各种并行计算模式，如MapReduce、BSP等数据挖掘系统需要较好的用户界面，用户通常具备业务知识，但是未必具备开发经验系统可以和其他系统混合部署数据具有一定的可靠性和可用性要求中国移动中国移动“大云大云” 云计算平台云计算平台IT基础资源 对象存储BC-oNest数据仓库系统HugeTable系统监控和管理CloudMaster平台安全管理CloudSecurity并行数据挖掘工具集BC-PDM文件中间件BC-NAS并行数据抽取转换BC-ETLEMailIDC服务经分KPI集中运算结算系统

5、云计算资源池系统搜索引擎BC-SE经分系统ETL/DM信令系统物联网应用弹性计算BC-EC弹性块存储BC-Blockstore商务智能平台数据管理/分析类计算/存储资源池BC-Hadoop 数据存储和分析平台IaaS 产品PaaS 产品“大云”产品K-V数据库BC-kvDB消息队列BC-Queue实时交易类分布式内存引擎BC-DME分布式SQL数据库BC-RDBBC-BSP 数据并行框架能力开放平台其他平台中间件数据仓库系统HugeTable并行数据挖掘工具集BC-PDMBC-Hadoop 数据存储和分析平台K-V数据库BC-kvDB分布式SQL数据库BC-RDBBC-BSP 数据并行框架Ha

6、doopHadoop数据存储与分析数据存储与分析RS级别结果汇聚级别结果汇聚线程线程池管理池管理ZookeeperJobTracker(Virtual IP)JT-0001JT-0002JT-0003基于基于AmbariAmbari的的HadoopHadoop监控管理工具监控管理工具Apache Ambari是对Hadoop进行部署、监控和管理的开源项目 Puppet部署hadoop服务 Ganglia 收集hadoop 服务数据与生成图表 Nagios监控集群服务状态并报警基于基于AmbariAmbari的的HadoopHadoop监控监控管理工具管理工具TODO:启用MRv1 JT/HMa

7、ster HA删除节点节点异构配置(Ambari-3531)数据仓库系统（HugeTable）基于Hadoop的海量结构化数据存储系统，利用低成本硬件提供高性能的数据加载、索引查询和并行分析能力，对外提供易于应用集成的数据访问接口单条查询等(少量数据)实时性要求高的分析查询SQL(数据量满足impala内存限制条件) 复杂SQL语句或者扫描大表全表（大规模数据聚合查询等占用空间超过了impala内存能力）图计算平台（BC-BSP）针对社交网络分析、用户精准营销、搜索引擎PageRank计算等图计算领域的数据挖掘需求而研发的并行计算框架，针对迭代计算，计算效率优于MapReduce框架http:

8、/ 1M 2M iR 1R j子任务block1数据分割block1block1block2block2block2block3block3block3M 1M 2M iR 1R 2R 2R jBC-BSPHugeTableMapReduce并行数据挖掘各种海量数据处理、挖掘应用数据交换并行数据探索Web GUI/工作流引擎SQL脚本CLI命令行应用用户权限管理 支持与RDB直接交换数据、支持CSV格式数据支持数据清洗、转换、集成等7大类45种ETL支持数据统计、变量分析、分布特征探索等支持分类、聚类、关联分析等3大类共15种算法支持网络特征分析、社团发现和演化、社团展示等Web浏览器使用，并

9、可支持应用共享 支持Web图形化方式创建数据分析逻辑，支持SQL脚本方式，支持CLI命令行方式Java API、Web Service支持SaaS模式的海量数据并行处理、分析与挖掘系统。适用于经营决策、用户行为分析、精准营销、网络优化、移动互联网等领域的智能数据分析与挖掘应用并行数据ETL社交网络分析广域网K-VK-V数据库（数据库（BC-KVDBBC-KVDB）根据订购关系存储、用户个人信息存储等应用需求和相关规范，增强系统操作维护功能、优化性能并提高系统可靠性。提供一个高并发、高可扩展的键值对存储系统。数据连续范围分区，类似HBase不依赖DFS，数据直接读写本地多个磁盘Query Cac

10、he & Block Cache通过Region数据的多副本，保证数据的高可靠实现多个主节点的互备元数据与用户数据隔离存储实现用户认证和授权SQL数据库（BC-RDB）是基于MySQL的分布式数据库，系统由多个安全组（safegroup）和一个分布式事务管理器组成。采用“两阶段提交协议即2PC”来实现分布式事务“大云大云”应用案例之一：大数据应用案例之一：大数据ETLETL业务业务流程流程现网时间现网时间（min）云云ETL时间时间（min）加速比例加速比例时间减少时间减少绝对值绝对值（小时）（小时）14650 1153 4.0358.322700 1571 1.7218.882100 129

11、31.6213.491800 11501.5610.8101500 12251.224.611490 325 1.512.80 500 1000 1500 2000 2500 3000 3500 4000 4500 5000 12891011现网时间（min）HIVE时间（min）现网现网3.2天天，减少为0.8天节约近节约近2.5天天现网90分钟减少为10分钟仅为1/100 20 40 60 80 100 120 140 流程3流程4流程5流程6流程7现网时间（min）HIVE时间（min）MR时间现网时间现网时间（min）云云ETL时时间间（min） MR时间时间云云ETL脚本脚本加速比例

12、加速比例时间减时间减少少绝对绝对值（值（小小时）时）流程流程390 10 无9.001.3流程流程4130 59 403.251.5流程流程560 14 无4.280.8流程流程680 25无2.500.9流程流程7130 47 无2.761.9滚详单类滚详单类出月表类出月表类帐详单系统存储数量急剧膨胀，传统架构难以满足当前业务运营要求，系统面临扩容难题“大云大云”应用案例应用案例之二：之二：大大数据查询业务数据查询业务采集预处理计算1计算2融合处理HugeTable表2HugeTable表1原始数据消息营业厅系统营业厅1营业厅2营业厅3营业厅4某地市应用，每个月帐详单总体数据量10TB话单通过HTLoad工具批量加载帐详单查询通过SQL或Native API接口进行复杂分析则通过MR接口进行HugeTable支持数据按照Join key预先进行数据划分，减少join过程中数据在节点间的拷贝应用效果：加载：支持数据并行加载，数据加载保证完整性和可靠性；查询