移动运营商大数据平台应用实践

1、移动运营商大数据平台应用实践某移动项目情况简介某移动发展阶段及策略Aster引入经验分享Agenda2某移动整体情况简介项目完成值同比通信服务收入(亿元)123.6收入份额(%)58.5%无线上网收入(亿元)31.7(30.0)集团单位通信和信息化产品收入(亿元)7.7应用及信息服务收入(亿元)4.9宽带业务收入(亿元)1.9集团成员收入(亿元)68.2收入情况项目完成值预算完成进度目标存量客户保有率(%)目标存量客户收入保有率(%)3G/4G客户市场份额(%)3G/4G客户手机流量分流比例(%)手机销售(万部)255.2家庭宽带客户到达数(万户)78.4专线条数(净增)(条)26863校讯通

2、客户数(净增)494871集团固话客户数(净增)72719市场情况 某移动属移动集团C类省，移动客户规模2477万，其中集团成员1245万，2013年收入约140亿元，基站数量约为6.5万个，覆盖了100%的乡镇，99%以上的农村及人口。 某移动组织架构与Teradata服务部门 目前，某移动共设有21个独立部门（中心），下辖11个市分公司。Teradata在2002年首度与某移动合作，迄今已有12个年头，为其中的10个部门提供服务，更有5个部门深度合作。中国移动通信集团山西有限公司综合部发展战略部计划部工程建设部财务部人力资源部市场部数据产品部集团客户部客户服务部呼叫中心网络部网络运维管理中

3、心业务支撑系统部管理信息系统部物资管理部内审部党群工作部纪检组监察室省工会应急通信局市分公司山西中移通信技术工程有限公司后勤服务中心安全保卫中心法律事务中心基建办公室会计核算中心员工发展中心统筹管理中心移动互联网中心集团客户第一中心集团客户第二中心支撑服务中心侯马中心网络优化中心信息安全中心工会办公室权益保障部经济工作部数据分析中心某移动项目建设历程02092010服务客户：业支、IT服务内容：以经分规范为主，辅以挖掘模型、系统优化2011201220132014服务客户：业支、IT服务内容：除传统服务服务外，扩展了前端应用类服务内容。服务客户：新增财务部项目类型：新增运维管理类服务、财务分析

4、类服务 12年间，Teradata服务的部门从1个，增加至10个，且服务对象上升至总经理，PS服务收入稳定在约为3M/年。服务客户：新增市场部、客服部项目类型：新增分析支撑类、客户服务分析类服务服务客户：增加公司决策层服务对象项目类型：新增Aster类、市场运营支撑类服务服务客户：增加数据分析中心项目类型：新增决策支撑类、营销管理类服务主仓库、地市集市、部门集市采用Teradata 数据仓库一体机；大数据平台采用Teradata Aster历年项目回顾20022008BASS 1.0业务支撑20092010201120122014BASS 1.5BASS 2.0企业数据资源管理NG BASS

5、1.0NG BASS 2.0NG BASS 3.0NG BASS 3.5NG BASS 4.0经营指标分析TD-SCDMA经分性能优化家庭市场分析新增来源离网去向分析营销闭环咨询成本标杆分析二期成本标杆分析二期经分应用能力提升经分生命周期管理深度运营支撑平台渠道管理平台一期日常运维支撑维护实时经分IMEI终端分析BOSS接口改造性能优化运营分析支撑渠道管理平台二期产品质量管理平台客服统一视图Portal 优化量化薪酬管理财务经分客服需求闭环管理NG BASS 4.5流量高价值预警智能运维管理平台高价值客户保有经分Portal优化财务（数据分析中心）市场客服家庭市场分析ODS通用价值经营指标分析

6、优化经营指标分析二期通用价值二期市场分析挖掘模型片区运营支撑百宝箱渠道视窗经营指标分析三期呼叫运营支撑2013日常运维支撑维护量化薪酬二期触点营销平台垃圾短信识别Aster数据迁移多维成本数据标准服务质量监测管理运营分析支撑策划室支撑财务分析历年项目回顾20022008BASS 1.0业务支撑分析模型20092010201120122014BASS 1.5BASS 2.0企业数据资源管理NG BASS 1.0NG BASS 2.0NG BASS 3.0NG BASS 3.5NG BASS 4.0经营指标分析TD-SCDMA经分性能优化家庭市场分析新增来源离网去向分析营销闭环咨询成本标杆分析二期

7、成本标杆分析二期经分生命周期管理深度运营支撑平台渠道管理平台一期日常运维支撑维护实时经分IMEI终端分析BOSS接口改造性能优化运营分析支撑渠道管理平台二期产品质量管理平台客服统一视图Portal 优化量化薪酬管理财务经分客服需求闭环管理NG BASS 4.5流量高价值预警智能运维管理平台高价值客户保有经分Portal优化财务（数据分析中心）市场客服经分性能监控平台ODS通用价值经营指标分析优化经营指标分析二期通用价值二期市场分析挖掘模型片区运营支撑百宝箱渠道视窗经营指标分析三期呼叫运营支撑2013日常运维支撑维护量化薪酬二期触点营销平台垃圾短信识别Aster数据迁移服务质量监测管理运营分析支

8、撑策划室支撑Teradata基础服务运营支撑Aster基础服务APMA前端应用多维成本数据标准财务分析数据管控某移动的UDA架构 公司领导/部门管理人员客户 / 合作伙伴业务分析师一线运营人员数据科学家市场分析师运营系统工程师企业战略决策支持企业管理分析企业经营分析企业运营分析运营业务监控与计算视频 / 音频图片文本Web & 社交机器日志crm计费erpJava, C/C+, Python, R, SAS, SQL, Excel, BI, Visualization获取 | 存储 | 转换数据处理中心数据计算中心数据运营中心高速交互引擎Aster Adapter 某移动是深度与Teradat

9、a合作的客户，拥有Teradata 高性能数据仓库，并于2012年分别引入Aster MPP数据库与通用Hadoop云平台，已达成符合Teradata UDA的大数据平台架构。We will replace the existing Hadoop in 2015某移动大数据平台逻辑架构第 9 页BOSSCRM大客户呼叫网管集客MIS结构化数据实时数据流结构化数据结构化数据结构化数据信令等非结构化数据Aster数据深度处理平台深度数据探索平台，实现计算量大、规则比较简单的业务应用处理数据加载、数据清洗、数据转换PTEMPPDATAPMID信令等非结构化数据获取、存储、转换非结构化数据预处理实时数

10、据流数据处理实时数据加载非结构化数据Teradata，高性能数据整合、处理中心数据挖掘及数据分析能力提供复杂的业务应用处理逻辑集市地市集市前端集市PMID数据封装自助服务打包应用打包应用对外服务上网日志、信令等强健的团队协作，是保障成功的关键Sales团队Wang WayneYi NingPS管理团队Cui DaqiangZhang Steven售前团队Jiang Geoffrey分析Leader：邓昆山后台Leader：耿镇潮分析组：纪建春助理经理邓昆山后台Leader：田彦武后台Leader：刘润虎后台Leader：马庆伟业务组：顾臻助理经理张瑞前端Leader：寇文斌前端Leader：段

11、炜前端组：罗意助理经理祁超后台Leader：主力东后台Leader：赵应轩后台Leader：齐伟 技术组：胡正阳助理经理熊军项目经理：房猛项目助理BC组PS驻场团队达50人Aster团队Kong GeorgeSales团队、PS团队、售前团队、Aster团队协作，保障了客户的信心，提升了客户的满意度某移动项目情况简介某移动发展阶段及策略Aster引入经验分享Agenda11Teradata在某移动发展历程进入思考与重新定位快速发展瓶颈期待突破，再次腾飞 20132014年，与某移动的合作进入稳定期，建设内容更为实用，各部门对PS服务能力更为认可。当前情况行业态势三大运营商受到移动互联网冲击明显

12、流量经营成为运营商关注重点，集中化开始启动大数据运营成为热点，数据变现呼声响起。某移动业支主导经分建设，经分系统生态更加丰富业务部门已经觉醒，开始重视数据，业务需求不断涌现技术态势MPP数据库技术成熟，数据仓库地位受到威胁云平台、流处理技术日趋完善，支持场景更为丰富经分系统完成B域数据整合，开始引入M域、O域应用更为丰富，业务支撑类应用需求更为迫切规范成为可选项目主体转向以业务运营支撑为主，面向业务领域更多，项目类型更为丰富。项目形态1. Hadoop；2.云平台；3.可视化技术;4. APPs; 5. 流处理。挑战1. 可视化技术研究与实施。2. APPs技术储备。3. 三域融合应用研究。应

13、对策略对移动业务与经分数据的掌握与理解。业务咨询能力。3. Aster实施能力。4. 大数据平台架构规划能力。优势HadoopAPPs流处理冷思考：明天的明天三域融合应用Hadoop流处理APPs某移动项目情况简介某移动发展阶段及策略Aster引入经验分享Agenda15Aster导入历程2012年5月2013年10月2014年3月2014年12月2012年5月启动大数据架构规划2013年10月Aster、 OceanInsight、GP、GBASE进行POC测试。2013年12月，POC结果公布，Aster战胜GP、GBASE，成为某移动MPP数据库选型。2014年3月Aster生产环境搭建

14、完成，初期17台刀片机，其中14个Worker节点2014年5月完成冷数据备份及话单迁移，释放主仓库存储30TB2014年5月Aster节点扩容到45台刀片，其中有37个Worker节点，2个Loader节点10月底，完成PDATA层数据迁移，预计迁移数据42TB；完成网厅日志大数据在Aster探索工作11月底，PMID层465个左右作业迁移11月底，云ETL统一调度平台迁移积极参与，用心研判策略清晰，有备而来闪电突击，开疆破土抓住机遇，扩张版图创新MyETL（YunETL），实现跨平台云调度作业配置：客户依据具体需求，配置数据加载、清洗、计算等实时数据导入作业参数化开发：模版化，设置每个作业

15、步骤的具体参数，减少代码开发步骤任务监控：上线作业清单，用户可以随时监控维护作业运作情况实时监控：实时监控告警，实时掌握后台数据仓库负载情况MyETL全图形化操作界面示例：作业配置、作业参数化开发、任务监控、后台监控。提升复杂数据分析能力第 18 页目前Aster数据库除了承担部分数据仓库的数据处理和模型生成以外，还承担了部分应用的承载，主要包括日志分析、垃圾短信号码识别、流量服务质量检测等相关应用。电商中心信息安全部客服部、网络部非结构化数据源页面访问回路去机器人记录时间序列网厅日志、商城日志、经分日志分析图论分析识别垃圾短信号码局部群聚系数节点的k度介数中心性紧密中心性度中心性最小完图佩奇排名图论客服部分词识别网络部客户投诉与终端机型、活动小区分析基于非结构化日志分析用户行为，优化接触面。电商渠道和业支部主要使用利用Aster函数开发交往圈，在垃圾短信识别方面的应用，数据提供给了信息安全部。检测用户在发生信号、终端投诉时，识别问题点的概率，是终端还是活动区域信号问题。www.log终端购买路径分析业务办理路径分析应用偏好路径分析通过SQLGR引擎提供的图论算法，将局部范围内出度相对较大，入度相对较小，且群居系数特别小的用户进行提取。客户投诉活动基站小区终端机型市场部Aster与其它MPP平台POC结果平台比较节点间网络数据库