电信运营商大数据解决方案

1、电信运营商大数据解决方案1电信运营商大数据解决方案1一数据处理技术的演进二主流分析型数据库技术介绍、对比及选型三电信运营商大数据平台2目录一数据处理技术的演进二主流分析型数据库技术介绍、对比及选型三什么是大数据大数据指不用随机分析法（抽样调查）这样的捷径，而采用对所有数据进行分析处理的方法维克托迈尔舍恩伯格“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产全球领先的信息技术研究和分析公司Gartner一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类

2、型和价值密度低四大特征麦肯锡3什么是大数据大数据指不用随机分析法（抽样调查）这样的捷径，而大数据4V特征?随时随地产生数据，数据量更大?以“低成本”的方式获得“可接受” 的数据分析结果?Cheap：“廉数据”VolumeVariety?数据具有多样性?数据来源多、类型多?Multi-X：同一对象多维描述?对处理速度要求更高?实时和在线?Swift：“快数据”VelocityValue?价值密度低更多高价值的数据产生对有价值数据进行“提纯”大数据的目的BigDataBigMoney4大数据4V特征?随时随地产生数据，数据量更大?以“低成本”的数据库技术是大数据处理的关键?大数据处理流程数据获取数

3、据ETL数据存储数据分析数据服务数据库技术是大数据的关键！5数据库技术是大数据处理的关键?大数据处理流程数据获取数据ET数据处理技术的演进分布式技术提出谷歌提出分布式文件系统、分布式数据库和分布式计算框架，奠定大数据技术基础实时计算技术提出流计算、图计算、交互式分析、内存计算等技术不断演进19952000200520102015SQL/ACID传统关系型数据库的崛起，提出面向企业应用的商业智能，面向数据仓库的数据分析（OLAP）技术兴起大数据Hadoop技术提出开源ApacheHadoop逐渐兴起，大幅推进互联网大数据应用混合技术架构兴起Spark、Flink等新一代分析引擎融入大数据平台6数

4、据处理技术的演进分布式技术提出谷歌提出分布式文件系统、分布数据处理框架的演进RDBMPP数据库Hadoop7数据处理框架的演进RDBMPP数据库Hadoop7数据处理框架-RDB(Relational Database)?特点单服务器、小型机?集中式数据和业务处理?ACID(Atomicity、Consistency、Isolation、Durability)?Scale-Up?OLTP(On-LineTransactionProcessing)，响应时间敏感?成本低?缺点大数据处理性能较差?容灾性较差?稳定性有局限?业务和数据处理规模有限?扩展性和灵活性较差?8数据处理框架-RDB(Rela

5、tional Database数据处理框架-MPP?特点Massively ParallelProcessing?多服务器、多节点，多任务并行执行?数据分布式存储和计算?ACID?Scale-out?OLAP(Online AnalyticalProcessing)?商业化?缺点扩展规模有限?对并发的支持有限?节点增删维护工作较复杂?不支持非结构化数据?成本较高?9数据处理框架-MPP?特点Massively ParalleHadoop生态系统Hadoop，允许使用简单的编程模型，以跨集群分布式的方式，处理大型数据集。具有可靠、高效、可伸缩的特点。它的目的，是从单一的服务器到上千台机器进行扩展

6、，从而利用各自的本地计算和存储资源。是一个能够让用户轻松构建和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。Hadoop在应用层面检测与处理各类错误，因此能够在一个集群内实现高可用性。并且Hadoop已经成为大数据行业的标准，形成了一个健康活跃的生态系统。可靠性、高扩展性、高效性、高容错性、低成本。10Hadoop生态系统Hadoop，允许使用简单的编程模型，以数据处理框架-Hadoop?特点?多服务器、多节点的集群架构?大数据多任务的分布式处理?HDFS(HadoopDistributedFileSystem)分布式文件系统、流式访问?MapReduc

7、e曹冲称象，分而治之?可靠、高效、高扩展（Scale-out）、高容错、低成本?可处理多种格式数据源，非结构化、半结构化数据?开源?缺点?对SQL的支持有限?无法高效存储大量小文件?不支持多用户写入及任意修改文件?缺乏专业的支持服务11数据处理框架-Hadoop?特点?多服务器、多节点的集群架构数据处理框架的对比数据库框架分析性能扩展性容灾性数据类型业务场景支持全SQL能异构数据整合成本RDB一般较差较差结构化OLTP不支持中等MPP好局限局限结构化OLAP能不支持较高Hadoop好好较好（非）结构化OLAP部分支持低没有最好的技术，只有最合适的技术。?针对业务需求“有的放矢”。?12数据处理

8、框架的对比数据库框架分析性能扩展性容灾性数据类型业务一数据处理技术的演进二主流分析型数据库技术介绍、对比及选型三电信运营商大数据平台13目录一数据处理技术的演进二主流分析型数据库技术介绍、对比及选型三移动互联网用户流量激增，手机数据化、宽带化趋势明显用户分布流量分布时间分布移动互联网：通信功能= 80：20数据来源：Infoma 2013数据来源：Cisco 2013数据来源：GSMA 2013全球移动互联网用户数量激增，已3倍于固定互联网用户数量移动互联网流量激增，2012年底，移动互联网应用使用时间激增，是移动数据流量占比超过13%使用通信服务时间的4倍中国移动互联网发展有相类似的趋势，截

9、至2013年6月，中国手机网民已达4.6亿，上半年移动互联网接入流量同比增长62.6%（CNNIC、工信部）移动互联网用户流量激增，手机数据化、宽带化趋势明显用户分布流4G、M2M将大大加快移动网络数据业务和流量增长4G驱动流量增长M2M终端数量大幅度增长2014年，M2M设备数量接近智能终端4G、M2M将大大加快移动网络数据业务和流量增长ABI Research 2013.09数据来源：Ericsson 2013.11数据来源：ABI Research 20122013年4G网络将占到全球流量的20%，2016年将超过3G网络流量，2018年将占据超过2/3的移动网络流量。2013-2018

10、年，4G流量的年复合增长率达到82.2%。2018年数据业务收入占运营商的份额的47.3%2012年9月Verizon LTE网络建成不到2年，用户达到11M，占Verizon用户总数约12%，流量消耗占全网流量的35%以上。2013年1月，4G流量占比50%，2013年11月，4G流量超过64%，视频是主要业务2017年，全球4G终端产生的数据流量是非4G终端的8倍，每月数据流量超过10EB 1EB=1000PB（CISCO VNI 2013）4G、M2M将大大加快移动网络数据业务和流量增长4G驱动流量面对巨大流量，移动运营商面临强大的挑战移动互联网服务商专业SNS超过7.1亿用户超过100

11、万基站电商点新音评闻SNS乐地问图答电信运营商博客视优惠券图频片微博签论到坛消息经分系统数据规模接近10PB每分钟超过800万通话每秒上网流量超过40GB每天信令数据超过1PB2G、3G、4G、WIFI 管道数据类型多样、数据巨大、处理速度要求高，同时也存在质量问题，是电信运营商大数据的主要来源面对巨大流量，移动运营商面临强大的挑战移动互联网服务商专业S需要融合巨大的管道数据和业务数据虽然结构化的业务数据虽然价值含量很高，但是管道数据却提供了用户的数据消费、社交网络、行为轨迹、内容偏好等业务数据中无法提供的重要信息，这对用户刻画、套餐设计、用户体验提升等个人和企业产品设计所需依据均有巨大帮助A

12、+Abis信令Mc信令Gn+Gb信令Gn-IuPS信令Wifi、Radius信令4G X2等信令DNS 数据语音等业务数据网络优化日志+结构化数据决策支持精准营销业务创新需要建立采集、存储、分析、交互等全方位能力，其中既包括传统已经具备的能力，也包括需要新建的大数据能力需要融合巨大的管道数据和业务数据虽然结构化的业务数据虽然价值互联网公司通常采用混合架构解决大数据问题互联网公司目前主要采用Hadoop、Streaming、RDBMS、NoSQL等技术应对大数据4V挑战，例如Yahoo针对日志数据进行两种处理，并与业务系统结合（后期尝试Spark技术）示例：Yahoo数据处理流程By Tim T

13、ully (Distinguished Engineer/Architect, Yahoo)/wp-content/uploads/2013/10/Tully-SparkSummit4.pdf互联网公司通常采用混合架构解决大数据问题互联网公司目前主要采大数据技术在互联网公司得到成功应用Google在全球多个数据中心大规模混合部署和调度数据处理能力，系统利用率高达80%+，2011年MapReduce系统每天处理1000PB左右输入数据，支撑其核心业务，包括搜索、广告、地图、邮件、社区等业务。针对不同的数据处理需求提供多种数据处理系统。随着技术能力提高，将大数据处理能力服务化。Facebook以

14、Hadoop为基础建设了包括流计算、实时计算、离线分析在内的各种大数据系统系统。2012年每天要处理25亿条消息、用户点击Like按钮的次数达到27亿次、上传3亿张照片。Graph Search可以检索10亿用户、2400亿图片和1万亿次访问。目前已经支持多区域数据同步。Facebook Puma每天处理超过200亿事件，延迟小于30秒Twitter利用Hadoop和Pig工具完成数据的批量分析，并进行决策支持和数据挖掘，利用Storm每天实时推送1亿活跃用户的5亿消息Amazon为被托管应用提供了多租户、按使用付费的大数据服务，整合了非结构化（S3）、结构化（RDS、SimpleDB、Dyn

15、amoDB）数据，通过并行计算EMR能力，将数据放入RedShift用于最终的数据展现等目的。大数据技术在互联网公司得到成功应用Google在全球多个数据分析型数据库分析型数据库是面向分析应用的数据库，可以对数据进行统计分析和即席查询等挖掘数据价值的工作。传统数据库是以事务处理为主，大数据时代的主要应用则是数据分析。数据库三大阵营：OldSQL、NoSQL、NewSQL分析NewSQL分析事务互联网OldSQL事务NoSQL互联网OldSQL一种架构支持多类应用OldSQL+NoSQL+NewSQL多种架构支持多类应用14分析型数据库分析型数据库是面向分析应用的数据库，可以对数据进大数据下的分

16、析型数据库OldSQLNewSQLNoSQL?行存储?列式存储?列式存储?关系型?关系型?Key-Value?ACID?ACID?灵活性?SMP?MPP?MPP?分布式计算，分布式文件系统?内存计算（InMemoryComputing）?新的硬件：FlashCard，SSD，高速网络、Infiniband15大数据下的分析型数据库OldSQLNewSQLNoSQL?行OldSQL?OldSQL是指传统的关系型数据库，借助于数学概念和方法来处理数据。数据规范化：关系型数据库的数据存储是为了更高的规范性，把数据分隔成最小的逻辑表(关系表)以避免重复，获得最精简的空间利用。事务性：SQL数据库支持对

17、事务原子性细粒度控制，并且易于回滚事务。16OldSQL?OldSQL是指传统的关系型数据库，借助于NewSQL?NewSQL是对各种新的可扩展、高性能的关系型数据库的统称。既能够提供OldSQL的质量保证，也能提供较强的可扩展性。17NewSQL?NewSQL是对各种新的可扩展、高性能的关系NoSQL?。?大数据类型的多元化急速增长，OldSQL不满足分布式技术架构的适用性NotOnlySQL，泛指非关系型的分布式数据库。18NoSQL?。?大数据类型的多元化急速增长，OldSQL不满OldSQL&NoSQL&NewSQL总结海量数据实时分析Vertica/Impala19OldSQL&No

18、SQL&NewSQL总结海量数据实时分析V目前主流分析型数据库对比类型存储方式运算方式系统架构支持SQLOldSQL行/列式存储磁盘RDBMS支持较差较差传统数据分析Scale-up商业OldSQL行式存储磁盘RDBMS支持较差较差WEB应用Scale-up开源OldSQL行式存储内存RDBMS支持一般较差低成本内存运算Scale-up商业NoSQL分布式文档存储内存/磁盘C/S分布式集群不支持较好较好对象存储及处理Scale-out开源NoSQL分布式K-V存储内存/磁盘C/S分布式集群不支持较好较好数据键值关系突出Scale-out开源NoSQL分布式列式存储内存/磁盘Hadoop需插件好

19、好海量存储与扩展Scale-out开源NoSQL分布式HDFS内存Hadoop类SQL很好好实时分析Scale-out开源NoSQL分布式HDFS磁盘Hadoop类SQL好好批处理分析Scale-out开源NewSQL行式存储磁盘C/S分布式集群支持好较好二次订制开发Scale-up开源NewSQL分布式存储磁盘MPP支持好好数据仓库Scale-out开源NewSQL分布式列式存储内存/磁盘MPP支持很好好即席查询Scale-out商业20大数据处理能力容灾性应用场景扩展性开放性目前主流分析型数据库对比类型存储方式运算方式系统架构支持SQ分析型数据库选型思路成本可扩展性数据查询能力稳定性&容灾

20、能力架构选择数据分析运算能力数据存储方式决定性因素关键因素一般因素分析需求数据格式21分析型数据库选型思路成本可扩展性数据查询能力稳定性&容灾能力一数据处理技术的演进二主流分析型数据库技术介绍、对比及选型三电信运营商大数据平台22目录一数据处理技术的演进二主流分析型数据库技术介绍、对比及选型三一大数据平台总体架构二运行分析视图三规划支撑视图四决策支撑视图23目录一大数据平台总体架构二运行分析视图三规划支撑视图四决策支撑视电信运营商大数据平台-背景网络建设初期阶段?阶段一：先期基于路测数据、投诉数据进行简单分析；后引入MR数据进行深度覆盖分析；?阶段二：网络规划建设简单、粗糙，直接在空白区域建设

21、。网络精细化建设阶段?基于现网23类运行数据，建立了基于移动网络“O域+B域”数据的分析方法体系；?在长春、成都、重庆、广州、兰州、上海6重要城市进行推广和验证。?探索六城市精细化建设支撑，并固化方法模型。大数据平台化阶段?基于“以我为主、自主研发”原则，搭建大数据分析平台，进行迭代式开发，实现方法固化。?逐步实现全网数据的统一采集、解析与存储管理；?开发大数据平台，实现规模化、精准化建设支撑。?缺乏针对用户、业务和终端进行深入关联分析；通过运行数据挖掘分析，实现网络优化精准分析、提升网络建维优的精准性和有效性24电信运营商大数据平台-背景网络建设初期阶段?阶段一：先期基于电信运营商大数据平台

22、-建设总体思路分析关联要素B侧价值发现人在哪用户群体的行为轨迹分析3G4G干什么用户群体特征分析分析定位问题支撑引导规划怎么样不同业务体验分析维度接口时间O侧网络定位小区覆盖能力评估终端网络性能、质量网络性能反馈网络问题业务用户投诉区域三大落地支撑网络运维优化，改善网络质量支撑网络规划建设，提高资源投放精准度支撑客户维系，场支撑精准市推广25电信运营商大数据平台-建设总体思路分析关联要素B侧价值发现人电信运营商大数据平台-方法体系全面梳理序号分类123456789OSS侧10数据1112131415161718192021222323类数据系统建立现网分析方法体系-数据源序号分类分析模块1无线

23、侧资源情况基础数据2网络覆盖DT/CQT数据3资源瓶颈IU-PS（挂表采集）/Gn数据网络与资4网络性能CDR（平台采集）源5网络结构MR数据6多网协同无线话统数据7终端情况无线参数8用户情况核心网参数9用户画像告警数据10用户与终群体特征分析无线侧呼叫记录数据端114G转网用户分析设备版本及补丁12感知分析设备与板卡负荷数据13用户轨迹无线COUNTER数据业务情况核心网报表数据（核心网COUNTER 14业务与应15业务分布及特征数据）用16业务质量投诉数据17趋势分析话单数据18联合分析配套资源配置及运行情况19资源重点投放用户信息综合专题20LTE部署区域月度话单数据21LTE站址分析

24、BSS侧数语音详单22流量经营数据详单据23总览总览套餐信息24简报简报终端数据库24个分析模块全方位支撑-项目室内外站、建筑物、物理站址分析下行覆盖、上行干扰、上行干扰分析网络资源、空口效率、载波负荷分析网络侧性能指标、问题小区分析站高、站密、重叠覆盖、有效性分析2、3、4G多网络协同分析终端统计、终端与用户及业务分析用户情况总体分析用户属性、消费、时间、业务等标签用户结构及用户偏好分析4G转网用户及潜在4G用户分析用户各类业务感知分析各级别用户迁徙及单用户轨迹分析语音数据业务、分类主流业务分析总体业务情况及分类业务情况语音、CSFB、数据业务质量分析小区数、用户数、业务量等发展趋势覆盖、结

25、构、资源、感知综合分析场景、网格、扇区等区域价值分析LTE部署区域及部署建议分析LTE站址可用性及合理性分析终端、流量、闲时包及业务内容营销资源、用户、业务、网络、终端总览全国级及省级基本简报和自定义简报10个应用方向用户画像、聚类及签转分析用户基于轨迹和感知的投诉支撑用户黏性和潜在离网预判业务主流业务的感知分析及回溯各粒度价值区域分析网络质量性能预警及回溯网络网络调整与技术演进支撑多维度的网络规划方案终端终端特征、性能评估体系流量经营支撑经营26电信运营商大数据平台-方法体系全面梳理序号分类1234567电信运营商大数据平台-平台能力平台能力?可实现对2/3/4G现网各接口及设备数据的解析能

26、力，能够满足现网网络优化需求；可满足全国B+O数据的存储与处理；实现一体化解析、存储与管理；与数据中心共享资源，着重网络分析应用；?具备商业智能数据分析能力，可对外开放接口，实现海量数据的可视化分析；?5*N：满足纵向从集团到省、市、县、网格，横向从N个专业线条的多层次、全链条支撑需求，同时可逐步对外部行业应用需求进行适配。网络资源精准投放基于投诉问题定位内部现网用户维系精准营销API接口开放外部各行业应用27电信运营商大数据平台-平台能力平台能力?可实现对2/3/4电信运营商大数据平台-平台架构元数据管理辅助业务应用辅助开发运维元数据共享元数据分析元数据共享元数据存储元数据采集元模型管理网络

27、规划仿真可研/技术方案设计/施工/后评价评估优化数据展现层GIS呈现图表表格中间层Job调度数据调度查询转换数据共享查询代理数据采集代理GIS引擎MPP数据库OLTPHIVESQLSAS数据处理层MapReduce内存数据库SPARKRModelerB侧数据解析A/Iu口解析C/D口解析COUNTER解析B侧预统ETL层Gn口解析IuPS解析S1口解析MR解析Gn预统MR性能终端数据KPI参数数据层账单详单CDRIuPS基础投诉业务位置负荷版本网优平台BSS系统上网详单系统网管系统挂表采集数据质量管理数据质量改进数据质量监控数据质量分析核查指标管理质量问题管理核查执行调度数据质量模型管理数据质

28、量信息采集28电信运营商大数据平台-平台架构元数据管理辅助业务应用辅助开发一大数据平台总体架构二运行分析视图三规划支撑视图四决策支撑视图29目录一大数据平台总体架构二运行分析视图三规划支撑视图四决策支撑视1、端到端网络优化整体思路贯通“端管云”的全链条网络优化支撑方案，为端到端网络优化的各个环节提供数据分析支撑。用户终端无线接入核心网络应用服务?终端情况终端性能分析?网络覆盖网络资源多网协同联合分析站址合理性?参数核查网络性能?业务质量IMSI端LAC/CIRNC_IPSGSN_IP管GGSN_IPDST_IPDNS_IP云SP_IP301、端到端网络优化整体思路贯通“端管云”的全链条网络2、

29、端到端网络优化终端情况和终端性能?端终端情况：结合B侧数据、核心网用户面数据及终端库，实现针对终端类型、品牌、制式和能力等方面聚类统计和地理化呈现。终端性能：建立终端无线性能评价体系，对现网主流活跃终端进行网络性能评判，支撑网优建设、优化的有效性投放。?终端情况多种GIS展现形式终端用户业务三个维度联合分析01%终端性能基于RNC呼叫记录及各类不同事件原因进行分类统计，针对终端建立无线网络性能评价机制，进行量化参考。-1150异常比例低，EcIo高02%I950003%04%05%06%iPad(A1430)iPadmini(A1490)华为E5220s-1异常比例高，EcIo高07%三星GT

30、-I9502 三星SM-N9002 三星GT-iPhone4S(A1387)-1250iPadAir(A1475) -1350三星SM-N9005 iPhone5C(A1529)iPhone4S(A1431)iPhone5C(A1526)iPhone5S(A1528)iPhone4S(A1387)iPhone5S(A1530)三星GALAXYNOTE2GT-N7100iPhone 15(A429)OPPOOPPOX909三星GALAXYS4GT-I9500华为AscendG730三星SM-G3502I iPhone5S(A1533)三星GT-I9082Phone5(A1428)三星GT-I93

31、00iPhone5A1429i00MI2012121UHTCD816wGNexus5TechwishTR105MI2012061三星GT-I9152LI2013012 MMMI-IONEPlus1联想A820iPhone4(A332)MI2SHTC802wiPhone4(A1332)三星GT-N7100魅族M040酷派7295A三星SM-G3502 iPadmini(A1455)三星SM-N900 iPad2A1396三星SM-N9006三星SM-G9006V HTCPG58130三星GT-N7102魅族MXM353三星GT星SM-G7106 -三I9082i派7295+联想A850 酷MI2

32、0131212014012ZTEAD3812SonyXperiaC酷派7295华为G610-U00比较各品牌终端的综合表现华为G750-T00华为G700-0.000.0%-2.00-4.00-6.000.2%MI2013023 酷派72690.4%0.6%0.8%1.0%1.2%1.4%1.6%1.8%2.0%-1450honor3C酷派7295 魅族MXM351-1550三星GT-I9100GHTCT528wYUGEC三星GT-I9100三星GT-S7562 WM630MI2012052三星GT-I8262D三星GT-I8552三星GT-S7562i三星SM-G3812三星GALAXYWI

33、NGT-I8552酷派7296华为G520-0000-8.00-10.00-12.00筛选个别型号表现差终端iPad(A1430)三星SM-N900202三星GT-I9O5三星GALAXYNT2-18PhneE4SG(AT3星GT-I91o5iP三admnii(A40055)三星SM-N900三星GT-IX0Y8S24GT-I9500ALA9N7100HTCD67)81w三0GTT-三921I30MI20星1211TechwishIR0星02G506T1-I91522MIM联I想-OAN8E2P0uls)MM2I2S013012星GHTC-N8iP701h2w0o0ne4(A13三星三SM-N

34、90酷06派7295A魅族三M星04SM0-G35023酷派7295ho7nor3C三星S联M想-GA9800酷6V派295iP魅ad2A13H9T6C三PY三GU星5G星G8ES1TCM3-W0I9-M0G876213i006+三星T-N7102族MXM魅3族5M1XM353HTCT52酷w派72三星GTM-SI270华516为220G55220-三星GT-I08262D三星G三T星-I9G1T0-0I8552三星GT-I910G三星T-S7562i96三星GALAXYWINGT-0000MI3WTCT328w三H星GT-S7572三星SM-G3812I8552HTC606w-1650三星G

35、T-S7572HTCT328wM3IW-14.00-16.00iPadmini(A1490ihoniePM5hCo2I(nA0e11535C12(2A125021iPhone4S(A14华为5220sS-1E15Pho5(A53S1ii(A29hone4OPPPiOhOoneiPP4Oa华SdXA(A为90i1r(3A81475)三星M-iiPPPhone5iPhone4(Ton5A为U00iPh4E2A9GD6318e1华华为ZG2750-T00SyonrX0p1e2ia492I)6)5G3e0三星SM-95华为G700-U00酷1)派7LGNexus58 2N9005M0)I2013023

36、(SA(A1)412583)A9sc7)ndG酷7派A133230-1C)307269Redmi1S MI2013029-1750异常比例低，EcIo低HTC606w-18.00-20.00异常比例高，EcIo低312、端到端网络优化终端情况和终端性能?端终端情况：结合B3、端到端网络优化网络资源和多网协同?管网络资源：从业务量及设备负荷、网络侧资源情况、网络资源拥塞情况及关联分析等多个维度，分别对网络中小区的资源使用情况进行分析和呈现。多项协同：通过对2/3/4G网络性能的综合分析，反应2/3/4G网络业务、终端、用户的协同发展状况。?网络资源多维度可选的网重点扇区详络资源横向对比细信息钻取

37、高负荷及拥塞小区一目了然分析粒度小区扇区任意切换多网协同天面维度分段指标展示多个组合维度分析234G网间协同全面的网间协同指标展示323、端到端网络优化网络资源和多网协同?管网络资源：从业务4、端到端网络优化联合分析和站址合理性?管联合分析：结合现网覆盖、结构、感知、资源各方面分析结果，针对每个扇区给出优化建议，为现网实际规划优化提供参考。站址合理性：建立终端无线性能评价体系，对现网主流活跃终端进行网络性能评判，支撑网优建设、优化的有效性投放。?联合分析重点小区钻取详细信息，明确问题所在站址合理性网格维度汇总问题扇区，提供优化建议从结构和覆盖两GIS展示各方面综合评定各级别小区小区站址合理性综

38、合感知、覆盖、结构、资源四方面给出扇区联合分析结果334、端到端网络优化联合分析和站址合理性?管联合分析：结合5、端到端网络优化业务质量云指标呈现原因排查联合定位分析处理?业务质量：采用信令面XDR数据对语音业务、数据业务以及其他各类业务的运行质量，指导网络优化与规划。从用户/终端/网元等维度呈现业务质量指标从数据流程和信令流程维度分析异常情况成因从地理维度定位小区，从地址维度定位网元针对发现的问题提出进一步核查与处理的建议问题网元定位查找分析呈现TOP网元问题原因分析钻取345、端到端网络优化业务质量云指标呈现原因排查联合定位分析6、投诉跟踪处理投诉分析投诉收集投诉挖掘原因定位优化建设投诉分

39、析从投诉时间、位置、原因、类别、等级、客户等多个维度综合分析投诉数据，全面呈现投诉问题分布，辅助问题查找。投诉信息一键导出多维度分析全网投诉356、投诉跟踪处理投诉分析投诉收集投诉挖掘原因定位优化建设7、投诉跟踪处理用户画像投诉收集投诉挖掘原因定位优化建设常见投诉问题?时间地点提供不清问题描述太过模糊我今天上午在XX大厦附近上网，网络总是不好，图片显示不出来。?查询投诉用户的手机号码快速定位用户用户画像109种标签描绘每个用户提供6大类用户标签的选择多重筛选定位具体用户自然属性：性别、年龄用户属性：VIP等级、入网时长、签约套餐消费属性：ARPU、MOU、DOU终端属性：终端型号、终端能力偏好

40、属性：业务偏好、时间偏好、地理偏好367、投诉跟踪处理用户画像投诉收集投诉挖掘原因定位优化建设8、投诉跟踪处理用户轨迹和感知分析投诉收集投诉挖掘原因定位优化建设用户轨迹?B+O感知分析多种形式展示不同维度分析结果?个体轨迹辅助定位单个用户、查找用户投诉具体位置。群体轨迹分析群体的地理聚集度及业务聚集度，评价不同区域的群体分布。个体用户轨迹点群体用户轨迹趋势图?用户轨迹结合用户感知，B侧及O侧数据关联分析，精准定位用户投诉问题的精确时间及位置。378、投诉跟踪处理用户轨迹和感知分析投诉收集投诉挖掘原因定9、投诉跟踪处理网络性能和网络稳定性投诉收集投诉挖掘原因定位优化建设网络性能从接入性、保持性、

41、移动性、完整性、互操作等角度全方位评估网络性能。数据、图表、GIS多问题小区分析直维度联合展示指标接筛选质差小区网络稳定性深入分析断站、退服等影响用户感知的故障告警，辅助查找网络稳定性问题。断站次数及时长分析断站原因分析?从用户感知映射网络问题，从网络覆盖、性能、稳定性多方位定位网络问题，完成KQI到KPI的转化。389、投诉跟踪处理网络性能和网络稳定性投诉收集投诉挖掘原因10、投诉跟踪处理优化建设投诉收集用户投诉为出发点?以投诉为切入点，通过用户感知查找网络问题，不断推进网络优化建设。支撑运维优化建设?从需求热点、投诉重点、网络短板等分析结论出发，提升运维优化水平。投诉挖掘原因定位优化建设?

42、从客户投诉/用户感知入手，提升网络整体支撑保障能力与客户感知。?以解决客户投诉为核心，发现感知问题，查找网络原因，指导优化建设，形成网络优化闭环。感知问题投优化建设诉网络问题3910、投诉跟踪处理优化建设投诉收集用户投诉为出发点?以投云计算是挖掘大数据价值的核心基础传统数据分析处理基于云计算的大数据处理DBMSDWUnstructureClustertransactionETLAnalysisAnalysisStreamMultiple data sources(MapReduce)?面向结构化数据，非结构化处理效率低?具备结构化/非结构化混合分析的能力,大数据多为非结构化?基于机昂贵硬件（小

43、型机+磁盘阵列）或一体?基于高性能、高可靠性硬件保障系统性能和可靠性。消费级硬件，以常态化硬件故障为设计出发点，不依赖?硬件平台兼容性差件环境下常常无法部署：在跨代硬件或跨厂商硬?基于通用硬件，平台兼容性好，可跨代，跨厂商硬件部署?扩展性高，业内有上万节点级部署案例，大陆有千节点级部?扩展性达到PB级之上可选厂商较少，易绑定署Traditional DB/DW MPP DW+HadoopTBPBDistributed architectureEB ?ZB46云计算是挖掘大数据价值的核心基础传统数据分析处理基于云计算的中国移动“大云”2.5 云计算平台结算集中化经分经分系统ETL/DM系统信令系

44、统网应用物联移动互联网资源池系统云计算业务平台IDC服务2.0产品体系2.5新增产品2.5功能增强PaaS 产品“大云”产品IaaS 产品数据管理/分析类实时交易类商务智能平台BI-PaaS计算/存储资源池SQL并行数据挖BC-RDB数据库搜索引擎弹性计算掘工具集并行数据BC-SEBC-ECBC-PDM抽取转换BC-ETLK-VBC-HugeTable数据仓库系统BC-kvDB数据库CloudMaster系统监台控安和全管管理CloudSecurity平理BC-BSP 数据并行框架BC-oNest对象存储弹性块存储BC-EBS内存处理引擎BC-Hadoop数据存储和分析平台BC-DME47中国

45、移动“大云”2.5 云计算平台结算集中化经分经分系统ET分交大数据基础平台（BC-Hadoop & BC-HBase）I析易云计APP算AAA管SAASS理BC-HadoopBC-Hadoop：开源社区有很多将所需的特性打包形成独特的大数据平台产品Hadoop的发布，但是没有一项可以满足大云现有数据分析需求。BC-Hadoop应用，包括HugeTable、PDM、BC-SE等?大规模：据集群支持4000节点组成单个大数HBase 分布式NoSQL数据库?高性能：监控和管理工具性扩展提供聚合的IO访问能力，线?多租户：相对隔离的手段提供多用户计算和存储能力MapReduce 并行计算框架?高可用

46、：提供Hadoop主控节点，即NameNode和Job Tracker的高可用能力?标准接口HDFS 分布式文件系统的接口不兼容，提供向下兼容的接口：消除开源Hadoop升级造成/cmri/48分交大数据基础平台（BC-Hadoop & BC-HBase分交图计算平台（BC-BSP）I析易云APP计算AAA管SAASS理BC-BSP挖掘需求而研发的并行计算框架，针对迭代计算，计算效率优于：针对社交网络分析、用户精准营销、搜索引擎PageRankMapReduce计算等图计算领域的数据框架MasterBSPRun a JobBSPSummit JobBSP产品特性ProgramJobClient

47、MasterInitialize?Job搜索引擎PageRank、Client最短路径等算法需大taeHeart BeatB量迭代计算，基于MR traeH实现具有较大数据同步开销；BSP并行计算模型更适于图、矩阵ZooKeeperWorkerServerWorkerServerBSPPeerBSPPeerBSPPeerBSPPeer计算； trtttLaunch ttaaraeeaeTasks.rtrtLaunch?支持大规模集群，可aaaaHBeHBeeeeTasks以达到4000节点HBHBBarrier?支持海量数据计算，Synchronization用户迭代步骤可以设WorkerTa

48、skWorkerWorkerTaskWorkerTaskWorkerTaskBarrierServerServerWorkerServerWorkerServerServerServerServerWorker定ServerSynchronization?提供用户开发接口，Worker1Worker n一方面可以与BC-PDM系统整合，一方面也可以单独使用/cmri/49分交图计算平台（BC-BSP）I析易云APP计算AAA管SA海量结构化数据存储系统（HugeTable）IAAS分析PAAS交易PAAS云计算管理基于Hadoop的海量结构化数据存储系统，利用低成本硬件提供高性能的数据加载、索

49、引查询和并行分析能力，对外提供易于应用集成的数据访问接口?大容量：支持PB级别的数据存储能力?低成本：基于PC架构，不需要外接集中存储设备?高性能：秒级别索引查询、数据并行扫描?可靠性：数据冗余备份永不丢失；全系统无单点?可定制：根据应用需求选择索引类型及存储引擎?接口丰富：提供标准的JDBC/ODBC/ SQL接口；提串行Scan接口和分布式MapReduce接口?外围工具：支持数据、性能、故障、配置、日志管理功能；支持外部数据并行加载；支持数据快速备份、恢复海量结构化数据存储系统（HugeTable）IAAS分析PA分交分布式NoSQL数据库（BC-KVDB）I析易云APP计AAA算SAA

50、管SS理BC-RDB强系统操作维护功能、优化性能并提高系统可靠性。提供一个高并发、高可扩展的键值对存：根据订购关系存储(阅读基地)、用户个人信息存储(彩云)等应用需求和相关规范，增储系统。Zk节点集群Master节点集群ClientzkzkMM?大规模：支持Root file Root file RS1Clientindexindex.RS2成统一数据库1000节点组网形zkMClient?高性能：支持读写缓存，提供告客户端子系统元数据管理子系统诉的数据读写能力，支持高性能硬件优化网络通信管理组件?一致性：支持数据强一致性和最终一致性?可靠性：数据冗余备份永不丢失Root fileMeta f

51、ileKV-Range；全系统无单点RangerServer服务层RangerServer服务层RangerServer服务层?数据模式：提供支持存储引擎访问控制接口层存储引擎访问控制接口层存储引擎访问控制接口层Query义的复杂数据定义schema定CellCache存储引擎存储引擎CacheSSD?外围工具：支持数据、性能、故存储引擎障、配置、日志管理功能；支持存储节点存储节点DataFile外部数据并行加载；支持数据快速备份、恢复存储节点存储节点集群子系统51分交分布式NoSQL数据库（BC-KVDB）I析易云APP计分交分布式关系数据库（BC-RDB）I析易云APP计AAA算管SAAS

52、S理BC-RDB高可用的特性。主要应用于海量数据的实时在线交易处理系统。是一款分布式关系数据库。即具有关系数据库的特性，同时具备可扩展、SQL92，传统交易型应用可实现平滑迁移BC-RDB支持海量数据的高性能多节点术使得在海量数据存储下获得高性能。并行计算和多节点并行加载技处理应用服务器高扩展性采用水平扩展share nothing，设计容量架构，可以64节点动态负载均衡管理终端高可用性存储采用节点内置硬盘，提供三副本，保障数据及服务的高可用性低成本采用置大容量硬盘，可搭建在廉价的X86集群架构，存储采用节点内节点1节点NZK1ZK MDBXA监控系统集群上，成本远远低于UNIX系统PC机集群

53、可以部署于自带硬盘的分布式事采用两阶段提交分布式事务，务支持节点数据之间的完整性和一致性保证多务器，不需要小型机和磁盘阵列x86服时保证用户操作的事务性，同52分交分布式关系数据库（BC-RDB）I析易云APP计AAA算并行数据挖掘系统（BC-PDM）IAAS分析PAAS交易PAAS云计算管理BC-PDM：支持SaaS模式的海量数据并行处理、分析与挖掘系统。适用于经营决策、用户行为分析、精准营销、网络优化、移动互联网等领域的智能数据分析与挖掘应用应用各种海量数据处理、挖掘应用主要特点?高效丰富的数据ETL操作：支持数据清洗、转换、集成等7大类45种ETL?海量数据的挖掘算法：支持分类、聚类、关

54、联分析等3大类共15种算法?海量数据探索能力：支持数据统计、变量分析、分布特征探索等?大规模社交网络分析：支持网络特征分析、社团发现和演化、社团展示等?多模式数据接口：支持与RDB直接交换数据、支持Hive、CSV格式数据?支持SaaS服务模式：Web浏览器使用，并可支持应用共享?支持丰富的用户UI：支持Web图形化方式创建数据分析逻辑，支持SQL脚本方式，支持CLI命令行方式?支持二次开发：Java API、Web ServiceWeb GUI/工作流引擎SQL脚本CLI命令行广域网数据交换并行数据ETL并行数据探索并行数据挖掘社交网络分析用户权限管理MapReduceHadoopDFSHu

55、geTable任务数据分割block2PC节点元数据服务器任务分解block3PC节点子任务M 2任务分发服务器block1block2block1block3PC节点block1PC节点R jblock2PC节点M 1M 2M iR 1R 2R j分布式集群管理服务器block3PC节点PC节点M 1PC节点R 1PC节点R 2M i并行数据挖掘系统（BC-PDM）IAAS分析PAAS交易PA商务智能平台（BI-PAAS）产品定位利用云计算的强大并行计算和分布存储能力，结合ETL、DM 、工作流技术，构建一个BI Paas平台，提供强大的在线分析和支持决策工具集，以方便用户快速定制、组装、搭

56、建相应的商务智能信息分析系统产品特性BI PaaS系统主要包括二部分：?开发套件：开发套件包括ETL设计器、报表设计器、集成器等一系列图形开发工具集，将各类BI能力以元数据描述的方式进行封装，供开发者进行离线BI应用开发。?BI PaaS Server：包括应用层、平台层、BI能力层、基础设施层、资源层。支撑BI应用的部署、运行。分交I析易云APP计AAA算SAA管SS理54商务智能平台（BI-PAAS）产品定位利用云计算的强大并行计“大云”应用案例之一：大数据ETL业务滚详单类5000现网3.2天，减少为0.8天时间减少现网时间云ETL时间绝对值4000节约近2.5天流程（min）（min）

57、加速比例（小时）300014650 1153 4.0358.3现网时间（min）22700 1571 1.7218.8200082100 12931.6213.4HIVE时间（min）91800 11501.5610.81000101500 12251.224.611490 325 1.512.8012891011现网90分钟减少为10分钟出月表类140仅为1/10时间减120少绝对100现网时间云ETL时云ETL脚本值（小（min）间（min）MR时间加速比例时）80现网时间（min）流程390 10 无9.001.360HIVE时间（min）流程4130 59 403.251.540MR时

58、间流程560 14 无4.280.8流程680 25无2.500.920流程7130 47 无2.761.90流程3流程4流程5流程6流程755“大云”应用案例之一：大数据ETL业务滚详单类5000现网3“大云”应用案例之二：大数据查询业务帐详单系统存储数量急剧膨胀，传统架构难以满足当前业务运营要求，系统面临扩容难题?某地市应用，每个月帐详单总体数据量采集预处原始理计算1计算2数据10TB融合处理?话单通过HTLoad工具批量加载消息?帐详单查询通过SQL或NativeAPI接口进行HugeTable1表HugeTable表2?复杂分析则通过MR接口进行?HugeTable支持数据按照Join

59、 key预先进营业厅系统行数据划分，减少join过程中数据在节点间的拷贝营业厅1营业厅2营业厅3营业厅4应用效果加载：支持数据并行加载，数据加载保证完整性和可靠性；：查询：在高并发条件下，数据查询性能一般可达到网络颈IO（对于千兆以太网单节点可达1GB）或磁盘IO瓶更新：可支持单条或批量数据增删改查操作，聚合更新带宽可达网络;压缩：对数据内容进行高效压缩，节省磁盘、网络IO，节省存储空间；IO极限；56“大云”应用案例之二：大数据查询业务帐详单系统存储数量急剧膨“大云”应用案例之三：大数据挖掘业务3个地市公司直接使用BC-PDM建模，验证BC-PDM在功能、性能、易用性上能满足现网需求，应用效

60、果显著地市公司1新业务提升模型：通过客户细分与手机报业务匹配，实现精确营销。Kmeans算法，10节点云平台。效果：业务1用户渗透率提高48%，业务1收入提高64%业务1用户数提高76%地市公司3欠费风险监控与个人客户信用度应用：8节点云平台。最终目的重要前提欠费风险控制第二次第一批5000437030609.811148136561第二次第二批800024447071.3867646362地市公司2客户的识别模型：C45分类算法，6节点云平台。模型准确性较好，极大提升了营销效率，也极大节约了成本外来工其它首次参加试点用户数减少工单量欠费情况欠费人数回收金额500013642923.16149