运营商大数据产品及解决方案

1、运营商大数据产品及解决方案公司简介运营商大数据中心解决方案面向用户的大数据应用平台产品目录1、终端数据采集系统2、DPI数据采集系统3、大数据中心解决方案4、大数据安全解决方案终端软件主要包括专业版和普通用户版：专业版通过专业版终端来评估测试网络质量，发现解决网络问题，支撑维护优化工作专业测试终端用于专业测试数据的采集，可应用于网络评估、异常事件处理及专业的优化分析，并为累积性数据趋势分析采集数据。普通用户版通过采集非专业版终端的大量数据样本以及用户投诉信息，评价和改善网络质量；1、前台专业版终端为分公司自行采购或利旧现有终端。终端型号需在特定终端硬件安装(iPhone 、HTC等现市面主流终

2、端）。2、普通版软件支持市面大部分Android主流终端。AndroidHTC802WHTC801EHTC606W华为G520HTCM8SwHTCM8WGalaxy S4 i9508V GALAXY S5 G9006V中兴Q801UiOSiPhone 4iPhone 4SiPhone 5CiPhone 5SiPhone 6iPhone 6P主要功能：支持的终端：网络参数采集空口信令采集测试任务执行室内平面图的打点测试室外DT测试测试记录与上传工单自动获取3 异常事件处理：2 室分质量管控：1 网络质量评估：平台应用终端数据采集系统产品说明软件名称中文名称产品简介Marine4.0 专业空口测试

3、终端 Marine基于移动智能终端的便携式无线网络测试系统，可用于GSM/EDGE/GPRS 和WCDMA 、TDD-LTE、FDD-LTE无线网络的空中接口的测试和监测。支持无线网络参数实时监测、用户定义任务测试、实时信令解码等功能Siege室外宏站代维巡检可用于 GSM/EDGE/GPRS 和 WCDMA 无线网络的空中接口的测试和监测。支持无线网络关键参数实时监测、执行工单、在线下载地图、GPS定位、基站设备图片拍摄、上传日志等功能。Viki普通版Viki支持信号强度采集、用户行为统计、异常事件统计、小区展示、地图定位等功能公众版通过嵌入联通手机营业厅，提供测试功能，并且后台采集电平、网

4、络速率等参数Stalker1控9巡检基于移动智能终端的便携式无线网络测试系统，可用于 GSM/EDGE/GPRS 和 WCDMA 无线网络的空中接口的测试和监测。支持无线网络参数实时监测、用户定义任务测试等功能Templar代维抽查用于抽查人员接收抽查工单，录入抽查项内容及自动上报抽查结果Lurker手持式实体资源登记录入仪用于对资源实体进行编码入库，以RFID码写入高频签，然后贴于登记设备之上，需要配后后台相关模块使用，编码统一使用，不回收！Psionie代维巡检用于现场测试人员下载，查看巡检工单，以及巡检各项并自动上报巡检结果Reaper现场移交用于运维人员现场下载、填写站点移交记录表，核

5、查移交设备台帐，回填移交过程中发现的遗留问题。结果自动上报回对应站点的交维流程，是站点交维流程中现场移交节点的主要信息采集来源。Wonton故障抢修用于支撑运维日常故障抢修工作。操作人员在终端上直接接收本人相关的故障抢修工单，并在终端上直接查看告警、反馈处理进度、申请技术支持、延时处理、回传处理结果等。终端数据采集系统1、终端数据采集系统2、DPI数据采集系统3、大数据中心解决方案4、大数据安全解决方案对采集的Mc接口原始信令进行解码，按需生成XDR等。对Gn、防火墙、Gb/Iu-PS等采集生成的原始XDR进行分析、处理，合成相关系统所需的目标XDR或文件。Gb、IuPS、Gn链路CM、PMM

6、c链路完成数据存储，提供灵活的接口以及转发等功能。指定系统（经上报网关）上网日志查询平台其他系统LTE（S1-MME、S11、S1-U、S6a、SGs）经营分析系统（经上报网关）集中性能分析系统应用层CS域PS域共享层数据解码与合成层数据采集层（设置在核心网设备侧）Uu、X2、 MR分光及采集设备（含DPI）分光及采集设备（含DPI）分光及采集设备（含DPI）信令监测系统日志上报网关无线侧其它数据DPI数据采集系统输出模块协议处理模块采集模块系统配置管理系统自身管理系统管理号码关联回填、多协议关联模块xDR输出控制模块xDR输出模块采集适配及信令预处理模块数据交换总线自有采集模块三方采集模块信

7、令解码、合成生成xDR采用分布式处理技术，保证系统良好的扩展性！数据交换总线：是软件核心模块，通过一个公共的数据交换软件，其它模块都通过该模块交换数据。其优点：支持分布计算模式、系统处理没有瓶颈、多线索并行技术、支持伸缩性结构具有良好开放性、方便开发、管理和维护。支持自有采集设备采集的原始数据，也支持三方采集设备采集的原始数据，有很好的适应性。DPI数据采集系统1、终端数据采集系统2、DPI数据采集系统3、大数据中心解决方案4、大数据安全解决方案（ODS-DC）明细清单层（DM）应用汇总层（DW）基础汇总层 （ODS-C 与 Stage ）源数据缓存层O/B/M域互联网域行业外域区域粒度小区粒

8、度业务粒度云化统一采集平台第一步：Stage层ODS-C层：由云化统一采集平台传输，同步专业网管、KPI数据转换等。第二步：ODS 层到 DW层：由云化ETL和ESB处理完成第四步：DW 层到 DM层：由ETL处理并进行呈现工参配置测量性能话单DPI 告警 其他设备层 (数据源)用户粒度大网元粒度流量粒度终端粒度用户级测量级话单级监控级信令级网管级网元级工单动环无线传输CHRCDR终端CQT设备参数MR无线核心传输小区无线核心传输信令面 业务面 按数据源和不同专业做一级汇总从地域、用户等维度，综合一级汇总结果做二级汇总端到端用户感知流量经营全流程管理网络拟规划第三步：ODS-DC 层到 DM层

9、：由ETL处理并进行呈现资源数据中心存储采集层存储爬虫采集平台信令经分套餐消费资费云化ETL以数据为中心的安全保障TESCOMM大数据中心供给方案-整体模型设计X86 PC集群本机硬盘本机硬盘本机硬盘本机硬盘本机硬盘本机硬盘数据节点Datanode数据节点Datanode数据节点Datanode数据节点Datanode数据节点Datanode管理节点Namenode备份管理节点Namenode万兆交换万兆交换数据查询Hbase运算与处理MapReduce/Spark 数据提取（HIVE）ETL数据存储：磁盘阵列数据计算：数据服务器HadoopRDB&内存库RDB内存数据库处理层-设备及拓扑处理

10、层-软件技术架构。主ID，亿级查询，毫秒级。次级索引查询，秒级。外部提供noSql查询方式。使用Coprocessor MR程序，满足临时性分析。亿级数据，支持秒级查询。支持SQL方式提取数据。支持数据汇总，数据提取的快速开发。通过MR开发，满足绝大部分数据处理需求。支持十亿级，百亿级的数据分析与开发。结合Mahout，满足对大数据的分析需求。通过结合文本处理技术，满足非结构化文本数据需求。OLTP及数据量较小的OLAP管理节点备份保证安全数据冗余参数设置，保障基础数据安全实时数据查询（Impala） 。Jdbc/ODBC列式存储HRegion-Server混搭架构解决各类数据访问需求基础存储

11、（HDFS）满足万分之一秒访问并行查询调度查询优化器本机硬盘本机硬盘MPP万兆交换ODSLinux:FSDW&DMDB-File。Jdbc/ODBC。支持SQL方式提取数据。支持关联性查询。对内存有效利用。对网络带宽有依赖以数据为中心的安全架构大数据中心供给方案-架构设计1、终端数据采集系统2、DPI数据采集系统3、大数据中心解决方案4、大数据安全解决方案不应只考虑引入单一产品来提高数据安全性企业中海量数据快速增长，数据对业务运营的重要性日益凸显过去，缺少行之有效的手段，用来制定“以数据为中心”的安全策略，治理企业拥有的全部数据资产应统筹设计展望未来的、以数据为中心的、全新务实的、能全面解决数

12、据安全问题的前瞻性架构，建立遵从监管与合规要求的数据安全管理平台，使安全策略覆盖所有关键数据，以避免层出不穷的、复杂的、混乱的数据治理和泄露问题“以数据为中心的安全”的出现改变了现状，为不断增长的海量数据提供安全保障，满足了市场的强劲需求，应立即考虑在企业中建立此项能力数据分类和发现是基础“以数据为中心”的安全架构SaaS数据安全平台功能架构数据分类分级可视化集中管理（策略、权限、分布、风险、事件、和报表）发现加密归档脱敏销毁标识监控审计APT阻断数据库终端BYOD服务器网络业务系统大数据数据仓库/集市云社交统一管理企业中结构化和非结构化数据数据安全平台作用范围第三方应用开发测试经营分析协同治

13、理保护“以数据为中心”的安全架构公司简介运营商大数据中心解决方案面向用户的大数据应用平台产品目录1、基于终端采集数据的用户感知分析2、端到端用户感知分析3、大数据流量运营4、PCC策略运营平台5、全流程运营管控系统6、实物管理系统7、数据泄露防护系统平台(DLP)以移动互联网的方式解决了运营商用户真实行为和无线环境数据的客观采集，首次采用云平台实现了全国分权分域集中化一级管理，也是中国联通上线的第一个全国一级系统平台，也是面向电信运营商第一个颠覆了传统空口数据采集和无线网络评估的商业化整体解决方案。省级用户地市用户集团用户数据专网集团平台本地3G本地3G普通版用户专业版用户海量公众感知数据1、

14、所形成千万级真实用户网络体验感知数据2、提高用户间的使用粘性3、建立具有指导性的精准营销与业务数据支撑由被动变为主动维护实时网络质量管理与评估投诉预警处理多场景地理化渲染监控用户体验感知数据分析室分质量专业解决方案真正来自普通用户的感知数据：目前普通版已安装部署于联通手机营业厅客户端之内，日均激活量超过 15000人(日均回传75万个测试数据)，广泛的用户数据收集，成为目前最具代表性的客户感知网络评价数据；用户感知系统是 中国联通全国集中式一级平台，纵向贯穿管理、业务流程、生产三级应用。成为首个集团对省、市工作建立数据透明、客观监控的统一作标准管理模式。系统概述网络管理网络优化网建支撑客服支撑

15、市场支撑移动综合网管网优支撑系统用户感知系统告警话统MR信令专业版终端测试数据普通版终端感知数据网络侧数据终端侧数据支撑工作支撑系统数据来源用户感知系统从终端侧采集用户感知数据，与其他支撑系统结合更全面地评价网络质量，发现网络深层次问题，共同完成对移动网质量的管控系统在O域中的位置与支撑体系3. 主动维护4. 网络质量分析基于用户行为判定和信令判定相结合异常频发区域的自动告警及工单派发为网络异常的快速定位及处理提供数据支撑基于普通版的海量数据和专业版的空口底层数据的深度挖掘和分析基于栅格化的室外质量和基于楼宇/场景的室内质量管理思路，对网络质量实现实时高效及更精细化的管理2. 室分流程管控普通

16、用户上报和专业测试相结合基于海量用户上报数据实现网络质量全面评估基于专业测试数据实现重点关注区域详细评估实现了网络评估的真实性、实时性和全面性实现室分全生命周期的管控，贯穿多个职能部门，实现工作流程电子化，信息集中化统一化。项目进度质量实时监控汇总，数据集中统一，节点信息可追溯，考核有理有据公平公正，网络质量清晰明了, 管理严谨高效。1. 网络质量评估考核系统功能1、基于终端采集数据的用户感知分析2、端到端用户感知分析3、大数据流量运营4、PCC策略运营平台5、全流程运营管控系统6、实物管理系统7、数据泄露防护系统平台(DLP)长久以来的网优思路都是做好自己网内的事，无法承载端到端体验的保障要

17、提升用户端到端体验，不能只关心GGSN内的事情，苹果APPSTORE下载速度的问题就是一个很好的案例，业务、终端、网络都与用户感知有关体验问题不仅是对移动网的要求，也是对业务平台和基础网络的要求对最常见的用户体验问题没有建立有效的问题定位机制类似有信号无法上网，或者有信号半天出不来页面这种用户感知差的问题，始终没有一个明确的机制来推定问题所在用户平均速率和成功率掩盖了单用户失败率单用户的失败率是造成用户体验变差的重要因素，对应失败率用户进行重点分析业务的整体速率掩盖了单项速率表现如从整体速率来看，微博业务没问题，但是微博图片显示慢，但业务的整理速率掩盖了单项体验问题网优不是端到端用户感知对用户

18、最常见的感知问题应快速响应LastN的单用感知需要关注业务内单项体验是影响用户感知的重要因素为什么网络参数有优，用户会感知不好针对主流移动互联网业务建立用户感知评价体系，对各本地网络建设提出可落地、有意义的KQI体系，指导网络建设和优化的验收质量目标根据评价体系，进行端到端问题定位，从终端、无线、核心网、SP等各环节找出影响用户体验的短板建立可持续评估和优化的用户感知闭环管理机制，自动实现对典型用户感知问题的评估、分析、定位、验证。第一步第二步第三步感知评估客户投诉体验可视化无线侧核心网终端互联网问题定界分网元定界定位优化提升优化验证总体目标MRPM/CM数据采集：A/IuCS/Gb/IuPS

19、/Gn/LTE信令数据通过分光、镜像方式采集，用于对用户行为和用户的业务质量进行分析；MR/PM/CM数据需要从主设备厂家OMC获取；终端数据采集，用于对问题的分析和定位数据分析处理：基于Hadoop MapRedece的基础平台完成后关联、预统计、数据挖掘等预处理工作，实现面向单用户的数据分析。分析结果保存在MPP数据仓库中。应用呈现：实现用户感知评估、热点业务质量分析、典型感知问题分析、平台监测等重点应用终端系统架构总体目标面向单用户的感知分析业务单项指标分析端到端问题定界与原因定位业务平台监测与未申报平台监控数据解析需求功能呈现需求基于单用户维度的端到端指标体系通过DPI及动态标签技术细

20、分业务的动作行为：优酷视频、微信自有业务平台的识别:三个基地，音乐、阅读、沃商店+广东本地业务指标多维度分析多数据源关联分析（终端、信令、MR、网管）各省、地市用户感知指标对比统计同一业务下各单项指标对比统计各单项指标LastN用户信息呈现LastN质差小区的GIS呈现影响用户速率感知的问题类型占比用户单次业务速率异常原因定位自有业务平台运行指标统计（流量、用户数、访问量、性能）自有业务与互联网业务的指标对比功能框架结合故障经验库，和智能预定义的问题定位决策树，基于全面丰富的信令数据，自动分析出产生问题的路径和原因，并给出优化策略故障经验库智能可定义的优化策略集预定义的问题定位决策树A/IuC

21、S数据集Gb/IuPS/LTE数据集Gn/LTE数据集终端数据集问题1定界逻辑问题2定界逻辑问题3定界逻辑问题n定界逻辑问题1优化策略集问题2优化策略集问题3优化策略集问题n优化策略集端到端问题定界和优化模型信令大数据问题定界逻辑模块优化提升策略模块进行问题定界输出优化策略，运维人员实施优化，问题闭环管理体验差的用户质差小区MR/PM/CM问题定界与优化1、基于终端采集数据的用户感知分析2、端到端用户感知分析3、大数据流量运营4、PCC策略运营平台5、全流程运营管控系统6、实物管理系统7、数据泄露防护系统平台(DLP)话音通话是客户的基本需求，用户之间消费行为差异较小；数据流量的价值在于承载各

22、类应用，在流量时代，用户对各类应用的偏好程度、上网习惯等特点差异巨大。 用户在互联网海量内容中的选择倾向性（流媒体、文本、小说、图片等）用户在各类移动互联网应用选择的偏好（生活服务类、社区交友类、办公类等）上网特征用户偏好用户在上网时间、上网时长、使用流量方面的规律用户上网终端的情况（Android、IOS、Symbian等）用户在流量产生时的位置轨迹不同区域的用户流量发生情况需要把握的三大核心信息：用户内容、应用偏好用户的上网行为特点用户流量产生的位置掌握用户的移动互联网行为至关重要大数据流量经营需要掌握用户在移动互联网领域的各种行为特点，了解用户的“习性” 位置轨迹运营商大数据流量运营关键

23、点数据分析引擎数据源2/3/4G接口数据/DPI系统数据BOSS数据（计费口）自营业务流量/访问次数竞争业务流量/访问次数自营业务价值用户/区域竞争业务价值用户/区域特定用户群业务&SP终端品牌渗透率特定协议分析异常流量分析价值SP分析高流量用户分析异常漫游用户分析热点区域流量热点区域终端热点区域业务热点区域终端锁网特定业务热点区域用户：业务/流量/行为偏好分析位置：业务/终端/SP分析终端：用户/业务分析套餐终端分析价值客户业务质量价值客户活跃小区体验差用户识别体验差用户活跃小区用户流量上网记录业务质量异常失败原因CRM系统数据基础数据小区地理数据终端数据移动详单/过网详单自有渠道(短彩信)

24、助销平台APP2B/WEB助销平台APP2C掌上营业厅超精细用户标签画像触发策略建模算法特征建模基于Hadoop云采集、存储、处理时间、位置、内容、终端策略选择SVM、K-MEANS、贝叶斯网络用户分群内容定位业务对比统计报表大数据流量运营平台系统架构大数据流量运营平台是由营销分析(营销目标筛选)、营销内容筛选、营销执行和营销评估四部分组成的一个闭环管理系统。营销目标筛选1营销建模执行3营销评估反馈4营销内容筛选2营销目标标签目标客户定位营销执行方案制定营销宣传内容策划热点内容标签生成营销模型营销启动营销开展营销结果信息收集营销结果与过程评估营销评估共享反馈多重条件组合查询出目标客户营销模型分

25、享选择营销模型营销模型管理内容信息管理触发规则引擎对接营销渠道进行执行大数据流量运营平台工作流程1、基于终端采集数据的用户感知分析2、端到端用户感知分析3、大数据流量运营4、PCC策略运营平台5、全流程运营管控系统6、实物管理系统7、数据泄露防护系统平台(DLP)平台能力：作为公司级运营平台，依托大数据中心完成智能管道建设（用户可区分、业务可识别、服务可分级、场景可固化、网络可管理、流量可管控、策略可运营），实现基于流量速度实时决策及调整的营销、服务能力，达到有限网络资源条件下的流量业务收入最大化。服务对象：市场口、网络口自营业务合作方OTT业务其他OTT业务中移动生态环境内生态环境外电信能力

26、开放平台计费能力语音能力短信能力营销能力实时位置隐私保护安全保护鉴权能力用户偏好服务能力专有承载优先承载尽力而为用户可区分业务可识别服务可分级网络可管理流量可管控基本动作需要保障 可选动作 努力创收围绕用户个性化需求，以流量速度调整为抓手，将用户场景及策略持续固化在运营平台，实现有限资源下的流量收入最大化。场景可固化策略可运营建设目标大数据中心运营支撑分析策略配置策略审批冲突检测策略分发事件分析效果评估策略运营平台业务运营支撑系统（BOSS）订购信息签约信息使用量状态地市公司省公司公司提交需求PCCPCRFGGSN(PCEF)策略信息执行信息需求验证用户信息同步策略运营体系策略配置策略驱动分析

27、（事件分析、用户捕获、策略信息同步）策略管理（审批、冲突检测、监控、发布）策略驱动与管理策略效果评估Gn信令监控（QoS、速率、流量）营帐信息监控（订购与退订）效果对比分析（策略执行前后的速率与流量对比）PCC策略运营平台在现有智能管道能力（用户可区分、业务可识别、服务可分级、场景可固化、网络可管理、流量可管控）的基础上，依托大数据中心开展策略应用分析，实现策略可运营的业务目标；PCC策略运营平台平台是以PCC管控为手段，面向流量经营与分析的生产型平台，其硬件资源有IT运维中心统一提供，数据资源由大数据开放平台提供；系统定位与功能范围B域O域互联网域数据源大数据平台批处理平台数据统计数据挖掘流

28、处理平台事件处理中心策略运营平台运营支撑分析策略配置与管理策略分发场景捕获用户群管理效果评估策略执行采集解析文件解析消息解析互联网内容解析PCC(PCRF)BOSS/CRMSMSC行为识别文件消息API1：管控策略配置；2：策略分发；3：文件解析：经分、信令、网管；4：互联网URL标签及内容实例库；5：增强后的上网日志；6：1+4；7：1+4；8：用户偏好及标签数据；9：用户行为：位置/应用/时间/内容；10：策略匹配结果；11：用户+策略ID12：短信通知用户提速，用户确认13：管控通知、接收确认:14：管控确认通知15：管控前后速率变化对比信息系统架构与数据流程图序号具体场景1基于疑似恶意

29、流量的带宽控制2基于套餐价值的忙闲时带宽控制3基于用户信用的带宽控制4基于客户价值的特定区域忙时带宽控制5基于网站合法性的接入限制6以数字内容为核心的资源保障及带宽控制7基于漫入用户的忙时带宽控制8基于商务客户拥塞小区收发手机邮件订购流量加速包场景9基于中高端客户经常往返高铁等候时间订购流量加速包场景10基于流量超套限速的场景11PCC策略管控平台运营场景1、基于终端采集数据的用户感知分析2、端到端用户感知分析3、大数据流量运营4、PCC策略运营平台5、全流程运营管控系统6、实物管理系统7、数据泄露防护系统平台(DLP)以生产数据驱动和优化业务流程，将复杂、分裂的原有支撑系统迁移到云端，形成灵

30、活、开放的聚合平台，实现网元设备从采购、建设到退服整个网络全生命周期的过程管理；并以物联网的方法，实现网元资产核查和动态更新的精细化管理。全流程管控：实现在运营管理方面的全业务管控，把管理考核在流程节点及质量控制点进行IT固化，贯穿多个职能部门，实现工作流程电子化，信息集中化和透明化。全流的意义：各项业务进度和质量实时监控汇总，（基础）数据集中统一，数据可追溯，数据可评估，网络质量透明管理，提升效率。规划入网交维日常优化勘察设计施工管理立项可研综合网管用户感知系统网优平台物业管理系统室分网管用户感知异常事件网络评估站点状态查询/变更站点配制数据提取站点性能数据提取物理站点信息提取室分数据ESB

31、数据总线通过ESB数据总线，实现业务流转过程中信息的共享整合，建立了以生产数据驱动业务流程的模式，实现数据规范化、标准化管理；打破原有“烟筒式”系统壁垒，将复杂、分裂的原有业务支撑平台迁移到云端，聚合多维数据，实现集约化管理及科学决策；物联网的方法，实现网元资产精细化管理和动态核查更新；通过全流程的精细化闭环管理,规范和优化了业务流程，细化分工；数据管理统一集中 数据变更流程规范 生产环节实时对接建立无线网络质量及运维管理的全新思路及体系；对原有IT架构和管理模式的革新；开创全国集中统一、分权分域实现集中管理及各省市独立应用；基于云计算的架构，对未来业务的无限扩展及叠加，提升平台开放能力。综合

32、代维横跨M/O域统一管理门户效率提升：70%； 降低维护及资产成本：约5000万/年/省（中等规模）概述网优平台资产资源管理系统电子运维系统物业管理系统综合网管系统建设管理系统用户感知系统ESB数据总线代维人员台账现网台帐代维资源台账备品备件台账退网物资台账入网交维项目验收代维管理资源变更考核结算设备管理成本管理质量管理数据导入数据同步数据共享数据核查现场勘查现场交维设备核查质量测试现场巡检现场抽查台账维护管理分析移动终端流程平台基础数据台账管理交维台账站点台账物业台账相关系统现场监理场景数据楼宇数据需求规划项目管理施工管理物资平衡运维修理故障抢修后评估功能框架1、基于终端采集数据的用户感知分析2、端到端用户感知分析3、大数据流量运营4、PCC策略运营平台5、全流程运营管控系统6、实物管理系统7、数据泄露防护系统平台(DLP)实物管理各环节相互独立系统众多，各专业、各环