EMC Greenplum电信行业信令分析数据平台方案-vEBC

大数据时代改进和创新的信令分析平台

EMCDataComputingDivision提纲信令分析平台数据处理和应用特点信令分析平台面临的潜在问题和理想架构信令分析数据平台架构建议方案案例分享2信令共享和分析平台涉及的数据层次架构数据分析层多段关联号码回填XDR合成协议解析数据服务层XDR转化XDR入库数据分发IE抽取XDR数据库数据组织层实时统计非实时统计KPI数据库报表数据库信令数据采集平台无线、CS、PS、IMS共平台信令采集层MC,A,Abis,Iu-b,Iu-CS,Iu-PS,LSTP,HSTP,HLR,关口局…信令监测规范信令监测系统新架构业务应用层网络优化客户感知网络质量实时监控客户投诉…会话跟踪增值应用海量信令数据处理过程数据分类管理，系统分层处理，分布存储，并行访问，高效索引，科学有效的海量数据管理策略原始信令数据xDR数据统计数据聚合报表系统应用信息提炼信息分类价值评估信息应用数据服务数据应用数据组织数据分析信令采集海量原始信令数据采用分布式处理分布式存储，有效减小系统压力。xDR数据提取关键数据，同时压缩后传输存储，减小传输存储压力。通过信息分类后，统计数据量进一步减少。报表数据量几乎与原始信令数据量无关，只与定制报表数量有关保证数据快速查询，实时呈现，灵活应用。DB

海量信令数据分级、分类存储关系原始信令数据xDR数据统计数据聚合报表系统应用原始信令存储，一般为文件处理和存储，压缩比例一般为50%，历史信令反查由于解压缩产生额外50ms的时延原始信令->xDR数据，一般是原始信令的1/4-1/8数据量，一般分为库内近期数据存储和库外历史数据存储，库内存储便于xDR的反查和基于xDR生成基础统计数据统计数据，一般仅是xDR数据的1/10数据量，以数据库形式保存，以便处理复杂的管理和查询需求汇总报表数据，一般是统计层数据的1/10数据量，以数据库形式保存文件存储数据库存储DB海量信令数据分级、分类存储关系原始信令数据xDR数据统计数据聚合报表系统应用原始信令存储，一般为文件处理和存储，压缩比例一般为50%，历史信令反查由于解压缩产生额外50ms的时延原始信令->xDR数据，一般是原始信令的1/4-1/8数据量，一般分为库内近期数据存储和库外历史数据存储，库内存储便于xDR的反查和基于xDR生成基础统计数据统计数据，一般仅是xDR数据的1/10数据量，以数据库形式保存，以便处理复杂的管理和查询需求汇总报表数据，一般是统计层数据的1/10数据量，以数据库形式保存文件存储数据库存储信令数据适用的场景日常维护专题……公共安全、欺诈专题群体路径追踪（如犯罪团伙发现，基于时间点进行位置采样，进行路径相似度计算）基于地图的群体移动性应用（如交通流量监测、突发集会等）位置应用专题Abis,A接口(三角定位)LBS应用增强的商业智能呼叫模式识别SNAonCDR/TDR分析应用场景1：信令数据深度应用客户行为研究客户细分识别精确营销贴心服务对管道的智能化分析对网络和客户流量特征的分析对产品的分析和辅助优化客户分析类需求业务和产品分析需求需要丰富的数据在公司领导“智能管道”和“客户为根、服务为本”的要求下，充分发挥数据关联分析的优势，助力企业的转型和精细管理。应用场景2：通过信令信息来刻画客户交往群客户交往群划分核心圈：具备两两通话关系的一组通话圈体通过对历史的话单、短信、彩信等通信行为的挖掘和分析，发现客户的通信指纹和客户交往群划分（家庭交往群、工作时段交往群等）交往群网可以被扩展到亲亲、朋友、同事等不同模式信令分析平台特点：海量数据、高IO吞吐

带宽与业务处理模式针对10TB数据的业务分析10TB1GB/sec10GB/sec100GB/sec数据带宽180分钟/Query周报/月报，报表能力17分钟/Query隔日出结果的分析1.7分钟/Query商业智能，即席分析提纲信令分析平台数据处理和应用特点信令分析平台面临的潜在问题和理想架构信令分析数据平台架构建议方案案例分享11问题1：统一数据管理和个性化应用需求的矛盾

统、分兼顾12地市级网络维护地市级需求旺盛、各地市业务差异不同的需求级别业务指标差异营销和服务多样化，导致对信令需求不同统一化管理需求差异化业务需求统一基础平台统一数据模型统一处理逻辑统一需求评估和确定统一应用开发和部署分统问题2：海量数据面临的高成本和扩展性问题1PB—2PB=海量数据由于压缩比低，需要大量的存储大量的存储需要大量的机房、供电、制冷、维护极大的投资和运维成本信令平台理想架构：形成“数据库云”和“信息服务云”

分布式数据采集和预处理解决信令数据XDR合成和预处理；统一数据共享层解决共享数据的统一存储和管理；地市集市解决各地市个性化应用支撑问题数据采集和预处理模块地市个性化应用地市个性化应用地市个性化应用地市个性化应用数据集市数据集市数据集市统一数据模型标准指标和统一应用应用/需求管理统一数据共享层数据采集和预处理数据采集和预处理数据采集和预处理数据集市个性化应用个性化应用个性化应用个性化应用统一元数据提纲信令分析平台数据处理和应用特点信令分析平台面临的潜在问题和理想架构信令分析数据平台架构建议方案案例分享15信令分析平台整体数据架构

分布式文件平台+数据库PaaS云平台A地市B地市X地市……基于分布式文件处理的信令基础数据批处理信令报表和共享数据（Greenplum数据库云平台）海量信令基础数据处理（GreenplumHadoop）信令分析平台GreenplumHadoop平台发挥海量数据批处理特点，个、Greenplum数据库PaaS平台发挥高性能、数据一致性、高并发、实时数据分析特点16数据库云平台ED虚拟数据集市A

虚拟数据集市虚拟数据集市空闲资源池GFBC省级信令平台存储和计算能力要求（传统架构）CDR字节=260BYTE每秒钟CDR数量=350000一天CDR总量=260×350000×3600×24=7.6TBCDR保存周期：90天存储容量要求=7.6TB×90=684TB一天CDR数据量加载时间要求=2小时内加载完成加载速度要求=7.6TB÷2=3.8TB/Hour一天CDR汇总统计（访问一天CDR数据），需要完成时间=60秒完成一点CDR汇总统计，所需的计算能力=7.6TB÷60=127GB/Sec每个IntelCPUcore处理数据200MB/Sec，所需CPU总数=127GB÷200MB=650CPUcore基于GreenplumDB平台存储和计算能力估算一天CDR总量=260×350000×3600×24=7.6TBCDR保存周期：90天原始存储容量要求=7.6TB×90=684TBGreenplumDB数据压缩比=8倍（中创信令测试结果）GreenplumDB存储一天CDR数据量=7.6TB÷8=0.95TBGreenplumDB存储容量要求=684TB÷8=85.4TB一天CDR数据量加载时间要求=2小时内加载完成GreenplumDB加载速度要求=7.6TB÷2=3.8TB/Hour一天CDR汇总统计（访问一天CDR数据），需要完成时间=60秒完成一点CDR汇总统计，所需的计算能力=7.6TB÷8÷60=15.8GB/Sec每个IntelCPUcore处理数据200MB/Sec，所需CPU=15.8GB÷200MB=79Core16台GREENPLUMDB节点：存储容量为144TB用户数据，加载速度为10TB/Hour，IO吞吐为24GB/Sec，CPU总数为192Core，完全满足省级信令平台需求

产品化的分析应用,工具,GreenplumChorusGreenplumDatabaseGreenplumHadoop计算存储SQLDB

引擎计算存储MapReduce

引擎数据计算接口SQL,MapReduce,In-DatabaseAnalytics,ParallelDataLoading(batchorreal-time)支持所有数据的存放和访问分析并行数据交换并行数据交换Greenplum大数据云平台网络层信令平台整体框架总结信令采集网关信令采集网关信令采集网关信令采集网关信令共享云平台适配器适配器适配器适配器适配器交互式仪表盘报表和发布器Ad-hoc

分析办公应用集成搜索移动工具协作基于事件网管应用Greenplum

BigData

Cloud信令基础层XDR话单数据和统计数据信令应用层地市集市和应用层数据汇聚网关信令采集网关提纲信令分析数据平台架构建议方案信令分析平台数据处理和应用特点信令分析平台面临的潜在问题和理想架构案例分享21案例:江西移动信令监测系统云数据库系统云文件系统虚拟服务器信令采集网关信令汇聚网关信令采集网关信令采集网关LAN交换机集群存储结点x86服务器群存储虚拟化服务器和网络虚拟化合成服务器应用服务器接口服务器......Master结点Master结点Segment结点Segment结点关联服务器专题服务器信令监测系统应用举例用户感知端到端时延指标分析终端质量专题分析网络优化专题分析这么久才接通，怎么回事？单通串话了挂掉再打一次吧通话时长<ns单通串话分析专题PagingPagingPaging寻呼黑洞分析专题……乒乓切换分析专题针对网络中的特定故障，进行专题化的分析云数据库给监测系统带来的变化数据库部分所需要的所有硬件和软件将由云数据库系统替代，即：数据库服务器【m5000】+SAN+磁盘阵列【EMC】+Oracle/SybaseIQ将由云数据库的Master结点机+Segment结点机+LAN+Greenplum数据库替代数据库部分的整体造价从每