智能管道数据采集分析解决方案

1、智能管道数据采集分析解决方案目录解决方案概述1采集分析软件部分3云平台部分4采集分析硬件部分2基于SmartProbe和云平台的整体解决架构网络原始数据基于Hadoop云平台的数据存储挖掘分析，服务器集群数据采集、解析、合成层云存储、数据挖掘层应用层/LTE数据采集解析合成层Smart Probe（智能探针）设备连接方式SDHHLRHLR DBMSC ServerMGWBSCBTS155M622MFE/GEE1/FEE1SCPE1/FENodeBRNC155M622MATMSGSNGGSNInternetE1/FE/GEFE/GEFE/GEFE/GE Smart Probe Smart Pro

2、be采集Mc、Gb、IuPS、Gn&Gi等接口的信令数据，对采集的数据实时解码和业务合成生成详细的用户业务记录（xDR），实时、准确、全面的获取用户行为及网络使用情况。可以 平滑升级支持 LTE网络采集分析。在2G/3G中的部署RNCBSCSmart ProbeGnIuPSGb其他数据处理平台云计算数据平台上层应用上层应用在LTE中的部署UEPCRFeNodeBS-GWP-GWS5/S8S11MMEMMES6aS1-MMELTE-UuS1-USmart Probe云计算数据平台上层应用上层应用目录解决方案概述1采集分析硬件部分2采集分析软件部分3云平台部分4Smart Probe的硬件平台S-

3、1000S-2000S-ATCA最新的工业计算机架构 ATCA电信级产品积木式扩展全接口数据采集一体化的探针高中低端系类产品，根据用户采集规模可以灵活配置Smart Probe 一体化全接口采集平台构件采用标准的ATCA架构，有6U/3U或者14U等多种不同形式。支持所有电信接口的数据采集： E1/T1/J1、STM-1/4、100M/1000M/10000M AMCAMCATCAATCA机箱10G采集单板（ATCA）单板提供了强大的数据采集能力和交换功能 ，完成数据的采集、汇聚、处理、重组与分发功能。1、单板包括两片TILERA的Gx36多核CPU，主频1.2GHz，单板超强的处理能力。2、

4、专有控制CPU，负责整个单板的管理。3、内嵌具有100G交换能力的模块，可以作为一个超强交换板使用4、 8个10Gbps SFP+接口，或者10个1Gbps接口E1接口采集单板（AMC）单板E1链路承载的各种数据的采集，底层协议处理。项目数量描述接入能力8支持8对E1链路支持协议支持所有协议被采集的数据链路速率16K/32K/64K/N*64K/2M链路数量512单板支持512条链路155M/622M SDH接口采集单板（AMC）单板SDH链路承载的各种数据的采集，底层协议处理。项目数量描述接入能力2支持2对SDH 155M/622M链路支持协议ATM/POS/通道化SDH支持所有协议被采集的

5、数据链路速率16K/32K/64K/N*64K/2M/155M链路数量2000条单板支持1000条链路2.5G SDH接口采集单板（AMC）单板SDH链路承载的各种数据的采集，底层协议处理。项目数量描述接入能力2支持2对SDH2.5G/GE链路支持协议ATM/POS/通道化SDH支持所有协议被采集的数据链路速率16K/32K/64K/N*64K/2M/155M/GE链路数量2000条单板支持2000条链路Smart Probe 采集平台特点说明：可根据网络接口、数量、主设备不同，针对不同网络灵活配置。采用先进的ATCA架构体积小，管理集中、移动方便支持各厂家、通用，兼容TD光电混插、热插拔、灵

6、活配置提供远程监控和操作接口预留扩展空间，板卡&服务器均可支持所有软件在线升级双电源、一体化设计分布式部署, 灵活扩展容量 业界集成度最高、支持接口最全面的采集平台；业界唯一支持多接口混采的采集平台S-ATCA DPI 规格参数型号性能端口设备规格（ATCA）TH-12000整机支持200G业务处理能力单个槽位：5个10G Fabric接口（背板），8个10GE SFP+接口4个GE接口整机支持：96*10GE+48*GE或者120个GE19,14U独立机箱式设备 TH-6000整机支持100G业务处理能力单个槽位：5个10G Fabric接口（背板），8个10GE SFP+接口4个GE接口整

7、机支持：48*10GE+24*GE或者60个GE19,6U独立机箱式设备TH-3000单设备 20G业务处理能力单个槽位：5个10G Fabric接口（背板），12个GE接口或者8个10GE SFP+接口加4个GE接口整机支持：16*10GE+8*GE或者24个GE19,3U独立机箱式设备目前正在研发业界领先的支持100G采集接口的下一代Probe，预计将于6月份正式推出目录解决方案概述1云平台部分4采集分析软件部分3采集分析硬件部分2Smart Probe 软件架构输出模块协议处理模块采集模块系统配置管理系统自身管理系统管理号码关联回填、多协议关联模块xDR输出控制模块xDR输出模块采集适配

8、及信令预处理模块采用分布式处理技术，保证系统良好的扩展性！数据交换总线：是软件核心模块，通过一个公共的数据交换软件，其它模块都通过该模块交换数据。其优点：支持分布计算模式、系统处理没有瓶颈、多线索并行技术、支持伸缩性结构具有良好开放性、方便开发、管理和维护。支持自有采集设备采集的原始数据，也支持三方采集设备采集的原始数据，有很好的适应性。数据交换总线自有采集模块三方采集模块信令解码、合成生成xDRSmart Probe 输出模块-基于元数据驱动模式元数据驱动点1：通过动态加载自定义的元数据模型，可以解析和识别采集到的不同数据源的数据元数据驱动点2：根据应用层的要求定义数据模型，接口适配基于对规

9、则的解释完成采数据的格式转换和预处理。即可以按不同应用定义不同的数据输出规则，从而可以灵活适应不同应用对数据的要求。Smart Probe 采集各接口的协议内容GiSGSNGGSNIuPSGnGiHLRGrOther PLMNGpGpExternal NetworkGcSGBSCRNCGbSmart Probe Gb/IuPS 接口xDR（4W+1H）WHEREWHENBBUxDR主要信息RRUIMSIMSISDNIMEIPTMSIWHOBSCRNCSGSNLACCellSACHOW开始时间结束时间响应时间结果：成功、失败 failure reasonWHAT业务类型： Attach、Deta

10、ch、RAUPDPxDR详细描述：Smart Probe Gn 接口xDR（4W+1H）WHEREWHENBBUxDR主要信息RRUIMSIMSISDNIMEIWHOGGSNSGSNLACCellSACHOW开始时间结束时间响应时间结果：成功、失败 failure reasonWHAT业务类型：参考DPI能力详细描述 上下行流量上下行包数承载QOSxDR详细描述：DPI能力详细描述：Smart Probe LTE硬采 接口xDR（4W+1H）WHEREWHENBBUxDR主要信息RRUIMSIMSISDNIMEIWHOENB SGSNCELLTACHOW开始时间结束时间响应时间结果：成功、失败

11、 failure reasonWHAT业务类型：参考DPI能力详细描述 上下行流量上下行包数承载QOSLTE xDR详细描述：DPI能力详细描述：同时支持固网链路和移动网络的多种信令接口的数据采集2G网：Abis、A/Mc、 B、C、D、E、G，Gb、Gn、Gi接口等；3G网：Iub、IuCS、IuPS接口等；4G网：X2、S1-U/MME、S10，S11,S5/S8 ,S6a等；信令采集支持的物理接口类型：E1/T1/J1、STM-1/4支持的链路层协议：HDLC、ATM/IMA、TCP/IP、POS、PPP/MPPP、FR、IP over PPP等接口协议同时支持多种信令接口的解码合成2G

12、网：Abis、A/Mc、 B、C、D、E、G，Gb、Gn、Gi；3G网：Iub（部分支持）、IuCS、IuPS；4G网： X2、S1-U/MME、 S10，S11,S5/S8 ,S6a等解码合成Smart Probe 支持的接口和协议多接口协议解码与实时回填技术Smart Probe对 Gb、Gn、IuPS，LTE等接口进行实时数据采集和解码合成，对各接口用户面、控制面包含的用户信息进行实时关联回填，保证输出记录信息的完整性，关联率达到99%以上DPI应用特征识别技术采用“DPI/DFI深度包检测技术”，实现报文的全文检索。对每个IP数据包进行1-7层的分析，通过端口号、IP地址、URL地址、

13、HOST、User-Agent、16进制码流等特征匹配来实现对网页浏览、即时通讯、流媒体、P2P下载等业务类型的识别和统计，网络流量识别率达到95%以上先进的多核软硬件一体处理平台高密度、高性能。设备集成了10GE、GE网络接口，采用多核网络交换处理架构，芯片级DPI分析平台，处理能力达到20G，满足实时DPI超高性能需求。系列化多种性能硬件平台，支持GE、N*10GE单设备解决方案，满足用户不同场景需求丰富的业务识别支持1500+热门应用对于重点关注业务有进一步的精细化分析业务描述采用正则表达式，支持全报文的复杂特征SmartProbe的技术优势SmartProbe DPI 的优势 深入分析

14、行为和内容。例如用户使用微信的ID，具体是在做语音聊天、视频，还是文字输入等动作。用户行为特征和用户兴趣点密切相关的内容，能够进行有效的解析和记录Smart Probe DPI 优势 识别特征库支持热部署升级，切换时间99.99%, 可识别 的应用流量准确率 90%, HTTP的识别速度1500种互联网/移动互联网应用，范围涵盖了即时通讯、P2P下载、音乐音频、网络视频、股票证券、网络游戏、生活服务、行业软件及IANA标准网络协议等.覆盖运营商移动网络95%的应用流量采用定制的实时系统，网络数据包获取几乎没有时延，数据包获取与内容分析之间的衔接紧凑。根据在运营商实际网络环境中的数据解析测算，数

15、据包从获取到给出分析结果平均时延99.999999%,SmartProbe DPI 的核心指标性能支持 1G bps 10Gbps 无损包分析，综合GTP包 98%对于 特定需要精细化识别的应用(如中移动要求的12项精细化识别的应用，准确率 95%， 对于其他能识别的应用，准确率 90%覆盖HTTP 网址覆盖率 95% ， 并可提供 20 万的网址分类库可识别的移动互联网应用覆盖移动数据总流量 90%粒度应用及协议识别，可提供 业务-应用行为-应用层协议-承载协议5个层次的细粒度识别。支持 应用 行为 内容 还原 等多种DPI需求更新定期更新（周为单位） 和事件即时更新（发生特定的移动互联网事

16、件时），特征库支持热部署，升级切换时间xDR数据，一般是原始信令的1/4-1/8数据量统计数据，一般仅是xDR数据的1/10数据量，以数据表形式保存，以便处理复杂的管理和查询需求汇总报表数据，一般是统计层数据的1/10数据量，以数据表形式保存数据库存储原始信令存储，一般为文件处理和存储，压缩比例一般为50%，历史信令反查由于解压缩产生额外50ms的时延 传统关系型数据库和云平台面对大数据处理关系型数据库面对大数据云平台面对大数据性能低：行存储导致大量无效I/O，限制了吞吐量。海量数据下的索引占用空间大，造成查询效率低下。维护难，影响稳定性：为了处理大数据，必须进行分库、分表、多副本的设计和管理

17、，开发维护难度大。性能高：列存储，分散I/O，高吞吐量，极大提升了海量数据处理性能可扩展性差：关系表结构无法自适应硬件横向扩展一次性投资成本高模型简单，系统稳定性高高扩展性和投资灵活性：存储特性使得水平扩展简单，可根据数据选择软硬件投资规模并方便扩充。 基于云平台的大数据处理架构运维支撑客服市场分析数据缓存关联Hive、Spark、Impala结构化数据Hbase解析Map/Reduce半结构化数据Hbase/HDFS非结构化数据Hadoop统计结果Sql db元数据子系统数据接口其他系统数据源子系统数据接口xDR数据源统计结构化数据数据挖掘即席查询 基于云平台的分布式存储机制示意云平台内部组件结构关系图HadoopHBaseHDFS服务组件应用Flume文件写入sqoopOozie数据S