大数据在电信行业的应用

大数据在电信行业的应用

1电信行业的应用趋势大数据是云计算之后的另一个热点技术。这是互联网、移动互联网和物联网发展的一个重要发展趋势。电信行业是大数据技术应用的一个重要领域,天然地具备大数据存储和分析技术应用的一些关键因素,如海量数据、数据实时性处理的需求。对大数据的一些关键性技术组成,如大数据存储和分析技术在电信行业应用的分析及其应用接口标准化方面的探讨将有益于这些需求问题的解决。2大数据广泛应用于电信行业2.1应用方向(1)基于海量数据的分析目前运营商在大数据上的投入,从实践上来看80%~90%的应用主要聚焦在提升运营商自身的运营效率上,即网络管理维护优化方面。这部分应用可划分为提升网络质量和提高运营管理水平两个层面的应用。●提升网络质量方面的应用利用大数据技术对海量的信令数据、网络日志信息等具备鲜明大数据特征的数据进行分析,能够弥补采用传统的关系型数据库技术以及传统的数据分析工具在这种应用场景,尤其是对分析实时性要求比较高的场合中使用的不足。此外,对于这类数据的分析有时需要与Billing、客户关系管理(CustomerRelationshipManagement,CRM)、增值业务服务(Value-addedService,VAS)等外部系统的数据结合,才能满足其需求。大数据技术在这些方面的应用可以显著提升网络质量。●提高运营管理水平方面的应用在网络运营管理方面,利用大数据技术可以解决运营商现有网络管理系统中由于海量数据所带来的问题,一方面可以节约成本,另一方面可以使应用的功能更加完善。(2)营商视角下的新价值创造这部分应用是大数据未来最有前途的应用,也是运营商转型的机会所在。对运营商来说,这部分应用可以帮助运营商创造新的价值,并利用这些有价值的数据形成新的收入增长点。这一类应用主要包括:基于海量动态位置信息的大数据服务、基于用户行为分析的广告推荐、智能交通、智慧城市、物联网应用等。2.2电信行业大数据应用大数据在电信行业的应用有其自身的特点,如图1所示。首先,从数据源上看,电信行业的数据主要来自于网络,包括来自基站、信令、日志文件、终端设备以及外部IT系统(比如计费、营业、CRM、财务等)。目前来看,结构化数据仍然是电信行业的主流数据,因此,电信行业的大数据主要具备数据量大和实时性要求高这两个特征。其次,电信行业的大数据应用实施主要包括四个阶段:第一个阶段是积累数据,主要是各种类型的数据收集与存储,应用了大数据存储的一些关键技术及数据采集工具。第二个阶段是将积累的数据经过初步筛选过滤变成有价值的信息,称之为信息检索过滤,这一阶段的很多应用都比较成熟,也是目前大数据在电信行业应用最广泛的一类。第三个阶段是对信息进行深度挖掘,从信息中发现知识,这部分应用大部分还在探索阶段,正在逐步成熟,个别应用已经可以商用。最后一个阶段就是大数据的至高境界:智慧,这个层次的应用具备精确的预测功能,并且可以对未来出现的事件采取适当的措施,促进或者抑制其发生。最后,大数据应用实施在不同的层次所采用的技术也是不同的,随着层次不断提高,数据挖掘的深度和难度都随之增加。3大数据存储和分析技术3.1数据库设计。数据库数据是一个数据库,数据库的开发可以提高数据库的建设和完善数据库的数据库的数据库的数据库的数据库的数据库的数据库的数据库的数据库的数据库的数据库的数据库的数据库的数据库的数据库的数据库及数据库的数据库的数据库及数据库的数据库的数据库的数据库及数据库的数据库的数据库及数据库的数据库的数据库及数据库的数据库等信息。数据库的数据库数据是一个数据库大数据技术涵盖了从数据的海量存储、处理到应用的多方面技术,包括异构数据源融合、海量分布式文件系统、NoSQL数据库、并行计算框架、实时流数据处理以及数据挖掘、商业智能和数据可视化等。一个典型的大数据处理系统可分为五层:数据采集、存储、处理、分析、应用及展现等,其技术体系如图2所示。3.2通信运营商的大数据存储和分析技术3.2.1应用展现层:大数据存储和分析技术从大数据在电信行业的应用特点看,面向电信运营商的大数据应用技术也体现了软件分层的概念,其技术应用框架如图3所示。其中,数据整合层负责数据的抽取、净化等,数据服务层提供数据的存储和处理,应用分析层对数据的价值做进一步深入挖掘和分析,应用展现层为用户提供数据的应用及可视化。大数据存储和分析技术是大数据技术体系的核心技术,也是大数据在电信行业成功应用的关键,涉及了图2大数据技术体系的数据存储、数据处理和分析应用等部分,并位于图3的数据服务层和应用分析层。从数据服务的视角看,大数据存储技术位于图3的数据服务层,可以作为基础的数据服务为上层应用提供多种类型的数据处理和存储功能,而流数据等复杂事件处理(ComplexEventProcessing,CEP)技术可以作为高级数据服务功能。大数据分析技术不仅包括流数据处理的高级数据服务,还包括对数据进一步的深入挖掘和应用分析,即图3的应用分析层,如数据挖掘、数据搜索、在线分析处理(OnlineAnalyticsProcessing,OLAP)、统计分析、报表等。3.2.2技术组件组合、技术应用部署软件分层的大数据技术框架由各种类型的技术组件组成,每一个组件位于不同的层次,采用相互独立的技术,应用于不同的应用场景。大数据存储和分析技术所构成的技术组件包括内存数据库、关系型数据库、NoSQL数据库、分布式文件系统、对象存储系统、实时流处理引擎、数据挖掘、数据搜索、OLAP分析、统计分析、报表等。面向电信行业的大数据技术解决方案,在实际应用部署时可以考虑各种技术组件的有效组合,聚焦于具体应用,强调“最合适的就是最好的”这一理念。以大数据存储和分析技术的应用部署为例,通过采用最简单的技术和组件组合,迅速形成应用的原型系统,然后再根据运营商的具体需求不断完善。图4是中兴通讯针对基于海量动态位置信息的大数据服务而提供的大数据存储和分析技术应用的实际部署架构示意图。4大数据存储和分析技术的应用接口标准化4.1应用接口设计作为基础支撑技术的大数据存储技术的发展相对比较成熟,其应用接口类型由分布式文件系统接口、对象存储系统接口和各种类型的数据库系统接口构成,如表1所示。多数应用级的分布式文件系统提供基于C或C++语言的应用接口,有些还提供其他语言的应用接口,如Java等。除了一些主流厂商提供的各种应用级分布式文件系统,如Google分布式文件系统(GoogleFileSystem,GFS)、MogileFS、FastFS等,开源平台Hadoop也提供了以GFS为原型的Hadoop分布式文件系统(HadoopDistributeFileSystem,HDFS)。HDFS提供基于Java、C和HTTP语言的应用接口类型,不遵循POSIX规范,其数据操作接口支持对文件和文件夹的操作,管理接口则提供自动副本复制、系统容错性等功能。对象存储系统的市场应用相对较少,有代表性的除了AmazonS3提供基于对象操作语义的简单存储服务外,开源组织OpenStack的Swift项目研究对象存储器,用于存储PB级的可用数据,支持REST(REpresentationalStateTransfer,表述性状态转移)接口。REST是一种针对网络应用的设计和开发方式,可以降低开发的复杂性,提高系统的可伸缩性。数据库系统,除了传统的分布式关系型数据库系统提供对结构化数据存放的SQL、JDBC、ODBC等应用接口类型外,NoSQL数据库系统针对不同的数据处理提供了四种数据模型:键值对(Key-Value)、列式(Column-Oriented)、文档型(Document-Oriented)、图型(Graph-Oriented)。NoSQL数据库系统往往不支持SQL应用接口类型,每种数据模型的NoSQL数据库系统支持的应用接口类型也不一样,如HTTP/REST等,并提供基于Java、C等语言的应用编程接口(ApplicationProgrammingInterface,API)。4.2api应用接口大数据分析技术包括离线数据处理、实时数据处理和数据分析技术,目前主要应用于计算处理框架和数据分析模型,并为上层应用提供基于类SQL、PMML等语言的API应用接口。PMML全称预言模型标记语言,利用可扩展标记语言(XML)描述和存储数据挖掘模型,是一个已经被万维网联盟所接受的标准。例如,开源Hadoop项目的并行计算框架MapReduce,对离线数据提供简单的并行计算处理,并通过类SQL语言,如Hive、Pig等封装成简单的API接口,为上层应用提供计算服务。4.3应用接口的标准化电信行业的大数据目前主要还是以结构化数据为主,在大数据技术应用上则以大数据存储技术和大数据分析技术为主。大数据存储技术的应用接口类型多样,而以分布式文件系统的应用最为成熟,通过提取其体系结构及应用接口的通用特性,为这部分应用接口的标准化提供了可行性。但是,对象存储系统和NoSQL数据系统的技术应用还不成熟,一些开源OpenStack、Hadoop技术目前还处于反复尝试阶段,无法确认哪一个组件最适合处理某种工作负载。大数据分析技术的应用接口主要通过类SQL、PMML等语言进行封装,为上层应用提供API应用接口。由于配置环境不同及开源Hadoop技术的不成熟,统一起来比较困难。因此,大数据技术在电信行业应用的标准化,除了较为成熟的应用级分布式文件系统的应用接口外,其他类型的大数据存储技术和大数据分析技术的应用接口标准化可行性目前并不大。5技术组件组合大数据技术不是一种单一的技术,而是各种技术的综合运用。大数据技术在电信行业的应用集中体现在提升运营商自身的运营效率和数据经营上,其应用特点也体现了大数据技术的软件分层的