数据挖掘在通信行业中遭遇的瓶颈(20210313114946)

1、数据挖掘在通信行 业 中遭遇的瓶 颈近年来数据挖掘的概念被 热炒,各通信企 业也纷纷展开了应用尝试,但却鲜见成 功的案例,数据挖掘似乎 还只是水中花、镜中月。本文作者结 合多年的 应用实践,将制 约数据挖掘在通信行 业持续高效 规模产生效益的瓶 颈,归结为营销衔接、数据基础、 系统支撑等三个主要方面 ,并探索了如何去突破 这些障碍。相信只要通信企业 渴望从 数据中发现价值,渴望更深刻地理解客 户的需求存在 ,数据挖掘就一定能找到它的英 雄用武之地。国际知名调查 机构 GartnerGroup 在高级技术调查报告中,将数据挖掘和人工智能列 为“未来三到五年内将 对工 业产生深远影响的五大关 键技

2、术”之首,还将并行 处理体系和数据挖掘列 为未来五年 内投资焦点的十大新兴技术前两位。Gartner的调查报告预计:到2010年，数据挖掘在 相关市场的应用将从目前少于 5%增加到超过 80%。随着数据挖掘概念的热 炒,国内 越来越多的行 业和企业开始关注 这项据说可以带来极高投资回报率的技术,通信行 业由于技术基础好,数据量丰富成 为最先吃螃蟹之一。特别是在通信行 业垄断格局被打破 ,市场竞争日益激烈 ,客户需求更加挑剔的情 形下,以客户为中心的 经营理念成为企业生存的必然 选择。如何更深刻地理解客户 , 如何实现存量客户的流失保有 ,如何挖掘增量潜在客 户,如何进行交叉销售提升客户 价值,

3、如何进行欺诈识别防范经营风险,如何推出适合客 户消费特点的产品及套餐,这 些成为经营必须面对的问题,而数据挖掘技 术在解决这些问题方面有其它方法无与 伦比的优势。然而 ,虽然各通信运 营商都不甘落后 ,纷纷启动了数据仓库、经营 分析系 统、CRM的建设，并依托这些系统进行了数据挖掘应用的尝试,但却鲜见成功的案例, 即使有也是 昙花一现,难以持继长效规模产生效益,数据挖掘似乎 还只是水中花、镜 中月,停留在纸上谈兵阶段。那么数据挖掘在当前通信行业 的应用遭遇了什么 样的瓶 颈呢?有人认为,数据挖掘工具不 够完善,算法单一,难以适应复杂多变的商业数据状 况;实施流程复杂,需要有专业的实施人员,难以

4、被一般的企 业所掌握;工程周期长,效 果不确定,一些急功近利的企 业不愿大力投入 ;数据挖掘是科学和 艺术的完美结合,需 要业务和技术部门密切配合,而涉及到部 门协作的问题都是最难的;数据产生价值的 观念才刚被人接受 ,企业数据基础差,数据挖掘要找到英雄用武之地 还为时过早。这 些也许都是制约数据挖掘充分 发挥效益的因素 ,但我认为当前最主要的瓶 颈在以下 三个方面。营销衔接的问题在通信行 业的应用中,一个完整的数据挖掘 项目常由数据整合、数据挖掘分析、 营销策划、营销执行、营销评 估改进等环节构成一个 闭环流程。数据挖掘项 目往往由 技术部门主导实施,由于在技 术实现 上有相当的工作量和 难

5、度,容易让人将工作重点 放在技术实现环节 ,而忽略了后期的营销衔接,使得闭环流程在某些 环节上断裂。然而数据的挖掘分析只能产 生一 个分析结果,要将结果转化成能产生良好经济效益的成果 ,必须要通过精细的营销执 行。一个成功的数据挖掘项 目需要技术部门、市场部门、渠道部门 密切配合,在各环 节无缝衔接,而目前一些通信企 业各部门条块分割,需要协调多部门协同工作的 项目 往往难取得很好效果。而且由于数据挖掘技术 要求较高,技术支撑团队 往往放在省公 司,而市场营销的前线又在各分公司 ,因此还要涉及一个省市 协作的问题。另一方面 , 数据挖掘还在导入阶段,各通信企 业还没有一个 专职的部门或专职的团

6、队来执行这 项工作,往往由各相关部 门抽调兼职人员组成一个 临时的虚拟团队来进行项目实施, 然而数据挖掘是 项精细的工作 ,各实施环节对技能要求都非常高 ,虚拟团队 在业务技 能和组织管理上都难以适应项目的要求。可以说 ,在营销策划、执 行和评估阶段没有 及时跟进是数据挖掘在各通信企 业一直没有取得突破性成 绩的一个最关 键的原因。要突破这个瓶颈,需要将数据挖掘作 为一个咨询项目而非技 术项目来实施,项目 的重心要由前期的技 术实现转到后期的营销环节 ,通过项目理顺整个闭环业务流程, 给出一个系统完整的解决方案。数据挖掘项 目要取得成功必 须要获得业务部门的认 同和支持。通信行业 数据挖掘的分

7、析 结果往往通 过针对营销的模式投入市 场。以客 户为中心、精确营销 的理念 虽已为业务部门普遍认同,但要改变拍脑袋决策的工作 风 格,培训用数据说话的习惯还需要一个过程。而且市场 部门还仍然迷恋于大众 营销的 规模效益,对需要依靠精耕 细作的方式才能取得成效的 针对营销 模式敬而 远之,觉得 成效甚微,杯水车薪难以缓减经营指标的根本压力。观 念的转变是最困难的,然而必 须要让业务部门明白:在当前市 场形势下针对营销是对大众营销必要的补充;用数据 说话、精确化精细 化的工作方式 对提高整个市 场经营能力是大有裨益的 ;要有成本 观 念,讲究投入回报率,在这方面针对营销是有明显优势的,而且针对营

8、销 也是可以集腋 成裘带来巨大效益的。可以考虑让业务 部门来主导数据挖掘 项目的实施,如果在业务 需求上理解更透 彻,在营销执 行上配合更到位 ,项目成效将得到更可靠的保 证。如果 由技术部门来主导项 目的实施,那么其 职责不能只限于得到一个数据分析 结果,还必 须主动介入后期各 环节的工作,去寻求业务部门和渠道部 门的协作,实现共创价值。 总之,技术部门需要再往前 迈进 一步,主动参与到 营销策划、营销执行、营销评 估等环 节,促进闭环流程的顺畅,同时结合营销实 践改进技术方法,使分析 结果更贴近需求、 更易获得、更易理解、更易使用，并最终配合业务部门用IT系统来固化方法流程。前面提到营销衔

9、接还涉及到省市分工 协作的问题,市分公司是 营销的一线,是数 据挖掘分析 结果的最终用户,虽然数据挖掘的分析系 统可由省公司 统一构建,技术支 撑团队可由省公司管理 ,但分公司必 须在技术支撑、营销策划、营销执行、营销评 估 的各个环节配备专职的工作人 员。省公司可主要负责 解决方案和支撑系 统的提供,并 选择分公司 进行试点,形成各项数据挖掘 专题完善的解决方案后就可在各分公司推 广。省公司做好试 点总结、系统 支撑和培训指导的工作,由分公司接 应,将数据挖掘的 分析结果投入市 场,并在分公司形成 针对营销日常化的工作体系。据基础问题目前大部分通信企 业都建设了数据仓库或经营分析系统,为数据

10、整合、提高数据 质量做了大量有价 值的工作。然而由于通信企业 的业务系统非常繁多复 杂,且不断在 更新建设,即便构建了数据 仓库,其数据 质量离我们的应用要求仍然存在相当大的差 距,数据的完整性、及时性、准确性等多方面问题 造成我们的应用处处是漏洞,GIGO( GarbageIn GarbageOut，无法获得用户的信任和认可。另外，由于以客户为中心的意识才确立不久,企业还 无法建立完整的客 户统一数据视图。这些给数据挖掘带来极大困 难,甚至举步维艰。然而数据基 础问题的解决不是一蹴而就的 ,如何为数据挖掘找到用武之地 ,将这 个矛盾化解到最小呢 ?可以从以下方面去努力。数据质 量是根本 ,必

11、须重视数据质量 提升等基 础工作,但数据质量、数据加载、数据维护 管理工作的开展都必 须以有效支 撑应用为目标。对应用需求迫切的数据要 优先支持,数据仓库不求大而全 ,但对要用 的数据一定要有 ,一定要准。对 于暂时没有应用规划的数据可以先不 进数据仓库 ,不 做重点维护,否则有限的资源都浪费在呵护没用的数据 ,而要用的数据却又因 为数据 质量问题没法用。即使有了数据仓库还 需要构建数据挖掘集市 ,在集市中 对客户数据 做进一步整合,每个客户每月汇总一条记录,记录中全面包含客 户各方面的信息数据 。数据集市至少要保存客户 最近 6 个月的信息数据 ,对时效性较强的数据 ,如在网状态 等需要准

12、实时更新,其它如消 费账单 等可每月增量生成一条 记录。构建并维护 数据挖 掘集市 对进一步提升数据 质量、减少数据挖掘过 程中数据整合的工作量 ,提高工作效 率,缩短项 目周期都大有好 处。另一方面，建议将数据管理的职责独立出IT系统。目前一些通信企业 的IT部门往 往按 IT 系统来划分工作职责，比如BSS组、OSS组、EDA组等;但按职责功能，如数据管理、应 用开发、系统维护等，而非IT系统来进行组织显然有更明显的优势,使职责更明晰，分 工更专业,流程更顺畅,资源更能得到 统筹利用。一些建立了数据仓库 的企业将数据 管理的职责落实在EDA组,但大多数据质量问题追根溯源还是各个业务系统的问

13、题。 因此需要有专人负责对整个IT系统的数据模型、数据编码、数据流、数据加载、数据 质量、数据安全、统计 口径等进行统一规划管理。这样对 数据质量问题才能一查到底 ,发现一个解决一个。另外,即使数据基础不是足够完善,我们也可以通过一些变通的办法为数据挖掘 找到用武之地。我认为 ,数据挖掘是从数据中 发现价值的方法论,并不是一定要使用 挖掘工具,或是聚类、预测等算法的数据分析才称作数据挖掘 ;我们任何围绕一个业 务目标,采用数据挖掘的方法 论和工作流程,从数据中去 寻找解决方案的工作 ,即便只 用到了较简单的统计分析,都可认为是数据挖掘的活 动。尤其在商业领 域的应用中, 简单的统计分析往往可能

14、比复 杂的聚类、预测 等算法,更能达到业务目标,而其对数据要求却可能更具 鲁棒性。我们 也可以选择对数据 要求相对较低的主题先展开 应用,比如增量潜在客 户的挖掘就比存量流失客 户的保 有对数据的要求就相 对较宽松。支撑系统的问题前面提到要 让数据产生价值需要经历一个闭环的流程,通信行业常常通过针对 营销的手段将数据挖掘的 结果投入市 场应用,而要使结果顺利转化为成果,需要在营销策划 、执行、评 估等环节做好大量精 细的工作。如果没有一个完善的支撑系统 作为平台来 展开这一系列工作 ,是很难让数据挖掘持 续高效 规模产生效益的。然而目前许 多通信 企业对针对营销 的 IT 支撑还很薄弱 ,主要还是依靠 经验决策、手工派单、人工统计评 估的模式。各营销 渠道也缺乏 统一管理 ,难以实现数据共享、协同工作。数据挖掘和 针对营销要走出“山重水复疑无路 ”寻,找“柳暗花明又一村 ”的境界,迫切需要建 设一 个统一的营销管理平台,将数据挖掘 闭环流程各环节的工作纳入统一的支撑和管理 , 同时也将各营销渠道纳入统一的管控。用 IT 系统固化了操作流程后也利于技 术、业 务、渠道部门 更高效地协同工作,使数据挖掘和 针营销能真正成为一项日常化的工作 在各通信企 业开展起来 ;而打通 电话经理、社区经理、营业厅 等各渠道的接