通信学会科技进步奖汇报面向流量经营敏捷推荐的关键技术研究及应用版

1、面向流量经营敏捷推荐的关键技术研究及应用2014年11月中国移动通信集团四川有限公司&工业和信息化部电信研究院项目背景不敢用、不会用、不好用客户流量使用瓶颈 精准客户画像 即时捕获客户接触机会 精细化营销 内容深度运营 去IOE降本增效面向流量经营的敏捷推荐系统 1、解决了对用户手机上网内容需求的感知；2、提高了推荐算法的推荐效率和精确性；3、提出了用户需求与运营商实际情况相结合的方案。平台多技术杂性能差移动互联网新技术研究技术驱动业务驱动经营转型技术攻关 海量数据挖掘 前沿技术探索 电信级运营质量保障 客户极致体验总体思路研发“基于消息适配的内容推荐系统”，利用消息适配完成传统业务消息队列和

2、实时流引擎的高速互通，弥补了传统实时系统对离线数据协同处理的不足，实现了推荐内容的高效推送；研发“基于社交网络模型的自适应混合协同过滤推荐算法”，结合新型互联网社交网络和传统经典算法，利用流量访问内容和社交网络影响力，有效缩减运算规模并实现对客户的个性化内容推荐；研发“基于内容指纹深度DPI识别技术”，进行应用内功能和协议的深度解析，深度感知用户海量的上网行为轨迹，实现互联网新技术与运营商现有营销支撑系统的融合，支撑了客户深层次内容需求从辨识、分析、评估到满足的全过程。创新点一：基于消息适配的内容实时推荐系统架构对比项目StormSpark Streaming(RDD实现)Spark Stre

3、aming(ZeroMQ实现)IBM StreamingActiveMQ +Kafka+Spark Streaming代表应用TaobaoYahoo!TwitterIBM本项目高速离线数据处理因由单一节点进行任务调度控制，离线处理吞吐量远小于Spark支持支持支持支持高速在线数据处理支持因大量存在HDFS I/O操作，不支持毫秒级在线数据处理支持支持支持意外事件数据保护支持对客户端重连支持较差ZeroMQ内存队列无缓存不落地，发生系统意外将造成数据损失支持支持性能对比（20个节点/1亿条数据）320秒175秒123秒93秒99秒基础软件成本开源免费 开源免费开源免费商业授权，18万元每颗CPU

4、,另需二次开发开源免费本项目既考虑借鉴互联网前沿技术，运用大数据技术支撑手机上网行为的实时感知和内容敏捷推送，也充分运用运营商已有数据资产和客户洞察经验，保持传统数据库应用和在线流处理交互，同时做好投资成本控制。经过研发和测试，最终使用自主研发的ActiveMQ + Kafka + Spark Streaming架构。创新点一：基于消息适配的内容实时推荐系统架构实时采集海量上网行为触发事件，通过ActiveMQ消息队列进行一对一传递消息，在流中完成由消息控制的规则快速过滤。并在ActiveMQ中引入置信度侦测进行异常数据剔除技术，对因各种异常因素造成的超过可信区间的“噪声”数据在消息处理前剔除

5、。引入Kafka作为消息适配器，将消息队列转换为分布式消息流，通过Kafka进行格式匹配、 速度同步和消息缓冲，实现ActiveMQ到Spark Streaming信息通信。以Spark Streaming为基础，通过二次开发实现不同类型和存储方式的数据在多节点上的均匀分布和高速流处理，通过流程整合和系统集成，形成本系统的核心技术高效的完成内容推荐。核心算法过程:创新点二：基于社交网络模型的自适应混合协同过滤推荐算法本项目创新地提出了运用通信社交圈和协同过滤混合推荐相结合的算法模型，发挥社交网络和专家系统经典推荐算法互补的优势，根据通信交往次数和上网内容访问相似度寻找相似人群，进行社交网络影响

6、力打分评估，并形成每个上网客户的精准的内容推荐策略。对比项目基于内容的推荐算法协同过滤算法本算法准确性受限于系统收集的内容种类和数据，类型定义比较主观，模型简单，准确程度不高依赖于用户间的相似性以及相似用户的内容偏好相似的业务假设综合了相似度和亲密度的评估，弥补了仅使用相似性推荐缺陷,可得到精度更高的推荐结果新用户问题出现没有上网记录的新用户，无法获取内容偏好出现没有上网记录的新用户，无法获取内容偏好运用社交网络关联性的推荐，可缓解未上网客户的初次推荐问题覆盖率基于类型偏好进行推荐，覆盖率较低；难以发现冷门内容，内容稀疏性缺陷明显仅基于相似用户的浏览内容推荐，覆盖率较低，稀疏性问题较为突出引入

7、社交网络，丰富了推荐内容，提升了覆盖率率，有利于挖掘用户真正的内容偏好，较好的解决了稀疏性问题效果对比 (40万测试用户响应率)6.18%6.83%9.32% 创新点二：基于社交网络模型的自适应混合协同过滤推荐算法本算法既弥补了主流互联网算法模型无法覆盖通信社交圈的空白，又较好的利用了经典算法的优点减少了数据计算压力。本算法系统实现后性能良好，利用云平台集群日更新2800万活跃流量客户的历史上网清单计算不多于6小时；实时事件触发后相似度计算不多于100毫秒,亲密度计算不超过1.3秒。比较项目传统DPI基于内容元数据DPI分析基础报文头报文头 + 净荷DPI内容应用名称 + 协议应用名称 + 协

8、议 + 协议元数据 + 应用元数据平均每个应用识别特征 20创新点三：基于内容指纹特征的DPI深度应用识别技术传统DPI仅偏重于利用IP五元组分析，应用识别粒度和DPI同步更新、错误处理等方面性能不高，而本项目利用DPI技术对隐含在净荷（IP数据包中的Data部分）数据包中的内容指纹元数据（元数据是描述信息资源或数据等对象的结构数据）进行深度辨识，实现应用及其功能精准识别。创新总结系统主要优点：指标设计指标实际值日均流量源数据处理能力100TB120TB日均内容推荐能力900万1200万客户上网开始到完成内容推荐耗时10秒3.7秒单进程应用DPI匹配性能30100微秒= 10微秒单节点推荐处理

9、峰值4万/秒6万/秒推荐算法最大支撑推荐内容数7条/户12条/户户均推荐内容更新频率2小时/千万1.3小时/千万深度DPI应用数量 300407技术指标：经济指标:技术及经济指标通过系统推广和应用，近3年已累计新增流量35.7亿M，折合增加收入7.5亿元，有效推动了四川移动的流量经营水平和影响力提升 ，截至13年底，四川移动流量收入对新增收入贡献率达79.3%，流量收入占比和收入贡献率指标移动集团内第一。知识产权情况授权专利名称授权证书编号与本项目关系一种分布式数据分析和处理方法及系统第1397179号实现不同类型和存储方式的数据在多节点上的均匀分布和高速流处理，高效完成敏捷内容推荐。一种在关

10、键业务预测中剔除异常数据的方法和装置第1397197号实现引入置信度侦测进行异常数据剔除技术，对因各种异常因素造成的超过可信区间的“噪声”数据在消息处理前剔除。授权专利：2项受理专利名称申请号与本项目关系一种资源查找定位的方法和系统201210579135.9通过互联网搜索和APP内关键字所属类别，实时快速定位欲查找资源内容并进行整合归并，提升消息对列的效率。数据流量的提醒方法、系统和装置201010567345.7通过实时采集和统计客户流量，并使用敏捷推荐系统运用多种客户接触方式进行流量提醒。一种客户特征库生成方法和装置20111005454.4通过分析客户移动互联网使用行为分析客户特征,并

11、对客户动态打标，实现判别客户特征。一种业务预推送方法和装置201210004852.9通过对业务模型及推送规则在缓存中的预处理，实现业务的预推送。受理专利：4项软件著作权：1项面向流量经营的敏捷推荐系统V1.0，登记号码：2014SR120343第三方评价软件测试结果：本项目通过四川省软件和信息系统工程评测中心软件检测，表明：“面向流量经营敏捷推荐系统V1.0”在测试过程中，被测功能运行正常，软件界面友好，操作简便，并且提供了详细的帮助文档，在功能性、可靠性、易用性、可移植性、用户界面、中文符合性、用户文档方面通过检测要求，符合软件产品鉴定测试项要求。科技论文查新结果：项目经过四川省科学技术信

12、息研究所（国家一级科技查询咨询单位）查新，结论如下：国内未见基于社交网络模型的自适应混合协同过滤推荐算法；能结合客户的历史访问偏好和社交圈影响力依赖关系进行内容推荐排名的文献报道。国内未见基于内容指纹的DPI深度应用识别技术；采用协议征码和应用元素特征码进行深度解析以识别应用内的使用功能特征，以实现用户上网行为轨迹的深度感知的文献报道。国内未见基于消息适配的内容实时推荐系统；采用Spark Streaming以及Active MQ和Kafka，通过消息适配，实现了大规模用户实时行为规则匹配和内容推荐的文献报道。科技成果鉴定结果：本项目通过四川省科技厅科技成果鉴定，结论：“面向流量经营敏捷推荐的

13、关键技术及应用”实现了内容精确识别和敏捷推荐 ，研制的系统已经投入使用，取得了良好的经济和社会效益，该系统在国内同领域处于领先水平，同意通过科技成果鉴定。应用推广典型案例：音乐APP深度运营场景本项目已作为中国移动集团一类科技成果推广到全国，相关技术场景已纳入集团公司企业规范，协助31省进行流量内容推荐。截止2013年底，本系统月均使用量2.6万次，月推荐内容2870万次，通过定向推荐四川手机报等主流媒体内容，既满足了手机上网客户的内在需求，也客观支持了先进文化占领手机舆论阵地；截至13年底，四川移动手机上网客户对流量业务满意度提升到84.25%。实时捕获1231万使用互联网音乐APP客户使用

14、行为，在用户使用APP瞬间推送具有正式版权的移动自有APP咪咕音乐或音乐基地正版歌曲链接，成功率达4.8%，客户投诉率也较传统PUSH营销明显降低。间接经济效益经济效益项目总投资额（万元）400回收期（年）0.8年 份新增销售额（万元）新增利润（万元）新增税收（万元）201221754507748201330931100210642014229301108789累 计7561526172601直接经济效益创造收入方面节约成本方面年 份累计新增流量（万MB）单位手机上网收入（元/M）单位手机上网利润率2012723440.30072.33%20131355420.22823.24%2014149

15、7730.15314.83%单位（MB）计算方法说明通过对目标客户持续跟踪，发现经本系统营销成功的客户月均流量较大众客户有较大提升，其差额作为本系统拉动新增流量计算基础 ，结合当期的流量单价和单位利润率可得经济效益。本项目底层部署35台PC构成的云平台，仅需硬件投资264万，而传统小型机+高端存储+传统数据库方式下，约需投资1870万。相比较，项目在12年一次性节省1504万。后续单位扩容成本仅为传统的1/7。伴随大数据技术商业化运营的不断成熟，通过本项目成功实施，中国移动发现了新技术在分析资源和性能提升发面的巨大潜力，相继启动各层级大数据中心建设进程，进而可带动相关厂商、相关应用投资，预计后

16、续相关云计算产业规模可达百亿以上。社会效益传递主流文化拉动信息消费促进自主创新为响应习近平总书记要求：“要着力提升新媒体时代的社会沟通能力，着力提升科技信息化应用能力”，本系统在推荐内容方面突出“本地化、时代化”，重点推广省委宣传部举办的四川手机报相关内容和应用，近2年来累计通过精确营销增加订阅手机报客户97万，有力的支持了正面舆论、先进文化占领手机舆论传播的制高点，扩大新媒体影响力，四川手机报发展模式于2013年7月获得国家互联网信息办公室鲁炜主任肯定，要求应予以全国推广。推动信息化新业务发展，实现信息互享、推动经济进步；通过捕获客户关键时刻，适时释放信息消费需求，通过优质内容引导和应用推荐

17、确保客户移动互联的健康安全；精确推荐成都本地手机游戏和正版音乐内容，拉动相关信息产品销售164万笔，包月付费客户32万，累计向合作伙伴结算分成2815万元(其中四川手机报2657万元)，客观上扶植了本地文化产业，带动了信息消费，支持了四川省信息技术战略性新型产业的发展，促进经济进步。在国家“实施创新驱动发展战略”加快转变经济发展方式的大背景下，随着移动互联网的发展，传统通信企业寻求创新，是适应、应对市场变化的突破。本项目成功实施改变了传统的业务营销推广模式，实现了大数据科技成果转化；通过技术攻关形成自有知识产权产品摆脱了传统国外IT厂商对技术垄断，为自主创新进行了人才和技术储备，也提高了基层运

18、营人员的科技意识和运营水平。主要完成人贡献情况姓名技术职称工作单位对成果创造性贡献杨慧高级工程师中国移动通信集团四川有限公司对本项目进行全方位的指导与检查，指导项目完成重要工序、专项工程实施方案，将理论与实际相结合，提出了分布式计算的敏捷推荐系统总体框架陈刚中级工程师中国移动通信集团四川有限公司承担基于消息适配的内容实时推荐系统架构的研究工作，将理论与实际相结合，提出了分布式计算的敏捷推荐系统总体框架苏伟杰中级工程师中国移动通信集团四川有限公司创新性的进行基于消息适配的内容实时推荐系统架构研发，完成了流计算的实时采集海量实时上网行为、格式匹配、速度同步、消息缓冲、分布式实时处理机制张航友通信工程师中国移动通信集团四川有限公司基于消息适配的内容实时推荐系统架构研究：提出利用消息采集和处理与现有系统结合度高；能在消息流中完成复杂条件的动态筛选，弥补Spark Streaming filter无法支持or等复杂规则的缺陷。李海聪通信工程师中国移动