广东公司互联网内容质量提升和流量管理优化的思考V13

1、互联网内容质量提升和流量管理互联网内容质量提升和流量管理优化的思考优化的思考中国移动广东公司中国移动广东公司2014-122014-122n 互联网内容质量提升的尝试互联网内容质量提升的尝试n 内容流量管理和优化的思考主要内容主要内容31. 1 1. 1 广东公司互联网发展形势广东公司互联网发展形势LTELTE和家宽快速增长和家宽快速增长全省流量逐年翻翻全省流量逐年翻翻0.9917.5985.6515827265513年底14年10月15年底（预计）LTE及家庭宽带流量（Gbps）LTE家宽10424479213年底14年10月15年底（预计）IDC流量（Gbps）网络规模呈倍数级增长网络规模

2、呈倍数级增长2705101360208013年底14年10月14年底15年底上连骨干出口带宽（G底14年底15年底Cache容量（G）n 14年11月底4G用户达到750万，同比净增740万，预计15年用户数达到3200万（市场口数据）n 2/3G网络登记用户数保持在1亿(网络登记数据)n 家客14年11月底205.84万户，预计15年家客达335.84万户近年来广东公司互联网用户数快速增长，流量和网络规模大幅攀升41.2 1.2 广东公司互联网内容质量面临的一些问题广东公司互联网内容质量面临的一些问题问题评估分类：问题评估分类：1 1 管道质量管道质量问题问题u 无

3、线覆盖、 PS域核心网、CMNET省网等容量局部紧张问题2 2 跨网访问问题跨网访问问题u内容资源网内未引入、引入深度不够导致跨网访问3 3 服务器性能问题服务器性能问题u缓存、IDC服务器负荷高、DNS配置问题4 ICP4 ICP质量问题质量问题u多资源出口疏导协同、ICP调度错误、服务器调度不均衡1.管道质量问题2.跨网访问问题3.服务器性能问题4.ICP质量问题p4G4G时代用户无线接入带宽能力不亚于有线宽带接入能力，终端能力不亚于时代用户无线接入带宽能力不亚于有线宽带接入能力，终端能力不亚于PCPC电脑能力；电脑能力；用户对用户对内容和流量潜在需求甚至大于固定互联网时代，对内容资源的质

4、量管理显得急迫和重要内容和流量潜在需求甚至大于固定互联网时代，对内容资源的质量管理显得急迫和重要。51.3 1.3 广东公司互联网内容质量提升总体思路广东公司互联网内容质量提升总体思路n 移动互联网业务质量提升围绕移动互联网业务质量提升围绕一个组织一个组织保障、两个着力点、三步优化方法、六保障、两个着力点、三步优化方法、六个重点工作个重点工作有序开展有序开展l一个组织保障：一个组织保障：成立跨部门/跨专业/省市联合工作小组（网络管理中心（互联网、数据、增值专业）、政企客户部、地市公司）l 两个着力点：两个着力点：热点内容、投诉内容质量提升l 三步分析优化法：三步分析优化法：聚焦目标、评估问题、

5、持续优化l六个重点工作：六个重点工作：内容资源分析、网络容量评估优化、业务感知分析评估、问题优化闭环管理、LTE下载速率提升、树立手机视频标杆三步分析优化法三步分析优化法六个重点工作六个重点工作61.4 1.4 措施措施1 1：强化内容分析支撑手段，聚焦热点问题：强化内容分析支撑手段，聚焦热点问题n 通过互联网内容资源平台和通过互联网内容资源平台和GnGn信令分析系统信令分析系统，从点击量和流量角度分析统计，从点击量和流量角度分析统计热点内热点内容列表，支撑全省互联网热点内容常态化优化工作容列表，支撑全省互联网热点内容常态化优化工作l 流量维度：流量维度：利用GnGn信令平台信令平台分析流量T

6、OP1000移动互联网域名l 域名维度：域名维度：利用互联网内容资源平台互联网内容资源平台分析移动互联网点击量TOP2000域名时间时间主机主机总流量总流量( (M)M) 访问量访问量 访问成功率访问成功率(%)(%)平均响平均响应时延应时延( (秒秒) )平均下行速率平均下行速率( (Kbps)Kbps)2014-10-18 8073160.93 44863015287.21 0.13 95.60 2014-10-18 7794741.27 62855650274.80 0.06 105.05 2014-10-18 6390441.5683 0.07 72.09 2

7、014-10-18 2000041.5793 0.06 61.96 2014-10-18 1407481.83 27024286683.77 0.39 34.52 2014-10-1387212.94 42603347182.50 0.20 38.22 2014-10-18 1308921.59 5527096687.29 0.12 82.15 2014-10-18 10.0.0.1721272454.8885 1.12 32.75 2014-10-18 978112.10 10400990277.01 0.09 66.79 2014-10-

8、18 911885.31 5873685789.57 0.14 76.36 2014-10-875833.90 5055714275.56 0.06 60.45 2014-10-18 821728.23 45249936983.41 0.40 12.95 2014-10-18 809308.39 185746373.44 0.32 126.07 2014-10-741019.42 10567258887.06 0.11 65.76 热点域名分析热点域名分析可缓存域名分析可缓存域名分析优化措施优化措施域名分析：域名分析：互联网内容资源管理平台流量分析：流量分析：省网Gn信令系统71.4 1.4

9、措施措施2 2：端管云手段结合，聚焦质差问题：端管云手段结合，聚焦质差问题n 创新结合端、管、云多多种手段的信令分析创新结合端、管、云多多种手段的信令分析，实现对质差内容的实现对质差内容的常态化分析支撑常态化分析支撑n 终端角度：终端角度：A5DA5D评测体系评测体系(MCE)(MCE)评估发现优酷和QQ音乐内容问题27个n 管道角度：管道角度：信令质量统计信令质量统计n GnGn信令评估质差域名：信令评估质差域名：省网Gn信令平台反馈需提升质量的域名共1191个；地市信令平台：广州、深圳、东莞、佛山共反馈问题域名15批n MIQMIQ、SOCSOC系统评估内容侧问题：系统评估内容侧问题：感知

10、低于70分的业务平台TOP10质差服务器n LTELTE信令体检信令体检发现广州、佛山LTE内容侧质量问题22项n 云端角度：云端角度：IRMIRM互联网内容资源管理平台互联网内容资源管理平台发现分ICP发现调度问题12批次端端p手机通信大师客户端pA5D评测体系管管pMIQ、SOC质量评测平台pGn口信令质量评估 云云 pIRM互联网内容资源平台81.4 1.4 措施措施3 3：依托内容资源平台，优化：依托内容资源平台，优化ICPICP错误调度问题错误调度问题n识别同一域名的调度问题识别同一域名的调度问题例如域名解析，部分固网用户解析至网内Cache节点，但移动互联网用户访问该域名时均解析至

11、广州电信的资源：121.14.161.78。通过精确分析资源引入情况，通过精确分析资源引入情况，发现异常问题并做发现异常问题并做DNSDNS策略精确引导到网内策略精确引导到网内。出网域名在网内各系统的资源分布判断调度错误域名判断调度错误域名按策略选定候选调度资源按策略选定候选调度资源对候选资源进行测试对候选资源进行测试选择最优资源下发选择最优资源下发DNSDNS对调度资源进行持续监测对调度资源进行持续监测DNS 调 度 流 程 资源调度权隶属ICP，ICP调度策略不一定完全符合中国移动用户访问行为，为保障用户感知，采用非授权调度模式，对ICP调度不合理的问题域名实施按策略精确引导成效举例：成效

12、举例：技术手段：研发主动调度能力管理手段：协调ICP优化91.4 1.4 措施措施4 4：引入手机缓存、缓存下沉，提升移动互联网用户感引入手机缓存、缓存下沉，提升移动互联网用户感知知n 优化省网手机缓存优化省网手机缓存n 手机缓存容量：手机缓存容量：峰值流量12.8Gbpsn 加速效果：加速效果：缓存后有加速效果的共391个域名，加速的手机域名2G平均下载速率提升22%，3G平均提升21%（省信令平台评估200KB以上流量）n 手机缓存下沉地市手机缓存下沉地市n 地市节点：东莞、深圳、佛山地市节点：东莞、深圳、佛山n 加速效果：加速效果：目前共加载域名600+个，加载的域名GSM下载速率提升1

13、8%左右，质差域名的Get成功率提升2%（地市信令评估数据）10 围绕互联网用户感知，以“加强内容调度”、“优化ICP质量”、“联合网络保障”思路，强化与ICP的协调沟通工作，目前已目前已通过集团公司或省公司建立沟通渠道的通过集团公司或省公司建立沟通渠道的ICPICP共共2424家。家。 出网点击量大域名出网点击量大域名：通过内容资源管理平台统计出网点击的域名，协调ICP核对广东移动用户IP和DNS地址，优化调度 出网流量大域名出网流量大域名：通过DPI统计出网流量大域名，协调ICP在网内IDC增加节点 反馈反馈ICPICP问题服务器问题服务器：通过信令系统统计有质量问题的服务器IP，协调IC

14、P检查服务器性能，优化服务器负载 协调协调ICPICP优化业务性能指标优化业务性能指标：依托信令系统反馈ICP质差性能指标，协调ICP通过增加带宽和服务器资源提升业务指标ICPICP协调沟通协调沟通工作工作思路思路加强内容调度优化ICP质量问题1.4 1.4 措施措施5 5：建立重点建立重点ICPICP沟通制度，优化内容调度沟通制度，优化内容调度 重大节假日保障重大节假日保障：开展重大节假日的网络业务质量保障，互相通报业务指标情况 故障处理联动：故障处理联动：互相提供故障处理指标电话，方便快速故障处理联合网络保障111.5 1.5 工作成效（工作成效（1 1） - - 下载速率和点击本网率得到

15、较大提升下载速率和点击本网率得到较大提升n LTELTE下载速率热点内容下载速率提升下载速率热点内容下载速率提升8.7M8.7M，达到，达到20.7Mbps20.7Mbpsl AppStore下载速率提升12.8Mbps，达到22.1Mpbsl 移动MM下载速率提升1.4Mbps，达到15.1Mbpsl 安卓市场下载速率提升11.9Mbps，达到25Mbpsn TDTD手机下载速率手机下载速率500Kbps500Kbps时长占比时长占比提升提升1.15%1.15%，达到达到39.12%39.12%n 移动互联网点击本网率提升移动互联网点击本网率提升4.93%4.93%，达到，达到80.4%80

16、.4%手机用户点击本网率 75.10% 75.33% 76.00% 77.80% 78.25% 80.03%6月7月8月9月10月11月75.10%75.33%76.00%77.80%78.25%80.03%72.00%74.00%76.00%78.00%80.00%82.00%手机用户点击本网率（手机用户点击本网率（%）移动MM下载速率13.713.814.515.715.1安卓市场下载速率13.116.214.217.225AppStore下载速率9.31515.516.222.16月7月8月9月10月051015202530LTE热点应用热点应用下载下载速率（速率（Mbps）TD手机下载

17、速率大于500Kbps时长37.97%38.80%38.40%38.56%39.12%6月7月8月9月10月37.00%37.50%38.00%38.50%39.00%39.50%TD手机下载速率大于手机下载速率大于500Kbps时时长占比（长占比（%）121.5 1.5 工作成效工作成效 （2 2） - - 视频质量改善明显视频质量改善明显n 视频资源质量提升视频资源质量提升n IDCIDC视频节点扩容：视频节点扩容：协同政企客户部视频节点引入，增加广东IDC视频节点增至260G，服务本省视频流量68Gn 缓存视频流量提升：缓存视频流量提升：针对10种视频资源加载缓存，服务峰值流量约79Gn

18、 视频速率提升：视频速率提升：LTE用户信令统计平均提升323.72Kbps， 提升至1653.62Kbps视频视频网站网站广东流量广东流量IDCIDC缓存缓存优酷24.62.20 腾讯视频26.028.00 爱奇艺11.241.60 PPS010.40 乐视6.21.00 暴风015.20 PPTV025.40 迅雷看看03.40 风行08.00 CNTV04.20 合计68.06G79.40G 广州 1546.061491.071436.231494.561662.341615.061627.721711.731669.83佛山 1113.821442.391405.761368.9164

19、1.61576.661542.431628.351637.418月24日 8月31日9月7日9月21日 9月28日 10月5日10月12日10月19日10月26日0200400600800100012001400160018008月24日8月31日9月7日9月14日9月21日9月28日10月5日10月12日10月19日10月26日坐标轴标题坐标轴标题广州、佛山广州、佛山LTE信令视频信令视频速率（速率（Kbps）131.5 1.5 工作成效（工作成效（3 3） - ICP- ICP协同优化机制初步建立协同优化机制初步建立n 建立沟通渠道建立沟通渠道：通过集团公司或省公司建立沟通渠道的ICP共2

20、4家l集团互联网处沟通联系的ICP 14家（13家视频ICP和苹果公司）l省公司直接沟通联系的ICP 10家（BAT和部分主流CP）n 依靠互联网内容资源管理平台和信令质量数据开展ICP协同优化l反馈ICP侧质量问题33个，已优化改善的14个l反馈互联网资源调度问题10批次，部分域名调度得到改善14n 互联网内容质量提升的尝试n 内容流量管理和优化的思考内容流量管理和优化的思考n流量管理思考流量管理思考n流量优化思考主要内容主要内容152.1 2.1 流量管理问题仍然突出流量管理问题仍然突出n目前广东面临的问题：目前广东面临的问题：l 流量在网内，流量在网内，CPCP流量大小仍不可知。流量大小

21、仍不可知。随着IDC建设及网间流量优化，网内CP引入规模及流量日益增大，各省流量本网率已提升至95% ，网内流量已对用户感知起决定作用。面对全程全网的业务质量需求，尚无有效手尚无有效手段对已引入网内段对已引入网内CPCP进行集中的流量监控，对进行集中的流量监控，对内容流量变化情况无法实现直观、高效掌控。内容流量变化情况无法实现直观、高效掌控。l流量在网内，对内容流量流向掌控能力不流量在网内，对内容流量流向掌控能力不能满足内容管理的需要。能满足内容管理的需要。CP虽已将流量留在网内，但网内省间共享情况仍未知，CP在不了解网络结构及负载的情况下，很难保证流量调度达到最优；网络架构与内容部署是否网络

22、架构与内容部署是否匹配难以评估匹配难以评估，后续网络优化面临较大挑战。 在LTE高增长大流量新环境下， Cache、CDN、IDC、ICP、网间流量等内容资源与用户体验紧密相关，必须按照互联网发展模式，调度、配置资源，要正确调度和指派正确调度和指派CacheCache、CDNCDN、IDCIDC、ICPICP、网间等流量、网间等流量，面对互联网流量牵一发动全身的形势，实现内容网络重要端口细粒度实现内容网络重要端口细粒度高频次采集，实现全网流量扁平化、实时性的分析和控制高频次采集，实现全网流量扁平化、实时性的分析和控制。移动互联网点击率移动互联网点击率热点点击网站视图热点点击网站视图热点点击域名

23、视图热点点击域名视图网站归属分析网站归属分析域名归属分析域名归属分析DNSDNS应急调度应急调度IDCIDC引入分析引入分析当前已完成功能当前已完成功能全网分全网分ICPICP流量管理流量管理全网分系统流量管理全网分系统流量管理全网分省流量管理全网分省流量管理全网缓存黑白名单全网缓存黑白名单管理管理全网缓存优化策略全网缓存优化策略分析分析统一分发效果评估统一分发效果评估统一溯源效果评估统一溯源效果评估急需完善的功能急需完善的功能162. 12. 1流量管理做什么？流量管理做什么？p 流量管理的流量管理的对象对象： 中国移动IDC/Cache/CDN/直连/ICP等网内内容流量p 流量流量管理的

24、管理的目标目标： 实现重点实现重点ICPICP流量可视化呈现流量可视化呈现 实现实现内容流量的实时性、扁平化内容流量的实时性、扁平化管理管理 实现实现流量的可调度流量的可调度管理管理 实现实现全网自建缓存日志全网自建缓存日志上报上报 实现实现缓存内容流量的分缓存内容流量的分ICPICP管理管理 实现内容资源流量的统一实现内容资源流量的统一呈现呈现。 目前全国互联网互联网内容流量的采集和呈现手段存在较大的局限性，互联网内容流量内容流量的采集和呈现手段存在较大的局限性，互联网内容流量现只能通过工单现只能通过工单上报上报，无法满足互联网内容流量管理的需求。 互联网互联网内容流量需要进行精细化管理内容

25、流量需要进行精细化管理，加强调度能力，提升内容资源把控能力，实现网内内容资源流量的充分共享与最优承载。p 流量管理的流量管理的实现方式实现方式： SNMP轮询采集IDC节点交换机及对等直连交换机端口流量数据，通过全网汇总方式，获得全网相关ICP流量、Cache流量、CDN流量、直连流量数据。 通过分析全网缓存日志，获得缓存的分ICP内容流量172.1 2.1 流量管理如何做？流量管理如何做？p 依托广东互联网内容资源管理平台，提升面向内容的全网流量管理能力依托广东互联网内容资源管理平台，提升面向内容的全网流量管理能力p 20152015年平台建设方案年平台建设方案广东平台试点：广东平台试点：考

26、虑到全网流量管理及缓存管理的紧迫性，总部期望仍由广东承担2015年资源管理平台任务一干平台建设：一干平台建设：加快一干建设进程，期望扩大广东平台规模，并增加一个备份中心，8个省级数据采集和分析能力子系统当前已完成功能当前已完成功能20152015年待完善、年待完善、待建功能待建功能网站域名管理：网站域名管理：热点网站视图、热点域名视图、网站归属视图、域名归属视图、移动互联网本网点击率等内容流量管理：内容流量管理：流量视图、缓存黑白名单分析、缓存日志分析、可缓存域名分析、IDC引入分析、缓存优化策略、IDC引入策略、质量评估、统一溯源评估、统一分发评估p 流量流量管理能力管理能力实现步骤实现步骤

27、第一阶段：第一阶段：通过SNMP采集，实现全网IDC引入资源分ICP流量统计和呈现，实现IDC流量、Cache流量、CDN流量的统计和实现；第二阶段：第二阶段：通过分析缓存日志，实现缓存内容的分ICP流量统计；第三阶段：第三阶段：实现各ICP流量的IDC/Cache/CDN分布情况，实现ICP流量可视化18n 互联网内容质量提升的尝试n 内容流量管理和优化的思考内容流量管理和优化的思考n流量管理思考n流量优化思考流量优化思考主要内容主要内容192.2 2.2 尝试省网尝试省网CacheCache的的QoSQoS差异化服务和下沉工作差异化服务和下沉工作 主要目的：提升用户感知 下沉位置：PS域G

28、i/PGW上联出口 广东案例：广东Cache下沉后，较在省网Cache相比，信令统计加载后域名GSM下载速率提升10% 相关场景建议：进一步测试，在流量较大，下载速率较全网平均水平偏低区域重点应用Cache下沉建议手机Cache系统下沉 Cache服务区分重点用户（移动互联网用户）和普通用户（固网用户） Cache系统中划分“轻载资源池”保障重点用户感知建议开展Cache系统的QoS分级保障 主要目标：大文件缓存下沉，以“Cache容量换带宽”，缓解IP城域网出口容量压力，降低建设成本 下层位置：地市城域网出口 相关场景建议 IP城域网出口/省网骨干容量扩容受阻 城域网峰值速率超过50G，Cache运营成本低于城域网扩容成本，可考虑Cache下沉（按Ca