大数据驱动的互联网视频运维和运营实践 陈魏

1、CNTVCNTV陈陈魏魏 20162016年年7 7月月1 1日日ITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GIT目目录录ITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITCNTV业务平业务平台台ITC GITC GITC GIT

2、C GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITCNTV技术平技术平台台。ITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GIT面对复杂的技术平台和业务形态如何做到和做好“以用户为中心”强化“用户体验”这个核心任务运维与运营需运维与运营需求求ITC GITC GITC

3、 GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GIT运维方面运维方面：p 从原始视频的生产到视频编码、封装、存储，分发，到多种终 端设备上的播放。如何保障这条链的各个环节的正常运行？ITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITp 如何及时（秒级响应时间）

4、发现故障、定位故障，排除故障？p 降低运维成本，其中最重要的是CDN成本。在有限的运行成本 条件下，如何追求最优的用户体验？运维与运营需运维与运营需求求运营方面运营方面：p 用户是谁？忠实用户是谁？从哪里来？p 什么时间访问哪些内容？p 什么内容让他成为忠实用户?什么原因让他离开？p 什么样的视频使用什么样的码率可以做到体验和成本的平衡？p .运维与运营需运维与运营需求求ITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC

5、 GITCNTV大数据平大数据平台台多终端全 球 优 化 模 块系统运维障报警、故障诊断业务运营故一次性配置n 用户体验 l 性能数据 l 播出码率数据n访问量ITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITlC 总GI量TC GITC GITC GITC GITC GITC GITC GITC GITC GITl频道l栏目n 用户分布 l 地区分布 l 内容分布n 用户分析 l 新增用户 l 忠实用户实时信息流实时控制命令实时报警访问控制策略码率策略视频分发调度策略ISP接入播/点播自有CDNAkamaiC

6、DNCNTV大数据平大数据平台台网宿CDNn 性能数据l 启动错误率l 启动时间l 卡断率l 其它GITC GITC GITC l 高卡GI断TC率GITC GITCn 视频码率 l 最高码率 l 平均码率n 播放前退出率n 内容分类l 频道 l 栏目 l 专题n 其它分类l 关键字l 标题l 作者l 发布时间l 其它体验标签体验标签内容标签内容标签用户标签用户标签CNTV大数据平大数据平台台数据标数据标签签资源标签资源标签n 接入资源l 固网l WiFil 3G/4Gn IP分类l ISPn 支撑资源 l 自有CDN l 商业CDNn 网站l 央视网l 新闻频道l .n 客户端l 央视影音

7、l 央视新闻 l 央视 体 育 l 其它n 业务分类l 直播 l 点播 l 其它平台标签平台标签n 用户分类 l 新增用户 l 返回用户n G访IT问C量GI分TC类GITC GITC GITl UVl VVn 入口分类 l 设备类型 l 平台l 播放器l 其它n 区域分类l 国家，省，市， 区ITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITCGITCGITC CDN平台运维应平台运维应用用 用户忠实度分析应用户忠实度分析应用用ITC GITC GITC 业业GIT务务C GIKTCPGIIT考考C G核核ITC应应GIT用用C GITC

8、 GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITCNTV大数据相关应大数据相关应用用XX%视频启动失败率卡断率平均码率GITC GITC GITCXGITXC%GITC GITC GITC GITCXGIXTC GITC GITC GITC GITC GITXX%BenchmarkMbpsXX%BenchmarkXXMbps Benchmark第 48周 (23-29 11月 2014)W48 vs. W47W48 vs. W47W48 vs. W474.3%2.0%0.6%启动时间XX秒XX秒

9、 BenchmarkW48 vs. W472.0%CNTV大数据相关应大数据相关应用用CDN平台运维应用平台运维应用ITC GITC GITC GITC GITC GITC GITC GITC GITC GITCCDN平台运维应用平台运维应用2014年年10月月30日日11月月5日日10月30日XX（CDN） GSLB北京地区设备异 常11月5日晚间XX（CDN） 因浙江联通机房割接 导致服务质量波动10月30日-11月2日成ITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC都G电IT信C自G有I节TC点峰G值ITC GITC GITC

10、GITC GITC GITC GITC GITC GITC GITC GIT期间超负载导致卡断 率上升CNTV大数据相关应大数据相关应用用1ITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC G2ITC故G障IT集C 中GI在TCCGCITTCV G5+ITC GITC GITC GITC GITC GITC GITC GIT34p2p直播视频“启动故障”突升故障均匀分布在各个ISP结论：CCTV5+ 编码器故障CNTV大数据相关应大数据相关应用用CDN平台运维应用平台运维应用CDN平台运维应用平台运维应用 来自美国的苹果用户，

11、通过4G网络接入， 90%的用户流量分配给CDN1，10%的用户流 量分配给CDN2，但是如果CDN1的卡断率比CDN2相差超过5%，则可突破9:1的分配比 例，向CDN2分配更多流量。一旦CDN1性能恢复，仍按照9:1比例在CDN1和CDN2之间 分配流量CNTV大数据相关应大数据相关应用用ITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GIT用户忠实度分析应用户忠实度分析应用用一个用户下月至少出现一次（播放一次视

12、频）的概率为用户的忠实度 1、这个月该用户播放视频的总次数ITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GIT2、这个月该用户播放视频的总天数3、这个月该用户播放视频的总时长CNTV大数据相关应大数据相关应用用用户忠实度分析应用户忠实度分析应用用每月访问天数1-5天用户忠诚度级别“低”6-15天 用户忠诚度级别“中”15天用户忠诚度级别“高”CNTV大数据相关应大数据相关应用用ITC GITC GITC GITC

13、GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITCNTV大数据相关应大数据相关应用用业务业务KPI 考核应考核应用用ITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GIT业务业务KPI 考核应考核应用用CNTV大数据相关应大数据相关应用用新用户数 (十月)返回比CCTV5

14、 10月份有ITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GXITXCX新G用IT户C，G其I中TC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITXXXk(XX%)变成返回 用户CCTV1 10月份有 XXX新用户， 其中 XXX(XX %)变成返回 用户10月 2015新用户数新用户活跃用户转化率CCTV4 10月份有最 高的新用户返回比 XX%业务业务KPI 考核应考核应用用 本月哪个频道的播完比最高？ 军事频道 本月哪个频道贡献了最多的播放时长？ TV频道 本月哪个频道吸引了

15、最多的独立用户数？TV频道 本月哪个频道的用户播放最多次？迷你频道 本月哪个频道的平均播放时长最长？纪录频道CNTV大数据相关应大数据相关应用用ITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GITC GIT应用总应用总结结n及时、准确地探测并定位视频分发链上各个环节可能的故障n建立了一整套实时地评估CDN性能的办法ITC GInTC G可ITC 以GITC对GI用TC 户GITC流GI量TC G进ITC行GI上TC G百ITC个GIT纬C G度ITC的GIT精C G细ITC分GIT析C G（ITC地GI