铁通公司网际异常流量监控系统的研制与应用(铁通)课件

1、铁通公司网际异常流量监控系统的研制与应用中国移动铁通公司2015年11月目录一、成果形成背景二、成果主要内容三、成果主要创新点四、成果实际应用情况一、成果形成背景成果背景成果内容创新点应用情况 行业管理关于互联网互联结算政策的不对称管制，对集团公司以及铁通公司的互联网业务发展造成了巨大的成本负担，铁通公司的互联网业务发展也是带着这样的巨大包袱进行的，互联网出口成本控制一直是铁通互联网业务成本控制的重中之重 铁通公司骨干出口的租费按各省分公司在骨干付费出口所占流量比例进行摊分互联链路铁通公司互联网电信联通网关NAP点一、成果形成背景成果背景成果内容创新点应用情况1、需求问题的提出铁通某省求助网络

2、支撑中心：查找摊分费用大幅增加原因？ 经查为该省某服务器遭受攻击所致。被攻击后产生出网结算流量0.88G。造成日结算成本增加0.7万元，增加近68%。铁通2009年开始建设NDC，初期引入网内部署的内容的调度、分发推送由ICP负责。由于热点内容引入不及时及ICP配置操作问题导致的流量异常及服务问题时有发生。骨干网省网省网网际出口NDCNDCNDC网内地址遭受攻击、服务器配置不当造成网际流量异常增加ICP自主调度流量导致网际异常流量增加ICP网管成本无效增加*关键点：“快速发现、及时处理”流量异常情况铁通公司网络支撑中心： （2005年成立）职责：负责铁通骨干网络运行监控、数据配置、统计分析，负

3、责铁通总部业务管理支撑、经营分析支撑等工作。2、自主开发模式的成功基础 网管集中化程度逐渐提高，工作量大 网络、业务及融合分析需求快速增加 工作时效性要求越来越高 投资不足从员工中选拔开发能力强的技术骨干组建内部开发团队针对性强响应快调整灵活节约投资服务生产，服务运营，提升效率2005年部门成立后面临的问题解决思路与方法体会一、成果形成背景。骨干网资源管理动态拓扑呈现NDC流量管理省际业务分析出口流量摊分DNS日志分析 出口流量调度近几年，自主开发逐渐聚焦在互联网运营支撑方面，涉及了从资源、流量、流向到业务的数据采集与分析等多环节，服务于网管日常监控、故障指挥、统计分析、数据配置、业务优化等各

4、项工作，大大提高了支撑辅助手段的自动化、精细化与可视化程度。二、成果主要内容成果背景成果内容创新点应用情况总体设计思路：基于网际出口网关实时Netflow采集和云平台，构建自有互联网业务识别基本库和识别模型、异常流量判定模型等，利用自有算法进行联机事务处理，对处理后的数据进行数据仓库存储和大数据分析，满足及早发现和准确判别网际流量中发生异常的互联网业务的需求。系统结构示意图访问层应用层云平台层数据层系统逻辑分层示意图二、成果主要内容方案和主要措施成果背景成果内容创新点应用情况业务识别基础配置库Netflow采集基本数据业务识别模型异常判定基线配置库异常判定模型统计分析基本规则自有算法主要功能：

5、网际流量基于IP的标识网际流量的分类汇总异常流量基线计算异常流量的判定异常流量预警分业务、分地区、分时段综合统计分析攻击判定和预警相关部门闭环处理攻击告警管理报表异常告警提升管理效率全流量分析业务细颗粒历史分析修正摊分报表改善客户感知引入新内容服务商ICP改流量调度安全针对性处理攻击二、成果主要内容特性成果背景成果内容创新点应用情况1、采集路由器数量采集的出口网关路由器可达100台，根据系统容量可扩充。2、采集方式：按关口局划分，设计多台采集服务器并发接收出口网关路由器发送的UDP包。3、业务分类方式：根据自身条件和特色，设计按业务服务器IP地址识别业务的模式4、异常流量预警时限可分时预警，识

6、别前一小时的异常流量。5、攻击预警时限可分时预警，识别前一小时的攻击。6、系统处理能力支持1TB级数据量的集中处理，可通过大数据平台节点自由添加，提升系统处理能力。7、系统处理速度支持在10分钟之内对前一小时的流量进行预警，可通过提高系统处理并发度，进一步提升。8、系统存储容量支持100TB的数据存储能力，可通过大数据平台节点自由添加，提升系统存储容量。9、系统平滑扩展能力系统基于Hadoop构建的大数据平台，可以自由地添加节点实现系统平滑扩展。系统技术指标三、成果主要创新点1）应用哈希算法进行互联网业务识别 成果背景成果内容创新点应用情况2）基于时间分片与流量基线进行异常流量识别3）运用大数

7、据分析技术处理网际海量数据4）管理创新点-网际互联网业务流量模型和管理机制 的建立与完善 三、成果主要创新点1）应用哈希算法进行互联网业务识别 为提高流量数据包解析性能，系统在内存中为描述表构建了一张哈希杂凑表，运用高效的哈希算法快速匹配。基于互联网业务布局信息的哈希表识别技术，已经达到国内领先水平。成果背景成果内容创新点应用情况Netflow数据包关键的数据域作用源IP地址计算源哈希键目的IP地址计算目的哈希键流量（字节）统计的量网关设备的输入/输出逻辑接口号（ifIndex）数据过滤和入/出流量判别根据Netflow数据包的源和目的地址计算哈希键，查找右图哈希表，获取哈希值三、成果主要创新

8、点2）基于时间分片与流量基线进行异常流量识别 成果背景成果内容创新点应用情况计算互联网业务的分时流量:以小时为单位计算互联网业务的流量，生成网际异常流量监控系统的基本数据单元，通过基本数据单元比较来判别异常流量。 选择判别异常流量的时间段和参照系：我们在对互联网进行监控，我们往往更多的关注网络的峰时流量，因为峰时流量是引发网络问题最大的隐患。为了简化计算的复杂性，本系统选择对一天的峰时流量进行监控，不对每个时间段的流量进行监控，提高系统运行效率。以每小时流量作为基本数据单元，监控某个数据单元是否异常，仅以一个基本数据单元作为参考对象容易引起误判，因而需要用多个基本数据单元作为参照系。三、成果主

9、要创新点3）运用大数据分析技术处理网际海量数据 Hadoop具有可平滑扩展、在线扩展、性能优越等特点。搭建基于Hadoop开源软件的大数据平台， 运用先进的云计算和云存储技术，解决互联网大数据的处理性能问题和数据存储问题。成果背景成果内容创新点应用情况三、成果主要创新点4）管理创新点-网际互联网业务流量模型和管理机制的建立与完善 通过技术创新，将全网互联网业务布局信息和网际流量流向联系起来进行关联性分析，建立网间各内容的流量模型，根据网际异常流量监控情况，精确分析业务承载是否最优，是否存在不合理占用骨干出口资源的情况，逐步优化网络承载的业务分布状况，以达到降低互联网业务出口成本和安全保障的目的

10、； 基于大数据分析手段建立起量化指标的考核机制，促进了网际互联网业务监督和管理办法形成。通过该项目的实施，业务人员可以总体把握骨干出口互联网业务的流量状况，发现网络发展中的业务增长的流量趋势和异常的变化，建立了全网高效的联动机制，提高了互联网业务管理工作的自动化程度与工作效率。目前系统已成为公司骨干出口互联网业务管理与优化的重要抓手。成果背景成果内容创新点应用情况四、成果实际应用情况目前该项目主要应用于：1、骨干出口互联网业务监控与考核工作 2、 及时提供网际异常流量预警信息， 3、定期提供骨干出口业务流量分析多项例行报表。据统计：系统应用至今，平均每年实现异常流量报警80次，攻击报警70次，制作各类报表256张。 成果背景成果内容创新点应用情况具体案例：某省乐视业务网际入流量突增1.2G，原因是用户大量点播的某热播剧未引入到该省的乐视业务服务器。通过和乐视业务的提供商协商，引入该热播剧，实现乐视业务的热点内容本网化部署.，流量降到正常水平。五、成果自主性情况硬件:基于通用PC SERVER架构，系统软件：操作系统：linux centos5.6 flow 采集： flow tools数据库：mysql数据仓库：HIVE应用系统-代码全部自主研发： 前台应用flex技术， 后台应用java技术， 底层数据处理采用h