tma流量监控产品交流材料

T M A 宽带网络流量监控产品 北 京 宽 广 电 信 高 技 术 发 展 有 限 公 司 宽广电信 广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 2 宽带网络运营机遇和挑战 中国宽带市场迅速扩大，网民数目保持多年高速增长，其中大部分都是宽带用户 宽带应用逐渐丰富，多样化的全媒体、互动性、高附加值业务成为网络热门，更多的新型业务及应用还在不断涌现 宽带网络市场氛围已经成熟，在可预见的将来，国内宽带运营市场的用户和业务都将进入一个持续发展的黄金时期 面临转型压力的主流运营商愈加重视提高数据业务收入，而宽带网络经营正是数据业务增收的重点 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 3 宽带网络运营机遇和挑战 宽带用户争夺日趋激烈，如何在发展新用户的同时，尽量减少已有客户的流失？ 带宽扩容压力始终存在，如何挖掘现有网络资源潜力，发挥更大效益？ 网络业务纷繁复杂，如何拓展高价值业务，有效抑止低效垃圾业务流量？ 运营商面临转型压力，如何实现宽带领域的精细化运营，推出新的业务亮点？ 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 4 解决途径？ 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 5 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 6 宽广的产品线 用户行为分析系统 用户业务流量控制系统 非法 基于 应用层流量监测探针系统 二层流量监测探针系统 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 7 宽广产品线 通用硬件平台 所有产品线共用硬件处理平台 基于高速芯片处理，实现对报文的解封装、协议识别、业务识别和用户识别 提供从 10制能力 通过更换芯片程序及嵌入式软件，可以实现不同产品的功能互换 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 8 硬件体系结构 接口变换 接口变换 功能模块 A 功能模块 B M P U 模块 a b c d e f g 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 9 硬件体系 功能模块 A：依据五元组或其扩展、深度报文观测所定义的业务、或者用户帐号等进行的流分类和流汇聚；对于这些流的转发或丢弃、流量控制、内容替换、首部截取；指定参量的统计 功能模块 B： 流转发要求远小于功能模块 A，可以提供更复杂、精细的统计分析能力，比如流的分类和汇聚，基于连接的流量统计等 口于硬件平台的外部网络，执行复杂而不适宜在硬件系统完成的功能，比如数据存储、 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 10 硬件处理的优势 C / M C / M C / M C / M C / M C / M M E M C / M 硬件方式 C / M ： 带内部存储功能的微处理单元 C P U M E M I / O 服 务 器 方 式 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 11 硬件处理的优势 高速信息被送到一片超大规模的高速集成电路后，它被立即复制为若干个 所有需要的分析处理在硬件中多路并行分布地进行 硬件电路以最基本的处理单元为单位，按照预先设定的程序组合成各种专门的处理功能，以最为经济有效的方式完成处理工作 可以达到纯软件方式不能企及的效率和性能 系统还能提供无损透传、镜像等基于 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 12 系统体系 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 13 业务识别 突破传统的“协议端口号”识别业务限制 利用内置在设备中的智能业务识别模块，综合协议指纹和连接特性等多种检测技术，逐报文进行协议特征识别和流量分析 ,可以识别当前主流的应用协议和业务，包括使用可变端口的 采用专用硬件引擎可以对报文进行多业务并行识别，系统性能不因识别业务的种类数目增加而下降 智能业务识别模块支持在线远程升级，以支持对新出现业务的识别 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 14 同时采用多种协议指纹对不同的 对于已知特征的 2 对于某类 整个通信过程持续匹配和收集一种或多种协议特征不断进行特征累积 后续的报文可继承原有连接特征或加强特征 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 15 可以识别 2 支持识别 支持识别 2 也支持迅雷等常用的 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 16 标准的 基于标准协议进行简单修改、变换的 “ 私有协议 ” 对标准协议进行加密的私有协议，破解加密算法，如世纪网通、 识别 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 17 通过流量模式和通信特征来识别强加密的 信令及媒体通信的内容指纹 呼叫信令报文的交互规律 报文长度分布和比例、报文速率和字节速率 语音编码规律，连接级的特征匹配度 已经实现对 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 18 支持从信令和媒体通话两个层面进行封堵 发送伪造甚至丢弃特定的信令报文实现信令层面的封堵 对媒体通话报文实行按比例丢弃、随机替换、增加时延等方式劣化其通话语音质量 支持设定黑白名单和各种封堵策略 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 19 流量控制技术 提供 0G 线速转发和业务管控能力 采用标准令牌漏桶算法实现对流量精确控制 处理能力不依赖于用户、业务和策略的复杂度 全硬件架构设计，无条件实现线速业务识别和控制 在用户、业务、策略满配置方式下不影响处理性能 在满带宽、满流控策略情况下，报文转发时延小于 50 支持并发 50万用户，最大 2 支持灵活的流控策略，最大 16宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 20 “ 一拖 N”检测 目前通过检测单用户帐号报文中如下特征发现疑似“一拖 N”： 多种的 不同的起始 不同的 同时活跃的用户连接数 上、下行带宽占用比例 后续研发方向 多种主机操作系统和版本 不同浏览器版本和 列出疑似用户帐号清单，供运营商后续处理 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 21 带用户行为分析系统介绍 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 22 用户行为分析的重要性 用户行为分析和基于用户行为分析的营销活动已经成为很多传统消费行业提高收益的重要手段 在传统电信网络中用户行为分析起到很大作用 与传统的单一业务电信网络相比，目前宽带网更象一个纷繁复杂的集市。对于集市的经营者来说，了解用户行为规律有助于更好地经营集市。 需要了解集市上的买卖双方。即用户和业务。 运营商具有的独特优势 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 23 用户行为分析的意义 积累运营商独占的信息资源 深入了解宽带用户的消费行为，掌握其内在规律了解用户和市场的差异和变化，促进有针对性地面向用户的市场营销活动 为自身产品的定位和销售策略制订提供足够信息 为保持良好的运营环境提供足够的信息，为用户业务流量管控提供科学依据 向各类不同的客户提供适宜的增值服务 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 24 应用举例 发现特定类型的用户上网习惯，进行针对性营销。例如：针对特定客户群，发现上网喜好。 针对特定喜好用户的资费产品设计 针对某种喜好的用户，推销相关电信业务。例如：针对影视爱好者，推销 开发针对用户的网络或信息服务，以及改进电信产品内容的设计 针对特定用户的广告投放 对于网页拥有者（特别是广告） ，提供用户分析。使其对于网页效果有明确的印象。 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 25 宽带用户行为分析体系的建立 建立宽带用户行为分析的基础设施 长期积累数据 进行用户行为分析实践，推出现实的具体应用并积累经验 扩充和完 善基础设施 形成业务流程 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 26 第三方数据分析系统 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 27 汇聚交换机或 采用镜像或分光方式接入 采集设备的重点部署 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 28 系统基本采集能力 链路级整体流量采集 基于帐号或固定 多种网络业务识别 基于用户分类的特征提取 用户使用业务的深入分析 异常流量的发现 用户上网喜好的提取和分析 重点网站的深入分析 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 29 全局分析能力 链路级的总体流量分析 总流量、封装类型、协议类型 异常流量： 片、疑似扫描 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 30 用户上网基本情况分析 灵活定义动态用户的类型 用户在线数、在线率、上下线次数、在线时长、流量、报长分布 用户业务分布 访问的地域和运营商分布 排名对比分析和历史趋势分析 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 31 用户分布分析 按照特征的用户数区间分布分析 各区间的用户列表 收发流量、收发报文数、带宽占用率 收发流量比和报文比 上线次数、在线时长 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 32 用户活跃度分析 活跃度特征：流量、上网次数、在线时长 活跃度的二维分类： 流量 上网次数 流量 在线时长 上网次数 在线时长 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 33 动态用户登录分析 登录次数的趋势分析和时间分布 成功登录和失败登录的次数及比例关系 识别或异常登录的分析和定位 失败原因、帐号、 广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 34 逐用户分析 流量、报长分布 上下线记录和在线时长、时段 使用的业务种类 eq 异常流量：非法 片、特征字串匹配 用户质量分析 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 35 业务分析 业务流量比例及趋势 网内业务分析 提供业务的用户 网外的业务使用者分布 质量分析 网外业务分析 服务器地域分布 网内用户分析 质量分析 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 36 深入业务分析 用户上网喜好的分析，流量不能完全说明问题，结合点击次数、频道等附加信息 重点站点、频道的深入分析，比如了解互联星空具体内容的用户群，定位忠实用户 网站访问量排名分析 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 37 深入业务分析 搜索关键字分析 发现当前网络热点，比如当前流行时尚、热门话题，把握不同网民群体关注热点 发现当前热门搜索的电影视频、流行歌曲、 实运营商的服务内容，比如增加相应的 载手机铃音、 和网页浏览一样，用户的搜索关键字也能体现其专注点，可以结合其他特征信息找到有特定喜好的用户群体。比如运营商想推广 可以通过这些条件来找到喜欢影视内容的潜在用户群体： 1，通过 2，在线时间比较长，也喜欢在线观看流媒体节目； 3，经常搜索热门影视节目 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 38 用户特征属性分析 系统将用户的上网行为抽象提取为活跃度、使用业务个数、业务质量、异常流量情况、上网喜好等几类特征 每类特征包括具体多个特征属性，如活跃度包括上下行流量、上网次数、上网时长等具体属性 系统支持依据上述特征属性，建立综合数据分析模型，从多个方面的上网行为来刻画某类用户特征，准确找出目标用户群 比如可以用“上网活跃度高、使用业务单一、 条件找出上网主要是使用 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 39 分析数据导出和报表 所有分析界面可以导出为 系统按运营商习惯，预制了涵盖基本需求的报表模板 可定制多种类型的报表 支持定期自动生成报表 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 40 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 41 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 42 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 43 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 44 户业务流量控制系统介绍 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 45 串接在城域网 /省网核心链路或出口链路 自 2005年起已经大规模商用 支持 0G 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 46 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 47 采用无源光器件，自身无需供电 在 掉电、光纤中断等异常情况下，自动将 复链路到直通状态，切换时间小于 10 可以通过指令控制 控制状态间切换 预留旁路流量监测接口 上游路由器 下游路由器 分路合路器 广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 48 现网发挥的作用 链路 非法 支持时间调度策略和 、灰名单 提供集中式带宽管理手段，可以通过中心服务器同时配置多台 在抑止 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 49 业务识别 用户分群 流量控制 流量统计 黑白名单 时间调度 集中管理 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 50 业务识别 综合协议指纹、流量特征、序列化累积等识别技术 支持 大类业务下细分为小类业务，如 T、 雷等， 系统支持对按业务大类和某个子类业务同时实施流量控制 业务也可以和用户群组结合，按用户实时针对性的流量控制策略 持续跟踪各种主流 成协议分析识别的标准流程，可轻松应对新出现的 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 51 业务识别 纯硬件架构，提供链路双向线速处理识别能力 逐报文进行协议特征识别和流量行为分析 适用于各类复杂的网络环境和协议封装 支持 支持各类 负载均衡链路或单向链路报文过滤和特征识别 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 52 业务识别 识别流程是一系列递进叠代的分析过程，通过一般疑似、重点分析、高度疑似、疑似排除或疑似确认自学习分步骤的方法进行多维度分析和筛选 综合协议指纹、通信模式和流量特征进行识别 基于协议握手信令的解析和状态机跟踪 基于流量统计特性的分析 基于时间序列累积特性的分析 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 53 同时采用多种协议指纹对各类 主板芯片对于已知特征的 2 对于某类 整个通信过程持续匹配和收集一种或多种协议特征不断进行特征累积 后续的报文可继承原有连接特征或加强特征 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 54 特征字识别 并非只匹配识别内容净荷的前几个字节或固定偏移位置，而是对整个报文的净荷进行滑动匹配一个或多个协议关键字，在 协议指纹 报文的应用层格式符合特定的约束条件，以 多数 且有些协议在内容净荷的头和尾部还有一些特殊的字符，例如 |， $等 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 55 协议状态机 信令 ”过程，以 使在数据传输阶段也有类似的握手报文，例如 告其他 过这些 特殊 报文的识别进行特征增强 通信特征 包括 端 下行流量的对称性，报文长度分布等进行特征辅助识别 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 56 用户分群 以 每一种类别刻画用户的一维特征 按行政区域划分：海淀、朝阳、崇文 按用户类型划分：公客、商客、个人 按接入类型划分： 专线 支持按类别属性来定义用户群组 二维特征标识用户群，例如海淀 支持按 段、范围等定义用户群，每个用户群支持多个地址条目 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 57 流量控制 按大类或小类业务实施流控 比如对 按用户群或用户分类实施流控 比如对 网吧设定总流量阈值 用户群和业务的组合控制能力 定义的用户群大类业务，如设定海淀 2 定义的用户群小类业务，如设定朝阳商客用户的病毒流量 支持基于任意 支持源 /目的 议类型、源 /目的端口的任意组合 适应各种复杂多变的用户流控需求支持 支持对数据流同时进行多维控制（并发策略） 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 58 流量控制 支持黑、白、灰名单策略流控 支持基于时间调度的流控时变策略 支持 针对异常和未知业务的控制能力 可按端口或地址设置流控参数，有效抵御各类病毒和泛滥攻击 将未知业务的流量控制在设定范围内保证有效业务带宽，防范突然出现的病毒或是 护网络不至于彻底瘫痪 2006年 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 59 流量控制 使用令牌桶技术实施流控 对检测出的 两种流控方式 总流量控制方式 独立流量控制方式 业务管控策略 随时间变化的管控策略 对出入境流量分别实施控制 可灵活设置不同的流控参数 按用户群制定和实施不同的管控策略 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 60 流量统计 链路全局的流量统计 各类用户和业务的流量统计 各类流控策略的流量统计 灵活设定策略流的流量统计 指定 提供实时和历史流量统计 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 61 系统性能 高速硬件引擎前端过滤提取 对于 最高支持并发 5122 对于搜索探测和无效的 在复杂网络环境连接泛滥的条件下有效识别和控制 时保证业务数据流直通 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 62 系统性能 提供 0G 线速转发和业务管控能力 处理能力不依赖于用户、业务和策略的复杂度 全硬件架构设计，无条件实现线速业务识别和控制 在用户、业务、策略满配置方式下不影响处理性能 采用多个自主设计的大规模高速数字专用芯片 转发时延 5010 支持并发 50万用户，最大 2 支持灵活的流控策略，最大 16宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 63 大类业务分析 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 64 具体业务比例 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 65 具体业务比例 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 66 周流量曲线 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 67 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 68 带宽精细化管理 充分挖掘现有网络潜力 以精细化的带宽管理节约网络投资，提高网络有效利用率 让网络流量为运营商创造更多的价值 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 69 结合宽带用户行为分析系统进行客户带宽管理 对大流量客户实施针对性控制 对伤害性客户实施流量限制 按对收入贡献合理调解不同用户群占用带宽比例 优化用户体验，减少客户投诉 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 70 强化对业务的控制能力 优先保证给运营商创造价值的业务流量带宽 通过特定业务的策略限制来引导用户行为 区分“好”的 ”的 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 71 开辟新的增值业务 基于使用 基于使用 大客户病毒流量抑止的增值业务 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 72 原始语音 丢弃 40的语音效果 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 73 务监控系统介绍 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 74 标准的 基于标准协议进行简单修改、变换的 “ 私有协议 ” 对标准协议进行加密的私有协议，破解加密算法，如世纪网通、 识别 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 75 通过流量模式和通信特征来识别强加密的 信令及媒体通信的内容指纹 呼叫信令报文的交互规律 报文长度分布和比例、报文速率和字节速率 语音编码规律，连接级的特征匹配度 已经实现对 目的 口号、通话时长及流量 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 76 负载均衡及多出口链路监测 目前 单一链路上可能只有部分信令报文，容易造成识别障碍 高识别准确率 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 77 多样化的封堵劣化手段 发送伪造信令报文封堵信令连接 按指定比例丢弃媒体通话报文 按指定比例随机替换媒体通话报文 支持单向 /双向媒体通话报文劣化 支持黑白灰名单，支持逐策略配置劣化方式和劣化比例 语音质量劣化需 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 78 基于主被叫号码和 通过主被叫号码来识别 通过被叫号码及 计国际长话、港澳台长话和国内呼叫 国内呼叫细分到各省，省内呼叫细分到地市，国外细分到国家 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 79 统计分析功能更丰富 功能强大、便于使用的统计分析能更好的发挥系统功能，在监测、控制和管理方面发挥重要作用 着重加强了地域、运营商、呼叫类型等的关联分析 提供呼叫次数、通话时长、网外区域、 叫类型等的图形化统计分析功能 提供自动封堵功能 提供自动报表功能 宽广电信 K U A N G U A N G 流 量 监 测 控 制 系 统 80 宽广电信 K