互联网QC-降低互联网DSLAM丢包率

降低互联网DSLAM丢包率

铁通江西分公司网络支撑中心QC小组课题名称：降低互联网DSLAM丢包率成果类型：现场型注册时间：2010-07活动日期：2010年07月-2010年12月注册号：QC-14-2010-00X一、小组概况小组成员小站成员性别文化程度职务（或职称）主要分工组长成员成员成员成员成员成员成员二、选题理由1、江西分公司下达网运考核指标：互联网DSLAM丢包合格率≥96%（每月进行考核一次）2、2010年7月-2010年10月互联网DSLAM丢包合格率统计表二、选题理由日期监测DSLAM总数监测DSLAM丢包率合格数监测DSLAM丢包率不合格数丢包合格率（%）2010年7月77264512783.55%2010年8月77257819474.84%2010年9月7726918189.53%2010年10月7717145792.62%7月-10月平均值77265711585.13%综合上述两点，我们选定课题为“降低互联网DSLAM丢包率”。二、选题理由三、确定目标根据铁通江西分公司下达的网运考核指标，我们小组确定本次QC活动的目标值为：互联网DSLAM丢包合格率≥96%。四、可行性分析1、7月份通过互联网综合网管（已监控的772套DSLAM设备），导出DSLAM设备丢包率不达标的设备有127套，是在部分规定时间内统计到的核心路由器（NC-SGR1/NC-SGR2）至这些DSLAM设备ping包存在全部或部分丢弃现象，为了查清症结，对此其形成的原因进行了分类统计。四、可行性分析序号丢包原因频数（套）累计频数（套）累计频率1DSLAM上行链路拥塞373729.13%2停机要点施工作业215845.67%3DSLAM主控板故障106853.54%4城域网链路拥塞107861.42%5DSLAM级联98768.50%6DSLAM上行端口协商模式错误59272.44%7机房停电59776.38%8城域网光缆中断故障510280.31%9汇聚层交换机故障310582.68%10DSLAM主控板软件版本低310885.04%11光猫故障311187.40%12DSLAM管理地址丢失111288.19%13城域网光纤衰耗大111388.98%14其它14127100.00%合计127127100.00%四、可行性分析四、可行性分析

结论：DSLAM上行链路拥塞、停机要点施工作业、DSLAM主控板故障、城域网链路拥塞、DSLAM级联、DSLAM上行端口协商模式错误、机房停电和城域网光缆中断故障占了总数的80.31%,是症结。2、造成互联网DSLAM丢包率不达标的症结(DSLAM上行链路带宽不足、停机要点施工作业、DSLAM主控板故障、城域网链路拥塞、DSLAM级联、DSLAM上行端口协商模式错误、机房停电和城域网光缆中断故障)占DSLAM丢包率不达标设备总数的80.31%，我们四、可行性分析QC小组须重点解决这些问题，再同步处理汇聚层交换机、光猫故障、DSLAM主控板软件版本低等其他方面问题，达到目标是完全可能的。3、根据表一的统计，我们在2010年10月，DSLAM丢包合格率为92.62%，这比较接近我们的目标值，增强了信心，再加上小组成员的共同努力，达到目标是完全可能的。五、原因分析

小组成员集思广议，大家齐心合力，找出DSLAM设备丢包率不达标的各类原因，列出以下系统图：人故障处理不及时告警发现不及时值班人员专业技能差责任心不强考核制度不完善无奖罚细则机无维护考核指标设备参数配置不合理上行端口协商模式错误设备、线路性能下降设备、线路老化未按规定进行设备、线路保养设备、光缆近寿命终结期主控板软件版本低设备软件不合理机专业技能培训未达标管理地址丢失DSLAM设备丢包率不达标机光猫可靠性低光猫故障料设备机架接地不良雷雨天电路板坏上行链路带宽拥塞环市电停电设备受雷击防雷设施不健全机房应急供电不及时测法上行电路传送方式不理想传输设备传送能力不足DSLAM级联设备上行电路无保护DSLAM组网不合理停机施工综合网管功能不健全施工时间与PING包测试冲突监控手段不完善丢包监测手段、处理方法不完善监测手段和处理方法不全面DSLAM设备丢包率不达标接上图五、原因分析从系统图上可看出，造成电路不稳定的末端因素由15个，（1）无奖罚细则、（2）专业技能培训未达标、（3）无维护考核指标、（4）设备、光缆近寿命终结、（5）设备参数配置不合理、（6）设备软件不合理、（7）上行链路带宽拥塞、（8）光猫可靠性低、（9）设备机架接地不良、（10）防雷设施不健全、（11）、应急供电不及时、（12）、设备上行电路无保护路（13）、DSLAM组网不合理、（14）、综合网管功能不健全（15）、丢包监测手段和处理方法不全。六、要因再确认为了确定要因，我们对15项末端因素进行验证分析，见《要因验证表》。序号末端原因确认方法确认内容确认标准确认情况完成时间责任人是否要因1无奖罚细则现场核对检查考核制度是否规定了奖罚细则《网支中心考核细则》列明具体的奖罚条款网支中心已经制定出考核细则，列明具体的奖罚条款，在2010年1月开始执行8月6日刘建华否2专业技能培训未达标查看记录网管值班人员的技术水平是否能胜任培训合格1、

网管值班人员是全省竞聘考试，选拔上来的专业能手，进入网管后专业知识和网管操作技能培训、考核，考试成绩85分以上。8月12日刘建华否持证上岗2、持有《全国通信机务员》证书和助理工程师以上技术职称3无维护考核指标现场核对维护制度是否规定了考核指标

《网支中心考核细则》列明具体的奖罚条款网支中心已经制定出考核细则，列明具体的奖罚条款，在2010年1月开始执行8月6日刘建华否4设备、光缆近寿命终结调查分析设备、光缆是否超过使用寿命1、设备运行年限≤10查看设备履历簿及设备、线路固资卡片，发现设备运行性能值正常，使用时间最长的设备7年、光缆使用年最长的线路12年9月12日黄勤否2、光缆运行年限≤20序号末端原因确认方法确认内容确认标准确认情况完成时间责任人是否要因5设备参数配置不合理远程检查设备参数配置是否最佳1、协商模式原则上要求配置强制百兆/千兆全双工。1、网支中心已经对不合格DSLAM进行了配置上的检查，发现了少部分设备配置模式不对，经过修改后，丢包现象消失。8月20日万涛是2、管理地址配置修改后应及时用save保存。2、对于管理地址丢失的问题，网支中心已经要求各市公司配置修改后要及时保存。6设备软件不合理远程检查软件版本是否运行稳定1、华为MA5100版本统一VersionB10D051。1、通过逐步的摸索，网支中心发现DSLAM设备的版本也会影响到丢包，因此网支中心联系华为和中兴公司对管内的DSLAM设备统一进行了升级。9月20日万涛否2、中兴9210版本统一V5.0.0F7上行链路带宽拥塞现场验证链路带宽是否超过90%链路带宽不能超过90%

1、通过对DSLAM上行链路的定期监测，发现当上行链路峰值带宽利用率超过90%时，就会发生不规则的丢包现象，因此我们建立了日常巡视制度，当利用率达到80%时就要开始申请链路扩容。9月30日万伟是8光猫可靠性低调查分析检查各厂家光猫的技术指标各项技术指标是否符合行业入网标准核查各厂家光猫的技术指标，均符合行业标准8月15日黄勤否序号末端原因确认方法确认内容确认标准确认情况完成时间责任人是否要因9设备机架接地不良现场检查检查设备机架的接地情况设备机架的保护地和防雷接地按公司工程要求进行安装设备机架接地均已安装，接线牢固9月10日杨良科、万伟、朱晨辉否10防雷设施不健全现场检查检查防雷设施所有机房都要按照防雷设施检查了所有机房，均有防雷设施。9月10日杨良科、万伟、朱晨辉否11应急供电不及时现场验证始于市电停用至现场应急油机供电的时长验证交流停电应急预案的有效性每年组织郊县、市内无人机房交流停电方面的应急演练，并现场验证预案的有效性，演练结果在全省通报，所有演练项目均是在规定时间完成停电机房的应急供电，未出现机房中断情况。9月30日万涛否12设备上行电路无保护调查分析调查DSLAM设备所在局点的设备组网情况DSLAM设备属于接入层，汇聚层设备上行链路要求有保护路由1、查看7月份DSLAM中断故障记录，发现因上行电路中断引起的故障有8件，占当月故障DSLAM设备比率仅为6.3%。8月25日黄勤否2、调查发现全省汇聚层的交换机或BAS设备上行链路均有双链路。序号末端原因确认方法确认内容确认标准确认情况完成时间责任人是否要因13DSLAM组网不合理现场检查对DSLAM组网情况进行检查按照公司管理要求，不应该存在DSLAM级联现象网支中心通过地市巡检交流的方式，对各地市的DSLAM组网情况进行了检查，发现了4个地市存在少量DSLAM级联情况，网支已经立即通知市公司整治解决了。9月30日杨良科是14综合网管功能不健全网管核对当DSLAM丢包率为100%是否立即发出声光告警DSLAM丢包率达到100%时应该立即发出声光告警在进行综合网管功能核对时，发现当DSLAM丢包率达到100%时不会出现告警，因此网支中心改为使用华为专业网管对此故障进行监控9月25日万涛是15丢包监测手段和处理方法不全现场调查地市维护人员是否掌握DSLAM丢包监测手段和降低设备丢包率处理方法按照省公司下发的《三率报表不达标数据排查整治指导意见》进行处理网支中心通过地市巡检的方式，按照《三率报表不达标数据排查整治指导意见》，对地市进行培训。8月6日万涛是六、要因再确认造成互联网DSLAM丢包率高的5个主要原因：

1、设备参数配置不合理

2、上行链路带宽拥塞

3、DSLAM组网不合理

4、综合网管功能不健全

5、丢包监测手段和处理方法不全七、制定对策我们针对确认的主要原因，制定对策表：序号要因对策目标值措施地点完成时间责任人1设备参数配置不合理对不合格的DSLAM设备配置进行检查按照规范应该设置为百兆/千兆全双工检查DSLAM设备上行链路的接口协商参数的配置，如果配置为半双工，则进行修改。南昌8月30日万涛序号要因对策目标值措施地点完成时间责任人2上行链路带宽拥塞对每日公布的不合格DSLAM设备检查其上行链路利用率上行链路带宽利用率不超过80%检查BAS接入端口流量情况，判断是否存在接入链路带宽利用率过高的问题，一旦出现立即进行扩容。南昌9月30日万伟3DSLAM组网不合理检查是否存在级联情况禁止DSLAM级联一旦发现DSLAM级联，则立即通知市公司进行网络改造，增加汇聚交换机南昌9月30日杨良科4综合网管功能不健全联系综合网管厂家解决要求网管能够监控到DSLAM中断并立即告警网支中心已经联系了综合网管厂家，对于丢包100%的DSLAM设备，必须立即发出声光告警。南昌9月25日万涛5丢包监测手段和处理方法不全网支中心撰写《三率报表不达标数据排查整治指导意见》按照《三率报表不达标数据排查整治指导意见》的要求进行处理为了便于地市规范的整治不合格DSLAM设备，网支中心撰写了《三率报表不达标数据排查整治指导意见》，并对地市进行培训。南昌8月10日万涛八、对策实施

实施一：DSLAM设备参数配置优化工作通过互联网综合网管和手工登录设备命令行界面的方式，在全省范围内对DSLAM设备上行链路的接口协商参数的配置情况进行核查，如果发现配置为半双工，则进行修改全双工。全省上行链路的接口协商参数不合理的设备17台。八、对策实施设备配置修改后截图八、对策实施

实施二：克服DSLAM设备上行链路带宽拥塞问题每日检查BAS接入端口流量情况，判断是否存在接入链路带宽利用率过高的问题，针对上行链路带宽拥塞的DSLAM局点，在省OA系统公布，网运部立即安排地市进行城域传送网优化调整工作，保证DSLAM上行链路带宽利用率不超过80%。同时网支中心还定期去地市公司进行巡检，指导地市处理此类故障，比如景德镇中华北路DSLAM_A,中华北路DSLAM_B,中华北路DSLAM_C都有丢包，通过互联网综合网管查看丢包明细的方法，，发现三台设备丢包时间都发生在7月11日21：00，如下图：八、对策实施

然后通过查看这三台设备的组网，发现都是挂在一台汇聚交换机下，此交换机上行链路在21点带宽利用率已经超过90%，如下图：八、对策实施网支中心发现此问题后，立即通知景德镇公司组织进行链路扩容工作。全省此类问题共计有55件。八、对策实施

实施三组网上禁止DSLAM级联，安排市分公司进行网络改造，增加汇聚交换机。网支中心通过互联网综合网管远程检查和地市巡检等方式，对全省DSLAM的组网进行了检查，发现级联的DSLAM设备立即通知市公司整改。全省消除DSLAM级联设备21处。八、对策实施带级联情况设备拓扑图:八、对策实施网络改造后设备拓扑图:八、对策实施

实施四：完善互联网综合网管功能，屏蔽因停机施工作业引起的丢包数据统计。对于丢包100%的DSLAM设备，互联网综合网管立即发出声光告警，通知网管值班人员处理。如下图：八、对策实施八、对策实施增加施工时段内对受影响DSLAM设备PING包测试进行数据过滤。同时调整停机施工审批流程，凡涉及互联网设备的停机施工，调度须报互联网工程师审批，进行综合网管相应数据设置。八、对策实施实施五：制定整治指导意见，提高业务能力。为了便于地市规范的整治不合格DSLAM设备，网支中心撰写了《三率报表不达标数据排查整治指导意见》，并且组织地市技术人员进行现场培训，认真指导网管值班人员和设备维护人员对不达标DSLAM设备进行排查整治工作，有效提高大家解决问题的能力。八、对策实施九、效果检查效果检查一结论：通过QC小组的活动，DSLAM丢包合格率有了明显的提高，11-12月DSLAM丢包合格率98.12%，达到了江西分公司的考核标准。（DSLAM丢包合格率≥96%）2010年11月-12月DSLAM丢包合格率统计表

日期监测DSLAM总数监测DSLAM丢包率合格数监测DSLAM丢包率不合格数丢包合格率（%）2010年11月7717601198.57%2010年12月7717531897.67%11-12月平均值7717561498.12%九、效果检查效果检查二结论：DSLAM丢包合格率由活动前的85.13%提高到活动后的98.12%，达到了我们设定的目标值（DSLAM丢包合格率≥96%）QC活动前后效果对比图

九、效果检查效果检查三经济效益和品牌效应随着DSLAM设备丢包率下降，铁通互联网运行质量逐步提高，活动开展以来下半年新增宽带34108户，环比上半年月新增宽带29542台，净增4566台，若按一户收取宽带包年费300元计，合计136.98万元，取得了比较可观的经济效益。

DSLAM丢包合格率的提高，铁通宽带上网速度更快和体验感更好，不仅让用户满意，也在日益激烈的市场竞争中，进一步提升中国铁通“铁通新时速、宽带新生活”的品牌形象。十、巩固措施1、制定巩固措施：①、制定DSLAM设备和BRAS设备参数配置的标准，维护人员严格按照此标准进行配置，确保不会出现参数配置方面的错误。②、加强日常巡视制度，维护人员密切关注DSLAM设备上行链路忙时利用率，一旦超过预警值80%