互联网故障与投诉处理

互联网故障与投诉处理

总部网络部

2012年5月目录CMNET网络管理规程CMNET投诉处理流程及案例CMNET故障定位方法目录CMNET网络管理规程维护组织机构与职责系统的日常维护和管理总部的相关流程质量管理CMNET网络管理规程中国移动互联网的维护管理采用统一领导、分级管理、分级负责的原则，在总部的统一领导下，总部及各省公司负责管辖范围内中国移动互联网的维护管理工作。CMNET网络维护管理规定主要内容：维护组织机构与职责；总部网络部主要职责；各省公司网络维护部门主要职责；地市公司网络维护部门主要职责；（具体内容见附件：互联网维护管理规定(2011修正版）CMNET网络管理规程CMNET是各项数据业务的承载网络CMNET与其上承载的各业务系统维护分工界面如下：对于PS/IMS业务系统，维护分工界面是下挂业务系统设备至PS/IMS业务系统CE的接口，接口内侧设备归属CMNET，接口外侧设备归属各业务系统；对于管理信息系统、网管支撑系统等支撑系统，维护分工界面是各支撑系统CE设备至CMNET路由器的接口，接口内侧设备归属CMNET，接口外侧设备归属各支撑系统。CMNET要积极配合完成与GPRS、彩信、WAP、KJAVA、DSMP、邮箱、短信网关等有关的网络调整工作，并配合进行相关测试。目录CMNET网络管理规程维护组织机构与职责系统的日常维护和管理总部的相关流程质量管理日常维护管理中国移动互联网维护工作主要指设备网元和网络层面的维护，包括系统本身及相关连接设备的定期检测、数据备份、故障处理等。系统维护作业计划的编制和实施对于CMNET骨干网，总部参照本规定中所规定的维护监测项目、周期和要求,制定详细的作业计划，并将部分作业计划任务指派给设备所在省公司。总部和设备所在省公司按照分工职责分别执行作业计划，设备所在省公司根据总部要求定期上报作业计划执行情况和设备检测结果，在设备检测中一旦发现异常情况，应立即上报总部。对于CMNET省网，省公司参照本规定中所规定的维护监测项目、周期和要求，编制日常维护作业计划并组织实施和定期检查。对于CMNET城域网，各地市公司参照本规定及省公司维护管理实施细则编制并实施日常维护作业计划，并定期将维护作业计划的实施情况上报省公司。互联网日常维护测试项目应包括以下内容类别项目周期备注设备检查硬件系统检查日设备资源利用率（CPU、内存、磁盘空间）检查日DNS、RADIUS系统软件进程检查日DNS服务器配置文件完整性检查周监测实时告警消息实时监控主备倒换测试半年系统各相关设备链路检查链路通断状态日链路利用率日网络检查网络连通性日网络时延、丢包率检查日DNS服务器解析成功率检查日DNS服务器并发请求数（QPS）检查日DNS服务器解析时延检查日DNS服务器域名解析可用性检查日重点域名解析准确性检查日日常维护管理日常维护管理互联网日常维护测试项目应包括以下内容数据备份应用系统数据及用户数据备份月DNS系统配置文件备份季DNS系统域名解析日志备份季系统数据核查季日志文件备份周文件系统备份半年其他配合集团公司进行设备倒换、安全演练半年IP地址资料的检查核对季端口资料的检查核对月软件版本核对月系统日志和操作日志安全审计月系统和软件安全补丁安装半年安全扫描半年现场看护机房电源、空调、温湿度检查日备品备件的清理核对季目录CMNET网络管理规程维护组织机构与职责系统的日常维护和管理总部的相关流程质量管理总部开放的网管手段给各省提供的总部网管手段已分配：骨干网设备查看权限各省上联的骨干网设备查看权限账号和SNMP的读取口令字，集团通过工单调查下方责任人后下发。（5月完成）域名封堵系统前期已完成分配，可以查询封堵的域名;详见JT-001-110616-00032，JT-001-110928-00028;即将分配：数据网管账号骨干网流量查看（网间、网内、省网上联）;各省第三方流量;IP地址配置表;流控(包括骨干流控、第三方流控）给各省分配查看权限，可以查看流量报表;IP地址配置表;CMNET维护交流飞信群：53341031管理员刘博、樊川涉及总部的日常维护常用流程日常维护常用申请流程1域名和IP封堵查询办法，解封流程流程：域名封堵登陆流控系统查询，IP封堵数据请查询网络部安全处工单。解封请联系广东不良信息监测中心。宽广流控系统查询，2011年工单已经分配各省查询帐号，参见JT-001-110616-00032，JT-001-110928-00028）广东不良信息监测中心，电邮箱wnfjdxxjha@不良信息监测系统数据调整流程：各省日常维护割接涉及不良信息监测系统调整，需通过emos派发通用任务工单给所属大区中心省份处理，抄送集团。网站备案系统上报地址变更流程流程：网站备案系统由北京公司维护，各省上报DNS地址或涉及上报相关数据配置调整，需通过emos派发通用任务工单给北京公司处理，抄送集团。DNS域名解析数据制作的申请流程（含反向域名解析）流程：请各省上报OA公文申请制作。专线用户接入等需骨干网配合完成路由策略的操作流程：请各省上报OA公文申请制作，需包含详细方案。要求：写明是否需穿透，是否独立AS号，是否是移动IP等信息。骨干路由器接收策略掩码长度不超过24位。IDC直连引入等需骨干网配合完成路由策略的操作流程：请各省上报OA公文申请制作，需包含详细方案。要求：集团对网内及铁通广播，不对外广播，骨干路由器接收策略掩码长度不超过24位。涉及总部的日常维护常用流程日常维护常用申请流程2vip客户保障目前保障方式有两种1.各省骨干设备标记Qos_Gold标签方式：保障大段地址，掩码不超过/24，骨干出口设备优先广播路由，通过保障链路吸引流量。2.流控系统白名单保障方式：在出口流控设备优先转发，可保障单个IP源及目的地址。申请流程：需提交工单申请VIP保障，提交客户地址及流量信息。流量调整本省出省流量各链路不均衡的情况，各省可以自行调整路由。调整前需查看总部数据网管流量报表，确保上行至出口的带宽足够。需上报EMOS工单申请。新建业务系统分配IP地址接入省网的系统，由省公司负责分配IP地址接入骨干网的系统，由集团分配。国际公司涉及的流程涉及国外网站投诉及故障，且定位为9808自治域外，由国际公司负责。国际公司AS为58453。国际公司EOMS开通前通过noc@投诉,抄送nnoc@邮箱，开通EMOS后通过EOMS派发国际公司，抄送集团。IDC引入资源未共享每月集团会通报分析IDC引入资源服务全网率，各省可针对测试结果，在本省进行测试，发现IDC省份引入资源未共享本省使用的域名，可派发省际投诉工单，由集团集中质检。涉及总部的日常维护常用流程涉及到骨干网设备、链路的操作，不需要骨干网配合的（如链路调测、省内业务倒换测试、串接分光、流控等），需至少提前2个工作日提交EOMS通用工单上报，同时提交《工程告警预约表模板》。涉及到骨干网设备、链路的操作，且需骨干网配合操作的（省干设备替换、端口调整），需至少提前3个工作日提交EOMS申请工单，同时提交《工程告警预约表模板》，涉及链路或设备资源更新的需提交《链路资源更新表模板》。暂定模板如下：割接管理目录CMNET网络管理规程维护组织机构与职责系统的日常维护和管理总部的相关流程质量管理质量管理要求质量管理：为完善对互联网各个环节的质量控制，应建立各级检查体系。做到统一领导，分级管理，分工负责，层层到位，把好质量关。总部网络部负责组织建立中国移动互联网的质量分析制度：对于CMNET骨干网，总部网络部负责定期汇总运行质量、网络性能等指标，进行数据网运行质量分析，排除质量隐患，不断提高网络运行质量和服务质量。对CMNET骨干网与国内国际其他运营商间的互联链路质量进行管理对于CMNET省网和城域网，省公司负责组织汇总整理运行质量、网络性能等指标，进行质量分析，并将运行质量情况定期上报总部网络部。CMNET北京DNS山东DNS天津DNS吉林DNS四川DNS上海DNS骨干DNS北京节点骨干DNS广州节点……从集团向所有省份和骨干DNS发起解析请求，判断引入资源是否正确指向和全网共享：测试省份IDC引入资源列表新浪腾讯北京网内联通天津网内网内山东电信网内吉林网内网内四川网内网内上海网内网内。。。。。17内容质量管理指标：服务全网率某省网CMNET骨干网固定接入移动接入省网出口第三方出口地市接入IDCCache通过分析流量本网率指标，可以体现各省IDC、Cache、CDN等互联网流量疏通支撑系统的综合应用效果。提升流量本网率指标，也需要加强对本省用户访问热点的分析，并加强IDC和Cache系统的流量协同。全网流量本网率=1-（第三方出口入流量+骨干国际国内出口入流量）/全国地市下行总流量。各省流量本网率=1-（本省第三方出口入流量+本省在骨干国际国内出口入流量）/该省地市下行总流量数据网管netflow统计其他运营商其他运营商数据网管省部接口上报CMNET性能管理报表省部接口上报统计内容质量管理指标：流量本网率从不同运营商接入点对引入资源以不同方式进行测试，对其质量进行比较，及时发现质量劣化并督促提升；MM/飞信/梦网邮箱CMNET终端设备接入及客户网络TD/WLAN…接入及客户网络CDMA2000ADSL骨干网接入网IDCChinaNETIDC网间链路IDC测试业务Webcache未来部署业务注：为贴近用户感知，排除部分未引入网内质量较差页面元素影响，页面打开时延定义为测试页面完成90%元素加载的时延。测试全部采用Wlan或固定宽度接入进行测试，排除无线环境影响，每次测试均清除本端Cache。内容质量管理指标：页面打开时延目前数据部对各IDC省份下达的TOP1000网站列表，通过湖南做样本省统计各省IDC引入网站的流量比例计算引入深度，衡量各IDC省份任务完成情况。腾讯引入深度计算网站名称内容引入深度网站名称内容引入深度腾讯45%宜搜17%淘宝93%开心网100%百度46%搜狗2%ucweb9%搜狐68%新浪85%风行网3%人人网79%开心听100%360安全中心24%世纪佳缘62%阿里妈妈94%皮皮网100%凤凰网68%盛大在线0%3G门户71%猫扑1%金山毒霸3%太平洋电脑网0%华军软件2%红袖添香0%网易17%总计54.40%TOP25网站引入深度腾讯的引入深度注：网站引入深度，即某网站已引入子域名总流量占该网站所有流量的比例后续分析指标：引入深度ICP引入深度=全国IDC该ICP全部子域名流量/（全国IDC该ICP全部子域名流量+网间出口统计该ICP全部子域名流量）。IDC省份引入深度=该省负责引入网站全部子域名在全国IDC中流量//（全国IDC该省负责引入网站全部子域名流量+网间出口统计该省负责引入网站全部子域名流量）。IDC流量样本计划从IDC流控系统统计，网间出口流控统计网间TOP1000网站子域名流量.后续工作计划：部署基于BGP属性的流量统计CMNET骨干网的流量类型可以分为全国31个省之间的互访流量全国31个省到国内其他运营商（电信、联通、铁通、教育网等）的互访流量全国31个省到国际运营商的流量全国25个IDC与全国31个省、国内出口、国际出口之间的互访流量对上述流量进行精确的统计分析，掌握CMNET骨干网承载的各种流量类型的流向、大小、特性，对CMNET未来的网络扩容规划、高级业务的优先保证、精细化的运营有重要作用骨干网将会对上述流量进行精确的流量统计相比netflow的采样，这种统计是针对每个数据包进行统计，非常精确可以得出省网间、IDC间、出口各个运营商方向的流量矩阵可以对各种流量进行基于内容的计费、QOS保证和限速的各种策略21CMNET、IDC流量统计的输出流量矩阵省维度每个省到其他30个省的出入总流量每个省到所有25个IDC之间的出入总流量每个省到国内4大运营商方向的出入总流量每个省到国际方向的出入总流量IDC维度每个IDC到全国各省服务的出入总流量每个IDC为国内其他运营商方向的出入总流量每个IDC到国际方向的出入总流量总计CMNET全网的总流量每个省的总流量每个IDC的总流量国内每个运营商的总流量国际总流量各种类型流量的采集点流量类型二：各省、各IDC国内出网流量，采集点在CMNET国内出口BI路由器流量类型三：各省、各IDC的国际流量，采集点在CMNET国际出口域名管控设备流量类型一：省间互访、IDC与省间互访的流量，采集点在CMNET骨干的BC节点流量类型四：对于IDC通过省网上行的省份，本省用户访问本省IDC的流量，采集点在省网内部CMNET骨干网国内运营商网络外部IDC国际运营商网络POP点POP点国际BI国际域名管控国内BI省网A省网B国内BC国内BC省内IDC不同颜色代表不同的采集点各省需要配合的工作IDC机房的路由与省网路由单独向CMNET宣告，不能合并各省向CMNET宣告的IDC机房路由，必须携带统一的路由属性：Community值9808:2017、target:9808:10007各省直连引入的外部ISP，也需要向骨干网广播时也需要携带上述Community以后CMNET将根据各省的IDCCommunity值来判断IDC机房路由各省核对实际宣告的IDC网段，和以前向集团汇总的IDC网段是否有出入IP网段和前缀长度必须一样以后各省IDC机房路由的更改，也需要携带条件1要求的的Community值IDC通过省网上联CMNET的省份，需要在省内部署流量采集策略，来统计本省用户访问本省IDC的流量（参考附件要求）-另行附带配置模板

目录CMNET网络管理规程CMNET投诉处理流程及案例CMNET故障定位方法CMNET投诉处理流程及案例CMNET骨干网故障处理流程CMNET投诉处理流程及案例CMNET省网和城域网故障处理流程CMNET投诉处理流程及案例测试环境说明：DNS解析情况业务测试抓包（可选，较复杂的故障需要进行此项测试）业务tracert情况：（tracert截图）ping测试情况：测试时间（请注意忙闲时）CMNET投诉工单填写要求一、现网测试情况确定该IP和域名是否在集团封堵列表之内。是否为DNS解析问题。是否为缓存问题。选取不同运营商电路测试，确定网站本身是否正常。是否第三方电路问题。是否骨干网问题。是否互联互通出口问题。二、初步排查情况CMNET投诉处理流程及案例初步结论：(故障原因为地址遭集团封堵/DNS问题/web缓存问题/P2P缓存问题/第三方问题/省网问题/骨干网问题。)已采取措施：

(已通过本地第三方处理/需要总部协助处理等)CMNET投诉工单填写要求三、预处理结论CMNET投诉工单填写方法CMNET投诉表（样例）

工单填写要求工单填写示例工单基本内容投诉用户IP地址：X.X.X.X访问域名或IP地址：WWW.X.COM投诉内容：无法打开XX网站，打开网站很慢等用户网络接入情况：专线、GPON，WLAN等紧急程度：非常紧急/紧急/一般现网测试情况测试环境说明：操作系统,源地址等DNS解析情况:是否正常业务测试抓包（可选，较复杂的故障需要进行此项测试）抓包测试情况业务tracert情况：路由跟踪的路径ping测试情况：ping结果测试时间（请注意忙闲时）

初步排查情况该IP和域名是否在集团封堵列表之内。是/否是否为DNS解析问题。是/否是否为缓存问题。是/否选取不同运营商电路测试，确定网站本身是否正常。是/否是否第三方电路问题。是/否是否骨干网问题。是/否是否互联互通出口问题。是/否预处理情况初步结论地址遭集团封堵/DNS问题/web缓存问题/P2P缓存问题/第三方问题/省网问题/骨干网问题等已采取措施已通过本地第三方处理/需要总部协助处理等CMNET投诉处理流程及案例通过多个运营商的网络对网站进行测试，判断网站当前服务是否正常，如果均无法访问则测试域名是否存在。查询网站是否被封堵：查询域名是否被封堵；查询IP是否被封堵；检查网站域名是否能正常解析；检查域名对应IP属于哪个运营商；检查省公司上报的Ping测试结果；检查省公司上报的Tracert结果；检查路由情况：检查《CMNET骨干网地址资源表》，确认该IP所在的路由器设备；登录相关设备检查下一跳的路由指向；如果下一跳进入对方运营商网内，则通过NNOC邮箱向对方投诉，如果下一跳是CMNET网内设备，则登录该设备，检查去源地址的路由是否正常；分析回程路由的问题，如发现回程路由到某点中断，则参照根据断点，参照第一步继续处理，直到问题解决；案例1：用户无法访问网站CMNET投诉处理流程及案例确认用户接入方式、访问的网站地址，以及下载的速度。分析省公司测试结果：分析ping测试结果；分析Tracert结果；对照资料表，查找延迟大对应的设备：调整后通知省公司再次测试，反馈测试情况。案例2：用户投诉上网速度慢首先检查该网站是否被封堵（宽广流控系统查询，2011年工单已经分配，JT-001-110616-00032，JT-001-110928-00028）；如果封堵，联系广东不良信息监测中心电邮箱dwnfjdxxjha@。如果未查到封堵记录，建议进行软件抓包，匹配目的地址的TCP报文，如果有检测到RST报文，可能是封堵，提供抓包结果并反馈总部协助定位。如果未检测到TCPRST报文，上报投诉工单联系集团公司排查网络侧、设备侧，定位故障原因。建议同时在联通、电信网内进行测试，以排除是网站自身原因。案例3：国际域名无法访问CMNET投诉处理流程及案例目录CMNET网络管理规程CMNET投诉处理流程及案例CMNET故障定位方法CMNET故障定位方法对于CMNET骨干网总部负责故障处理及指挥调度，对于需要设备所在省和南方基地进行处理的故障，通过工单方式通知设备所在省和南方基地。设备所在省和南方基地负责配合总部进行故障处理或根据总部的工单要求进行相关故障处理。各省公司和南方基地若发现全国CMNET骨干网设备故障，应立即上报总部协调处理。对于CMNET省网由各省公司负责组织故障处理，必要时可商总部网络部和其他省公司进行配合。对于CMNET城域网各地市公司接收省公司的故障工单，负责故障的处理工作。故障处理中的职责划分CMNET故障定位方法业务故障由于CMNET设备不能正常运行、局数据设置错误、互联互通故障、人为差错等各种原因，造成CMNET相关业务质量下降甚至中断。设备故障CMNET的主备用设备由于各种原因不能正常运行，对业务正常的运行造成隐患，但尚未影响业务。在业务故障和设备故障同时出现的情况下，定义为业务故障故障分类CMNET故障定位方法上报要求故障发现省必须在10分钟内上报到总部网络部。故障通报总部网络部在发现紧急故障或接到省公司报告后，应将紧急故障通报业务受影响的省。故障跟踪及处理总部和省公司按照分工职责，协调相关资源，抢通业务。若业务在短期内无法恢复，故障升级为重大故障，应按照重大故障的要求上报和处理。紧急故障：CMNET骨干网承载的某项或若干项业务中断，造成全网或部分省用户无法正常使用业务，称为紧急故障CMNET故障定位方法以下情况发生任意一种即为重大故障由于各种原因，造成全国CMNET骨干网或各省CMNET网络所承载的某项或若干项业务中断（如国际/国内出入口互联业务中断、骨干网域名服务中断、认证计费服务中断、省内/地市出