华为NE5000E单框升级至22集群方案v

/中国电信2009年ChinaNet扩容工程华为NE5000E单框升级至2+2集群方案方案编写：李昕版本编号：1.4 方案审核： 方案批准：Confidential目录1 概述 12 NE5000E集群介绍 12.1 产品组件简介 12.1.1 CLC 22.1.2CCC 42.2集群系统介绍 82.3 2+2集群线缆连接 102.3.1控制平面互联 102.3.2数据层面互联 112.4单级交换和多级交换 112.4.1单级交换 112.4.2多级交换 122.5中央交换框MPU故障切换机制 132.5.1系统各角色简介 132.5.2MPU故障切换流程 133NE5000E单框升级至2+2集群步骤 163.1总体升级思路 163.22+2集群必备条件确认 173.2.1VRF版本确认 173.2.2硬件确认 173.32+2集群实施步骤 173.3.1NE5000E2+1安装 173.3.2NE5000E单机操作系统升级 223.3.3NE5000E单机并框操作 324NE5000E多框2+2集群测试 365应急回退处理 366多机框升级后收尾工作 387日常维护重点关注项 38概述《NE5000E多框2+2集群指导手册》适用于华为公司数通产品NE5000E集群产品的新建和扩容工程的工程里集群交换框的勘测，本指导书可与NetStar工勘模块结合使用，指导勘测设计工程师进行数通产品的现场勘测、工程设计。在阅读本指导书前，应该对华为数通产品有最基本的认识，我们假定本指导书的读者已经阅读了数通各产品的《技术手册》、《安装手册》等。上述手册可以通过华为技术支持网站获得，网址。本文档仅限于中国电信集团2009年ChinaNet扩容工程相关用户及中盈优创相关人员使用。NE5000E集群介绍产品组件简介QuidwayNetEngine5000E核心路由器（简称NE5000E）是华为公司按照电信级可靠性要求设计的一款大容量、高性能路由器。NE5000E操作系统采用功能强大的通用路由平台VRP（VersatileRoutingPlatform），具有交换能力强、端口密度大和可靠性高的特点。主要定位于运营商骨干网络的超级核心节点、城域网核心节点、大型IDC出口节点和大型企业网络的核心。在NE5000E的基础上华为公司又开发出了NE5000E多框集群路由器。NE5000E多框集群路由器系统是由多台NE5000E单机框设备通过华为公司新开发的集群交换框（CCC，ClusterCentralChassis）集群组成的逻辑单一的超级核心路由器，NE5000E单机框设备又称为线卡框（CLC，ClusterLine-cardChassis）。CLCNE5000E单机框设备又称为线卡框（CLC，ClusterLine-cardChassis）。图1：此图为华为NE5000E单框产品，只适用于单框业务使用，不适用于集群。图2：此图为华为NE5000E单框产品，既适用于单框业务，也适用于集群。NE5000E多框集成，对于CLC框来说，是否有能力集成主要取决于MPU（主控板）、SFU（交换矩阵）和SFEA（适用于多框集成的交换矩阵）。MPU位于图1和图2设备17、18号槽位（图1和图2设备上框从左边数第五、六槽位），SFU位于图1设备19、20、21、22号槽位（图1设备下框从左边数第五、六、七、八槽位），SFEA位于图2设备19、20、21、22号槽位（图2设备下框从左边数第五、六、七、八槽位）。1）MPU图3图4图3所示为不适用于集成的MPU，板卡上存在3个RJ45接口（ETH0、console、AUX）。图4所示为适用于集成的MPU，板卡上存在4个RJ45接口（ETH0、ETH1、console、AUX）。简单的说，3口的MPU不能做集群，4口的MPU可以做集群。2）SFU图5图5所示为不适用于集成的SFU，只是用于进行单框数据交换的交换矩阵。3）SFEA图6图6所示为既适用于单框，也适用于集成的SFEA，单框情况下可以拥有原SFU的功能；在多框集群的功能下，可以用于高速光纤带的互联，进行多框之间的数据转发。2.1.2CCC集群交换框（CCC，ClusterCentralChassis），多框集群路由器系统是由多台NE5000E单机框设备通过华为公司新开发的集群交换框组成的逻辑单一的超级核心路由器。简而言之CCC的主要目的就是要将多个CLC框集成为一体，充当其大脑。前视图图7图7为CCC框的前视图，图中包括主控板、ICU、ECU。1）主控板图8图8为CCC框主控板，最多可以插2个，提供主备切换。2）ICU图9图9为ICU板，用于提供CCC框和LCC框之间控制平面的互连。3）ECU图10图11图10为ECU板，用于提供CCC框和LCC框之间数据平面的互联。图11为OFC光子卡，为CCC框和LCC框之间数据平面互联提供接口。后视图图11图11为CCC框后视图，图中包括风扇，二级交换网板。1）风扇图12图12为2个离心风扇。2）二级交换网板图13图13为二级交换网板，每台CCC框的满配为8块，6块就可以满足设备正常工作需求，另外2块留为备份。2.2集群系统介绍NE5000E多框集群路由器主要定位于骨干网的超级核心节点，支持三层路由、MPLS转发，同时也支持二层桥接。其中，集群交换框作为2级交换模块及路由引擎模块，线卡框作为1级和3级交换和转发模块。根据系统中集群交换框的数量，NE5000E多框集群路由器可以分为：1）CCC-0系统：CCC-0系统中没有集群交换框，两台线卡框直接相连。两台线卡框分别称为主框和从框，该系统又被称为背靠背系统。2）CCC-1系统：CCC-1系统中有一台集群交换框，线卡框的数量可以选择，最多可以连接4台线卡框。3）CCC-2系统：CCC-2系统中有两台集群交换框，线卡框的数量可以选择，最多可以连接8台线卡框。2+2集群线缆连接2.3.1控制平面互联图142.3.2数据层面互联图152.4单级交换和多级交换2.4.1单级交换1）就像个车站2）本地进站，本地出站入线入线出线2.4.2多级交换如果一个交换网络中的交换单元可以分为N级，顺序命名为第1,2,…,N级,并且满足：所有入线都只与第1级交换单元连接；所有第1级交换单元都只与入线和第2级交换单元连接；所有第2级交换单元都只与第1级和第3级交换单元连接；依此类推，所有第N级交换单元都只与第N-1级和出线连接;则称这样的交换网络为多级交换网络，或N级交换网络。112312344出线入线1）每级都像一个车站2）本地进站，异地出站3）对应交换芯片分别称之为S1、S2。。。SN4）S1进站，SN出站，中间为中转站，禁止入出在NE5000E的2+2集群中，CLC框为第一、三级交换，CCC框为第二级交换。2.5中央交换框MPU故障切换机制2.5.1系统各角色简介1）每台中央交换框都存在各自的主用MPU、备用MPU，上图分别用“M”、“S”表示。2）集群后的中央交换框，同一时间只存在一个“系统主”用来进行数据转发，和一个“系统备”，其余都为“slave”。2.5.2MPU故障切换流程1）正常情况下，中央交换框会选举出“主框主用主控板”为系统主，“备框主用主控板”为系统备，其余为“slave”。如下图：“1”为系统主（图中标绿），“3”为系统备，“2、4”为“2）当“主框主用主控板（系统主）”DOWN掉后（图中标红），会将“备框主用主控板”选举为“系统主”，“主框备用主控板”选举为系统备，其余为“slave”。如下图：“3”为系统主（图中标绿），“2”为系统备，“4”为“3）当“备框主用主控板（系统主）”DOWN掉后（图中标红），会将“主框备用主控板”选举为“系统主”，“备框备用主控板”选举为系统备，此时已经没有“slave”。如下图：“2”为系统主（图中标绿），“44）当“主框备用主控板（系统主）”DOWN掉后（图中标红），会将“备框备用主控板”选举为“系统主”，这时已经不存在“系统备”和“slave”了。如下图“4”为系统主（图中标绿）3NE5000E单框升级至2+2集群步骤3.1总体升级思路目前陕西国干NE5000E单框系统大包版本号为V200R003C02B265，此版本不适用于集群所需版本的最低要求，要更换版本到V300R006C02SPC001版本，需要设备中断业务重启；在设备版本达到既定需求后，需要指定系统再次重启后并入2+2集群的角色ID。无论如何设备都需要进行重启操作，所以此次陕西国干2+2集群，针对现网运行的单框NE5000E并入集群操作，采取中断业务方式。有两种操作流程供选择：1）首先进行NE5000E2+1集群系统的安装调试；然后将现网单框NE5000E业务中断，进行大包版本升级后重启；之后设置系统再次重启后并入2+2集群的角色ID，进行设备断电；然后更换SFEA板卡，并连接集群与单框设备间的线缆，加电进行并框操作，并进行集群硬件测试；最后将翻译好的现网四维配置文件拷贝至中央交换框中，加载流量，进行流量测试。2）首先进行NE5000E2+1集群系统的安装调试；事先准备好两块适用于集群用的NE5000E的MPU（操作系统已升级至目标版本，且已设置好系统启动后并入2+2集群的角色ID）；将现网单框NE5000E终端业务，并断电，用事先准备好的MPU直接将原MPU替换，更换SFEA板卡，并连接集群与单框设备间的线缆，加电进行并框操作，并进行集群硬件测试；最后将翻译好的现网四维配置文件拷贝至中央交换框中，加载流量，进行流量测试。综合以上两种操作流程，个人认为流程“2）”最为简介、安全、省时、方便，但是前提得需要有多余的两块MPU备件才行。具体如何选择，请参考现实情况。3.22+2集群必备条件确认3.2.1VRF版本确认升级前需要检查当前设备的版本信息，各历史版本升级到当前的版本情况如下表所示。历史版本信息：版本发布日期升级说明V200R0012006NE5000E单框可以直接升级V200R0022007NE5000E单框可以直接升级V200R003C022008-09NE5000E单框，背靠背可以直接升级V300R005C012009-6-08NE5000E单框，背靠背和多框可以直接升级NE5000E2+2集群至少需要R5版本，而且包括CCC和CLC四台设备的版本要统一，此次开局所用版本为V300R006C02SPC001！3.2.2硬件确认1）适合2+2集群的NE5000E的MPU，必须是“四口的MPU”，包括ETH0口、ETH1口、Console口、AUX口。有两种型号的MPU——MPU/A、MPU/B，不论哪种型号，只要是四口的，都可以适用于集群扩容。2）适合2+2集群的SFU，必须被SFEA所替换。3.32+2集群实施步骤3.3.1NE5000E2+1安装1）NE5000E2+1硬件安装。参考附件“NE5000E多框集群安装和扩容操作视频”多机箱安装重点关注项：检查木箱和纸箱等外观是否有被雨淋,碰伤,破损等异常,若存在所述异常,必须拍照记录,对于有明显隐患的单板记录下条码信息,以备后续重点关注;检查中央交换框顶部是否存在明显变形(顶部变形可能会影响整机的散热效果);交换框机框插入机柜过程中,不能抓取机箱前后保护盖板的小抬手,只能抓取机箱底部两侧的大抬手(用力抓取保护盖板的小抬手可能会导致盖板上固定的镙丝受损,给单板固定带来隐患);安装电源模块电源线时优选使用25mm2的线缆,并配合25mm2的裸压端子;若现场使用的为35mm2的线缆,则需要将35mm2的裸压端子打磨后才能放入安装;电源模块上的PGND,电源部推荐不需要安装,但必须将机箱背面的PGND接地端子安装上;若局方要求一定要接电源模块上的PGND,则建议使用50mm2的电缆配合打磨过的50mm2的裸压端子进行安装;电源线缆安装完毕后方可插下机箱前后的保护盖板;插保护盖板时应选择合适的大十字镙丝刀;如果拆卸时发现镙丝滑牙,则需要使用箝子将镙丝拧下,拧的时候应保证扭力与镙丝垂直;万一发现镙丝被拧断的现象,则需要使用手电钻配合2mm的钻头将残留在机箱中的镙钉钻出;电钻过程中要保证钻头方向和镙钉平行,避免损伤镙母的镙纹;单板插入前应特别重点的检查下单板的连接器是否存在歪斜或损伤;建议上电后先插入主控板,其他单板先虚插入,待整机电源,风扇状态正常时再依次插入其他单板;由于ECU单板较重,插入时阻力较大,建议先插入1,8槽位,插入时注意ECU的连接器别和MPU,ICU单板的扳手产生碰撞;光子卡插入前应先检查光子卡的公头连接器是否存在倒针或弯针现象;插入到ECU单板时速度应放慢,避免光子卡的连接器与ECU的扳手碰撞;为了使光子卡正确的插入到ECU单板的底部,有时需要将光子卡的扳手稍微向左用力才能将扳手受力点导入ECU拉手条内部的缺口上;级联72芯光纤盘纤重点注意事项;盘纤半径应不小于30mm;光缆拆下金属保护罩后应立即插入到光子卡,保护罩应密封保存好,为后面的光缆防尘做好准备;目前我司提供的盘纤盒最大的盘纤长度为20m;最大可盘放4根光缆(每根盘5m),如果现场的光缆长度过长,则优先选择在走线架上的走线槽内进行盘纤.特别长的部分可通过改造盘纤盒解决(将盘纤盒的转动旋钮拆除,手动盘纤),如下图所示;光缆上架时安装时建议以4根为1组进行走线捆绑,并对每根光缆做上简单的标识,每根光缆的两端都有白色序列号标签,同一根光缆的序列号相同;如下图所示:然后对照安装指导手册要求的顺序进行级联;光缆的捆绑需要使用我司配合发货的尼龙扎带,避免使用线扣捆绑;72芯光缆布置完成后可在隐含模式下使用checkfabricchannel命令进行检查,详细判断请参考<<多框故障处理指导书>>,脏污的光纤头需要使用专用的光缆清洁纸擦拭;交换框上的走线槽为MPU,ICU接口上的网线预留的走线槽格,网线请选用走线槽两端的槽格进行布线;硬件安装完毕后需要按照局方的要求对交换框设备贴上面膜标识(CCC1或CCC2);2）NE5000E2+1线缆连接，参考2+2方式，如下图：注：原现网运行NE5000E单框设备作为2+2的CLC1框来用图16图173）设备加电，用命令将NE5000E的两个CCC和一个CLC集群到一起，并指定各自框在集群中的角色ID。CCC1：System-viewSetnext-run-modeccc-2/**设置下次启动后的产品形态为CCC-2**/Setchassis-id1/**设置主要CCC框ID,主要交换框ID必须为1**/Displaynext-run-mode/**用来检查下次启动后的产品形态是否正确**/Displaychassis-id/**用来检查框ID是否正确**/Reboot/**重启CCC1，必须重启才能生效**/CCC2：System-viewSetnext-run-modeccc-2/**设置下次启动后的产品形态为CCC-2**/Setchassis-id2/**设置备用CCC框ID为2**/Displaynext-run-mode/**用来检查下次启动后的产品形态是否正确**/Displaychassis-id/**用来检查框ID是否正确**/Reboot/**重启CCC2，必须重启才能生效**/CLC2：System-viewSetnext-run-modeccc-2/**设置下次启动后的产品形态为CCC-2**/Setchassis-id2/**设置CLC框ID为2**/Displaynext-run-mode/**用来检查下次启动后的产品形态是否正确**/Displaychassis-id/**用来检查框ID是否正确**/Reboot/**重启CLC2，必须重启才能生效**/4）2+1集群硬件起来后，进行集群硬件测试。请参考“华为NE5000E多框2+2集群测试手册”。3.3.2NE5000E单机操作系统升级1）保存当前系统信息。风险评估：无操作时间：0：00点之前完成操作命令：DisplayisispeerDisplaybgppeerDisplaydevicedisplayversionDisplaypowerDisplayfandisplayinfo-centerDisplaycpu-usagedisplaycpu-usageslaveDisplaymemory-usageDisplaymemory-usageslaveDisplaytemperatureDisplaycurrent-configuration。。。。。。。。。如遇故障解决：无2）将大包V300R006C02SPC001版本灌入原有操作系统替换原V200R003C02B265版本。风险评估：无操作时间：0：00点之前完成操作命令：升级流程请参考附件：“NE5000EV300R005C01版本升级指导书”如遇故障解决：将引导文件重新定义回原来的系统版本3）将原有单框设备的配置命令，由三维更改成四维，详见附件：“xianC1.cfg”、“xianC2.cfg”。风险评估：高。注意文件扩展名为“.cfg”，而且文件名不能为中文。而且脚本中必须要将所有bgp邻居shutdown，isis设置为set-overload，所有端口shutdown。操作时间：0：00点之前完成操作命令：无如遇故障解决：用之前保存好的现网配置文件将其替换。4）将isis的metric值调大，将流量调空。风险评估：低，此时各个方向的所有链路的metric值已最大，流经此设备的流量已经绕行。操作时间：0：00开始（40分钟）操作命令：isis1set-overload之后进行流量观察如遇故障解决：如果以上无法将流量调控，那么将所有端口metric值加大，并重新观察（时间需要延后15分钟）5）将全部BGP邻居都DOWN掉。风险评估：中，当BGP邻居关系DOWN掉后，本设备所连所有方向的BGP邻居会在网管上出现告警信息。操作时间：0：00—0：40（40分钟）操作命令：bgp4134ipv4-familyunicastundopeer1enableundopeer1enableundopeer0enableundopeer22enableundopeerenableundopeer0enableundopeer51enableundopeer52enableundopeer18enableundopeer87enableundopeer80enableundopeer81enableundopeer9enable如遇故障解决：无6）将全部端口都DOWN掉。风险评估：低，此时设备流量已完全与网络中断，并且设备脱网，只能用console口进行管理。操作时间：0：40结束（40分钟）操作命令：interfaceGigabitEthernet12/0/0shutdown#interfaceGigabitEthernet12/0/1shutdown#interfaceGigabitEthernet12/1/0shutdown#interfaceGigabitEthernet12/1/1shutdown#interfacePos1/0/0shutdown#interfacePos1/0/1shutdown#interfacePos1/1/0shutdown#interfacePos1/1/1shutdown#interfacePos2/0/0shutdown#interfacePos2/0/1shutdown#interfacePos2/1/0shutdown#interfacePos2/1/1shutdown#interfacePos3/0/0shutdown#interfacePos3/0/1shutdown#interfacePos3/1/0shutdown#interfacePos3/1/1shutdown#interfacePos4/0/0shutdown#interfacePos4/0/1shutdown#interfacePos4/1/0shutdown#interfacePos4/1/1shutdown#interfacePos5/0/0shutdown#interfacePos5/0/1shutdown#interfacePos5/1/0shutdown#interfacePos5/1/1shutdown#interfacePos6/0/0shutdown#interfacePos6/0/1shutdown#interfacePos6/1/0shutdown#interfacePos6/1/1shutdown#interfacePos7/0/0shutdown#interfacePos7/0/1shutdown#interfacePos7/1/0shutdown#interfacePos7/1/1shutdown#interfacePos8/0/0shutdown#interfacePos8/0/1shutdown#interfacePos8/1/0shutdown#interfacePos8/1/1shutdown#interfacePos9/0/0shutdown#interfacePos9/0/1shutdown#interfacePos9/1/0shutdown#interfacePos9/1/1shutdown#interfacePos10/0/0shutdown#interfacePos10/0/1shutdown#interfacePos10/1/0shutdown#interfacePos10/1/1shutdown#interfacePos11/0/0shutdown#interfacePos11/0/1shutdown#interfacePos11/1/0shutdown#interfacePos11/1/1shutdown如遇故障解决：无7）保存，重启。风险评估：无操作时间：0：40—1：10开始操作命令：无如遇故障解决：无8）检查硬件状态信息。风险评估：高，设备加电启动后，要严格查看设备硬件，版本信息。操作时间：1：10—1：20（30分钟）操作命令：无如遇故障解决：如果硬件识别有问题，进行版本回退，或更换MPU，或中断此次集群割接（时间需要延后30分钟）3.3.3NE5000E单机并框操作1）版本升级结束后，设置设备下次启动后的产品形态，及指定单框在集群中的角色ID。风险评估：低，此配置在重启后才会生效。操作时间：1：20—1：30（10分钟）操作命令：CLC1（现网单框NE5000E设备）：System-viewSetnext-run-modeccc-2/**设置下次启动后的产品形态为CCC-2**/Setchassis-id1/**设置CLC框ID为1**/Displaynext-run-mode/**用来检查下次启动后的产品形态是否正确**/Displaychassis-id/**用来检查框ID是否正确**/如遇故障解决：将其配置删除。2）清除此单框配置文件风险评估：中。这步可以不做，因为单框重启并入2+2集群后，原配置文件将会失效，亦无法读取。如果配置文件不清除，将会便于多框回退单框的操作。建议跳过此步骤。操作时间：1：30—1：35（5分钟）操作命令：resetsaved-configuration如遇故障解决：重新将配置文件导入。3）保存，设备断电。风险评估：无操作时间：1：35结束（5分钟）操作命令：无如遇故障解决：无4）将原SFU板更换成SFEA板。风险评估：中，更换SFEA板卡需要小心，不要造成损伤，否则会影响此次集群升级。操作时间：1：35—1：50（15分钟）操作命令：无如遇故障解决：无5）按照图16、图17的方式进行控制平面和数据平面的线缆连接，并确认。风险评估：高，所有控制平面和数据平面连线连接要小心，高速光纤带不要弯曲过大，注意防尘，否则会出现有些纤芯无法识别，影响集群质量。操作时间：1：50—2：20（30分钟）操作命令：无如遇故障解决：如果出现纤芯设备无法完全识别的情况，根据现场故障定位，视情况更换高速光纤带，或SFEA板。6）设备加电启动，检查硬件状态信息，进行集群硬件测试。风险评估：高，设备加电启动后，要严格查看设备硬件，版本信息，还有与此次集群相关的SFEA板卡是否正常识别。此时在单框NE5000E加电的同时，已经带电运行的2+1一并重启。操作时间：2：20—3：10（50分钟）操作命令：无如遇故障解决：SFEA板卡如果识别有问题，现场会有备件，如有需要可以进行更换。（时间需要延后15分钟）。如果集群无法识别，华为工程师协助排查，此步骤如果硬件故障无法回避，那么更换备件，否则需回退。此步骤如果回退，请参考“5应急回退处理”。7）由CCC框进行配置下发，进行流量恢复操作，并检查配置状态。风险评估：高，流量一旦恢复，设备将重新被网管管理，注意不要冒然进行中断操作。操作时间：3：10—3：30（20分钟）操作命令：将之前转变好的四维配置文件从CCC框中拷贝进去，观察配置文件是否正常配置，并依次进行以下操作：1、打开所有端口；（ping大包测试）2、开启所有BGP连接；3、将isis参数修改为undoset-overload如遇故障解决：此步骤如果数据状态有问题无法回避，需回退，请参考“5应急回退处理”。8）进行流量、系统状态测试风险评估：低操作时间：3：30开始操作命令：DisplayisispeerDisplaybgppeerDisplaydevicedisplayversionDisplaypowerDisplayfandisplayinfo-centerDisplaycpu-usagedisplaycpu-usageslaveDisplaymemory-usageDisplaymemory-usageslaveDisplaytemperatureDisplaycurrent-configuration。。。。。。。。。如遇故障解决：此步骤如果数据状态有问题无法回避，需回退，请参考“5应急回退处理”。4NE5000E多框2+2集群测试测试要在2+2并框完成后，加载配置前；加载配置后再进行业务