网络项目割接方案V18

中烟集团数据中心网络项目割接方案华为技术服务有限公司Huawei Technologies Co., Ltd.2017 年 6 月文档名称 中烟集团数据中心网络项目设备割接方案文档类别 技术文档 工程文档 培训文档 运维文档 项目文档 服务文档 其他 当前版本 1.1创建日期 2017.6.7数据中心网络项目割接方案 文档密级： 2018-7-31 第 2 页, 共 24 页文档主送部门 中烟集团数据中心文档作者联系方式修订记录修改记录 日期 修改人 审阅人 摘要V1.0 2017.6.1 建立文档V1.1 2017.6.8 建立文档数据中心网络项目割接方案 文档密级： 2018-7-31 第 3 页, 共 24 页目 录第一章 割接说明 .41.1 总体说明 41.2 人员安排 41.3 物料备件准备 51.4 组网结构 61.4.1 割接前组网结构 .61.4.2 割接后组网结构 .6第二章 割接规划 .92.1 设备端口规划 92.2 设备标签以及描述 9第三章 割接步骤 .113.1 离线测试 113.2 运行情况信息收集 113.3 备份数据 113.4 割接动作 11第四章 测试验证 .134.1 测试验证内容 134.1.1 设备状态检查 .13第五章 回退机制 .145.1 故障判断 145.2 紧急回退 14第六章 风险评估 .156.1 风险评估 15第七章 守局方案 .151、守局目的： .152、职守方式 .153、管理制度 .154、守局值班安排 .16第八章 配置模板 .17数据中心网络项目割接方案 文档密级： 2018-7-31 第 4 页, 共 24 页第一章 割接说明1.1 总体说明建设单位 集团施工单位 华为技术有限公司、北 京 银 信 长 远 科 技 股 份 有 限 公 司割接局点 中烟集团数据中心网络和营销中心涉及设备及版本号CE12804 V200R001USG6600 V500R001CE6851 V200R001割接及测试时间段 2017-6-17 08:00至2017-6-18 13:00回退时间段 13:00-21:00升级/割接简述：本次设备替换为,我司的 CE12804 替换现网的 Cisco Catalyst 6509 设备，USG6600替换现网的 juniper 设备。对原有硬件设备进行替换，涉及业务改变，原来的 OTV 将采用 VXALN 技术替代，其它配置原则上采用原有配置,接口地址有部分改变，由于设备软件版本不同命令会有变化，不对网络结构以及流量走向做改变。升级/割接影响： 此次操作将会影中断网络约2天。1.2 人员安排客户配合人员：小组编号 割接人员 单位 联系电话123华为公司人员：小组编号 割接人员 施工单位 联系电话123数据中心网络项目割接方案 文档密级： 2018-7-31 第 5 页, 共 24 页4北 京 银 信 人员：小组编号 割接人员 施工单位 联系电话1234其它人员：小组编号 割接人员 施工单位 联系电话12245678后端保障人员小组编号 保障人员 施工单位 联系电话1231.3 物料备件准备物料名称 数量 提供方 备注（物料 Bom 编码）光纤跳线 若干条 客户需要根据现场机房情况确定（单模/多模/长度/接口类型）光功率计 1 客户/集成商数据中心网络项目割接方案 文档密级： 2018-7-31 第 6 页, 共 24 页备用光模块 10 客户 使用本期采购未使用模块备用网线 若干 客户/集成商 原有网线长度不够或失效情况下使用线缆标签 若干 集成商数据中心网络项目割接方案 文档密级： 2018-7-31 第 7 页, 共 24 页1.4 组网结构1.4.1 割接前组网结构 原中烟数据中心和营销中心现有核心交换机 Cisco Catalyst 6509 和广域网路由器 Cisco 7606 已运行多年，系统容量不足、故障率升高。组网如下图：1.4.2 割接后组网结构核心区两台 CE12804（数据中心级交换机）横向堆叠成一台设备，然后虚拟成两台VS，数据中心 VS 与园区网 VS 与数据中心中间通过两台 USG6650 互联，中间USG6650 防火墙进行安全控制，USG6650 防火墙双机热备；数据中心 VS 设备通过波分链路与 CE6851 对接，实现 VXLAN 的分步式网关。园区网部署一个 VS 作为汇聚交换机，与互联网 USG6650 互联，提供安全控制。割接后组网图如下：数据中心网络项目割接方案 文档密级： 2018-7-31 第 8 页, 共 24 页1、数据中心组网图：VXLAN 设计图：数据中心网络项目割接方案 文档密级： 2018-7-31 第 9 页, 共 24 页第二章 割接规划VLAN，策略等沿用原有数据不做新规划，IP 设备端口互联用原有互联地址，根据网络拓扑做部分规划，具体见附件：中烟集团数据中心网络和营销中心网络项目 LLD1.3。2.1 设备端口规划具体接口连接根据中烟集团数据中心网络和营销中心网络项目 LLD1.3，现场配置再做具体调整；2.2 设备标签以及描述设备标签根据现有条件制定例如：安装位置 ：设备编码 ：管理地址 ：xxxx xxx xxxxxx 设备用途 ：XXX机房数据中心网络项目割接方案 文档密级： 2018-7-31 第 10 页, 共 24 页线缆标签模板：集团 集团Fr:设备名称 接口 To:设备名称 接口例如：集团 集团Fr: HW_CE12804 X1/0/1/0 To: 6F_HW_USG6650 2/0/0数据中心网络项目割接方案 文档密级： 2018-7-31 第 11 页, 共 24 页第三章 割接步骤3.1 离线测试在割接前对可预料的风险进行了离线测试，在割接前做好了充足准备规避相关风险，在未通过以下测试情况下不进行割接：1， 验证 Cisco 4506 千兆光口与 CE12800 千兆光口对接是否成功。2， CE12800 设备多模万兆单板千兆模块与 USG6650 多模千兆光口对接是否成功。3， 验证万兆模块在千兆多模/多模链路运行情况。4， 接口地址对应是否正确。5， 板卡热插拔，电源模块热插拔。6， VXLAN 分步式网关测试，倒换测试，检查测试是否正常。7， Cisco 4506 生成树协议与华为生成树协议对接。3.2 运行情况信息收集1,收集现网 C6509 C4506 juniper C7606 ASA5580 配置2，接口状态3，ARP 表，MAC 表，路由表3.3 备份数据保存现网设备配置至计算机。3.4 割接人员分组及安排由于割接工作跨越了两个机房，需要安排两组人员在两个机房实施，3.5 割接动作序号 时间 实施内容 操作步骤 预期结果、检查 方法 人员安排1 割接前一周 割接前准备工作1、设备安装、调试。2、线路铺设，完成本部与卷烟厂机房的线路布放，并且在割接前一周确认需要布放的线缆无误。1.1 割接前一周 光纤跳线铺设，线缆做好标签，设备脚本导入加电待命。1、检查设备配置，确认配置无误。2、将需要替换的光纤跳线铺设至相应机柜，割接线缆做好标签。细化网线和尾纤的标记方法：网线在配线架侧均做好标签，光纤在主机侧做好标签且要与需要割接的光纤的绑在一起，方便万一回滚。1.2 割接前一周 CE12804、CE6851、防火墙、各接入交换机联通，设备状态正常1、设备安装，线路连接。需要在割接确认完全无任何问题，例如 OSPF，BGP 等。2、波分设备安装配置完成，且完成与卷烟厂机房对接完成。3、光纤交换机需放线至新的OSN1800(待完成)EMC 人员负责成功/PING 通对端设备，OSPF、BGP 邻居关系正常。（华为）数据中心网络项目割接方案 文档密级： 2018-7-31 第 13 页, 共 24 页2 08:00-09:30 Vxlan 割接完成，集成商、华为、数据库/主机人员2.1 08:00-08：10 C6509,N7000 互联端口 shutdown,不下电。 将 C6509,N7000 互联端口shutdown。2.2 08:10-08：30 CE6851、N5548 对接，N5000 二层、生成树数据配置更改。完成 CE6851、N5548 线路对接，将新布线接至 N5000，生成树状态检测2.3 08:30-09：00Vxlan 调通后，安排一组 ORACLE RAC/DB2群集，首先联机进行测试，测试内容包括系统状态和切换措施，确认 RAC 及群集可正常工作(在此之后需把网口速率升成10GE)Oracle RAC、 HA 环境接入1、 Vxlan 联通后,将网口连至新装交换机，oracle 工程师确认 RAC 集群状态及业务是否正常 。2、 确认业务正常后，需要把IBM P750 网口速率升成10GE2.4 09:00-09:30 ORACLE RAC/DB2 群集业务观察，测试结果确认 Oracle RAC、 HA 环境测试。2.5视情况处理问题，时间不超过 2 小时如第 2.4 步测试业务不正常，进行问题排查。对数据进行对比，路由、MAC、ARP 表项查看。2.6 如不能排除，将进行回退，后面步骤不再执行 建议在配置更改时不做保存，等业务正常后保存，便于回退2.7 回退测试数据中心网络项目割接方案 文档密级： 2018-7-31 第 14 页, 共 24 页2.8 割接终止3 9:30-11：30 服务器迁移 部分服务器把网卡升至 10GE1、部分服务器把网卡升至10GE,需厂家和集成商完成配置,更换光模块，修改服务器配置。3.1 9:30-10:30 线缆迁移，服务器接入。1、 数据中心，服务器接至接入交换机上。PC-SERVER 在配线架侧依次跳线。2、 小型机需要主机侧完成换线操作，有些小型机运行双机业务，需维保厂家在完成换线操作后确认主机状态。3.2 9:30-11:00 业务观察，测试结果确认 检查各项业务的运行情况。3.3 视情况处理问题，时间为 1 小时 如第 3.2 步中 ERP、SEM 或有超过 30 台服务器测试业务不正常，进行问题排查。 对数据进行对比，路由、MAC、ARP 表项查看。3.4 如不能排除，将进行回退，后面步骤不再执行 建议在配置更改时不做保存，等业务正常后保存，便于回退3.5 回退测试3.6 割接终止数据中心网络项目割接方案 文档密级： 2018-7-31 第 15 页, 共 24 页4 10:00-12：00 互联网割接 完成（深信服, 集 成商、华为）10:00-10:30 互联网设备线路连接 完成 USG6650、AD4000、 Cisco 3560 连线与配置成功/PING 通对端设备，OSPF、邻居关系正常。（深信服, 集成商、华为）10:30-11:00 AD4000 配置将原有 ISG1000 的 PAT/NAT 配置转移到 AD4000（周末做好配置，不启用）深信服11:00-12:00 互联网业务测试 （各业务测试人员）3.4如互联网业务测试不通过,预计在 1 个小时内不能排除，将进行互联网割接项目的单独回退建议在配置更改时不做保存，等业务正常后保存，便于回退成功/PING 通对端设备，OSPF、BGP 邻居关系正常。（华为、集成商）3.5 回退测试回退后，业务检查（各业务测试人员）5 12:30-14:00 广域网割接5.1 12:30-13:00 进行广域网 USG6650，广域网设备的割接。 将新布线接至 CE12804，Cisco 7606成功/PING 通对端设备，OSPF、邻居关系正常。数据中心网络项目割接方案 文档密级： 2018-7-31 第 16 页, 共 24 页（C7606）人员安排、华为）5.2 13:00-13:30 网络测试 测试广域网链路，检查邻居关系和链路。华为、集成商、各卷烟厂网络管理人员5.3 13:00-14:00 业务测试 检查各项业务的运行情况。 （各业务测试人员）5.4 视情况处理问题，时间为 1 小时 如第 12 步测试业务不正常，进行问题排查。 对数据进行对比，路由、MAC、ARP 表项查看。 是否能解决5.5 如不能排除，将进行回退，后面步骤不在执行 建议在配置更改时不做做存，等业务正常后保存，便于回退回退后，业务检查（各业务测试人员）6 14:00- 园区网割接6.1 14:00-14:30 园区网设备联线与配置 楼层接入交换机、CE12804、无线控制器联线 华为、集成商6.2 14:30-15:00 园区网网络测试测试 WLAN 业务正常上网，出口业务访问与园区网与数据中心的互访联网访问园区网与数据中心华为、集成商、客户安排人员测试6.3 15:00-16:00 园区网业务测试 检查各项业务的运行情况。 成功（各测试人员）6.4 视情况处理问题，时间为 1 小时 对数据进行对比，路由、MAC、ARP 表项查看。 是否能解决数据中心网络项目割接方案 文档密级： 2018-7-31 第 17 页, 共 24 页6.5 建议在配置更改时不做做存，等业务正常后保存，便于回退回退后，业务检查（各业务测试人员）7 16:00-17:00 对各业务观察，再次确认业务是否正常 所有测试结果用表格形势反馈 割接完成割接时间窗为 2017-6-17 08:00 到 2017-06-18 17：00，保留序号 1-7 进行,具体时间根据现场情况作调整。其中分别为 VxLan、服务器、互联网、广域网、园区网各保留 2 小时、1 小时、1 小时、1 小时、1 小时排故时间，总计保留 6 个小时的排故时间，因此，本次实施原则上断网时间为 D 日上午 8 点至 D+1日 1 点，D+1 日 1 点至 17：00 为意外应急时间。数据中心网络项目割接方案 文档密级： 2018-7-31 第 19 页, 共 24 页第四章 测试验证4.1 测试验证内容目前了解的有数据业务，广域网接入业务等。序号 测试项目 操作及预期 备注1 互联网业务互联网正常访问各大网站，收发邮件，登陆各业务系统办公，测试WLAN业务正常上网，出口业务访问与园区网与数据中心的互访 2 数据业务数据中心VXLAN正常访问，断开主链路后，VXLAN业务是否正常切换开会时选择3-4个应用3 广域网接入业务 PING通对端网关IP。4 视频会议业务实际使用视频会议系统，图形无卡顿乱码，语音清晰。5 Vxlan业务ORACLE RAC/DB2 群集，联机进行测试，测试内容包括系统状态和切换措施，确认 RAC 及群集可正常工作4.1.1 设备状态检查1，设备 CPU 占用率/内存占用率2，接口错包统计，接口 UP，MAC 表，ARP 、对比路由表与割接前收集数据对比。接口错包统计:display this interface brief在链路端口下查看端口状态是否 UP：display this interface查看接口下 MAC 地址学习情况:display mac-address查看接口下 ARP 表项:display arp对比路由表:dis ip route-table数据中心网络项目割接方案 文档密级： 2018-7-31 第 20 页, 共 24 页第五章 回退机制为防止割接过程中出现不可预料的异常，我们制定了相应的回退机制。针对割接时间窗内操作预期可能存在的风险项定义应对方案。如果出现以下情况在预定时间窗内不能恢复，则进行回退操作。变更失败定义:1，波分链路、以太网链路无法 UP。2，各路由协议状态不正常。3，验证测试不通过。4，所带业务出现中断或者时延较大，在 60 分钟之内如不能恢复正常。5、割接计划中说明的其他事项5.1 故障判断故障情况 操作步骤 预期结果、检 查方法波分链路、以太网链路无法UP检查链路光功率，端口协商状态，更换模块。检查网线连通性，更换网线。时间窗内排除直接回退。业务恢复/回退路由协议不正常 检查配置，根据状态信息排查。时间窗内排除直接回退。 业务恢复/回退出现单个电源模块失效、主控板、业务板失效。单模块运行，在 24 小时内更换。时间窗内排除直接回退。 业务恢复/回退业务出现中断或者时延较大 时间窗内排除直接回退。 业务恢复/回退VXLAN对接不成功 检查配置，根据状态信息排查。时间窗内排除直接回退。 业务恢复/回退VXLAN对接成功ORACLE RAC/DB2群集，首先联机进行测试，测试内容包括系统状态和切换措施，确认RAC及群集可正常工作业务恢复/回退互联网USG6650割接测试 WLAN 业务正常上网，出口业务访问与园区网与数据中心的互访联网访问园区网与数据中心，时间窗内排除直接回退。业务恢复/回退广域网设备的割接。 测试广域网业务，测试不成功，时间窗内排除直接回退。 业务恢复/回退数据中心网络项目割接方案 文档密级： 2018-7-31 第 21 页, 共 24 页5.2 紧急回退具体回退步骤：1， 线缆拆除，恢复原有设备线缆连接。2， 原设备互联端口打开。5.3 应急计划：广域网、园区网割接时出现以下情况且无法在 1 个小时内解决，将考虑进行应急：1、 多个广域网节点无法接入2、 园区网接入交换机出现故障，导致多个楼层无法连接网络3、 WLAN 系统失效，wifi 用户无法连入4、 出现设备不稳定或用户访问系统速度慢的问题5、 其他尚未预见的问题主要措施：1、 系统暂时放弃主备架构，修改为单设备或单线路运行2、 安排在周日进行单项故障排查数据中心网络项目割