一级分行核心网络系统结构优化调整项目设计方案

1、 一级分行核心网络系统结构优化调整项目设计方案第 1 页 共 39 页 中国工商银行数据中心（北京）版本号：1.0 一级分行核心网络系统高可用性调整（安全方案实施之前）（项目编号: 2005091）一级分行辖内网络结构优化调整及安全项目组二二六年四月十八日六年四月十八日实施方案 一级分行核心网络系统结构优化调整项目设计方案第 2 页 共 39 页 中国工商银行数据中心（北京） 文档属性属性内容项目名称：中国工商银行一级分行辖内网络结构优化调整及安全项目项目编号：文档主标题：一级分行核心网络系统高可用性调整实施方案（安全项目实施之前）文档副标题：文档编号：文档版本号：1.0版本日期：2006-4

2、-18文档状态：作者：中国工商银行一级分行辖内网络结构优化调整及安全项目组 文档变更过程版本修正日期修正人描述1.02006年4月18日中国工商银行一级分行辖内网络结构优化调整及安全项目组初稿 本版本变更内容描述序号修改内容描述1修改服务器分拆ip地址为24位掩码，重新规划网段 一级分行核心网络系统结构优化调整项目设计方案第 3 页 共 39 页 中国工商银行数据中心（北京）第第 1 章章方案概述方案概述.51.1.内网交换机可用性调整.51.1.1.服务器部署.51.1.2.服务器 ip 地址调整.71.1.3.综合布线.81.1.4.内网交换机扩容.81.1.5.服务器调整详细设计.91.

3、2.分行 sna 网络部署.131.3.部署防火墙之前高可用性调整方案.141.3.1.结构描述.141.3.2.方案调整要点.151.3.3.路由调整要点.151.3.4.剩余风险分析.18第第 2 章章实施规划实施规划.182.1.vlan 规划表.182.2.服务器连接关系规划.202.3.网络设备连接规划.212.3.1.内网交换机与其他设备的连接关系及地址规划.212.3.2.骨干交换机与其他设备的连接关系及地址规划.222.3.3.中小规模分行上联路由器与其他设备的连接关系及地址规划.222.3.4.大规模分行 snasw 路由器与其他设备的连接关系及地址规划.22第第 3 章章方

4、案实施步骤方案实施步骤.233.1.内网服务器部分服务器物理连接布局调整.233.1.1.实施条件.233.1.2.实施目标.233.1.3.实施前准备.233.1.4.实施步骤.233.1.5.验证与回退.243.2.内网服务器部分服务器 ip 地址调整阶段 .243.2.1.实施条件.243.2.2.实施目标.243.2.3.实施前准备.243.2.4.实施步骤.243.2.5.验证与回退.273.2.6.垃圾清理.273.3.网络结构调整阶段.283.3.1.实施条件.283.3.2.实施目标.283.3.3.实施前准备.283.3.4.实施步骤.293.3.5.验证与回退.343.4.

5、上联路由器 llc2、ip 端口调整 .34 一级分行核心网络系统结构优化调整项目设计方案第 4 页 共 39 页 中国工商银行数据中心（北京）3.4.1.实施条件.343.4.2.实施目标.343.4.3.实施前准备.343.4.4.实施步骤.353.4.5.验证与回退.38第第 4 章章方案变更安排方案变更安排.38 一级分行核心网络系统结构优化调整项目设计方案第 5 页 共 39 页 中国工商银行数据中心（北京）第第 1 章章 方案概述方案概述1.1.内网交换机可用性调整内网交换机可用性调整1.1.1. 服务器部署服务器部署（1）服务器分类模型其中重要业务服务器参照生产管理办法中引起 3

6、 级问题的部属在分行的应用服务器业务划分。有备份服务器根据应用系统是否为热备份服务器进行区分，不包括冷备服务器。分为使用操作系统级 ha 技术热备份（目前不建议使用）服务器和应用级热备份服务器（如通用网关/cite 前置） ，对于应用级热备份服务器，采用独立三层备份。其中对于单点服务器目前使用单接入，(可用的技术有 nic teamming 等，目前不建议使用)（2）重要服务器部属原则制定内网服务器部署原则的指导思想是尽可能减少可能影响分行全辖业务的故障点和降低网络设备之间的关联度，一级分行因 1 台内网交换机工作异常(包括端口、板卡、整机 down 和处于“半死不活”异常状态)而不会导致分行

7、全辖重要业务中断。 一级分行核心网络系统结构优化调整项目设计方案第 6 页 共 39 页 中国工商银行数据中心（北京）服务器部署的总体原则如下：原则一：对于具有 ip 地址热备能力的服务器，必须将服务器均匀分为两组分别接入内网交换机 a、b。两组各起一个 vlan，假设分别为 vlan v1 和v2，则 vlan v1 的 vrrp/hsrp 必须活在 a 上，v2 的 vrrp/hsrp 活在 b上。有两种情况需要说明：a)多访问多：这种情况下，多台有 ip 地址热备能力的服务器集 s1 访问多台同样具有ip 地址热备能力的服务器集 s2，把 s1 和 s2 各自通过 vlan 分割均匀分组

8、，如 s1 分割为 s11 和 s12，s2 分割为 s21 和 s22。在内网交换机 a 上部署s11、s21，s11 和 s21 的 hsrp 活在 a 上（以下简称一类 vlan） ；b 上部署s12、s22，s12 和 s22 的 hsrp 活在 b 上（以下简称二类 vlan） ；b)多访问一或一访问多：如服务器 s1 和 s2 都需要访问服务器 s3，由于存在 s3 的单点，则把s1、s2、s3 均部署于同一台交换机(原因见原则二)，不需要把 s1 和 s2 分组，但 s1 和 s2 必须接入在交换机的不同板卡。原则二：有访问关系的服务器必须接入同一台内网交换机，hsrp 也必须活

9、在同一台交换机上。有一种情况需要说明：如果一个 vlan 内的两台功能不同的服务器 s11、s21 分别需要访问交换机 a、b 上的服务器 s12、s22，则按照原则二的要求 s11 接入 a，s21 接入 b。s11 的 hsrp 活在 a 上，s21 的 hsrp 活在 b 上。但 s11、s21 属于同一 vlan，不能满足 hsrp 分别活在两台交换机的要求。这种情况下必须先对s12 和 s22 进行 vlan 拆分。原则三：有备份服务器(包括 ha 备份、一对一冷备)部署时主用服务器根据所在 vlan 的布局要求接入在一台交换机上，备份服务器接入到另外一台交换机，hsrp 活在主用服

10、务器接入的交换机上。对于 ha 备份服务器，这种部署方式无法保证在出现类似河北故障模式下的网络传输，但可以保证服务器接入的板卡故障或者交换机整机故障 一级分行核心网络系统结构优化调整项目设计方案第 7 页 共 39 页 中国工商银行数据中心（北京）情况下的正常切换。考虑到交换机板卡或者整机故障的概率远大于“半死不活”的概率，选择以上接入方法。对于 1 对 1 冷备服务器， 备份服务器也需要进行网络接入，可以接入在另外一台交换机的相同端口或不同端口。如果接入在相同端口（主要是可以节省端口） ，主用服务器的网络接入出现故障时拔出另一台交换机相同端口的备份服务器网线，插入主用服务器网线，对于备份服务

11、器的网线标签可以通过不同的颜色和主用服务器进行区分。主用服务器出现故障时直接启用备份服务器的端口即可。原则四：对于没有备份的单点服务器，可根据内网交换机连接的服务器的数量在两台交换机上均衡部署，以后可以考虑使用 nic teaming 技术实现到两台交换机的接入。原则五：对于没有备份的单点服务器及非重要服务器，仍然连接到 2 台交换机上的 vlan（以下简称第三类 vlan） ，保证 hsrp 活在内网交换机 a 上。原则六：在满足原则一至四的前提下分行根据具体情况尽量把服务器调整到两台交换机上，可以通过调整为第一类或第二类 vlan，或者通过调整第三类 vlan 内部的服务器分布达到两台交换

12、机负载均衡。1.1.2. 服务器服务器 ip 地址调整地址调整现有的 ip 地址分配不做原则性的改动，将现有的具备备份功能的重要服务器的 vlan 拆分成为 2 个 vlan，新使用一个 c 类地址，每个 vlan 使用 24 位的掩码。对于无备份的服务器 vlan、ip 地址和服务器布局和 vlan 仍然保留目前的布局，使用 24 位的掩码。对于有备份的重要服务器 vlan，两台交换机启动三层 vlan，配置vrrp（hsrp） ，采用虚地址做服务器 default gateway，并将 vrrp(hsrp)存活在服务器布局的一侧； 一级分行核心网络系统结构优化调整项目设计方案第 8 页 共

13、 39 页 中国工商银行数据中心（北京）1.1.3. 综合布线综合布线由于保留了 trunk 进行 2 层 vlan 跨交换机的设计，仍然可以使用目前一级分行辖内网络结构优化调整项目标准实施方案 v1.4的基础布线资源。根据服务器连接交换机的布局调整进行相应的跳线调整。1.1.4. 内网交换机扩容内网交换机扩容 对于超过 200 台服务器的行，可选用 2 台 cisco 4507 及以上的交换机、华为6506r 以上的交换机进行扩展（图中的 c,d 交换机） ，原则上要求内网服务器接入交换机配备双引擎。为了避免交换机扩展引起大量的 ip 地址调整，内网交换机之间使用二层 trunk 进行连接。

14、45rt01-a145rt02-a175wa01-a175wa02-a1bf12wa01-a1nf12wa01-a1nf12wa02-a1bf12wa02-a1bf65sw0a-a1nf65sw01-a1nf65sw02-a1bf65sw0b-a175wa03-a175wa04-a165rt0a-c165rt0b-c1分分行行辖辖内内网网络络结结构构图图（内内网网交交换换机机扩扩展展为为4台台）02fw0a-a1 02fw0b-a1 65sw0c-c165sw0d-c1ha交换机扩展采用二层无环连接方式，扩展交换机 c/d 分别单连接（可以 2 条捆绑为 channel 使用）交换机 a/b；

15、同时在交换机 c/d 上部署一条冷备份链路分别连接交换机 b/a，实施时做好软件连接配置，华为交换机在交换机 a/b 上手工软件 shutdown 连接交换机d/c 的端口。cisco 交换机在 c/d 上配置 backup interface 自动进行链路切换。重要服务器相互备份 vlan 必须部署在交换机 a 和交换机 b 上，跨交换机 一级分行核心网络系统结构优化调整项目设计方案第 9 页 共 39 页 中国工商银行数据中心（北京）vlan 部署在交换机 c 和 d 上，也可以部署在交换机 a 和 b 上在这种布局方式下，serverfarm 交换机由 2 台扩展为 4 台时路由不需要调

16、整。尽量将重要备份服务器在 a 和 b 上部署，减少设备故障对重要服务器的影响。1.1.5. 服务器调整详细设计服务器调整详细设计对于有备份的重要服务器 vlan，两台交换机启动三层 vlan，配置hsrp/vrrp，采用虚地址做服务器的 default gateway，并将 hsrp/vrrp 存活在服务器布局的一侧。服务器调整内容包括接入调整和 ip 地址调整，具体的 ip地址调整的原则是：现有的 ip 地址分配不做原则性的改动，将需要分拆的关键业务服务器的vlan 拆分成为 2 个 vlan，新的 vlan id 为原有 vlan id40，vlan ip 地址为目前 c 类地址128（

17、目前 c 类地址128） ，每个 vlan 仍然使用 24 位的掩码。对于其它服务器的 vlan， ip 地址和服务器布局仍然保持现状，使用 24 位的掩码。vlan 分拆后的 ip 地址和网关分配如下：假设分拆前的 ip 地址网段为 a.b.c.0/24，分拆为 2 个网段：a.b.c（c128).0/24，hsrp/vrrp 网关的实地址为 a.b.c.251（交换机a）和 a.b.c.252（交换机 b）,虚地址为 a.b.c.254，设置交换机 b 的vrrp/hsrp 为高优先级。根据各分行反馈信息，目前分行以下重要业务服务器需进行调整：柜面业务：b 类网关、cite 前置、cts

18、前置等服务器自助业务：a 类网关、综合前置、密押、金卡前置等服务器中间业务：中间业务平台通讯前置、中间业务平台、a 类(或 b 类)网关等服 一级分行核心网络系统结构优化调整项目设计方案第 10 页 共 39 页 中国工商银行数据中心（北京）务器电话银行：g700、语音网关、语音关守、ivr、95588 服务器等相关服务器国际结算业务：国际结算应用服务器、国际结算数据库服务器。生产用户接入：操作员机器各一级分行对以上业务必须进行相关服务器部署调整，分行认为重要但没有包括在内的业务也可以进行调整。根据 1.1.1 的服务器调整原则，对分行的服务器调整规划如下：1、柜面业务：对于 cite 前置上

19、收(或部分上收)的分行，假设上收的 cite 前置为 m 台，b 类网关有 n 台，则分为两组，n/2 台 b 类网关和 m/2 台 cite 前置(组一)接入内网交换机 a，另 n/2 台 b 类网关和 m/2 台 cite 前置(组二)接入交换机 b；如果出现奇数台数不能被 2 整除的情况，考虑到网关的负载均衡，两台交换机上分布的 cite 前置和 b 类网关数目应大致成比例，如有 6 台cite 前置、3 台 b 类网关，可以考虑 4 台 cite 前置和 2 台 b 类网关接入交换机 a，另 2 台 cite 前置和 1 台 b 类网关接入交换机 b。具体分组时分行需要应用人员配合在考

20、虑服务器负载的情况下分组，尽可能做到服务器的压力负载均衡。cite 前置和 b 类网关所在的 vlan 一分为二，原有 vlan300 的 ip 地址网段调整为 x.0.1.0/24，新起 vlan340，ip 地址网段为 x.0.129.0/24。服务器的 ip 地址分别调整到相应网段，设置 hsrp/vrrp 网关。hsrp/vrrp网关分别活在接入的交换机上。投产新终端平台的分行，由于网点图形终端需要访问 cite 前置和 cts 前置、cite 前置需要访问 cts 前置、cts 前置和 cite 前置都需要访问 b 类网关，因此对 cts 前置也需要均匀分组。cts 前置能够访问多台

21、 b 类网关，cts 前置可以访问多台 b 类网关，因此应用人员可修改 cts 前置配置指向多台 b 类网关，可通过设置权 一级分行核心网络系统结构优化调整项目设计方案第 11 页 共 39 页 中国工商银行数据中心（北京）重优先指向本组网关。对于 cite 前置访问 b 类网关，由于有的分行b 类网关数目较少，如果每组网关只有 1 台，易产生单点。因此对于cite 前置访问 b 类网关也要求通过修改 cite 前置配置设置权重优先指向本组网关，同时以较低的优先权访问另一组网关。cite 前置只能访问一台 cts 前置，对 cite 前置需要进行和 cts 类似的配置。cts 前置分组后分别放

22、入 vlan300 和 vlan340 网段。目前分行 cite 前置对 b 类网关的访问采用的是根据权重，从可选网关中随机选择一台进行连接，即每次建立连接时都是以一定的概率连接到某一台 b 类网关。为此，需要应用人员修改 cite 前置机配置，使得每台 cite前置优选本组的 b 类网关。二级分行的 cite 前置仍然可以根据权重选择b 类网关，不需要修改配置。一个地市行至少要连接到不同网段的两个 cite 和两个 cts 前置机。有的分行 b 类网关做了负载均衡，对外提供一个虚地址，需要对其一分为二，每组接入不同交换机，对外提供两个网段的虚地址。 2、自助业务：综合前置主服务器、a 类网关

23、、综合前置密押服务器、中间业务平台、自助终端前置和其它与综合前置有互访关系的服务器接入同一台交换机且hsrp/vrrp 都活在该接入交换机上。综合前置的备份服务器接入另外一台交换机上，hsrp/vrrp 活在主用服务器接入的交换机上，不需要进行 vlan 拆分。由于一级分行所有的自动柜员机都需要访问综合前置，自动柜员机的 nac地址都需要厂家进行烧制在 eprom 上，如果修改综合前置地址则牵涉到的地址修改范围较大，因此，此次不修改综合前置地址。假设综合前置部署于交换机 a，则综合前置访问的 a 类网关 ip 地址修改为划分后的 vlan300 的 ip 地址段 x.0.1.0/24；如果综合

24、前置部署于交换机b 上，则 a 类网关地址修改为 x.0.129.0/24。 一级分行核心网络系统结构优化调整项目设计方案第 12 页 共 39 页 中国工商银行数据中心（北京）3、中间业务平台：目前分行对 maps 中间业务平台访问网关没有统一规划，有的分行访问 a类网关，有的分行访问 b 类网关。由于 a 类网关较少，建议分行的应用人员修改 maps 中间业务平台的访问地址，指向 b 类网关，便于负载均衡。maps 中间业务平台均匀分组，vlan 304 拆分出 vlan 344,一台部在vlan304，网段为 x.0.17.0/24；另一台部在 vlan344，网段为x.0.145.0/

25、24。两组服务器分别接入在各自 vlan 的 hsrp/vrrp active 的交换机上。通过应用技术人员修改中间业务平台访问的 b 类网关地址，指向接入在同一台交换机上的 b 类网关地址。如果分行的中间业务还有其它单点服务器，比如数据库服务器，则不需要进行 vlan 拆分，中间业务平台和数据库服务器接入同一台交换机，只访问本台交换机接入的网关。4、电话银行业务：电话银行托管分行的服务器包括 g700、二级分行语音网关，相关服务器分组，vlan 进行拆分为 2 个独立的 vlan。电话银行独立分行的相关服务器包括：cti 服务器、ivr、省际语音网关、二级分行语音网关、电话银行 a 类网关。

26、由于存在 a 类网关的单点，所有服务器调整到电话银行 a 类网关接入的交换机，vlan 的 hsrp/vrrp 活在该交换机行上。5、国际结算业务：国际结算服务器（包括应用服务器和数据库服务器）做 ha 的分行分别接入两台交换机。国际结算业务的应用服务器和数据库服务器分开的分行，由于数据库服务器存在单点，所有的服务器接入同一台交换机，相应 vlan 的 hsrp/vrrp也必须活在该交换机上。国际结算应用服务器只能指向一台通用网关，存在单点。 一级分行核心网络系统结构优化调整项目设计方案第 13 页 共 39 页 中国工商银行数据中心（北京）6、生产用户接入：生产用户所在 vlan 按照上述原

27、则进行拆分，生产用户均匀分组，放入相应网段。这样分组的好处一是可以提高生产用户的可用性，二是可以在交换机故障时便于利用生产用户机器排查故障。7、网点接入要求网点接入互相备份的服务器（如 cite 前置） ，要以网点为单位进行访问配置，不要以二级分行为单位进行，避免造成整个二级分行的故障。1.2.分行分行 sna 网络部署网络部署通用网关 sna llc2 的部署内网交换机 a 必须连接 snasw1，内网交换机 b 必须连接 snasw22 台交换机上的 llc2 端口通过 trunk 划分到同一 vlan。连接在内网交换机 a 上的通用网关的目标 mac 指向 snasw1，连接在内网交换机

28、 b 上的通用网关的目标 mac 指向 snasw2。通用网关 ip 端口和 llc2 端口必须连接在同一台交换机上。上联路由器 llc2、ip 端口调整目前各行上联（snasw）路由器连接骨干交换机的端口使用同一板卡，这种情况下，这块板卡的故障会导致上联路由器脱网，会造成连接在本路由器上的通用网关无法连通数据中心主机。snasw 根据一级分行辖内网络结构可用性调整项目标准实施方案 v1.4的网间网地址规划，分行的65rt0a-c1 连接上联路由器 1 的 llc2 端口 f0/0/1（中小规模行），分行的65rt0a-c1 连接 snasw 路由器 1 的 llc2 端口 f0/0/0（大规

29、模行）；分行的65rt0b-c1 连接上联路由器 2 的 llc2 端口 f0/0/1（中小规模行），分行的65rt0b-c1 连接 snasw 路由器 2 的 llc2 端口 f0/0/0（大规模行）。各分行的45rt0a-a1 连上连路由器 1 和上连路由器 2 的 f0/0/0 端口, 45rt0b-a1 连上连路由器 1 和上连路由器 2 的 f0/1/0 端口。对上连路由 一级分行核心网络系统结构优化调整项目设计方案第 14 页 共 39 页 中国工商银行数据中心（北京）器而言，其连接45rt0a-a1 和45rt0b-a1 的两个端口 f0/0/0 和f0/1/0 位于不同的板卡上

30、，这种设计保证了上连路由器对下的两条链路不会因为一块板卡的故障而导致两条对下链路的中断，有效的利用了方案中对链路冗余的设计。（对上连路由器 2 同理）。但在一级分行辖内网络结构优化调整项目的具体实施过程中，发现大多数分行并未严格按照方案执行，大多数分行将45rt0a-a1 和45rt0b-a1连接上连路由器 1 或上连路由器 2 的端口部署在了同一块板卡上（目前大部分分行 445rt0a-a1 和45rt0b-a1 分别连接上连（snasw）路由器 1的 f0/0/0 和 f0/0/1 端口）。这种部署方法增大了安全隐患，为提高一级骨干网络的高可用性，各一级分行应严格按照标准方案实施对上述问题

31、进行整改。大规模分行 snasw 路由器和骨干交换机的路径调整大规模分行 snasw 路由器的骨干交换机之间采用的动态等价路由，数据流出入不一致，任何一台骨干交换机的不稳定都有可能影响 sna 数据，造成全辖故障，需要调整为不等价路由保证 2 台 snasw 路由器来回路径一致并各住走一台骨干交换机。1.3.部署防火墙之前高可用性调整方案部署防火墙之前高可用性调整方案1.3.1. 结构描述结构描述骨干交换机和内网交换机采口字型连接方式，保持两台内网交换机之间的二层 trunk 连接，对于应用上冗余热备份的重要服务器部署到两台内网交换机上，并使用单独的三层 vlan 地址，确保正常情况下重要服务

32、器的出入数据流在内网交换机和骨干交换机之间保持一致，但对于其他服务器仍然保持现状。骨干交换机和内网交换机之间采用口字型连接方式时的结构如下： 一级分行核心网络系统结构优化调整项目设计方案第 15 页 共 39 页 中国工商银行数据中心（北京）c245rt0a-a145rt0b-a165rt0a-c165rt0b-c175wa01-a175wa02-a175wa03-a175wa04-a1第一类vlan第三类vlan第二类vlanc1ab注入汇总cost 20公告第二类vlan明细注入汇总cost 25汇总注入eigrp delay 1第二类vlan明细注入eigrp汇总注入eigrp dela

33、y 20eigrp注入ospf83,84默认cost=20eigrp注入ospf83,84汇总cost=25ip ospf cost 12注注：将将所所有有思思科科交交换换机机计计算算ospf cost的的参参考考带带宽宽改改为为10000m经过对内网交换机的优化调整，内网交换机上的 vlan 被分成了三类：（1）第一类 vlan：该 vlan 中的所有服务器都必须物理连接到内网交换机 a 上，该 vlan 的 vrrp 或 hsrp 主活在内网交换机 a 上（2）第二类 vlan：该 vlan 中的所有服务器都必须物理连接到内网交换机 b 上，该 vlan 的 vrrp 或 hsrp 主活在

34、内网交换机 b 上（3）第三类 vlan：该 vlan 中的服务器可以物理均衡连接到两台内网交换机上，该 vlan 的 vrrp 或 hsrp 主活在内网交换机 a 上如图所示：服务器 a 属于第一类 vlan，物理连接到内网交换机 a 上；服务器b 属于第二类 vlan，物理连接到内网交换机 b 上；服务器 c1 属于第三类 vlan，物理连接到内网交换机 a 上；服务器 c2 属于第三类 vlan，物理连接到内网交换机 b 上。1.3.2. 方案调整要点方案调整要点（1）骨干交换机和内网交换机之间采用口字型连接方式：骨干交换机 a 连接内网交换机 a 的端口属于 vlan 286，该 vl

35、an 只建立在骨干交换机 a 上；骨干交换机 b 连接内网交换机 b 的端口属于 vlan 289，该 vlan 只建立在骨干交换机 b 上。内网交换机 a 连接骨干交换机 a 的端口属于 vlan 一级分行核心网络系统结构优化调整项目设计方案第 16 页 共 39 页 中国工商银行数据中心（北京）380，该 vlan 只建立在内网交换机 a 上；内网交换机 b 连接骨干交换机b 的端口属于 vlan 383，该 vlan 只建立在内网交换机 b 上。（2）两台骨干交换机之间保留 trunk 连接。（3）两台内网交换机之间保留 trunk 连接。（4）两台骨干交换机之间通过 vlan 270

36、建立 ospf neighbor。（5）两台内网交换机之间通过 vlan 389 建立 ospf neighbor。1.3.3. 路由调整要点路由调整要点通过调整某些 vlan 的 cost 值以及路由重分发时的参数来影响路由的选路，保证正常情况下第一类 vlan 和第三类 vlan 的数据流通过左边的设备传输，第二类 vlan 的数据流通过右边的设备传输，而且来回路径一致，以避免当同一层双机热备中的一台出现“半死不活”的状态时对另外一台造成影响。（1）将思科交换机上 ospf 65xxx 中的 auto-cost reference-bandwidth 调整为10000m，以保证整个 osp

37、f 域的 cost 计算的一致性和准确性，这样无论是思科交换机还是华为交换机，所有三层 vlan 的 ospf 默认 cost 都为10。（2）总行、数据中心及其他分行的路由调整在骨干交换机 a 上向 ospf 65xxx 中分发 eigrp 65000 中的 83 和 84 汇总路由（cost 值为 20） ，向 ospf 65xxx 中分发 extranet 网、总行和其他分行的静态路由（cost 值为 20） ；在骨干交换机 b 上向 ospf 65xxx中分发 eigrp 65000 中的 83 和 84 汇总路由（cost 值为 25） ，向 ospf 65xxx 中分发 extra

38、net 网、总行和其他分行的静态路由（cost 值为 25） 。正常情况下，一级分行除第二类 vlan 外(第一、三类 vlan 及二级分行)访问总行、数据中心及其他分行的数据包都会到达骨干交换机 a，最终访问数据中心（上海）和上海分行的数据包都会发送给75wa02-a1，访问总行、数据中心（北京）和其他分行的数据包都会发送给75wa01-a1；第二类 vlan 内的服务器访问总行、数据中心及其他分行的数据包都会到达骨干交换机 b，最终访问数据中心（上海）和上海分行的数据包都会发送给75wa02-a1，访问总行、数据中心（北京）和其他分行的数据包都会发送给75wa01-a1。 一级分行核心网络

39、系统结构优化调整项目设计方案第 17 页 共 39 页 中国工商银行数据中心（北京）（3）本一级分行内网路由的调整在骨干交换机 a 上使用静态 null0 路由汇总本行的 a 类路由，并分发到eigrp 65000 中（delay 为 1） ；在骨干交换机 b 上使用静态 null0 路由汇总本行的 a 类路由，并分发到 eigrp 65000 中（delay 为 20） ，同时在骨干交换机 b 上向 eigrp 65000 中分发 ospf 65xxx 中第二类 vlan 的明细路由（delay 为 20） 。正常情况下，总行、数据中心和其他分行访问一级分行内网第一类 vlan 数据包都会到

40、达骨干交换机 a 上，最终到达内网交换机 a 上的第一类 vlan 服务器；总行、数据中心和其他分行访问一级分行内网第二类 vlan 服务器的数据包都会到达骨干交换机 b，最终到达内网交换机 b 上的第二类 vlan 服务器；总行、数据中心和其他分行访问访问一级分行内网第三类 vlan 服务器的数据包都会到达骨干交换机 a，或者最终到达内网交换机 a 上的第三类 vlan 服务器，或者到达内网交换机a 后，经过 trunk 到达内网交换机 b 上的第三类 vlan 服务器。在内网交换机 a 上使用静态 null0 路由汇总内网交换机的路由，并分发到 ospf 65xxx 中（cost 值为 2

41、0） ；在内网交换机 b 上使用静态 null0 路由汇总内网交换机的路由，并分发到 ospf 65xxx 中（cost 值为 25） ，同时在内网交换机 b 上将第二类 vlan 加入 ospf 65xxx 的 area 0 中。正常情况下，二级分行和网点访问一级分行内网第一类 vlan 服务器的数据包都会到达骨干交换机 a，最终到达内网交换机 a 上的第一类 vlan 服务器；二级分行和网点访问一级分行内网第二类 vlan 服务器的数据包都会到达骨干交换机 b，最终到达内网交换机 b 上的第二类 vlan 服务器；二级分行和网点访问一级分行内网第三类 vlan 服务器的数据包都会到达骨干交

42、换机 a，或者最终到达内网交换机 a 上的第三类 vlan 服务器，或者到达内网交换机 a 后，经过 trunk 到达内网交换机 b 上的第三类 vlan服务器。在骨干交换机 a 上使用静态 null0 路由汇总本行计算中心的路由，并分发到 ospf 65xxx 中（cost 值为 20） ；在骨干交换机 b 上使用静态 null0路由汇总本行计算中心的路由，并分发到 ospf 65xxx 中（cost 值为25） 。把两台内网交换机之间互联 vlan 的 ospf cost 值加大为 12，以尽量避免 一级分行核心网络系统结构优化调整项目设计方案第 18 页 共 39 页 中国工商银行数据中

43、心（北京）正常情况下数据流量通过 trunk 发送。对于内网交换机 a，从 ospf 来看，到数据中心的路由从骨干 a 会优先学到，对于内网交换机 b，从骨干 b 学到，数据包到达骨干 b 后，由于eigrp 路由 distance（90）小于 ospf（110） ，数据包优先发送到上联wan。对于内网交换机 a，从 ospf 来看，到二级分行的路由从骨干 a 会优先学到，对于内网交换机 b，从骨干 b 学到，数据包到达骨干 b 后，优先选择明细路由发送到下联 wan。大规模分行 snasw 1 路由器连接交换机 2 的端口 delay 调整为 11，使snasw1 的 sna 数据流优先发送

44、到骨干交换机 a; snasw 2 路由器连接交换机 1 的端口 delay 调整为 11，使 snasw2 的 sna 数据流优先发送到骨干交换机 b大规模分行骨干交换机 a 连接 snasw2 路由器的 vlan 的 delay 调整为2，使上联 wan 的 sna 数据流优先发送到骨干交换机 a；骨干交换机 b连接 snasw1 路由器的 vlan 的 delay 调整为 2，使上联 wan 的 sna 数据流优先发送到骨干交换机 b；1.3.4. 剩余风险分析剩余风险分析1、根据最新的信息系统管理制度 ，任何一台内网交换机的故障仍然会导致全辖 3级事件。第第 2 章章 实施规划实施规划

45、2.1.vlan 规划表规划表逻辑安全区域vlan 号用 途后的新vlan应用位地址范围服务器 一级分行核心网络系统结构优化调整项目设计方案第 19 页 共 39 页 中国工商银行数据中心（北京）300a.0.1.0/24300柜面业务313/3400001a.0.113.0/24/a.0.129.0/24通用网关、cite 服务器301a.0.17.0/24301电子银行3410001a.0.145.0/24呼叫中心、网银mq、atm 监控302a.0.33.0/24302批量数据3420001a.0.161.0/24报表反传、批量代理后台、后督后台、缩微后台303a.0.49.0/2430

46、3外围系统3430001a.0.177.0/24资金调拨、大额支付、国际结算、清算中心、b 股开户、计财、牌价、大屏320a.0.241.0/24320营业部所有生产服务器3600001a.0.225.0/24营业部所有生产服务器310通用网关llc20001a.0.97.0/24304a.0.65.0/24304中间业务3440001a.0.193.0/24综合前置后台、中间业务后台、跨行系统后台,自助终端柜面业务应用区370379生产用户370-3730000a.0.(0,16,240).0/24含 ecc 用户305a.0.81.0/24经营管理应用区305经营管理3450001a.0.

47、209.0/24信贷台账、管理 mis、数据仓库、综合报表、法律案件、固定资产306a.0.14.0/24306办公管理3461110a.0.142.0/24notes、网讯数据库、网上教学数据库、人事考核后台、公文、档案后台、ad、dhcp、wins321a.0.254.0/24321营业部所有综合服务器3611110a.0.128.0/24营业部所有综合服务器307a.0.12.0/24307语音视频（ip 电话、视频会议）3471100a.0.140.0/24视频会议、语音网关322a.0.252.0/24办公管理应用区322营业部 ip语音/视频3621100a.0.124.0/24营

48、业部 ip 语音/视频308a.0.243.0/24ecc管理应用区308ecc 管理应用 vlan3480011a.0.115.0/24b/s 结构的 ecc 管理的应用和 db其他安380389防火墙网0100a.0.244.0/28 一级分行核心网络系统结构优化调整项目设计方案第 20 页 共 39 页 中国工商银行数据中心（北京）间网398设备loopback环回地址0011a.0.3.0/32全区399设备 sc0管理地址0011a.0.19.0/24交换机二层312a.1.115.0/24ecc管理隔离区312ecc 管理隔离 vlan3520011a.1.243.0/24aaa、

49、防病毒、应用/数据库服务器、ids、加密机管理端，openview、网管报表、log、ntp、dns、consoleserver、ecc 集中监控、应用系统监控、存储网络监控、beb集中备份应用/数据库服务器500a.1.1.0 /24500柜面及外围业务5400001a.1.129.0 /24批量代理、后督、缩微、资金调拨、大额支付、国际结算、清算中心、b 股开户、计财、牌价、大屏前置机或 web 服务器520a.1.113.0/24柜面业务隔离区520营业部所有生产隔离服务器5600001a.1.241.0/24营业部所有生产隔离服务器501a.1.17.0/24经营管理隔离区501经营管

50、理5410001a.1.145.0/24数据仓库、综合报表、法律案件、固定资产前置机或 web 服务器502a.1.14.0/24办公管理隔离区502办公管理5421110a.1.142.0/24网讯、网上教学、人事考核、档案（本表按所有服务器具备应用级冗余热备份进行规划，需根据分行情况进行修订，凡是分拆过的 vlan 一律使用 25 位掩码，划归为第一、二类 vlan，没有分拆过的使用 24 位掩码，划归为第三类 vlan） 一级分行核心网络系统结构优化调整项目设计方案第 21 页 共 39 页 中国工商银行数据中心（北京）2.2.服务器连接关系规划服务器连接关系规划交换机名称vlan 号调

51、整前连接的交换机端口对端设备名称对端设备地址端口模式调整后连接的交换机端口调整后连的vlan370f6/5生产用户 huba.0.32.110-115autof6/675wa01-a1f0/0/1autof6/71 号网关（a.0.97.0/24）llc2autof6/82 号网关（a.0.97.0/24）llc2autof6/93 号网关（a.0.97.0/24）llc2autof6/104 号网关（a.0.97.0/24）llc2autof6/115 号网关（a.0.97.0/24）llc2autof6/128 号网关（a.0.97.0/24）llc2autof6/139 号网关（a.0.

52、97.0/24）llc2autof6/1414 号网关（a.0.97.0/24）llc2auto310f6/15备用网关（a.0.97.0/24）llc2autof6/16备用网关a.0.1.xxauto fullauto 100f6/171 号网关a.0.1.80auto fullauto 100f6/182 号网关a.0.1.81auto fullauto 100f6/193 号网关a.0.1.82auto fullauto 100f6/204 号网关a.0.1.83auto fullauto 100f6/215 号网关a.0.1.84auto fullauto 100f6/228 号网关

53、a.0.1.87auto fullauto 10065rt0a-c1（94.3.3.21）300f6/239 号网关a.0.1.88auto fullauto 100 一级分行核心网络系统结构优化调整项目设计方案第 22 页 共 39 页 中国工商银行数据中心（北京）f6/2414 号网关a.0.1.93auto fullauto 100302f6/25报表代理a.0.33.79auto fullauto 100303f6/28国际结算（主用机）a.0.49.108auto fullauto 100f6/29银证通 dba.0.65.75autof6/30综合前置atmpa.0.65.99au

54、to304f6/31综合前置hpa.0.65.100auto2.3.网络设备连接规划网络设备连接规划2.3.1. 内网交换机与其他设备的连接关系及地址规划内网交换机与其他设备的连接关系及地址规划本端设备名称端口costip 地址vlan对端设备名称端口ip 地址vlan备注g3/0/13g1/210a.3.228.2/3038045rt0a-a1g3/2a.3.228.1/30286连骨干交换机 ag2/0/15g1/165rt0b-c1g2/0/15g1/1trunk 互连（channel）g2/0/16g1/365rt0b-c1g2/0/16g1/3trunk 互连（channel）g3/

55、0/1465rt0b-c1g3/0/14冷备 trunk互连65rt0a-c1华为交换机配置思科交换机配置12a.0.4.1/2838965rt0b-c1a.0.4.2/28389ospf neighborg3/0/13g1/210a.3.228.14/3038345rt0b-a1g3/2a.3.228.13/30289连骨干交换机 bg2/0/15g1/165rt0a-c1g2/0/15g1/1trunk 互连（channel）g2/0/16g1/365rt0a-c1g2/0/16g1/3trunk 互连（channel）g3/0/1465rt0b-c1g3/0/14冷备 trunk互连65

56、rt0b-c1华为交换机配置思科交换机配置12a.0.4.2/2838965rt0a-c1a.0.4.1/28389ospf neighbor 一级分行核心网络系统结构优化调整项目设计方案第 23 页 共 39 页 中国工商银行数据中心（北京）2.3.2. 骨干交换机与其他设备的连接关系及地址规划骨干交换机与其他设备的连接关系及地址规划本端设备名称端口costip 地址vlan对端设备名称端口ip 地址vlan备注45rt0a-a1g3/210a.3.228.1/3028665rt0a-c1g3/0/13a.3.228.2/30380连内网交换机 a45rt0b-a1g3/210a.3.228

57、.13/3028965rt0b-c1g3/0/13a.3.228.14/30383连内网交换机 b2.3.3. 中小规模分行上联路由器与其他设备的连接关系及地址规划中小规模分行上联路由器与其他设备的连接关系及地址规划75wa01f0/0/1192.168.a.1/2465rt0a-c1fx/xvlan 310a.0.97.251/2475wa01f0/0/0a.3.132.1/2845rt0a-c1f5/3vlan 200a.3.132.14/2875wa01f0/1/0a.3.132.33/2845rt0b-c1f5/3vlan 202a.3.132.46/2875wa02f0/0/1192

58、.168.a.1/2465rt0b-c1fx/xvlan 310a.0.97.252/2475wa02f0/0/0a.3.132.17/2845rt0b-a1f5/4vlan 201a.3.132.30/2875wa02f0/1/0a.3.132.49/2845rt0b-a1f5/4vlan 203a.3.132.62/282.3.4. 大规模分行大规模分行 snasw 路由器与其他设备的连接关系及地址规路由器与其他设备的连接关系及地址规划划75sa01f0/0/0192.168.a.1/2465rt0a-c1fx/xvlan 310a.0.97.251/2475sa01f5/0/0a.3.1

59、32.65/2845rt0a-c1f5/10vlan 220a.3.132.78/2875sa01f0/1/0a.3.132.97/2845rt0b-c1f5/10vlan 222a.3.132.110/2875sa02f0/0/0192.168.a.1/2465rt0b-c1fx/xvlan 310a.0.97.252/2475sa02f5/0/0a.3.132.81/2845rt0b-a1f5/11vlan 221a.3.132.94/2875sa02f0/1/0a.3.132.113/2845rt0b-a1f5/11vlan 223a.3.132.126/28 一级分行核心网络系统结构优

60、化调整项目设计方案第 24 页 共 39 页 中国工商银行数据中心（北京）第第 3 章章 方案实施步骤方案实施步骤3.1.内网服务器部分服务器物理连接布局调整内网服务器部分服务器物理连接布局调整3.1.1. 实施条件实施条件（1）已经完成vlan 规划表（2）已经完成服务器连接关系规划表3.1.2. 实施目标实施目标（1）完成有备份重要服务器及关联服务器的连接布局调整3.1.3. 实施前准备实施前准备（1）按应用服务器的部署完成vlan 规划表（2）按服务器部署原则填写服务器连接关系规划表（3）按最终规划完成新老跳线资源表并打印相应的跳线标签3.1.4. 实施步骤实施步骤（1）保存内网交换机的