千兆以太网及小型机集群系统证券营业部的成功应用

1、千兆以太网及小型机集群系统证券营业部的成功应用顾红用户需求与问题任何一个做为营业部领导的企业家，非常清楚经营是需要投资的，但投资必须要获得增值的效益。那么哪些是可以使投资获益的呢？其中一项就是做为营业部核心的计算机系统。这个计算机系统要求第一：可靠不能停机，第二：性能高、速度快。如果系统发生停机，将给营业部造成巨大的损失。如果系统性能低、速度慢，各项交易业务就不能正常运行，影响委托交易量。重庆国投北京证券营业部做为一家异地券商，规模较大。网络信息点1200个，交易时，网上在线用户数750个。问题一：但随着证券市场的发展，营业部的发展，几年前的计算机系统已经开始阻碍其正常的交易业务，主要体现在：

2、行情“火爆”时，交易量大时，两市交易量超过500亿时，交易系统有发生“堵单”现象，为了减轻股民委托“堵单”的发生，营业部不得不限制交易期间股民的交割、查询等交易基本服务，从而影响了营业部的服务质量和形象。问题二：上网慢，“钱龙”分析系统在使用过程中发生“黑屏”现象。这些都直接影响了营业部交易量的增长。诺威解决方案经过系统分析，“问题一”被确定是由于交易服务器硬件处理能力达到了极限而发生的，原交易服务器是Compaq ProLiant 5000 Server，内存512MB，CPU是双Intel Pentium Pro 200MHz，系统软件是NT4.0 + SQL Server 6.5。“问题

3、二”被确定是由于网络设备和网络结构以及行情服务器硬件承载能力不够而产生的，原来的网络设备是由3Com Switch 3000为核心，Switch 1000为二级交换机和几十台3Com Hub组成的三级网络结构。原行情服务器是Compaq ProLiant 5000 Server，内存512MB，CPU是双Intel Pentium Pro 200MHz，磁盘I/O是40Mb/s吞吐量的Smart-2DH Array Controller，配置为RAID5的三块7200rpm硬盘，系统软件是NetWare4.11 1000Users + Novell Pack 5。解决“问题一”的方案，经过论证

4、，最合理的就是采取价格便宜、性能高超的Alpha小型机集群解决方案。解决“问题二”的方案，经过论证，最合理的就是采取性能高，功能全面的Cisco千兆网络解决方案，以及采用Compaq ProLiant 7000/450Xeon做为行情服务器的方案。为什么选用Cisco的千兆网络产品做为解决方案，首先是技术定位，那么肯定是选择千兆以太网技术，Gigabit Ethernet的优势表现在： 1. 低价位的高带宽，与现有的Ethernet,Fast Ethernet平滑相连；2. 利用现有的Ethernet知识就可以管理、监视和维护Gigabit Ethernet； 3. Gigabit Ether

5、net是组建核心骨干网的技术； 4. 基于RSVP和IEEE802.1Q/p标准实现CoS,从而提供不同的服务等级。我们认为选择千兆以太网技术是营业部网络发展的唯一选择，第一就是解决行情“火爆”和交易量大时，出现的网络“瓶颈”问题，第二就是保护营业部的投资，为营业部的发展提供充分保障，有足够的带宽为股民在网上提供多种增值服务，如“网吧”、多媒体信息服务、即时视频新闻服务等。目前，较大规模营业部的计算机网络的骨干连接全部都是100Mbps，骨干连接是指服务器与中心交换机之间的连接，和中心交换机与第二级交换机之间的连接。Cisco公司的千兆网络产品功能非常全面，解决了重庆国投北京营业部在网络方面需

6、要的可靠性，线路冗余和平衡负载，故障迅速恢复连接，以及MAC地址在交换机上的端口限制，解决网络接入的安全性问题。我们只用到其中3个功能就解决了重庆国投北京营业部网络方面的问题： 1. Cisco的GEC（Gigabit EtherChannel）技术，实现核心网络连接的线路冗余和平衡负载； 2. 在spanning tree标准中用到Cisco的Uplink Fast功能实现线路的迅速恢复连接，恢复过程只有1秒钟的延时，达到只丢一个ping包的优异性能； 3. 在交换机上采用Cisco的MAC地址限制功能实现网络用户接入的安全保障，不良动机的股民不能连入网内。 交易主机采用两台Compaq D

7、igital Server 5305，内存512MB，64位Alpha 533MHz芯片，4MB Cache。Compaq Digital RA3000磁盘阵列柜做RAID5，存放交易数据库。这个RA3000磁盘阵列柜采用的是204W双路电源，双磁盘控制器，不存在单点故障。系统安装Windows NT 4.0，集群软件采用Digital Cluster Software，当硬性关掉主机，辅机带库接管时间整个过程不超过2分钟。行情服务器上安装2块Intel 8490千兆网卡，2条尾纤分别连接2台Cisco 4003上的6口千兆模块上，采用Intel网卡的AFT技术，实现两块网卡互为备份和数据传输

8、的平衡负载。承担交易业务的Digital Server 5305 Cluster小型机通过2条100M双绞线同时连接到Cisco 4003上的48口模块上。核心交换机是Cisco Catalyst 4003，用两台Catalyst 4003千兆交换机，替换原有的3Com 3000交换机，同时两台Catalyst 4003交换机通过2条尾纤采用Cisco GEC Gigabit EtherChannel连接起来，实现4G的带宽聚合主干连接，并实现线路冗余的可靠性备份。原有的3Com交换机连接到机房的双绞线，全部连接到一台Cisco 2948G上。Cisco 2948G上的2个千兆口分别连接到Ci

9、sco 4003上的6口千兆模块上，采用Spanning tree中的Cisco UplinkFast技术，实现线路的迅速恢复，工作站用户感觉不到，保障了二级线路连接的可靠性。其余的30多台3Com Hub的连接被分为两个部分，其中半数连接是直接连接到Cisco 4003上的48口10/100TX模板上，分享Cisco 4003上的24Gbps的高性能交换带宽。目前有于Hub没有更换，所以每一条连接只是单路10Mbps的上行连接，未来更换为Cisco的交换机后，可以实现双路100Mbps的上行连接，并且采用Spanning tree中的Cisco UplinkFast技术，保障二级线路连接的可

10、靠性。另外半数连接也是直接连接到另外一台Cisco 4003上的48口10/100TX模板上，分享24Gbps的高性能交换带宽。这样这个网络的1000台工作站将在核心交换机的48Gbps的交换带宽上全线速交换，并通过千兆网卡的连接与服务器通信。技术描述此次网络改造中涉及的技术如下：1. Adapter Fault Tolerance（AFT网卡容错技术）和Adaptive Load Balancing（ALB网卡平衡负载技术）：在行情服务器中安装两块Intel Pro/1000网卡，在NetWare Autoexec.ncf中启动AFT技术，实现当一块网卡或网络链路发生故障，另外一块网卡立刻接

11、管，工作站没有影响，不用重新启动。 2. Cluster集群技术：集群是由两台或更多台计算机系统互连组成，功能上是作为一个单一系统，从而提高整个系统的可靠性能和负荷均衡性能。性能提供方面，自从70年代中期，在提供大量应用和数据正常工作方面，集群计算机就一直远远超过单一计算机。可靠性方面：如果一部服务器失效，集群的第二部服务器将立即接替其工作负荷，在重庆国投当硬性关掉主机，辅机带着1.4GB的数据库，其接管时间整个过程不超过2分钟。 3. Cisco GEC（Gigabit EtherChannel）带宽聚合技术：GEC在两台交换机间提供4条链路的连接最大8Gbps（4Gbps full dup

12、lex）的并行带宽，将多条Gigabit Ethernet Interface组成一条逻辑通路（Channel）。主要功能包括成倍增加带宽和为线路冗余提供可靠性。在重庆国投我们在两台Catalyst 4003交换机之间提供了2条链路的连接最大4Gbps（2Gbps full duplex）的并行带宽。 4. 在spanning tree标准中用到Cisco的Uplink Fast技术：实现在环型线路连接中，当一条发生故障，迅速恢复网络的连通性，恢复过程只有1秒钟的延时。如果没有Uplink Fast技术那么spanning tree的恢复过程需要40秒钟的延时。 5. 采用Cisco的MAC地址限制技术：在Cisco交换机的端口上设置无盘工作站