（通信与信息系统专业论文）全千兆以太网交换机的设计和实现(1).pdf

摘要 随着网络规模的不断扩大和网络带宽的不断提高，万兆技术逐步成熟并走向 规模应用。网络的整个带宽平面开始下移，万兆从骨干层下移到汇聚层，而千兆 则从汇聚层下移到了接入层。本文所介绍的全千兆交换机$ 2 9 7 0 就是为了满足网 络发展的要求而设计的。它内置了2 4 个1 0 1 0 0 1 0 0 0 白适应端口，高密度的千兆 端口设置不仅满足了日益增长的网络负载的需要，而且降低了每端口的平均投入。 还提供了3 个万兆端口用于主干上联。该交换机可以连接高速服务器和高速工作 站，实现千兆到桌面，在大型网络中还可作汇聚交换机使用。 本文主要论述了该交换机软件系统的设计和实现，包括软件系统开发平台， 交换硬件支撑软件包( s s p ) ，支持交换芯片的软件包( p s s ) 。并对s s p 模块进行深 入的剖析和设计，包括管理模块驱动程序、交换芯片驱动程序的设计，以及对虚 拟局域网协议、组播协议、生成树协议这些二层交换协议的支持。最后还给出了 该交换机的部分测试结果。 关键词：千兆接入以太网交换机嵌入式 a b s t r a c t w i t ht h ec o n t i n u o u se n l a r g e m e n to ft h en e t w o r ks c a l ea n dt h ec o n t i n u o u s e n h a n c e m e n to ft h en e t w o r kb a n d w i d t h ，10g i g a b i tt e c h n i q u e si sg r a d u a l l yg r o w i n gu p t ob ea p p l i c a t e di nl a r g es c a l e t h ew h o l eb a n d w i d t hf i a to ft h en e t w o r ki sb e g i n n i n gt o m o v ed o w n 10g i g a b i ti sm o v e df r o mb a c k b o n el e v e ld o w nt og a t h e r i n gl e v e l ，a tt h e s a m et i m e ，g i g a b i ti st r a n s f e r e dt oa c c e s s i n gl e v e lf r o mg a t h e r i n gl e v e l t h ea l l - g i g a b i t - p o r ts w i t c h $ 2 9 7 0t h a ti n t r o d u c e di nt h i st h e s i si sd e s i g n e dt os a t i s f yt h er e q u e s t o fn e t w o r kd e v e l o p m e n t i ti n t e g r a t e2 4t r i s p e e dp o r t s ，t h ep o r tc o n s t i t u t i o no ft h e h i g hd e f m i t i o nn o to n l ys a t i s f yt h en e e do fi n c r e a s i n g l yo ft h en e t w o r kl o a d ，b u ta l s o l o w e rt h ea v e r a g ed e v o t i o no nt h ee a c hp o r t i ta l s op r o v i d e d3h y p e r g s t a c kp o r t s ， u s e dt ou p l i n kt ob a c k b o n er o u t e r $ 2 9 7 0c a nb eu s e dt ol i n kh i g h s p e e ds e r v e ra n d h i g h - s p e e dw o r ks t a t i o n , c a r r y i n go u tg i g a b i tt od e s k a n di tc a n b ea p p l i e da s g a t h e r i n gs w i t c hi nl a r g e - s c a l en e t w o r k i nt h i st h e s i s ，w e dl i k et om a i n l yd i s c u s st h ed e s i g na n dr e a l i z a t i o no ft h es o f t w a r e s y s t e mo nt h es w i t c h ，i n c l u d i n gt h es o f t w a r ed e v e l o p m e n tp l a t f o r m ，s w i t c hs u p p o r t p a c k a g e ( s s p ) a n dp r e s t e r as u p p o r tp a c k a g e ( p s s ) w ea l s od e e p l ya n a l y s es s p m o d u l ea n dd e s i g ni t , i n c l u d i n gd r i v e r so fm a n a g e m e n tm o d u l e 、d r i v e ro fp a c k e t p r o c e s s o ra n ds u p p o r tt ov l a n 、m u l t i c a s ta n ds t pp r o t o c 0 1 f i n a l l y , p a r to ft h et e s t r e s u l ta b o u tt h es w i t c ha r ep r e s e n t e d k e y w o r d s ：g i g a b i ta c c e s s e t h e r n e ts w i t c hl m b e d e d 第一章绪论 1 1 1 以太网技术概述 第一章绪论 1 1 研究背景及意义 1 9 9 8 年，国际、国内终端网络市场上开始活跃十兆向百兆过渡的产品，同期， 最早的千兆接入模式光纤接入也步入人们的视线，成为一种并不成熟的“奢侈品”。 1 9 9 9 年到2 0 0 0 年，伴着新世纪钟声的敲响，整个互联网完成了他第一次速率大升 级，包括笔记本电脑、p c 机等，桌面系统的网络接入模式得到了统一改造，百兆 网卡成为当时桌面终端的标准配置。 同时，千兆以太网技术也在百兆的普及当中完善、成熟。1 9 9 7 年1 月，i e e e 8 0 2 3 z 第一版草案诞生，同年6 月，草案v 3 1 获得通过，最终技术细节就此制定， 1 9 9 8 年6 月，正式批准i e e e8 0 2 3 z 标准，1 9 9 9 年6 月，正式批准i e e e8 0 2 3 a b 标准( 即1 0 0 0 b a s e t ) ，可以把双绞线用于千兆以太网中。至此，意味着对绝大多 数用户而言，向千兆速率的升级无需重新布线。 如今，互联网已经迈开第二次带宽开放的步伐。2 0 0 2 年开始，万兆以太网的 标准成熟，并从去年开始在各行业市场快速普及。短短两年之内，万兆技术实现 了从提出到应用，从发展到成熟，并已经从骨干层面向汇聚层面进行迁移和扩展 的历史性跨越。正是在万兆技术足够成熟、足够稳定的基础下，我们的第二次带 宽升级才成为现实整个的带宽平面下移，千兆从汇聚层下移到接入层，万兆 从骨干层下移到汇聚层。 1 1 2 千兆位以太网的特点 以千兆位的速度运行的以太网是得到开发并被广泛应用的基于快速以太网 ( 1 0 0 b a s e - - t ) 技术的网络产品的自然进化。千兆位以太网由于有以下的特点而 得到了迅速的发展。 一、简易性 千兆以太网继承了以太网、快速以太网的简易性，因此其技术原理、安装实 施和管理维护都很简单。 二、扩展性 由于千兆以太网采用了以太网、快速以太网的基本技术，因此由1 0 b a s e t 、 1 0 0 b a s e t 升级到千兆以太网非常容易。 2 全千兆以太网交换机的设计和实现 三、可靠性 由于千兆以太网保持了以太网、快速以太网的安装维护方法，采用星型网络 结构，因此网络具有很高的可靠性。 四、经济性 由于千兆以太网是1 0 b a s e t 和1 0 0 b a s e t 的继承和发展，一方面降低了研究 成本，另一方面由于1 0 b a s e t 和1 0 0 b a s e t 的广泛应用，作为其升级产品，千兆 以太网的大量应用只是时间问题，为了争夺千兆以太网这个巨大市场，几乎所有 著名网络公司都生产千兆以太网产品，因此其价格将会逐月下降。千兆以太网与 a t m 等宽带网络技术相比，其价格优势非常明显。 五、可管理维护性 千兆以太网采用基于简单网络管理协议( s n m p ) 和远程网络监视( 1 蝴0 n ) 等网络管理技术，许多厂商开发了大量的网络管理软件，使千兆以太网的集中管 理和维护非常简便。 六、广泛应用性 千兆以太网位局域主干网和城域主干网( 借助单模光纤和光收发器) 提供了 一种高性能价格比的宽带传输交换平台，使得许多宽带应用能施展其魅力。例如 在千兆以太网上开展视频点播业务和虚拟电子商务等。 1 1 3 以太网交换机综述 在计算机网络系统中，交换概念的提出是对于共享工作模式的改进。h u b 集 线器就是一种共享设备，h u b 本身不能识别目的地址，当同一局域网内的a 主机 给b 主机传输数据时，数据包在以h u b 为架构的网络上是以广播方式传输的， 由每一台终端通过验证数据包头的地址信息来确定是否接收。也就是说，在这种 工作方式下，同一时刻网络上只能传输一组数据帧的通讯，如果发生碰撞还得重 试。这种方式就是共享网络带宽。 交换机拥有一条很高带宽的背部总线和内部交换矩阵。交换机的所有的端口 都挂接在这条背部总线上，控制电路收到数据包以后，处理端口会查找内存中的 地址对照表以确定目的m a c ( 网卡的硬件地址) 的n i c ( 网卡) 挂接在哪个端口 上，通过内部交换矩阵迅速将数据包传送到目的端口，目的m a c 若不存在才会广 播到所有的端口，接收端口回应后交换机会“学习 新的地址，并把它添加入内 部地址表中。 使用交换机也可以把网络“分段”，通过对照地址表，交换机只允许必要的网 络流量通过交换机。通过交换机的过滤和转发，可以有效的隔离广播风暴，减少 误包和错包的出现，避免共享冲突。 第一章绪论 交换机在同一时刻可进行多个端口对之间的数据传输。每一端口都可视为独 立的网段，连接在其上的网络设备独自享有全部的带宽，无须同其他设备竞争使 用。当节点a 向节点d 发送数据时，节点b 可同时向节点c 发送数据，而且这两 个传输都享有网络的全部带宽，都有着自己的虚拟连接。假使这里使用的是1 0 m b p s 的以太网交换机，那么该交换机这时的总流通量就等于2 1 0 m b p s = 2 0 m b p s ，而 使用1 0 m b p s 的共享式h u b 时，一个h u b 的总流通量也不会超出1 0 m b p s 。 总之，交换机是一种基于m a c 地址识别，能完成封装转发数据包功能的网络 设备。交换机可以“学习 m a c 地址，并把其存放在内部地址表中，通过在数据 帧的始发者和目标接收者之间建立临时的交换路径，使数据帧直接由源地址到达 目的地址。 1 1 4 。千兆到桌面一的趋势 随着业务需求的不断升级，桌面接入的带宽升级已经成为当前网络建设的一 个主题。经历了长时间的酝酿，干兆网卡的普及、千兆端口价格的不断下降以及 万兆下移的快速发展，“千兆到桌面”已经在国内很多区域、行业的应用中成为实际 的需求。 在“三网合一”这种新的组网模式刺激下，一些高带宽应用逐渐普及，再加上企 业、政府、教育、金融等行业进一步寻求借助网络提高办公效率，市场对网络桌 面资源的要求呈现出快速扩展的趋势。由此，在“三网合一”普及到桌面之后不到一 年之内，千兆一定会成为桌面应用的主流。 此外，桌面网络资源的不足已经严重影响到了工作效率，这是推动“千兆到桌 面”成为主流的另一个因素。在当今社会，用户的工作平台首先是一个网络平台。 在工作中，与工作伙伴、外部客户、内部核心服务器等大量数据、信息的交流沟 通日益成为工作的核心。随着业务创新的发展和体系结构、功能的增强，组播或 视频点播、大附件的电子邮件、文件传输器、按需备份和恢复、c m r p 以及 w e b 和j a v a 工具等多种应用都成为吞噬带宽的“杀手”，千兆位以太网逐渐延伸到 桌面已经成为最迫切的需要之一。 针对目前主流的千兆网络，众多网络厂商先后推出了多种千兆交换机，为组 建千兆网络的企业提供了一个扩展的平台。目前市场上的千兆交换机按端口速度 分类可以分为普通千兆交换机和全千兆交换机两种类型，这两种千兆交换机最主 要的区别在于普通千兆交换机的l a n 口支持1 0 1 0 0 m b p s 自适应，全千兆交换机 l a n 口支持1 0 1 0 0 1 0 0 0 m b p s 自适应。普通千兆交换机比较适合于小型网络的使 用，但对于中型网络来说，由于结构比小型网络复杂得多，普通千兆交换机容易 造成网络瓶颈，这时候采用全千兆交换机更为适合，而且全千兆交换机在小型网 4 全千兆以太网交换机的设计和实现 络中担任核心作用将大大提高网络性能。这种全干兆的交换机在大型网络中适合 作汇聚交换机使用，并且还可以连接高速服务器和高速工作站，实现千兆到桌面。 1 2 本文的主要工作 本文介绍的交换机$ 2 9 7 0 就是我们在这种市场需求的驱动下，同时结合自身 的研发能力所开发的一款全千兆交换机。 $ 2 9 7 0 是一款经济和高效的“千兆到桌面的解决方案，它内置了2 4 个 1 0 1 0 0 1 0 0 0b a s e t 千兆自适应端口，比其他的千兆交换机提供了更多的千兆口。 高密度的端口设置不仅满足了日益增长的网络负载的需要，而且降低了每端口的 平均投入，从而有效的保护了网络投资。$ 2 9 7 0 还首创在千兆交换机中提供3 个符 合8 0 2 3 a e 标准的万兆端口，用于与服务器、网络骨干高速连接，这大大提高了网 络运行的可靠性。$ 2 9 7 0 还特别提供了4 个c o m b os f p 插槽，用于安装不同型号 的光纤收发器，帮助用户根据实际网络应用环境灵活选择不同距离的光纤，不仅 节省了网络布线的成本，而且保证了数据的无衰减传输。 综合来看，$ 2 9 7 0 提供了高密度的全千兆端口设置，配合丰富的功能特性，不 仅实现了千兆到桌面，解决了网络拥堵的瓶颈，而且大大改善了网络运行环境， 具有高速、稳定、易管理等诸多优点，适用范围广泛，具有很强的实用性。 本文的工作就是针对交换机$ 2 9 7 0 的硬件结构，进行相应的软件设计，使交 换机能够正常运行，并对所设计的部分进行测试，验证交换机是否达到设计要求。 主要包括： 一、对交换机的管理模块的c p u 及外围设备进行驱动程序设计，目的是保证 管理模块的各个设备能够正常工作。此外还针对这部分驱动专门编写了测试程序 进行测试。 二、对交换机的交换模块进行驱动程序设计，目的是保证交换模块能够正常 转发数据包，达到芯片的性能指标。这部分的设计的成功与否通过使用专用的设 备对交换机进行性能测试来验证，若各个交换性能指标都达到了芯片的设计要求 就证明对交换模块的驱动设计是成功的。 三、对一部分二层交换协议进行设计。包括虚拟局域网( v l a n ) 协议，生成 树( s p a n n i n gt r e e s ) 协议，组播协议，链路聚合( t r u n k ) 等，目的是使交换机能 够支持这些主要的二层协议。针对这部分的协议设计也模拟了环境进行了测试。 对于$ 2 9 7 0 软件系统的设计是分层次，分模块进行的。由于交换芯片的厂商 提供了p r e s t e r a 软件包( p s s ) ，p s s 主要包含了对交换芯片进行配冠和管理的接口， 这使我们不用去了解芯片内部的细节，而只需关注在p s s 层之上的设计，从而大 大加快软件的开发速度。而对管理模块驱动的设计就表现出很强的模块化，这部 第一章绪论 分的设计今后完全可以用在其他型号交换机的管理模块上，因为对于同类型不 同型号的交换机它们管理模块的硬件设计基本上是相同的，因此这部分软件稍加 修改就可移植到其他交换机上。而s s p 层的软件设计也是基于各个模块进行的， 可以根据各个交换芯片功能的不同而增加或删除相应的模块，这也给今后的代码 移植带来很大的方便。 1 3 本文的章节安排 全文共分为五章，分别为： 第一章绪论，介绍课题的研究背景、意义和主要的工作。 第二章主要介绍交换机$ 2 9 7 0 硬件系统的设计。 第三章介绍软件开发平台，以及应用软件的设计和实现。在应用软件设计部 分先介绍了交换机总体软件结构，然后分别介绍了软件结构的各个部分，交换硬 的软件包( p s s ) 。其中重点介绍了s s p ，包括管理模块驱动程序、交换芯片驱动 程序的设计，以及对虚拟局域网协议、组播协议、生成树协议这些二层交换协议 的支持。 第四章列出了软件设计完成后部分的测试结果。 第五章为总结。 第二章交换机$ 2 9 7 0 的硬件设计7 第二章交换机$ 2 9 7 0 的硬件设计 2 1 硬件系统总体结构设计 交换机$ 2 9 7 0 的硬件系统，可以分为c p u 管理模块和硬件交换模块两大模块。 c p u 管理模块负责对硬件交换模块进行控制，完成智能管理功能；硬件交换模块 则完成基于存储一转发机制完成数据包的转发。两大模块分别对应于管理板和交 换底板，二者通过p m c i n t e r f a c e 机械标准的p c i 总线链接。实际上，我们可以认 为管理模块是把硬件交换模块作为个p c i 设备来进行管理。 c p u 管理模块基于m o t o r o l a 的嵌入式微处理器p o w e r p c8 2 4 1 设计，通过p c i 总线完成对交换机硬件交换模块的管理控制，并提供如i g m ps n o o p i n g 、v l a n 、 s p a n n i n gt r e e 等协议的支持。c p u 管理模块以p o w e r p c8 2 4 1 为中央处理器，使用 f l a s h 和s d r a m 两级存储，内置了实时时钟芯片( i 玎c ) 、以太网控制芯片，串 口和调试接口，对外提供了用于管理交换模块的p m c 接口、用于管理整个交换机 系统的串口和以太网接口。 交换模块使用m a r v e l l 公司的交换控制芯片d x 2 7 0 ，负责对数据流进行线速交 换转发。交换控制模块提供2 4 个带有s g m i i 接口的1 0 1 0 0 1 0 0 0 m b p s 三速以太网 端口和3 个带有x a u i 收发器的万兆端口，还提供1 6 k 的m a c 地址，4 k 的v l a n ， 4 k 的多播组。m a c 地址表既可以通过m a c 地址学习机制自动进行修改，也可以 由c p u 进行修改。根据m a c 地址表和v l a n 表和多播组表的内容，d x 2 7 0 可以 实现二层数据包的转发。d x 2 7 0 还提供了把特定的数据包抓取到c p u 的功能，可 以抓取以指定m a c 地址为源或目的地址的包，i g m p 协议包和配置b p d u 包，从 而实现交换机对s n m p 管理、组播和生成树协议的支持。 总体硬件结构如图2 1 所示。 全千兆以太网交换机的设计和实现 p o w e r p c8 2 41 脏舢- d x 2 7 0 4 驻川驻$ u i ，、 么 弘静 4 5 1 5 0 0 并且l e n g t h e t h e r t y p e ! = 0 x 8 8 7 0 l l c s n a p l e n g t h e t h e r t y p e o 3 1 7 6 4 收帧数 s m bb 流控帧 0 4 ，5 6 8 03 1 7 6 4 s m bc 总收帧2 0 0 0 0 0 0 2 0 0 0 0 0 02 0 0 0 0 0 02 0 0 0 0 0 0 测试结果通过通过 表4 5 流量控制测试结果 最后还对交换机进行了长时间的所有端口全带宽测试，各个测试结构表明交 换机的各种性能都达到了设计的要求。 全千兆以太网交换机的设计和实现 此外还对一些主要的二层交换协议进行测试。包括虚拟局域网( v l a n ) 协议， 生成树( s p a n n i n gt r e e s ) 协议，组播协议，目的是验证交换机是否能够支持这些 二层协议。 1 、虚拟局域网( v l a n ) 协议测试： ， 在测试中，我们取端口1 、2 分别于s m b 的端口a 、b 相连，其中端口1 为 v l a n1 、v l a n2 的成员，端口2 为v l a n2 的成员，s m b 的端口a 向端口b 发送数据包，从s m b 可以看出端口b 可以收到端口a 发出的数据包；接着把端 口2 改为v l a n3 的成员，s m b 的端口a 向端口b 发送数据包，从s m b 可以看 出端口b 可以无法收到端口a 发出的数据包。以上测试结果表明交换机v l a n 设 置成功。 2 、生成树( s p a n n i n gt r e e s ) 协议测试： 这个测试中，我们用两条网线将两台交换机连接在一起，每台交换机各连接 一台p c 机，启动交换机的生成树功能。两台p c 机持续p i n g 对方。测试中启动 交换机的生成树协议，我们切断和恢复主链路，记录每个过程中丢失p i n g 包的数 量。测试环境如图4 2 所示。 交交 换换 e机机 ab 图4 2 生成树协议测试环境 测试结果表明交换机的生成树协议工作正常。 3 、组播控制协议测试： 使用s m a r t m u l t i c a s t l p 测试软件，对d v m r p 协议的混合吞吐量与组播延时两 个重要指标进行了测试。测试中模拟了一个组播组，其中包括1 个发送端口与l o 个接收端口。 测试中结果表明，$ 2 9 7 0 在混合吞吐量测试中可以达到线速。组播延时达到要 求。 第五章结束语 第五章结束语 从技术的角度来看，千兆以太网产品已经具备了非常成熟及完善的技术标准。 现在百兆桌面将逐渐被千兆取代。桌面的千兆应用将进一步促成核心层和分布层 对万兆网络的需求。随着市场的发展、技术的更新，千兆桌面和百兆桌面价格差 的缩小，许多桌面电脑集成千兆网卡的应用，可以看到千兆到桌面己迅速成为一 种必然的趋势。企业可以利用千兆交换机改善其网络性能。对于在网络边界安装 了许多快速以太网的情况，带宽的增加提供了理想的解决方案。千兆以太网交换 机将为用户提供更多的带宽，更广的应用。 $ 2 9 7 0 交换机是我们自主研究开发的第一款全千兆以太网交换机，经过测试表 明它的许多性能指标与国外同类产品相比毫不逊色，它的成功研制代表了我们在 这一领域的突破。 由于受时间和资源的限制，本文未能对交换机$ 2 9 7 0 的所有性能指标进行测 试，而仅仅对一些主要的性能进行了测试。在后续的工作中将继续完成对交换机 的其他性能的测试工作，这样才能对交换机的性能作出全面的评价。 交换机$ 2 9 7 0 刚刚研制成功，虽然我们自己进行了测试，但还未接受用户的 检验，因此可能还存在一些瑕疵未被发现。预计这款交换机很快将投入市场，我 们今后将根据用户的反馈及时改进我们的产品。 有了这个产品成功开发的经验，我们今后还将会开发出更多，性能更加优异 的交换机产品。 致谢 致谢 我首先要感谢我的导师陈健副教授两年多来在我的学习、科研和生活中所给 予的种种关心和悉心指导。陈老师知识渊博、治学严谨、对工作认真负责、不畏 辛苦，一直是我学习的榜样；陈老师循循善诱的教导和不拘一格的思路给予我无 尽的启迪，是我终生的良师益友。 我还要特别感谢星网锐捷通讯有限公司给我提供了良好的工作和学习环境。 在具体的科研工作中，张小欢工程师在理论和实践上给了我很多指导。正是在他 的指导和帮助下，我才能迅速地进入和开展科研工作，我的工作能力和科研水平 也都得到了显著的提高；在科研期间，他帮助我解决了很多关键的技术问题，并 对论文写作提出了很多的建设性意见；他兢兢业业的工作态度、渊博的学识以及 丰富的实践经验给我留下了非常深刻的印象。 另外还要感谢我的父母和家人多年来在生活和学习中对我的关心和全力支 持，是他们的支持给了我无穷的动力。最后再次感谢所有关心和帮助过我的老师、 同学、同事和亲人们。 参考文献5 9 参考文献 1 r a d i ap e r l m a n ，网桥路由器交换机和互连协议，2 0 0 0 8 2 段晓译千兆位以太网教程北京：清华大学出版社，1 9 9 9 3 熊桂喜王小虎译计算机网络( 第三版) 北京：清华大学出版社 4 i e e e ，s t d8 0 2 1d ，19 9 8e d i t i o n ；i n f o r m a t i o nt e c h n o l o g y - - t e l e c o m m u n i c a t i o n sa n d i n f o r m a t i o ne x c h a n g eb e t w e e ns y s t e m s - - l o c a la n dm e t r o p o l i t a na r e an e t w o r k s - - c o m m o ns p e c i f i c a t i o n s p a r t3 ：m e d i aa c c e s sc o n t r o