（计算机软件与理论专业论文）san系统的综合管理软件sanm的研究与实现.pdf

摘要 随着i n t e r n e t 的高速发展，大量的信息需要通过网络进行传送，存储和处 理。对网络的带宽和存储能力提出新的更高的要求。由服务器直接连接到管理存储 设备的传统存储模式已难以满足大量数据流的传输和存储的要求。必须研究和开发 一种新的网络存储模式使之能够对存储设备和数据进行集中的管理。s a n ( s t o r a g e a r e an e t w o r k ) 作为一种新的网络存储方案应运而生。 s a n 是由硬件系统和运行其上软件系统构成的。在今天，s a n 系统的管理软件 在s a n 系统的成功发展中所起到的决定性的作用，比以往任何时候都要显著。s a n 系统中的很多特征性的技术实际上均是嵌入在软件里的。从容量管理一直到无服务 器的数据备份，对软件构成的选择和配置都是非常重要的。许多的公司都在提供种 类繁多的软件产品和解决方案以提高s a n 系统的性能，数据的有效性和可管理性。 本文系统的介绍了一种本人参与开发的运行于s a n 上的综合管理软件s a n m 的 体系和原理。s a n m 是运行于s a n 上的一种面向应用的大型软件，该软件为s a n 系 统管理人员提供了十分完备的管理s a n 的工具集合，应用s a n m 软件可以极大的提 高s a n 的性能和可靠性。 本文先从整体上介绍了s a n m 的结构和功能，然后对s a n m 的几个较为关键的模 块进行详细的讨论。 在详细讨论中首先对s a n m 的整体控制功能作了介绍。整体控制功能是由s a n m 的m a i n 模块实现的，此外很多其他大型模块没有涉及到的较小的机能也集中在 s a n m 的m a i n 模块里实现。 s a n m 软件提供的功能包括监视，障害通报，文件传输和设备的构成设定等。 监视功能主要是对s a n 的资源的构成监视，性能的监视和障害监视等。 s a n m 是一种多模块的软件，一方面每个模块具有各自独立的功能，另一方面 不同模块之间也有十分复杂的相互协作的关系。不同进程和不同的模块之间有复杂 的通信关系，因此对于不同的模块和不同进程之间的联系是本文讨论的个重点。 s a n 是s a n m 运行的环境，s a n 主要是以f c ( 光纤路径) 协议为关键技术，但 s a n 同时连接在传统的网络上。因此s a n m 作为监控网络设施的一种软件，涉及到 很多网络的技术。此外，s a n m 作为多平台兼容的软件涉及到了很多操作系统之间 的细微的差别。 本人是在科信公司参与s a n m 研发的基础上完成此文的，系统的阐述了研发中 的设计思想。s a n m 的研发成功的结果表明，本文的设计和思路都是有效的。 关键字：s a n ( 存储区域网) 存储区域网综合管理软件 网络协议 进程间通信 堕! ! 三、业查堂堡主堂垡堡壅 一一 a b s t r a c t w i t ht h e r a p i dd e v e l o p m e n t o fi n t e r n e t ，m a s so fi n f o r m a t i o nn e e dt o b et r a n s m i s s e d ，s t o r e d ，a n dp r o c e s s e dv i an e t w o r k t h e b a n d w i d t ho f n e t w o r k a n dt h e c a p a c i t i e s o f s t o r a g e a r ed e m o n d e df o r h i g h e r a p p e a r a n c e t h e t r a d i t i o n a ls t o r a g em o d ei nw h i c ht h es e r v e re o n n e e t t o a n d m a n a g e t h e s t o r a g e f a c i l i t i e sd i r e c t i yi su n a b l et ot a n s m i ta n d s t o r et h em a s s i v eq u a t i t yo f d a t es t r e a m an e wn e t w o r ks t o r a g em o d e i n w h i c ht h e s t o r a g e f a c i l i t i e sa n d d a t ea r e m a n a g e dc e n t r a l l y s h o u l db e r e s e a r c h e da n dd e v e l o p e d s a n ( s t o r a g ea r e an e t w o r k ) w a se m e r g e da san e w s 0 1 u t i o nt ot h en e t w o r ks t o r a g e s a ni s c o m p o s e db y h a r d w a r e s y s t e ma n d t h es o f t w a r er u n n i n go nt h e h a r d w a r es y s t e m i nn o w a d a y st h em a n a g e m e n ts o f t w a r e so fs a ns y s t e mp l a y m o r ed e t e r m i n a n tr o l e si ns a ns y s t e m ss u c c e s s f u ld e v e l o p m e n tt h a ne v e r b e f o r e m a n yc h a r a c t e r i s t i ct e c h n 0 1 0 9 i e s o fs a n s y s t e m a r ee m b e d e di n s o f t w a r e s i ti s v e r yi m p o r t a n t t ot h ec h o i c ea n d c o n f i g u r a t i o n o f s o f t w a r e sf r o mc a p a c i t ym a n a g e m e n ta n dd a t eb a c k u pw i t h o u ts e r v e r m a n y c o m p a n yp r o v i d ea ll k i n d so fs o f t w a r ep r o d u c t sa n ds o l u t i o n si no r d e rt o i n h a n c et h e p e r f o r m a n c e o fs a n s y s t e m ，d a t ea v a i l a b i l i t y ，a n d m a n a g e m e n tc o s t t h i sp a p e rb e g i n sw i t ht h ei n t r o d u t i o nt ot h es t r u c t u r ea n df u c t i o n s o fs a n mw i t ha i n t e g r a t e dp o i n t a n dt h e n i n d i v i d u a l l ya n d d e t a il e d l y d i s c u s ss e v e r a l i m p o r t a n tm o d u l eo fs a n ms o f t w a r e i n d e t a i l e d l y d i s s c u s s i o n ，i n t r o d u c et h em a i nc o n t r o lf u n c t i o no f s a n mf i r s t l y t h em a i nc o n t r o lf u n c t i o ni s c a r r y o u tb ym a i nm o d u l eo f s a n m ，a n ds o m ef u n c t i o n st h eo t h e r l a r g em o d u l e sh a v en o t i n v o l v e da r e a l s or e a l i z e di nm a i nm o d u l eo fs a n m s a n ms o f t w a r ec a np r o v i d et h ef u n c t i o n si n c l u d i n gm e n i t o rf u n c t i o n ， f a u l ti n f o ri n f o r m a t i o nf u n c t i o n ，f i l et r a n s f e r f u n c t i o n ，s e t t i n go f f a c i l i t i e s c o n f i g u r a t i o n ，a n d s oo i l t h em o n i t o r f u n c t i o ni s m a i n l y m o n it o rt h es a nr e s o u r c e ，s a np e r f o r m a n c e ，a n df a u l t s a n ni sas o f t w a r e c o m p o s e db y m o l t i m o d u l e s e a c hm o d u l eh a s i t s i n d e p e n d e n tf u c t i o n s ，o n t h eo t h e rh a n dt h e r e a r e c o m p l e xc o o p e r a t i o n r a l a t i o n sb e t w e e nf u c t i o n s t h e r ei s c o m p l e xc o m m u n i e a t i o n si n t e r d i f f e r e n t p r o c e s s e sa n dm o d u l e s ，s ot h er e l a t i o n so f i n t e r p r o c e s sa n d i n t e r m o d u l ea r eo n eo ft h ee m p h a s e si nt h i sp a p e r s a ni st h ee n v i r o n m e n to f s a n m f c ( f i b r ec h a n n a l )i s t h e k e y t e c h n o l o g y o f s a n ，b u ts a ni sa l s o c o n n e c tt o t r a d i t i o n a l n e t w o r k t h e r e f o r es a n mi n v o l v e s m a n yn e t w o r kt e c h n o l o g i e sa sas o f t w a r e m a n a g ea n dm o n i t o rt h en e t w o r kf a c i l i t i e s b e s i d e s ，s a n m i sap l a t f o r m s c o m p a t i b l es o f t w a r e ，s oi ti n v o l v e sm a n yd i f f e r e n tb e t w e e no s s 2 堕i ! 三些查兰堡圭竺篁兰兰 t h i sp a p e r i s c o m p l i s h e db y m eo nt h eb a s e so fs a n m r e s e a r c ha n d d e v e l o p m e n t ，a n de x p a t i a t es y s t e m i c l y t h e t h o u g h t s a n dd e s i g n si ns a n m r e s e a r c ha n dd e v e l o p m e n t t h e s u c c e s so fs a n mr e s e a r c h a n dd e v e l o p m e n t d r o v e st h a tt h et h o u g h t sa n dd e s i g n s i nt h e p a p e r i sa v a i l a b l e k e y o w o r d s ：s a n ( s t o r a g e a r e an e t w o r k ) s a ni n t e g r a t em a n a g e m e n t f t w a r e n e t w o r kp r o t o c o l i n t e rp r o c e s sc o m m u n i c a t i o n - 3 西北工业大学硕士学位论文 第一章绪论 1 1 存储区域网技术的目的和意义 1 1 1 传统的存储方式 传统的存储体系都是以服务器为中心的分布式存储策略。各种存储设备通过 诸如i d e 或s c s i 等i 0 总线与服务器相连，客户机的数据访问必须通过服务器， 然后经过其i 0 总线访问相应的存储设备。服务器直接连接和管理存储设备，每个 服务器都要花费很多的c p u 时间去处理数据存储，并且网络数据备份要占用很大的 网络带宽，加重了网络交通的拥塞。服务器实际上起到一种存储转发的作用，当客 户连接数增多时，i 0 总线将会成为一个潜在的瓶颈，并且会影响到服务器本身功 能，严重情况下甚至会导致系统的崩溃。一旦主服务器出现故障，信息资源也将被 埋葬在崩溃的主服务器之中，目前这种以网络服务器为中心的存储方式，已不能适 应实际应用中的越来越高的要求。 1 1 2 数据的重要性 电子商务正在改变传统的业务模型，因为它以网络为中心，面向全球而且数据 强化。数据强化一词说明了所有的电子事物都可以存储以供处理和分析这一个事 实。目前，我们正面l 临着由电子商务应用所生成的数据爆炸，这些数据必须得到适 当的存储和管理，而且有时还需要使用数据挖掘应用程序从原始数据中提取信息。 企业资源计划( e r p ) ，数据挖掘和决策支持应用也推动了对s a n 的需求。因为其中 涉及的数据必须从异构环境中存取和拷贝m ，。 下面的资料表明了数据的重要性。： 9 3 的公司在遭受重大的数据丢失后，在5 年之内倒闭( 美国劳工局) 。 4 3 9 6 的美国公司在遭受数据灾难后，就立即倒闭，2 9 的公司在两年之内倒闭 ( 华盛顿大学) 。 3 0 的计算机用户说，每年他们花费大约等价于周的时间重建他们丢失的 数据( 3 m 公司) 。 数据的可分为静态数据和动态数据之分。动态数据又叫数据流体。它经常存在 于下列系统中： 企业资源计划( e r p ) 系统，分布式数据库系统，电子文档交换( e d i ) 系统， 电子商务( e c ) ，供应连锁管理系统，软件发布，i n t e r n e t 文件传输，i n t e r n e t 订 阅服务5 n e m a i l 及其文件附件。 数据流体比静态数据对存储和管理的要求更高。传统的存储方式不能满足日益 增长的数据量的要求，这些要求可总结为： 如何提商存储系统的访问性能 如何满足数据量不断增长的要求 如何有效地保护数据，提高系统的可用性的容灾能力 西北工业大学硕士学位论文 如何满足存储空间的共享和数据的共享 如何提高存储系统的可管理能力 1 1 3 存储区域网技术的提出 随着对数据传输和存储的要求不断提高，存储区域网技术应运而生。存储区域 网( s t o r a g ea r e an e t w o r k ) 能够提供一种独立于l a n 的，统一的，高可用性和可扩 展性的网络存储结构。s a n 的概念一经提出，就获得广泛的关注和迅速的发展。s a n 技术得到很多国际著名计算机和存储设备厂商的重视，并成立了专门研究和制定有 关s a n 标准的国际组织：存储网络产业协会( s n i a ) ，c o m p a g 、d e l l 、e m c 、h p 、 i b m 、s u n 、s g i 、s t o r a g e t e k 、q u a n t u m 以及s e q u e n t 等公司都加入了该协会。这些 厂商从企业的观点积极开发s a n 技术，现已推出s a n 产品，并在实际得到应用】。 1 2 存储区域网技术简介 1 2 1s a n 的概念 1 2 1 1s a n 的典型物理构成 图1 1 为s a n 的拓扑结构【 图l 一1s a m 的拓扑结构 2 西北1 = 业大学硕士学位论文 s a n 是一种网络的配置方法，一般是由前端网和后端网两部分构成。前端网就 是传统意义上的由客户机和服务器组成的t a n w a n 。服务器面向客户提供网络服务 和数据传输。后端网是由服务器和存储设备和互连设备组成。之所以将远程的 l a n w a n 也加入到s a n 网络中是因为远程的终端用户也可以访问存储系统。可以将 s a n 分为4 个组件“8 l ： 1 终端用户的平台 2 服务器系统 3 存储设备和存储系统 4 互连设备 通常情况下，终端用户通过基于传统的l a n w a n 的网络连接设备连接到服务器 系统上，但有时用户可以不通过服务器系统而连接到光纤路径网络直接访问存储设 备，即所谓的近程终端用户。 s a n 中的服务器系统即可以相互独立的方式存在，也可以一个集群的方式存 在。当访问的数据流量持续的增加时，集群的方式更有优势。集群是由一组彼此独 立的服务器为了获得更高的可用性而组成的一个整体。 光纤路径网络是由各种互连设备包括交换机，集线器，网桥所组成的。 存储系统通过光纤路径网络可以连接到服务器系统，终端用户，或者另外一个 存储系统。 1 2 1 2s a n 的典型逻辑构成 s a n 的逻辑构成是s a n 的组件之间的联系，依赖性和协调关系。通常是从逻辑 角度上来说，s a n 是由软件而非硬件扑结构来定义的。一个s a n 的逻辑运行要求应 用程序和管理工具的参与，这些工具能够对多主机系统中的存储资源进行管理。包 括如下个主要组成部分m i ： 1 ) 备份恢复软件。 它能为开放系统环境( 多种操作系统、多种存储设备) 提供各种在线的离线 的，完全的增量的备份和恢复操作，并对操作过程提供实时分析和历史跟踪报 告，以使企业可以建立统一的，一惯的备份和恢复策略。 2 ) 数据迁移软件。 它能不断地对关键存储设备的存储空间进行监视，当存储空间达到预先定义的 高水位时，能自动( 也可人工启动) 将不常使用的文件转移到下级存储设备上，直到 存储空间达到预先定义的低水位为止。转移后的文件被一个很小的“占位”文件取 代，以便应用和用户还能通过它对原文件进行透明访问，并进行恢复。这样就可实 现多级存储，而使存储空间更加巨大。 3 ) 可用集群软件。 它为应用的高可用性提供解决方案，可以使多台服务器协同工作，保证访问者 能随时存取应用数据。当一台服务器( 一个节点) 出现故障时，它保证能立即将所有 应用切换到其它服务器( 另一个节点) ：如果一台服务器运行多个应用，当只有一个 应用出现故障时，它可以只将出现故障的那个应用切换到预先定义的服务器，其它 应用仍可在原服务器上继续运行。 4 ) s a n 设备管理软件。 西北工业大学硕士学位论文 s a n 需要通过网络进行集中或远程管理，即需要管理工具或一整套工具软件。 通常，每个可管理f c 设备的厂商都会提供各自专用的软件来管理其特有的设备。 理想的方案是单一的端对端管理应用程序来管理s a n 上所有的设备。这样的一个工 具应该基于业界标准协议，如s n m p 。 1 2 2s a n 的特性 s a n 的优势在于： 1 ) 够解决与网络存储备份有关的问题，消除人们对网络带宽的顾虑。 传统的集中式存储解决方案依赖i p 网络作为其数据路径。这样，仅传输的数 据量就会使带宽处于饱和状态。而s a n 的主要思路是将l a n 上的存储转换到主要由 存储设备组成的s a n 上，使得数据的访问、备份和恢复不影响l a n 的性能，在有大 量数据访问时，也不会大幅度降低网络性能。 2 ) 供管理上的方便性，提高人们对存储容量的管理能力。 传统的分布式存储解决方案将存储设备直接与服务器连接，各自拥有自己独立 的存储设备，这种方式虽然不受网络带宽的制约，但由于服务器较分散，因而对存 储管理能力提出了较高的要求。每个存储系统管理员约能管理i o o g b 左右的容量。 而在s a n 中，可以利用s a n 管理软件，通过网络对存储设备进行集中远程的配 置、监管和无人值守运行，使其有能力管理超过1 t b 的容量，并降低存储管理的成 本。 3 ) 得容错能力、高可靠性和高可用性。 s a n 就绪的存储设备具有可热插拔的冗余驱动器、介质、电源和冷却系统，还 可通过增加冗余网络部件( 如h u b 、s w i t c h ) 及其连接设备等，来消除硬件上的单点 故障，确保硬件的高可靠性；另外，s 州环境中的存储管理软件，一般都是支持 c 1 u s t e r 的高可用集群应用软件，当某个服务器失败时，该应用软件可以迁移到另 一个服务器上继续运行。因此，s a n 能够保证7 x 2 4 h 不间断的关键任务应用要 求。 4 ) 照好的开放性、互操作性，支持异构服务器和操作系统。 在物理连接层上现在的集线器交换机桥接器厂商在不同形式的连接性方面 做了大量的工作，正像l a n w a n 的情况一样，物理连接性将不再成为问题，u n i x 、 n t 和n e t w a r e 服务器都可同时连接：在存储管理应用的协议层上，目前各个厂商基 本都已使用s n m p 或h t t p 来管理存储设备，但不同厂商的应用之间还不能做到完全 兼容。但是，s a n 终归是存储技术的最终发展方向，厂商们也在为定制标准不懈努 力。 5 ) 无限的存储容量可扩展性。 采用s a n 技术，使存储网独立于应用系统，于是，可建立合理的存储布局，以 使数据在得到高度共享和高速访问的同时，实现集中管理和无限扩展。另外，还可 利用s a n 对异构的支持，使各种存储设备能共存于一个存储网中，最大限度的保护 现有的投资和信息资源，并能适应存储设备发展的步伐。s a n 还允许计算机和存储 设备的扩展百不影响。 4 西北工业大学硕士学位论文 1 2 3s a n 的架构 s a n 的实现和发展可以分为3 个阶段。第一阶段是连接。这一阶段的任务是把 不同平台的服务器与各种存储设备相连，使用户可以点对点地通过光纤通道共享存 储设备。把企业原来的数据“孤岛”形成真正可靠的网络存储数据资源。第二阶段 是统一管理。在s a n 中，利用集中统一的存储管理软件、自动监视、报告并调整网 上的存储资源。由于存储可以集中统一的管理，使得存储系统具有更强的灵活性， 并降低系统的管理成本。第三阶段是存储资源的充分利用。这一阶段要建立起磁盘 存储池或磁带存储池，利用智能技术，实现跨平台的数据存储、设备共享、数据共 1 3 本文研究的主要内容 本文是我在从事于某公司的存储区域网络的有关软件的长期的研究开发的基础 上完成的。在今天，s a n 系统的管理软件在s a n 系统的成功发展中所起到的决定性 的作用，比以往任何时候都要显著。s a n 系统中的很多特征性的技术实际上均是嵌 入在软件里的。从容量管理一直到无服务器的数据备份，对软件构成的选择和配置 都是非常重要的。许多的公司都在提供种类繁多的软件产品和解决方案以提高s a n 系统的性能，数据的有效性和可管理性。 本文的研究对象s a n ms e r v e r 是运行于s a n 网络上的综合管理软件。其运行平 台包括w i n d o w s ，u n i x ，l i n u x 。以c 1 i e n t s e r v e r 模式实现客户端对存储设备的 管理，严格依照s a n 管理软件的要求设计并开发，几乎覆盖了s a n 管理软件的所有 功能，具体包括网络设备故障的自动检出和隔离功能、数据管理功能、存储资源管 理以及安全管理和文件管理等。 s a n m 系统按机能划分可以分为十个模块，具体包括：整体控制模块、a g e n t 管 理模块、构成管理和状态监视模块、性能监视模块、c i i e n t 管理模块、复制管理 模块、w e b 连携模块、l o g 管理、t r a c e 输出模块、环境设定g u i 模块和a 1 i v e 信 件模块。其中，本人主要担任了整体控制模块从需求分析、功能设计、详细设计、 编码直到测试阶段的全部开发工作，同时还负责e l l e n t 管理模块、a g e n t 管理模 块、构成管理和状态监视模块以及性能监视模块的部分测试工作。 本文的研究内容是设计并实现了s a n m 有关机能。 西北工业大学硕士学位论文 第二章s a n m 系统及其运行环境介绍 随着开放系统和互联网的发展，不同操作系统之间的互联和数据的共享成为计 算机技术发展的一个重要领域。由于在开放系统中需要管理的数据变得一天天的多 起来，对用户的数据进行存储和管理变得越来越重要。s a n m 作为一个存储区域网 络的一个新型的产品而产生。 2 1s a n m 系统简介 s a n m 是一个管理s a n 的存储子系统( 磁盘阵列) 的集成软件。s a n m 分成s e r v e r 部分和c l i e n t 部分。s e r v e r 部分，即s a n ms e r v e r 软件，用来控制存储子系统， c l l e n t 部分，即s a n mb r o w s e r 为管理人员提供检测和操作的界面，具有在远程管 理集中的存储子系统的功能。s a n mb r o w s e r 提供的实际上是一个浏览器的功能。 s a n m 可以管理一个或者最多6 4 个存储予系统( 磁盘阵列) ，并提供可以高效 管理存储子系统的操作。具有无服务器数据备份和复制的功能。 2 1 1s a n m 环境的拓扑结构： s a n m 运行环境的拓扑结构如图2 - - l 所示： 图2 1s 删的拓扑结构 2 1 2 s a n m 软件的功能及存储区域网其他相关软件 s a n i 是一个综合管理软件，它为s a n 的管理人员提供了一套完备的监控和管 删s a n 和s a n 中的存储子系统的工具。具有构成管理，状态监视，性能监视，运用 连携管理，性能最优化，构成设定等功能。 6 堕韭三些查堂塑主堂堡垒兰 运行于s a n 上的软件有很多种，s a n m 综合管理软件只是其中的较为上层的软 件。其他软件有访问控制，路径控制和数据备份软件等。它们与s a n m 综合管理软 件相比是较为低层的软件。比如动态数据备份和远程数据备份软件，可以实现磁盘 阵列内部和磁盘阵列之间的复制。而s a n m 综合管理软件中的r e p l i c a ti o n 管理机 能则为数据备份软件提供一个监视的功能。综合管理软件和其他软件需要结合使 用。 2 1 3s a n m 的运行环境 s a n ms e r v e r 可以在w i n d o w s 2 0 0 0 系列、w i n d o w sn t 4 0 、u n i x ( 包括 s o l a r i s ) 、l i n u x 平台上安装并运行。 s a n mb r o w s e r 可以在w i n d o w s 系列的平台上安装并运行。 2 2s a n ms e r v e r 的模块 2 2 1s a n ms e r v e r 的模块划分 s a n ms e r v e r 可以在总体上分成如下模块： 1 整体控制模块 2 l o g 控制模块 3 连携控制模块 4 a 1 i v e 信件模块 5 c 1 i e n t 管理模块 6 a g e n t 管理模块 7 状态监视模块 8 性能监视模块 9 复制管理模块 l o 设备构成机能模块 i i 性能最优化模块 1 2 命令执行模块 1 3 文件传输模块 以上每个模块都由至少一个进程组成，最多的模块可以拥有几十个进程。在这 些模块中并不是所有的模块都向客户提供，s a n m 提供给客户一个选择的机制，客 户可以根据需要选择需要购买哪些模块。有些模块是基盘( b a s e ) 模块，随着s a n 的 存储予系统一同提供给用户。另外一些是选择( o p ti o n ) 模块，用户必须花钱购买这 些模块。在没有o p t i o n 模块的情况下，s a n ms e r v e r 可以正常的运行；而在缺少 b a s e 机能的情况下，s a n ms e r v e r 无法运行。这些o p t i o n 模块可以增强s a n m 系统 的性能，但不是必须的。 b a s e 模块包括：整体控制模块、l o g 控制模块、c l i e n t 管理模块、a g e n t 管理 模块、状态监视模块、设备构成机能模块。其余的模块是o p t i o n 模块。 西北。 业大学硕士学位论文 2 2 2s a n ms e r v e r 各个模块间的关系 下面将对s a n ms e r v e r 模块的几个重要机能的功能做一下简单介绍，详细的介 绍将在后续的章节进行。 图2 - - 2 是s a n ms e f v e r 的各个机能以及s a n mb r o w s e r 之间关系c ： 图2 2s 姗备个梗块闻的关系 整体控制模块：由命令解析进程、s a n m 主进程构成，主要功能是对s a n m 系统 进行整体控制，包括s a n m 系统的启动终了，解析环境定义文件，恢复处理等功 能。 l o g 控制模块：负责输出s a n m 各个机能的各种日志信息。每个机能中均有l o g 模块所提供的调用函数。 连携控制模块：负责将s a n m 系统的情报以电子邮件的方式通知到管理人员。 c 1 l e n t 管理模块：负责各个s a n mb r o w s e r 与s h n ms e r v e r 的通信。 a g e n t 管理模块：作为s a n ms e r v e r 与存储予系统间的代理，所有其他控制机 能与存储子系统间的通信均要通过a g e n t 管理模块进行。 状态监视模块和设备构成管理模块：通过a g e n t 代理机能负责磁盘阵列的构成 信息的设定，监视，变更和表示工作。 性能监视模块：监视构成s a n 网络的存储设备的运行情况和负载状况，并且分 西北工业大学硕七学位论文 析所收集的性能数据，合理分配网络带宽，保证系统高效率地运行。 复制管理模块：监视数据复制软件的运行，并输出发现的数据复制的障害。 性能最优化模块：解决s a n ma g e n t 管理要素的性能瓶颈问题。 s a n mb r o w s e r 是运行在客户端上的浏览器程序，它与s a n ms e r v e r 的c 1 i e n t 进程进行通信，将s a n ms e r v e rc t l e n t 机能发送来的信息以一定的格式显示在用 户g u i 上，同时将用户输入的指令发送给s a n ms e r v e rc l l e n t 机能。由于s a n m b r o w s e r 与s a n ms e r v e r 的通信采用的是t c p i p 协议的s o c k e t ，所以运行s a n m b r o w s e r 的计算机上的网络环境中必须要绑定有t c p i p 协议。 9 第三章s a n mm a i n 模块的机能 s a n ms e r v e r 的m a i n 模块是一个核心模块，它的主要功能是控制各个子进程 的启动和终了，进行环境定义文件的解析，以及接收和处理各种命令行形式的命 令。 3 1s a n mm a i n 的启动顺序 s a n mm a i n 作为s a n m 的主控进程，负责维护s a n ms e r v e r 的正常运行和各个 机能的正常功能。在s a n m 的启动过程中首先启动s a n mm a i n 进程，然后再由m a i n 进程启动其他的控制进程。s a n mm a i n 进程在s a n ms e r v e r 启动过程中需要依次做 以下的事情。 1 共享资源的r e c o v e r y 处理 2 判断s a n ms e r v e r 是否已经启动，进行二次启动检查 3 设置s a n mm a i n 与其他控制进程的通信所使用的信号 4 初始化l o g 信息 5 建立进程间通信的i p c 资源 6 检查a li v e d 配置文件是否存在 7 建立l o g ，t r a c e ，c o r e 和s o c k 目录 8 进行环境定义文件的解析 9 创建s a n m s e r v e r in f 文件 1 0 启动各个控制进程 1 1 进入命令等待状态 下面对其中简单的处理做一下介绍，复杂的处理将分章节讨论。 l o g 机能是s a n gs e r v e r 的一个纪录系统状态信息的日志管理模块。建立l o g 信息时会生成一个用于拷贝l o g 文件的s h e l l 或者是批处理程序。这个脚本程序需 要在s a n ms e r v e r 启动的时候初始化。 a i i v e d 配置文件是s a n m 的a l i r e d 机能所使用的环境定义文件，用来实现 m a i l 的发送功能。如果a l i v e d 配置文件存在，则在共享内存中，对a l i v e d 配置 文件的标志置i ，否则置0 。在s a n ms e r v e r 的m a i n 进程启动a li v e d 子进程时， 首先判断共享内存中a l i v e d 配置文件的标志，如果该标志为i 则启动a i i v e d 进 程，否则不启动该进程。s a n m 的a l i r e d 机能是一个可选的机能。 s a n m s e r v e r i n f 文件用来保存s a n ms e r v e r 的主进程的p i d 号和s a n ms e r v e r 的共享内存i d 。这个文件在s a n ms e r v e r 运干 二前并不存在，丽是由s a n ms e r v e r 的主进程创建并初始化的一个文件。在s a n ms e r v e r 正常终了的情况下会删除这个 文件，但是在异常终了时，这个文件不会被删除。在s a n ms e r v e r 重新启动的时候 需要根据此文件进行r e c o v e r y 处理，以便删除上次s a n ms e r v e r 异常终了时没有 删除的系统资源。 该文件的主要作用是为r e c o v e r y 处理提供一个s a n ms e r v e r 在异常终了之前 运行时使用的共享内存的入口。系统通过s h m a t 0 函数，将共享内存的i d 转换成 共享内存的地址。系统在获取共享内存的地址后，就将s a n m s e r v e r i n f 删除。 l o 西北t ：业大学硕士学位论文 其次，s a n m s e r v e r i n f 的其他用途还包括：获取共享内存的信息，进程的启 动和停止，保存系统运行时的信息。图3 1 为s k n m s e r v e r ，i n f 文件的格式： 图3 1s a i 吼s e r v e r i n f 文件的格式 3 2 r e c o v e r y 处理 当控制进程( 由m a i n 进程创建的予进程) 由于程序缘故退出，或者被用户不 小心杀掉，或者s o c k e t 通讯被切断而出现异常时，或者m a i n 进程本身机能发生闭 塞时，此时s a n m 会先退出，然后进行重新启动。在重新启动的过程中系统都会进 行r e c o v e r y ( 恢复) 处理，以保证系统能够继续正常运行。 3 2 1 需要进行r e c o v e r y 处理的场合 具体情况请参考图3 2 l ： l l a i n 进程 返回终 8 c o v s e ) r 处理 图3 2 r e c 。v e r 妇理 当控制进程发生异常时，如果该进程是基本进程，那么s a n ms e r v e r 将异常终 止；如果该进程是可选进程，那么s a n ms e r v e r 将闭塞该进程的机能，继续运行。 s a n ms e r v e r 的基本进程包括：l o g 控制进程、c l i e n t 管理进程、a g e n t 管理 进程、构成管理进程和状态监视进程。 s a n ms e r v e r 的可选进程包括：性能监视进程、连携控制进程、性能最优化进 程、r e p l i c a t i o n 管理进程、文件传输进程。 下面分析在哪些情况下才会需要进行r e c o v e r y 处理。 1 基本进程出现异常时 当基本进程出现异常时，m a ir l 进程将向所有的控制进程发送终止要求，系统异 常结束。对于分配给各控制进程的资源，主要是用于进程间通信的i p c ( i n t e r p r o c e s sc o m m u n i c a t i o n ) 资源包括共享内存( s h a r e dm e m o r y ) ，消息队列( m e s s a g e 西北工业大学硕士学位论文 q u e u e s ) 以及信号量( s e m a p h o r e s ) 等都要释放。如果由于系统故障导致以上资源不 能完全释放，那么当s a n ms e r v e r 再次起动后要清理这些残留的资源。 2 当可选进程出现异常时 当可选进程出现异常时，m a i n 进程将向该进程及其子进程发送终止要求，并且 清理分配给这些进程的资源。如果由于系统故障导致以上资源不能完全释放，那么 当s a n ms e r v e r 再次起动后要清理这些残留的资源。 3 当控制进程异常终止却没有向m a i n 进程发送终止信号时 这种情况下，将残留许多资源没被释放，必须以命令方式释放这些资源。 4 当控制进程异常终止并且向m a i n 进程发送终止信号时 在这种情况下，m a i n 进程将向该控制进程所在的进程组发送s i g k i l l 信号，杀 掉进程组中所有的进程，同时释放该进程组的全部资源。异常情况下可能导致资源 不能全部释放，因此有必要在系统再次启动时进行善后处理。 3 2 2 r e c o v e r y 处理的过程 下面介绍r e c o v e r y 的处理过程： 在m a i n 进程中，如果前一次使用过的资源( 进程、共享内存、消息队列、信号 量) 被残留下来了，下回起动时通过r e c o v e r y 处理对资源进行释放。 处理概要如下。 ( 1 ) s a n ms e r v e r 在启动的过程中首先需要判定是否有残留的资源需要进行 r e c o v e r y 处理。判定有资源残留的方法是： s a n m s e r v e r i n f 残留在系统中： 可以从s a n m s e r v e r i n f 中取得m a i n 的共享内存i d 。 ( 2 ) 子进程的削除 在删除系统资源时首先打开s a n m s e r v e r i n f 文件，从中读取共享内存的i d ， 系统通过s h m a t0 函数，将共享内存的i d 转换成共享内存的地址。系统在获取共 享内存的地址后，从被设定在共享内存中的各控制进程的进程i d 来判断是否是 s a n m 的进程。需要进行以下工作： 取得各控制进程的p p i d 并判断它是否是m a i n 进程的p i d 。 从进程i d 取得进程名。 如果是s a n ms e r v e r 的进程，就向进程组i d 发送s i g k i l l 信号，杀死该进 程。 ( 3 ) 删除s a n m s e r v e r i n f 文件 ( 4 ) 共享内存、消息队列、信号量的削除 各控制进程如果分配了i p c 资源，就在m a i n 分配的共享内存中设定其i d 。在 m a i n 进程的共享内存中，根据设定的i d 访问共享内存的头部，判断是否是s a n m s e r v e r 分配的共享内存，如果是就削除。s a n ms e r v e r 共享内存的头部是一个 s t r u c t 类型的数据结构，可以进行辨认。在共享内存的头部最开始处设定4 个字 节的“s a n m ”字符串，共享内存的头部的长度是固定的，也可以用来进彳亍判别。 至于消息队列，信号量，直接根据在m a i n 进程的共享内存中设定的i d 削除。 1 2 西北 业大学硕士学位论文 3 3 二次启动检查 在s a n ms e r v e r 已经启动的情况下，必须要防止用户再次使用s a n ms e r v e