邮件系统各方案比较gfs架构

北京智腾泰达科技有限公司 第 1 页 邮 件 系 统 方 案 比 较方案北京智腾泰达科技有限公司 第 2 页 目 录I 综述 .3II 建设目标 3III 方案建设概要 .4III.1 邮件系统现状分析 .4III.2 方案建设概要 .4III.3 系统整体架构设计要点 .4III.4 选择最适合自己的方案 .5III.5 双机冷备 .5III.5.1 概述 5III.5.2 双机冷备方案拓扑图 6III.5.3 双机冷备优缺点 7III.6 双机热备 .7III.6.1 概述 7III.6.2 双机热备方案拓扑图 8III.6.3 双机热备优缺点 9III.7 负载均衡概述 .9III.8 NAS 和 SAN 的却别 .9III.9 负载均衡设备比较 .11III.10 负载均衡架构单链路（NAS ） .12III.10.1 负载均衡架构（ NAS）优缺点 12III.11 负载均衡架构（SAN ） .13III.11.1 负载均衡（ SAN）优缺点 13III.12 负载均衡架构双链路（NAS ） .14III.12.1 概述 14III.12.2 负载均衡方案双链路（NAS ）优缺点 14IV DNS 轮询方案 .15IV.1 概述 .15IV.1.1 DNS 轮询方案优缺点 16V 存储容量计算依据 16北京智腾泰达科技有限公司 第 3 页 系统情况：系统情况：1. 服务器位置，磁盘空间（本机，阵列）2. 服务器型号（硬盘，内存，cpu）服务器位置：南区 2 号楼机房，13 号机柜磁盘空间：现用服务器为 3 块 73G 硬盘，加一 536.8G 阵列未用的那台服务器只有 3 块 73G 硬盘 无阵列两台服务器都是相同型号：DELL 2850 硬盘：SCSI 73G 内存：4G CPU：4 核 Inter Xeon 3.0G服务器具 DELL 原厂回复，硬盘可升级到 500G 需要大约经费 1 万左右。北京智腾泰达科技有限公司 第 4 页 I 综述综述专注于邮件系统平台及相关应用的研发，充分利用公司业界领先的技术成果，引进国外技术，开发了百万级大型电子邮件系统平台。该系统于 2000 年初成功投入市场，迅速在全国大中院校、知名企业、电信系统得到应用。该系统支持 Web 界面，完全由亿中邮公司自主开发，拥有独立版权，利用业界领先的技术手段优化系统，达到高速检索定位，例如在百万级用户情况下，定位用户目录时间小于 1s；系统稳定性上，独创邮件监控机制，及时的硬盘回写，保证信件不会因系统进程问题丢失；系统安全性方面用户密码密文存储，支持 SSL 连接，保证连接安全性，防止网络窃听；独具特色的垃圾邮件识别器，针对 IP 和信件大小进行的垃圾邮件识别，系统自动提醒系统管理员，考虑对进行攻击的 IP 拒绝服务；此外我们还采用全 Web 方式量身定做系统管理界面，最大程度上减轻系统维护人员的负担，全中文的 Web 用户使用界面简洁易用，同时支持 SMTP 与 POP3 后发信件，使用户在使用中有多种选择。II 建设目标建设目标随着向用户提供的基于互联网应用服务在数量与质量上的不断提升，作为最基本网络服务的 E-mail 已经成为互联网用户生活与工作上的的重要沟通手段之一。邮件服务本身也经历了从免费到收费的过渡，成为人为生活、工作中不可缺少的通信方式之一。为了向整个国金证券的客户提供企业和个人的高质量、高可靠、灵活多样的邮件服务，初期建设 10 万用户容量的大型电子邮件系统。为了更好的为广大国金证券的客户提供高质量的服务，亿邮邮件系统将全方位的与国金证券进行紧密、深度的结合。在后面的具体方案设计中我们将就技术方面的问题进行详细的论述。北京智腾泰达科技有限公司 第 5 页 III 方案建设概要方案建设概要III.1 邮件系统现状分析初期建设大概 xx 的电子邮件系统，为广大的企业和个人客户提供全方位的信息化服务，其中包括电子邮件系统服务。III.2 方案建设概要根据我方对贵方需求分析，我方按照如下原则进行邮件系统的方案设计：选择亿邮电子邮件系统标准版。该版本是一套基于 UNIX，针对高校，电信，政府、企业等 10 万用户量至千万用户量级别而设计开发的大容量电子邮件系统。该产品具有结构紧凑，性能高，容量大，可靠性、稳定性高的特点。目前已经在国内大量高校,电信，政府、企业用户中得到应用。该产品完全能满足贵方对于大容量电子邮件系统的需求。同时，我们提供亿邮邮件网关系统标准版，针对大量的病毒邮件和垃圾邮件，为邮件系统提供坚固的屏障。III.3 系统整体架构设计要点根据对贵方需求的理解，结合我方大容量电子邮件系统的特点和优势，我方建议的方案建设概要如下：1：采用亿邮电子邮件系统，该系统是亿邮经过八年广泛用户使用的成熟产品，完全可以满足贵方对普通电子邮件业务的需求。2：采用亿邮邮件系统列表发送增值模块。该模块具有定制性强，接口完善等特点，完全能够满足贵方对于邮件群发的需求。3：系统采用基于 B/S 的结构，界面友好，培训维护成本低。4：考虑到贵方的使用习惯，建议采用 RedHat AS 系列操作系统。亿邮邮件系统底层采用 APR编写，确保完全兼容所有 UNIX 系统。根据亿邮 9 年来对邮件系统的研发及维护经验来看，邮件系统是一套既简单又实用的办公北京智腾泰达科技有限公司 第 6 页 软件，通常用户对邮件系统服务要求最重要就是服务的不间断性、稳定性及安全性。那么，我们如何来保证系统的不间断、安全、稳定性呢？根据亿邮多年来的维护经验来看，把问题简单化是最重要的因素。通常情况我们的硬件架构越简单，涉及到的第三方软件越少，出现问题的几率就越小，这一点我们完全可以从概率论中验证，每个硬件设备和软件都有一定的故障率，当一套方案同时使用多个硬件及软件的时候，方案的复杂度就决定了它的故障率，也就是说复杂度越高故障率将越高，因此，我方强烈建议用户在建设邮件系统的时候，把问题简单化，尽量采用简单实用的方式，实际经验告诉我们很多时候理论上的完美与现实还是有一定的差距，经验比理论更重要。因此我方建议用户在选择方案的时候，首先本着安全、稳定、简单、易维护的原则，选择最适合自己的方案，而不是选择理论上完美的方案。注： 为什么不能对亿邮邮件服务器系统进行备份，像 WIN 系统一样，做 ghost 镜像文件。然后更换服务器，来防止邮件系统问题？答：ghost 邮件系统，不建议使用，用户邮件数据量很大，短时间内无法完成。每次产生数据时都需要 ghost 系统和产生的数据。III.4 双机冷备 2 万III.4.1 概述双机冷备方案是邮件系统架构中最常见、最经济的一种方案，此方案既能保证邮件数据的安全性同时具有易实施、性价比高、方便维护等特点。北京智腾泰达科技有限公司 第 7 页 III.4.2 双机冷备方案拓扑图I n t e r n e tM a i l 服务器路由器交换机防火墙I n t e r n e t 用户内网用户Internet邮件备份服务器注：上图因为客户现场是外挂磁盘阵列，数据怎么备份，外挂的磁盘阵列怎么处理？答：外挂的磁盘阵列存储主要连接在主机上，邮件等相关数据放置在这存储上。冷备份服务器的工作主要是定时备份主机上存储数据到冷备份机的本地硬盘上，所以需要本地硬盘的存储空间足够大。如果可以的话，数据也可以搁置在阵列上的另外存储上。同步数据备份软件采用 linux 自带的 rsync 软件，这款软件安全性高，传输数据效率也高。已广泛应用于数据同步应用中。北京智腾泰达科技有限公司 第 8 页 邮件系统双机冷备物理结构方案具体解释：邮件备份服务器会自动在单位时间内从 MAIL 服务器增量备份用户邮件、账户及密码，从而保证邮件系统数据的安全性，另外邮件备份服务器也可以在工作机 mail 服务器因硬件故障或是其他原因宕机后，可暂时顶替工作机提供邮件收发服务，待工作机恢复正常后，可切换回工作机正常提供服务。由于备份机工作量很小，所以如果在经济不允许的条件下，可用普通pc 机代替，只要把硬盘配置和工作机一样大小就可以了。III.4.3 双机冷备优缺点优点：保障系统的安全性及稳定性，易实施、成本低、经济实惠、后期维护方便，且由于整套系统架构简单，不涉及到存储及双机软件，因此系统出现故障率很低。缺点：在主机出现问题后不能自动切换到备份机，需要人工干涉更改 IP 地址。但是人工干涉基本会在 5 分钟内搞定，且不会出现任何问题。注：备份服务器代替主服务器使用时，必定产生数据，主服务器恢复后，产生的数据怎么导回？是否需要亿邮工程师进行增量数据回传？答： 我们一般会设计备份服务器同步主服务器的时间再深夜进行，这样不影响邮件的正常使用，每次备份都会输出到一个单独的日子，方便用户查看每次的备份情况。如果备份服务器需要代替原来生产服务器作为主服务器来提高服务，那么我们需要人工手动触发数据的同步，保证俩台数据的一致性，然后手动更改 ip 等进行正式的切换，提北京智腾泰达科技有限公司 第 9 页 高服务。III.5 双机热备 3 万III.5.1 概述HA 双机热备软件将操作环境推广到一种群集操作系统。群集是一种松散耦合的计算节点集合，提供网络服务或应用程序（包括数据库、web 服务和文件服务）的单一客户视图。每个群集节点都是运行其自己的进程的一个独立服务器。这些进程可以彼此通信，对网络客户机来说就像是形成了一个单一系统，协同起来向用户提供应用程序、系统资源和数据。与传统的单一服务器系统相比，群集有几个优点。这些优点包括对高可用性和可伸缩性应用程序的支持、适应模块化增长的容量和与传统硬件容错系统相比的低进入价。HA 双机热备软件的目标是：1：减少或消灭由软件或硬件故障引起的系统停机时间2：确保数据和应用程序对最终用户的可用性，而不管故障属于什么类型；这些故障通常引起单服务器系统停机。3：通过向群集添加节点，使服务随着处理器的添加而伸缩，从而增大应用程序吞吐量4：提供增强的系统可用性，使您能够不必关掉整个群集就可执行维护III.5.2 双机热备方案拓扑图北京智腾泰达科技有限公司 第 10 页 I n t e r n e tM a i l 1路由器交换机防火墙I n t e r n e t 用户内网用户InternetH AM a i l 2存储方案具体解释：本方案采用高可靠性的 HA 双机热备软件来保证邮件服务的高稳定性及连续性。默认情况下 mail1 和 mail2 只有一台机器在工作，当工作机 mail1 出现问题后，系统将自动切换到 mail2服务器上继续提供服务，而整个过程只需要 30 秒的时间，所以这个过程对于用户来说是完全透明的，用户是感觉不到我们的服务器出现了问题，同时系统在自动切换的工程中可以向邮件管理员发送提醒信件，通知管理员系统出现故障请即时维修。当 mail1 服务器故障维修完毕后，服务将自动切换回 mail1 上继续提供服务。本方案中所有用户数据都将存放在存储设备上，我们不能保证存储服务器 100%的正常工作，故我们还要考虑系统数据的备份，本方案中我们建议把 mail1 的硬盘增加到和存储空间一样，这样可以利用亿邮独有的备份程序进行数据的增量备份，从而保证数据的安全性。III.5.3 双机热备优缺点优点：安全性、稳定性高，出现故障系统将自动切换，从而保证服务的连续性。北京智腾泰达科技有限公司 第 11 页 缺点：相对双机冷备成本提高，需要有存储设备，同时由于多了存储设备及双机软件，所以多了很多不确定因素，且因为 HA 软件本身的机制问题，很容易会出现系统自动切换时候挂载存储错误问题，故还是需要人为进行干涉，如果采用第三方 HA 软件，因为涉及到两个厂家的软件，很容易产生互相推脱责任的现象，且维护的时候由于互相不是很了解对方的软件工作模式，所以后期维护工作将会很麻烦。注：是否使用亿邮的软件？亿邮软件是否成熟？答：对于这个双机热备软件，我们是在使用 linux heartbeat 的基础上，根据我们亿邮的产品的特性进行进一步改造优化的，具有高安全性，高可用性，高稳定性。已成功应用于广大客户中。III.6 负载均衡概述 （设置负载均衡 8 万）对于一个大容量邮件系统（超过 10 万用户） ，其安全性和可靠性的要求是极高的，其中主要有如下几个问题需要注意：1. 单台的服务器存在着单点的故障可能。无论是服务器硬件、软件、应用系统、或者网络拥塞都有可能导致服务器对用户的响应出现问题；2. 即便服务器没有出现故障，在多种应用并存的网络中，如果用户的链接数量超过服务器的单台承载能力，也会使应用系统负载过高而导致灾难性的后果。3. 服务器的应用是一个网络服务的灵魂，所以预防服务器可能会遇到的种种安全问题，（例如 DOS， DDOS，FLOOD，儒虫等）也是必须考虑的问题。所以，如果其中每一种应用都会有一组服务器来提供服务。实现多台服务器同时提供应用，从而达到整个系统的高可用性，将成为一种最好的解决方案。从而我们引入了服务器的负载均衡技术。负载均衡的有点在于：在正常情况下两台或多台服务器同时能提供一种应用的访问并且负载基本相同，在某台服务器停机的情况下实现透明的容错，保证关键服务的持续,提供特别的会话保持能力, 可以根据不同应用的特点保证个别用户的访问会定位在特定的服务器,只有北京智腾泰达科技有限公司 第 12 页 在这台服务器出现故障时再将访问导向到其他服务器。III.7 NAS 和 SAN 的却别由于在做负载均衡的时候我们需要存储设备，而不同的存储设备会直接影响到邮件系统物理拓扑结构的不同，因此我们有必要在这里介绍一下当前市场上流行的两大主流存储设备NAS 及 SAN 的区别和共同点。目前 NAS(网络连接存储)和 SAN(存储区域网络)是存储网络技术领域中的两个主旋律，它们都宣称是解决现代企业高容量数据存储需求和备份的最佳选择，其实我们通过比较，就会发现这两种技术并非互相竞争，而是互有优势，下面我们就好好比较一下双方的特长和使用的领域，并了解企业数据中心存储和备份如何选用 NAS 或是 SAN。一、NAS 介绍NAS(Network Attached Storage，网络附加存储) 的典型组成是使用 TCP/IP 协议的以太网文件服务器，数据处理是“文件级”(file level)。你可以把 NAS 存储设备附加在已经存在的以太网上。它是一种专业的网络文件存储及文件备份设备，或称为网络直联存储设备、网络磁盘阵列也是一种专用数据存储服务器。它以数据为中心，将存储设备与服务器彻底分离，集中管理数据，从而释放带宽、提高性能、降低总拥有成本、保护投资。其成本远远低于使用服务器存储，而效率却远远高于后者。NAS 通常在一个 LAN 上占有自己的节点，无需应用服务器的干预，允许用户在网络上存取数据，在这种配置中，NAS 集中管理和处理网络上的所有数据，将负载从应用或企业服务器上卸载下来，有效降低总拥有成本，保护用户投资。NAS 本身能够支持多种协议(如 NFS、CIFS 、FTP、HTTP 等) ，而且能够支持各种操作系统。通过任何一台工作站，采用 IE 或 Netscape 浏览器就可以对 NAS 设备进行直观方便的管理。二、SAN 介绍SAN(Storage Area Network，存储区域网)是一个高速的子网，这个子网中的设备可以从你的主网卸载流量。通常 SAN 由 RAID 阵列连接光纤通道 (Fibre Channel)组成，SAN 和服务器和客户机的数据通信通过 SCSI 命令而非 TCP/IP，数据处理是“块级”(block level)。SAN 可以定义为是以数据存储为中心，采用可伸缩的网络拓扑结构，通过具有高传输速北京智腾泰达科技有限公司 第 13 页 率的光通道的直接连接方式，提供 SAN 内部任意节点之间的多路可 选择的数据交换，并且将数据存储管理集中在相对独立的存储区域网内。在多种光通道传输协议逐渐走向标准化并且跨平台群集文件系统投入使用后，SAN 最终将实现在多种操作系统下，最大限度的数据共享和数据优化管理，以及系统的无缝扩充。三、NAS 与 SAN 的比较通过上面的简单介绍我们可以看出，NAS 通常会是一个服务器群：应用服务器、邮件服务器等等，存储设备易于附加在这个系统上。其吸引人之处就在于它通常能即插即用，采购及管理的成本低廉。由于 RAID 阵列、磁带、硬盘或其他设备直接连接到每一服务器或服务器集群，NAS 没有必要按 SAN 的方式安排 LUN。由于网络与存储单元之间一对一的关系，NAS反应敏捷，搜索和传输数据的速度很快。从技术层面上看，NAS 使用一 IP 协议将文件传送至客户端。它等效于大型网络服务器，只提供对更大的文件池的访问。简单的来说，NAS 本身的机制决定了它可以同时被同台前端设备同时读写，因为 NAS 本身可以很好处理来自不同前端机的不同请求，而 SAN 却不行，这也是 NAS 要比 SAN 贵的部分原因。如果 SAN 也想实现前端机同时读写数据，那么就必须由一台服务器用 nfs server 的方式共享给其他需要同时读写的前端设备，这样通过 nfs 文件系统结构机制便可以实现前端机同时对 SAN 读写了。另外还有一种方式可实现对 SAN 的存储同时读写，那就是利用第三方软件来实现，但是这种方式现在基本处于理论阶段，我们曾经也尝试使用此方式，但最终还是失败，由于是软件来实现同时读写方式，故可靠性值得商榷，所以我方不推荐采用这种方式。III.8 负载均衡设备比较当前市场上主流负载均衡产品有 F5、Radware 、Foundry 等产品，但不同厂商的产品在具体的功能上确有很大的差异，因此我方在邮件系统方案中推荐使用 F5 系列的负载均衡产品，因为 F5 产品可以实现对 ldap 数据库的读写、控制，也就是说在 F5 上可以设置后台某个邮件系统 ldap 数据库为可读、可写状态，而令一台邮件系统的 ldap 数据库为只读状态，这样后台邮件系统无论哪台服务器出现了故障，都不会影响邮件系统正常收发信件。据我们对市场的了解，目前只有 F5 负载均衡软件可以实现这样的功能，而其他的负载均衡产品就要稍微逊色一些了。北京智腾泰达科技有限公司 第 14 页 III.9 负载均衡架构单链路（NAS ）I n t e r n e tM a i l 1 x 3 6 5 0路由器交换机防火墙I n t e r n e t 用户内网用户M a i l 2 x 3 6 5 0N a s - n s 2 0四层交换 - B i g i p 1 5 0 0方案具体解释：此负载均衡方案是最为实用型方案，两台 mail 同时工作，通过前端的 big ip 1500 来实现负载均衡，同时负载均衡设备可自动感知服务是否正常，如不正常将自动停止向该服务器投递邮件。此方案用户数据都存放在 NAS 上，考虑到 NAS 是此方案中唯一的单点故障，故我方建议将 mail1 server 的硬盘增加到和 NAS 设备一样大，用户来做用户数据的备份，这样可以做到数据的双保险，以保证用户数据的安全性。北京智腾泰达科技有限公司 第 15 页 III.9.1 负载均衡架构（NAS）优缺点优点：安全性、稳定性高，后期可扩展性好，支持大并发量，可维护性高。缺点：造价比较贵，由于 nas 设备采用的是 tcp/ip 协议，因此容易受网络等不确定因素影响，另外当系统关机或是意外断电重新启动的时候，挂载 nas 很容易出现错误产生不能同时读写等问题，对系统正常工作造成影响。III.10 负载均衡架构（SAN）I n t e r n e tM a i l 1 x 3 6 5 0路由器交换机防火墙I n t e r n e t 用户内网用户M a i l 2 x 3 6 5 0D s 3 2 0 0四层交换 - B i g i p 1 5 0 0M a i l 3 x 3 6 5 0NFS共享方案具体解释：由于前端机不能同时读写 SAN 的存储，故必须由 mail3 做 nfs server 将存储空间共享出来，mail1 和 mail2 同时挂载 mail3 nfs server 共享出来的储存空间，这样 mail1 和 mail2 就可以同时读写存储了。同时 mail1 和 mail2 都做好 nfs server 的配置，一旦 mail3 机器出问题，mail1 和mail2 都可做 nfs server 端，这样基本不会影响邮件正常服务。北京智腾泰达科技有限公司 第 16 页 III.10.1 负载均衡（SAN）优缺点优点：高稳定性、高安全性，后期可扩展性好，对于大并发支持的好。缺点：由于多了 nfs 服务，所以存在 nfs 服务的单点故障，且后期的可维护性稍差，尤其系统出现故障重新启动挂载存储时故障率很高，必须人为干涉，因此后期的可维护性比较差。III.10.2 负载均衡架构 gfs 结构（san）硬件拓扑如下：防火墙交换机B i g i p 1 5 0 0邮件 s e r v e r 1 邮件 s e r v e r 2数据库 1 l d a p + m y s q l 数据库 2 l d a p + m y s q lD S 3 4 0 0I n t e r n e t方案具体解释：此方案采用负载均衡结构 server1 和 server2 同时工作，且为了保证 server1 和 server2 能够同时对后台的存储进行读写，我们采用最新的 gfs 文件系统格式，这里首先介绍一下 gfs 文件北京智腾泰达科技有限公司 第 17 页 系统GFS（Global File System）是 redhat 公司的全局文件系统软件，该软件能够提升数据访问速度，并且可以复制信息，所以当个别机器发生故障，这些信息依然能够使用。这种功能对于两种传统的集群是有利的：联系在一起的机器，这样当出现问题的时候，其中一台机器可以替代另外一台；另外一种就是链接在一起作为巨型计算机的集群。GFS 文件系统通过一个或多个存储单元来构建一个存储池，集群中的节点通过 SAN 可以连接到指定的存储池，这样每个集群节点就可以通过一个或多个路径把存储池连接到网络应用中，由于存储池连接方式是通过直接 I/O 连接方式，所以可以大大提升 I/O 性能。该软件可以和 redhat 公司的 HA 软件一起使用文件存储在被许多服务器共享的单一文件系统中，相关信息可以存储在服务器中或者在一个存储区域网络中也就是说可以实现多台服务器同时对 SAN 存储的访问和读写，且速度非常的快就像读写本地硬盘一样。因此 gfs 文件格式可以保证前端机器对后台存储的同时读写，另外为了最大程度上保证数据库的安全性及稳定性，我们采用两台服务器来跑数据库，数据库 1 和数据库 2，由于 big ip 1500 可对 ldap 读写进行控制，故可以保证两台数据库的 ldap 同时工作，同时我们利用数据库本身的自我复制功能保证两台服务器数据的一致性，这样就可以保证邮件系统安全稳定的运行，此种架构理论上比较完美，但是由于涉及的服务比较多，尤其 gfs 的前期配置和后期维护都会相对比较复杂，另外 big ip 1500 对后台 ldap 读写的控制也是一