集团公司门户网站架构设计方案

1、集团公司门户网站架构设计方案集团公司门户网站架构设计方案目录1网站的性能瓶颈分析(1)2系统架构设计(2)2.1总体思路(2)2.1.1负载均衡(2)2.1.2WEB应用开发架构思路(2)2.1.3数据存储的设计思路(2)2.1.4不同网络用户访问考虑(3)2.2总体架构(4)2.2.1网站的系统分层架构(4)2.2.2网站的物理架构(5)2.2.3网站的开发架构(6)2.2.4网络拓扑结构(7)2.3架构涉及技术的详解(8)2.3.1负载均衡(8)2.3.2缓存(14)2.3.3页面静态化(18)2.3.4数据库配置及优化(19)2.3.5文件存储(20)2.3.6网络问题解决方案(23)2

2、.3.7WEB应用开发架构设计思路(25)2.4系统软件参数优化(29)2.4.1操作系统优化(29)2.4.2tomcat服务器优化(30)2.4.3apache服务器优化(32)2.4.4Nginx服务器的优化(32)3WEB服务架构评测(33)3.1测试环境(33)3.1.1网络环境(33)3.1.2服务器配置(34)3.1.3软件环境(34)3.2测试结果(39)3.2.1单个TOMCAT的WEB服务器(39)3.2.2Nginx+2个TOMCAT的WEB服务器(40)3.2.3Nginx+2个TOMCAT的WEB服务器+缓冲(41)3.3测试结果分析(42)3.4评测结果(43)4配

3、置选型(44)4.1网络带宽(44)4.2架构和硬件配置选型(45)4.2.1硬件配置参考(45)422Web架构和硬件选型(45)4.3硬件扩容策略(46)4.3.1增加服务器(47)4.3.2增加存储(47)4.3.3升级服务器(47)4.3.4网络扩容(47)5附录：一些主流网站的真实数据(48)1、网站的性能瓶颈分析网站的性能影响因素很多，下面主要从如下4个方面进行分析说明:网络负载公网负载内网负载WEB应用服务器性能CPU存储，I/O访问内存并发TCP/IP连接数数据库服务器性能数据库参数配置服务器性能(CPU、内存、存储)数据结构的合理性不同WEB应用的处理方式而对不同的性能瓶颈a

4、)对于静态的网站：静态的HTML页面严格地由标准的HTML标示语言构成，并不需要服务器端即时运算生成。这意味着，对一个静态HTML文档发出访问请求后，服务器端只是简单地将该文档传输到客户端。从服务器运行的那个时间片来看，这个传输过程仅仅占用了很小的CPU资源。对于静态HTML的访问瓶颈为：网络带宽、磁盘I/O以及cache（高速缓冲存储器）。b）对于动态页面因为服务器解析动态页面必须在其传输到客户端前就通过服务器来进行解释，这样就会给应用服务器添加额外的性能消耗，如果进一步要访问数据库，则会增加数据库服务器的性能消耗，则动态页面还有额外的瓶颈：应用服务器的性能，数据库服务器的性能。2、系统架构

5、设计2.1、总体思路为提高网站的高并发性能，提高开发效率及运营效率，主要按如下几个思路进行规划设计：2.1.1、负载均衡1）四层交换负载均衡：釆用负载均衡器来实现硬件级的四层交换负载均衡，或釆用LVS来实现软件的四层交换负载均衡。2）通过第三方软件来实现负载均衡,同时实现页面请求的缓存。通过Nginx实现反向代理服务器集群，同时搭建squid集群以作为静态页面和图片的缓存。3）通过web服务器的配置来实现负载均衡即通过apache或是Nginx将客户请求均衡的分给tomcat1,tomcat2去处理。2.1.2、WEB应用开发架构思路1）应用开发实现MVC架构三层架构进行web应用开发2）页面

6、尽可能静态化以减少动态数据访问，如果是资讯类的网站可以考虑釆用第三方开源的CMS系统来生成静态的内容页面。3）釆用Oscache实现页面缓存，釆用Memcached实现数据缓存4）釆用独立的图片服务器集群来实现图片资源的存储及WEB请求2.1.3、数据存储的设计思路1）数据库拆分,把生产数据库和查询数据库分离，对生产数据库釆用RAC实现数据库的集群。2）釆用高效的网络文件共享策略，釆用图片服务器来实现页面的图片存储。2.1.4、不同网络用户访问考虑1）通过引入CDN来解决不同网络服务商的接入速度问题，一般只能解决静态页面的访问问题。2）在不同运营商机房部署服务器，通过镜像技术来实现不同网络服务

7、商的接入速度问题。2.2、总体架构221、网站的系统分层架构ApacheTomatTomatWEB服务器MVCControl磁用架珂Model伽JVEB服务:Apacliei-tomrat负載瀚：数推持典恳页面缓存(ibatis)数据缓存(OSCachtJ(、1enitHched)豔FSHDFS雅据库生产数据库査询数扳產用户痢览頁面弋理服务器眞群(Nginx)wdm器聚讎丸11据务鶴I服务器2持久层通讯层消息隆片服务券集譯中心业务层Xx*卜cSrSr弧务器i舉务影数据层发器发器WEBg务器2.2.4各拓扑结构备防火墙光纤交换机磁盘阵列柜磁盘阵列柜负载均衡器1负载均衡器2备注：釆用双防火墙双交换

8、机做网络冗余，保障平台服务釆用双防火墙通知接通2线路互联网接入，设备之间釆用VRRP协议，在任何一个防火墙、互联网发生故障后均可自动将流量切换到另一端，保证网站的正运行，设备或网络恢复后，自动恢复。釆用双千兆交换机分别接在2台防火墙上，当某台设备或者网络链路发生故障后，好设备自动接管已坏设备的工作，不影响网站的整体运行，根据业务及真实服务器的数量，交换机可以随时增加。釆用硬件设备负载均衡器，实现网络流量的负载均衡使用硬件设备负载均衡器，将网络流量均衡的分担到WEB服务器集群各节点服务器，保障平台服务器资源均衡的使用。釆用代理服务器，实现软件级的网络负载均衡。数据库服务器分离成生产数据库集群和查

9、询数据库集群，实现生产读写与后台查询统计进行分离，同时生产数据库釆用rac技术进行2.3、架构涉及技术的详解2.3.1、负载均衡基于DNS的负载均衡-一个域名绑定多个IPDNS负载均衡技术是最早的负载均衡解决方案，它是通过DNS服务中的随机名字解析来实现的，在DNS服务器中，可以为多个不同的地址配置同一个名字，而最终查询这个名字的客户机将在解析这个名字时得到其中的一个地址。因此，对于同一个名字，不同的客户机会得到不同的地址，它们也就访问不同地址上的Web服务器，从而达到负载均衡的目的。这种技术的优点是，实现简单、实施容易、成本低、适用于大多数TCP/IP应用；但是，其缺点也非常明显，首先这种方

10、案不是真正意义上的负载均衡，DNS服务器将Http请求平均地分配到后台的Web服务器上，而不考虑每个Web服务器当前的负载情况；如果后台的Web服务器的配置和处理能力不同，最慢的Web服务器将成为系统的瓶颈，处理能力强的服务器不能充分发挥作用；其次未考虑容错，如果后台的某台Web服务器出现故障，DNS服务器仍然会把DNS请求分配到这台故障服务器上，导致不能响应客户端。最后一点是致命的，有可能造成相当一部分客户不能享受Web服务，并且由于DNS缓存的原因，所造成的后果要持续相当长一段时间(一般DNS的刷新周期约为24小时)。所以在国外最新的建设中心Web站点方案中，已经很少釆用这种方案了。通过硬

11、件四层交换实现负载均衡在硬件四层交换产品领域，有一些知名的产品可以选择，比女Alteon、F5等，这些产品很昂贵，但是物有所值，能够提供非常优秀的性能和很灵活的管理能力。Yahoo中国当初接近2000台服务器使用了三四台Alteon就搞定了通过软件四层交换实现负载均衡软件四层交换我们可以使用Linux上常用的LVS来解决，LVS就是LinuxVirtualServer,他提供了基于心跳线heartbeat的实时灾难应对解决方案，提高系统的鲁棒性，同时可供了灵活的虚拟VIP配置和管理功能，可以同时满足多种应用需求，这对于分布式的系统来说必不可少。一个典型的使用负载均衡的策略就是，在软件或者硬件四层交换的基础上搭建jquid集群，这种思路在很多大型网站包括搜索引擎上被釆用，这样的架构低成本、高性能还有很强的扩张性。通过反向代理服务器实现负载均衡反向代理服务器又称为WEB加速服务器，它位于WEB服务器的前端，充当WEB服务器的内容缓存器，反向代理服务器是针对WEB服务器设置的，后台WEB服务器对互联网用户是透明的，用户只能看到反向代理服务器的地址，不清楚后台WEB服务