大型网络平台架构设计方案

大型网络平台架构设计方案实用文档大型网络平台架构设计方案目录1 网站的性能瓶颈分析 12 系统架构设计 32.1 总体思路 32.1.1 负载均衡 32.1.2 WEB应用开发架构思路 32.1.3 数据存储的设计思路 32.1.4 不同网络用户访问考虑 42.2 总体架构 52.2.1 网站的系统分层架构 52.2.2 网站的物理架构 62.2.3 网站的开发架构 72.2.4 网络拓扑结构 82.3 架构涉及技术的详解 92.3.1 负载均衡 92.3.2 缓存 152.3.3 页面静态化 192.3.4 数据库配置及优化 202.3.5 文件存储 212.3.6 网络问题解决方案 242.3.7 WEB应用开发架构设计思路 262.4 系统软件参数优化 302.4.1 操作系统优化 302.4.2 tomcat服务器优化 312.4.3 apache服务器优化 332.4.4 Nginx服务器的优化 333 Web服务架构评测 343.1 测试环境 343.1.1 网络环境 343.1.2 服务器配置 353.1.3 软件环境 353.2 测试结果 403.2.1 单个TOMCAT的WEB服务器 403.2.2 Nginx+2个TOMCAT的WEB服务器 413.2.3 Nginx+2个TOMCAT的WEB服务器+缓冲 423.3 测试结果分析 433.4 评测结果 444 配置选型 454.1 网络带宽 454.2 架构和硬件配置选型 464.2.1 硬件配置参考 464.2.2 Web架构和硬件选型 474.3 硬件扩容策略 484.3.1 增加服务器 484.3.2 增加存储 484.3.3 升级服务器 484.3.4 网络扩容 485 附录：一些主流网站的真实数据 49第页测试结果分析系统参数的影响分析worker_processes参数对Nginx性能的影响测试过程中分别设定worker_processes为8、4、2、1时发现，该参数对nginx性能影响不大，对服务器资源消耗也没有太大影响，相关资料显示，该参数的值最好跟cpu核数相等，能够发挥最大性能，本次测试nginx所在服务器为2颗双核cpu，因此最终测试设定为4。MaxThread参数对tomcat并发性的影响本次测试tomcat的MaxThread参数设定为500，进行13000条/秒并发测试时，tomcat启动并发线程过多，将服务器cpu耗尽。分析MaxThread虽能够提高tomcat并发能力，但前提是在一个合理的范围内，要确保服务器负载不会因为并发线程过多而急剧升高，从而停止响应。-Xmx最大内存值对Tomcat能够持续响应高并发的影响持续高并发请求状态下，有6次测试是因为tomcat内存达到指定最大值导致响应变慢，直至内存溢出停止响应，因此，Tomcat最大内存对tomcat能够持续响应高并发请求有很大的影响，调整该值，应该可以增加Tomcat响应高并发请求的总数，进而延长WEB服务能够支撑峰值的时间。各架构下的性能分析Nginx+2Tomcat的最大并发性低于单Tomcat，Nginx+2Tomcat最快为8980条/秒，单Tomcat为12986条/秒，分析可能是受nginx所在服务器性能影响所致。单tomcat在配置1.7g最大内存时，在持续超过1479条/秒的并发请求下，在稳定支撑约240万次响应后，Tomcat内存达到1.7上限，之后Tomcat响应会急剧变慢，错包急剧上升。Nginx+2tomcat架构下，2个tomcat分别配置1.7g最大内存时，在持续超过2900条/秒的并发请求下，能够稳定支撑约540万次左右响应，之后两个Tomcat内存都会达到1.7上限，响应会急剧变慢，但错包情况并未出现。在Nginx+2tomcat，同时配置了缓存的情况下，可以达到1.5万以上的并发处理能力评测结果单个tomcat的处理能力在500条/秒左右单个tomcat能稳定支持每秒500左右的并发请求。Nginx+Tomcat比单个Tomcat更稳定，不易出现错包，可以通过扩充tomcat集群（新增tomcat服务器）来提升系统的并发能力单个tomcat在超出并发能力的提求下，处理能力大大下降，并出现大量错包，而采用Nginx+2Tomcat架构在各种测试下，均未出现错包，但处理能力也会下降。单个tomcat能稳定支持每秒500左右的并发请求，而Nginx+2Tomcat能支持每秒1000左右的并发请求。所以可以通过新加tomcat服务器来提升系统的并发能力，但在tomcat的总体处理能力超过nginx的处理能力时无效。Nginx+2Tomcat配置了缓存后，静态页面的并发能力不再受tomcat的限制，单个nginx的并发处理能力能达到1.5万以上。配置了缓存后，nginx+2tomcat的处理能力实测数据超过了1.5万次/秒，而单个tomcat可以支撑500次/秒，则从理论上计算一组Nginx+30个Tomcat集群可以支撑1.5万次/秒的并发处理。注：为tomcat均分配1.7G内存。配置选型网络带宽只考虑门户访问的带宽占用，后台管理页面等其他业务访问与门户访问相差2-3个数量级，这一部分网络流量占用忽略。同时考虑网络带宽利用率（70%）根据业务设计能力，每秒网络流量=WEB网站每秒钟访问流量=（每次访问占用的带宽×每秒访问次数）/带宽利用率=(200K*8*n)/0.7注：一般门户的首页大小>1M、平均200K/页面，我们以平均值来计算。并发能力占用的网络带宽100次/秒228M200次/秒457M500次/秒1442M1000次/秒2286M架构和硬件配置选型硬件配置参考序号产品功能参考型号、配置TPMC1主机设备1.1数据库服务器IBMSystemx3850M2,4个处理器，每处理器为6核，共计24核。内存大小16G。SAS硬盘，硬盘大小587GB。4U机架，集成双千兆以太网接口，两块千兆的光纤网卡。6845081.2WEB服务器IBMSystemx3850M2,4个处理器，每处理器为6核，共计24核。内存大于8G。SAS硬盘，硬盘大小587GB。4U机架，集成双千兆以太网接口，两块千兆的光纤网卡。6845081.3管理终端IBMSystemx3560，1个IntelXeonE5450处理器，内存大小2G，2U机架。326002网络设备2.1负载均衡器RADWARE应用负载均衡设备,型号:为ODS-504,有，4个可选的千兆位电端口,1G主内存,500M处理能力(最大可通过License升级为4G)2.2防火墙CISCOASA5520防火墙

并发连接：280000

网络吞吐：450

安全过滤：225MB

网络端口：4个千兆以太网接口+1个快速

用户数限：无用户数限制用户

VPN支持：支持2.2交换机QuidwayS3952P-EI

传输速率：10Mbps/100Mbps/1000Mbps

网络标准：IEEE802.1Q、IEEE802.1D

端口数量：48

接口介质：10/100Base-T、1000Base-X

传输模式：全双工/半双工自适应

背板带宽：32Gbps3存储设备3.1光纤存储柜光纤存储柜（EVA4100）3.2光纤交换机光纤交换机（4/32BSANSwitch）注：上表为硬件的参考配置，根据网站规模的不同，在初期可以不用硬件负载均衡器。服务器性能也可以作适当缩减，达到一定规模后硬件的扩容请参考“4.3硬件扩容策略”Web架构和硬件选型并发能力Web服务器架构服务器配置备注<200次/秒1)

Apache+n个Tomcat（n>=2）；2台web服务

2台数据库服务器1台web服务器同时部署apache（nginx）和tomcat；

另1台部署tomcat。一起实现web负载均衡。

1台生产数据库，1台查询数据库2)

Nginx+n个Tomcat（n=2）；200~500次/秒1)

Apache+n个Tomcat（n>=2）；3台web服务

2台数据库服务器

2台缓存服务器1台web服务器装apache（nginx）；

另2台web服务器tomcat；

1台生产数据库，1台查询数据库2)

Nginx+n个Tomcat（n=2）；注：同时配置缓冲>500次/秒Nginx+n个Tomcat（n>=2）；

注：同时配置缓冲n台web服务（n>5）

m台数据库服务器

2台缓存服务器

2台负载均衡器1台web服务器装nginx；

其他web服务器tomcat；在web服务器>4台的时侯可以考虑划成多个nginx+tomcat集群。

生产数据库用ORACLE的RAC集群，也可考虑多种数据库并存如用mysql.>1.5万次多个Nginx+n个Tomcat（n>=2）组合；

注：同时配置缓冲n台web服务（n>30）

m台数据库服务器

2台缓存服务器

2台负载均衡器组成多个nginx+tomcat集群（1台ngix+5台tomcat）,通过负载均衡器分流。

数据库用ORACLE的RAC集群。说明：1）理论上单个tomcat可以支持500的并发，考虑到门户的高可用性，可以考虑用Nginx+n个Tomcat（n>=2）的负载均衡架构。2）当并发>500时可以考虑增加tomcat服务器，当tomcat增加达到30个时理论可以支撑1.5万次的并发请求。3）当并发>1.5万次时则需要考虑增加一套Nginx+tomcat的组合，多个Nginx+tomcat通过硬件或是软件负载均衡器来实现平载均衡。4）以上的硬件配置没考虑其他复杂的应用需求，如有其他应用（大容量的文件存储、接口服务、复杂的计算等）需求则需要配置相应的硬件。硬件扩容策略当网站发展到一定阶段，随着用户量不断扩大，现有的网络资源和服务器资源不能满足用户需要的时候，就需要对平台进行服务器和网络的扩容。以下是两种平台扩容的方式：增加服务器对于web的并发处理有瓶颈时，新增的web服务器，把新增的web服务器填加到Web服务器集群中，以增加WEB的并发处理能力。对于数据库有处理压力时，可以增加数据库服务器，增加数据库服务器加入数据库的集群中。增加存储对于存储容量不能满足业务需要时，可以考虑在磁盘柜中新增加硬盘，甚至考虑新增磁盘柜。升级服务器可以升级服务器的内存、硬盘，甚至考虑用新的性能更高的服务器来替换。网络扩容申请更大的网络带宽引入CDN升级内网交换机。附录：一些主流网站的真实数据taobao 服务中心200台服务器承载了70亿/天的请求维基百科alexa访问量排名第6的维基百科，每天有3.4亿个PV，但其最高峰的HTTP请求数也只有五六万左右。facebook120M+activeusers50B+PVspermonth50B+PVspermonth10B+Photos1B+connections50K+PlatformApps400K+AppDevelopersLAMP+Services AdServer Search NetworkSelector NewsFeed Blogfeeds PHP Memcache MySQLBlogfeeds CSSParser Mobile ShareScraperAmzon的一组数据：超过5500万活动顾客的帐号和账单信息；世界范围内超过100万个活动零售商；构建一个页面所需要访问的服务API在100至150个；每天数十亿的用户访问。这是一组庞大的数字豆瓣网的一些数据： 2.8M注册用户，约1/4活跃用户 千万级非注册用户 20M动态请求/天，峰值500~600/sec 23台普通PC服务器(1U*15/2U*8) 12台提供线上服务 38Gmemcachedebay2