大型网站服务器架构方案

1、 大型网站服务器架构方案随着网络技术的不断发展，互联网和局域网在人们的工作和生活中得到了广泛的应用。服务器作为整个网络运行的基石，发挥着举足轻重的作用。从当前的网络发展状况看，在互联网行业，以web 2.0模式运营的网站的蓬勃兴起，在为人们带来广阔应用的同时，亦对服务器提出了更为苛刻的需求。围绕着这一领域，亦出现了很多全新的技术概念，而对服务器技术及其应用模式的了解，是深入了解和掌握网络技术的基础。应用需求-交互模式对系统平台要求更苛刻web 2.0网站是指将传统的网站构架（平台、内容源、用户、传播方式等）转化到以用户为核心的网站构架上来，包括一系列体现web2.0概念的元素、定位和创意。we

2、b2.0网站在构架上须体现两大宗旨，即强大的后台系统和简单的前台页面，也即提供良好的用户体验。随着web 2.0各种应用的进入到日常生活，众多新兴的交互模式和互联网技术不断纷纷涌现，像博客、播客、威客、分类信息、wiki、视频分享、网络电视、p2p下载、社区、cdn内容分发等形式，正在被越来越多的网站所应用，这样势必会有更多的用户加入其中，晒照片、晒视频、晒声音，谈吃、谈玩、谈旅游、谈技术课题等都成为他们生活中不可或缺的一部分。这样也对承载网站系统平台的服务器提出了更为苛刻的要求。大型网站，比如门户网站。在面对大量用户访问、高并发请求方面，基本的解决方案集中在这样几个环节：前端采用cdn加速，

3、包括网易、百度、新浪目前都是这种方式，使用高性能的服务器、高性能的数据库、高效率的编程语言、还有高性能的web容器。这种方式是解决大量访问提高访问质量的性价比最高的途径，除此之外还有就是采用分布式负载均衡、异地镜像来解决大型网站面临的高负载和高并发问题，但是成本会非常之高。 解决方案：应用细分 确保高效稳定运行由上可以看出，在构建大型网站系统平台中，高扩展性、高可用性以及具备成本优势的解决方案是他们所迫切需要的，而在选购服务器产品时，一款性价比高、功能强大、管理维护便捷的服务器更能契合此系统平台搭建需要。解决方案拓扑图前端cdn加速内容分发网络（cdn）采用智能路由和流量管理技术，及时发现能够

4、给访问者提供最快响应的加速节点，并将访问者的请求导向到该加速节点，由该加速节点提供内容服务。利用内容分发与复制机制，cdn客户不需要改动原来的网站结构，只需修改少量的dns配置，就可以加速网络的响应速度。当用户访问了使用cdn服务的网站时，dns域名服务器通过cname方式将最终域名请求重定向到cdn系统中的智能dns负载均衡系统。智能dns负载均衡系统通过一组预先定义好的策略（如内容类型、地理区域、网络负载状况等），将当时能够最快响应用户的节点地址提供给用户，使用户可以得到快速的服务。同时，它还与分布在不同地点的所有cdn节点保持通信，搜集各节点的健康状态，确保不将用户的请求分配到任何一个已

5、经不可用的节点上。而网宿cdn还具有在网络拥塞和失效情况下，能拥有自适应调整路由的能力。使用了cdn服务后，用户的访问流程如下图所示：图 cdn用户访问流程图用户向浏览器提供要访问网站的域名，域名解析的请求被发往网站的dns域名解析服务器；由于网站的dns域名解析服务器对此域名的解析设置了cname，请求被指向cdn网络中的智能dns负载均衡系统；智能dns负载均衡系统对域名进行智能解析，将响应速度最快的节点ip返回给用户；浏览器在得到速度最快节点的ip地址以后，向cdn节点发出访问请求；由于是第一次访问，cdn节点将回到源站取用户请求的数据并发给用户；当有其他用户再次访问同样内容时，cdn将

6、直接将数据返回给客户，完成请求/服务过程。通过以上的分析我们可以看出，cdn服务对网站访问提供加速的同时，可以实现对普通访问用户透明，即加入缓存以后用户客户端无需进行任何设置，直接输入被加速网站原有的域名即可访问负载均衡 负载均衡将是大型网站解决高负荷访问和大量并发请求采用的终极解决办法。 负载均衡技术发展了多年，有很多专业的服务提供商和产品可以选择，我个人接触过一些解决方法，其中有两个架构可以给大家做参考。 1、lvs负载均衡服务器，l采用ip负载均衡技术和基于内容请求分发技术，调度器具有很好的吞吐率。2、智能dns，根据访问者的ip来源地自动将域名解析到最近的服务器。html静态化静态ht

7、ml-静态html是互联网上任何站点最基本的一种构成元素。几乎所有的站点均不同程度地采用了这种元素。静态的html页面严格地由标准的html标示语言构成，并不需要服务器端即时运算生成。从服务器运行的那个时间片来看，这个传输过程仅仅占用了很小的cpu资源。为了提高静态html的访问效率，主要可以从以下几个方面进行优化：网络带宽、磁盘i/o以及cache(高速缓冲存储器)。其实大家都知道，效率最高、消耗最小的就是纯静态化的html页面，所以我们尽可能使我们的网站上的页面采用静态页面来实现，这个最简单的方法其实也是最有效的方法。但是对于大量内容并且频繁更新的网站，我们无法全部手动去挨个实现，于是出现

8、了我们常见的信息发布系统cms，像我们常访问的各个门户站点的新闻频道，甚至他们的其他频道，都是通过信息发布系统来管理和实现的，信息发布系统可以实现最简单的信息录入自动生成静态页面，还能具备频道管理、权限管理、自动抓取等功能，对于一个大型网站来说，拥有一套高效、可管理的cms是必不可少的。 除了门户和信息发布类型的网站，对于交互性要求很高的社区类型网站来说，尽可能的静态化也是提高性能的必要手段，将社区内的帖子、文章进行实时的静态化，有更新的时候再重新静态化也是大量使用的策略，像mop的大杂烩就是使用了这样的策略，网易社区等也是如此。 同时，html静态化也是某些缓存策略使用的手段，对于系统中频繁

9、使用数据库查询但是内容更新很小的应用，可以考虑使用html静态化来实现，比如论坛中论坛的公用设置信息，这些信息目前的主流论坛都可以进行后台管理并且存储再数据库中，这些信息其实大量被前台程序调用，但是更新频率很小，可以考虑将这部分内容进行后台更新的时候进行静态化，这样避免了大量的数据库访问请求图片服务器分离 大家知道，对于web服务器来说，不管是apache、iis还是其他容器，图片是最消耗资源的，于是我们有必要将图片与页面进行分离，这是基本上大型网站都会采用的策略，他们都有独立的图片服务器，甚至很多台图片服务器。这样的架构可以降低提供页面访问请求的服务器系统压力，并且可以保证系统不会因为图片问

10、题而崩溃，在应用服务器和图片服务器上，可以进行不同的配置优化，比如apache在配置contenttype的时候可以尽量少支持，尽可能少的loadmodule，保证更高的系统消耗和执行效率数据库集群和库表散列 大型网站都有复杂的应用，这些应用必须使用数据库，那么在面对大量访问的时候，数据库的瓶颈很快就能显现出来，这时一台数据库将很快无法满足应用，于是我们需要使用数据库集群或者库表散列。 在数据库集群方面，很多数据库都有自己的解决方案，oracle、sybase等都有很好的方案，常用的mysql提供的master/slave也是类似的方案，您使用了什么样的db，就参考相应的解决方案来实施即可。

11、上面提到的数据库集群由于在架构、成本、扩张性方面都会受到所采用db类型的限制，于是我们需要从应用程序的角度来考虑改善系统架构，库表散列是常用并且最有效的解决方案。我们在应用程序中安装业务和应用或者功能模块将数据库进行分离，不同的模块对应不同的数据库或者表，再按照一定的策略对某个页面或者功能进行更小的数据库散列，比如用户表，按照用户id进行表散列，这样就能够低成本的提升系统的性能并且有很好的扩展性。sohu的论坛就是采用了这样的架构，将论坛的用户、设置、帖子等信息进行数据库分离，然后对帖子、用户按照板块和id进行散列数据库和表，最终可以在配置文件中进行简单的配置便能让系统随时增加一台低成本的数据

12、库进来补充系统性能。服务器解决方案：1、 负载均衡服务器（2台）lvs集群采用ip负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率，将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服务器的故障，从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的，而且无需修改客户端和服务器端的程序。为此，在设计时需要考虑系统的透明性、可伸缩性、高可用性和易管理性。一般来说，lvs集群采用三层结构，其主要组成部分为： a、负载调度器（load balancer），它是整个集群对外面的前端机，负责将客户的请求发送到一组服务器上执行，而客户认为服务是来自一个ip

13、地址（我们可称之为虚拟ip地址）上的。b、服务器池（server pool），是一组真正执行客户请求的服务器，执行的服务有web、mail、ftp和dns等。 c、共享存储（shared storage），它为服务器池提供一个共享的存储区，这样很容易使得服务器池拥有相同的内容，提供相同的服务。vs/nat、vs/tun和vs/dr技术是lvs集群中实现的三种ip负载均衡技术。2、 应用服务器（3台）web应用服务器使用、jsp、php脚本语言实现，简单的说能实现动态网页技术的服务器叫做应用服务器，该服务器接受用户的请求，调用后端资源动态生成页面并返回给用户。由于前端的缓存服务器接受了大部分的访

14、问压力，在网站建设的前期可以考虑使用性能比较好的服务器，后期可以添加服务器做负载均衡。3、静态存储服务器（2台）对于web服务器来说，不管是apache、iis还是其他服务器，视频、图片是最消耗资源的，于是有必要将视频、图片与页面进行分离。这样，不仅可降低提供页面访问请求的服务器系统压力，还可保证系统不会因为图片问题而崩溃，在应用服务器和图片服务器上，可以进行不同的配置优化，保证更高的系统消耗和执行效率。由于访问静态内容对系统的资源占用很低，故静态存储服务器不需要强大的处理能力，只需大容量的高速磁盘即可。4、数据库集群（双机热备服务器两台、阵列柜1台）大型网站都有复杂的应用，这些应用必须使用数

15、据库。oracle、mysql、sql server在大型网站应用较广，由于服务器保存着整个网站的最重要的用户信息，并且是整个系统中关键环节，也是最容易出现系统瓶颈的环节。更是网站最宝贵的资源。故数据库服务器需要很强大的数据处理能力，并确保数据的完整性和可用性。因此，考虑到以上的应用需求，因此推荐使用数据库服务器集群。由多台服务器共同对web提供服务，通过负载均衡机制和热备份机制。保证机器7*24不间断运行。平时两台机器共同为应用服务器提供服务。当其中一台机器出现故障，另外一台自动接管他的任务；保证服务不中断。而冷备份服务器可以在两台热备服务器同时出现故障后手动接管他们的工作。服务器方案表：

16、方案一：集群负载均衡（集群热备模式，可允许多点故障）项目名称型号参数单价数量合计squid代理缓存服务器hp dl380g7标配2颗六核英特尔 至强 x5660 (2.80 ghz, 12mb三级缓存, 95w, ddr3-1333, ht, turbo 2/2/2/2/3/3)处理器，intel 5520芯片组；16gb (6x2gb) pc3-10600r (ddr3-1333) 寄存式 dimm，18个内存插槽，最多192gb内存；2个 hp nc382i 双端口多功能千兆服务器适配器；500gb 7.2k sas 6g 2.5双端口热插拔硬盘，hp smart array p410i/

17、1gb with fbwc（支持raid 0/1/1+0/5/5+0）；支持8个sff 热插拔硬盘，最大支持到16个sff硬盘；标配3个pci-e 2.0插槽（1个全高全长x16，2个全高半长x8 插槽），可额外添加3个；6个n+1 冗余风扇模块；5个usb（后面2个，前面2个，内部1个），sd插槽1个；集成 lights-out 2(ilo 2)；sata dvd rw；2个750w 1+1冗余热插拔电源；2u高度；含导轨548004219200lvs负载均衡服务器hp dl380g7标配2颗六核英特尔 至强 x5620(2.40 ghz, 12mb三级缓存, 95w, ddr3-1333,

18、 ht, turbo 2/2/2/2/3/3)处理器，intel 5520芯片组；8gb (2x4gb) pc3-10600r (ddr3-1333) 寄存式 dimm，18个内存插槽，最多192gb内存；2个 hp nc382i 双端口多功能千兆服务器适配器；500gb 7.2k sas 6g 2.5双端口热插拔硬盘，hp smart array p410/i0m（支持raid 0/1/）；支持8个sff 热插拔硬盘，最大支持到16个sff硬盘；标配3个pci-e 2.0插槽（1个全高全长x16，2个全高半长x8 插槽），可额外添加3个；6个n+1 冗余风扇模块；5个usb（后面2个，前面2

19、个，内部1个），sd插槽1个；集成 lights-out 2(ilo 2)；sata dvd rw；2个460w 1+1冗余热插拔电源；2u高度；含导轨23900247800应用服务器hp dl380g7标配2颗六核英特尔 至强 x5660 (2.80 ghz, 12mb三级缓存, 95w, ddr3-1333, ht, turbo 2/2/2/2/3/3)处理器，intel 5520芯片组；16gb (6x2gb) pc3-10600r (ddr3-1333) 寄存式 dimm，18个内存插槽，最多192gb内存；2个 hp nc382i 双端口多功能千兆服务器适配器；500gb 7.2k

20、sas 6g 2.5双端口热插拔硬盘，hp smart array p410i/1gb with fbwc（支持raid 0/1/1+0/5/5+0）；支持8个sff 热插拔硬盘，最大支持到16个sff硬盘；标配3个pci-e 2.0插槽（1个全高全长x16，2个全高半长x8 插槽），可额外添加3个；6个n+1 冗余风扇模块；5个usb（后面2个，前面2个，内部1个），sd插槽1个；集成 lights-out 2(ilo 2)；sata dvd rw；2个750w 1+1冗余热插拔电源；2u高度；含导轨548003164400视频存储服务器hp dl380g7标配2颗六核英特尔 至强 x562

21、0(2.40 ghz, 12mb三级缓存, 95w, ddr3-1333, ht, turbo 2/2/2/2/3/3)处理器，intel 5520芯片组；8gb (2x4gb) pc3-10600r (ddr3-1333) 寄存式 dimm，18个内存插槽，最多192gb内存；2个 hp nc382i 双端口多功能千兆服务器适配器；500gb 7.2k sas 6g 2.5双端口热插拔硬盘，hp smart array p410/i0m（支持raid 0/1/）；支持8个sff 热插拔硬盘，最大支持到16个sff硬盘；标配3个pci-e 2.0插槽（1个全高全长x16，2个全高半长x8 插槽

22、），可额外添加3个；6个n+1 冗余风扇模块；5个usb（后面2个，前面2个，内部1个），sd插槽1个；集成 lights-out 2(ilo 2)；sata dvd rw；2个460w 1+1冗余热插拔电源；2u高度；含导轨23900123900视频存储盘阵hp msa2000g2sas24tb存储容量，支持raid5/6/50hp storageworks 2012 模块化存储系统3.5英寸磁盘柜 (lff)能够支持1只2个控制器及磁盘扩展模块带12颗硬盘插槽；冗余电源风扇hp storageworks 2300sa g2模块化存储阵列控制器每个控制器 1 gb缓存；每个控制器有4个3gb

23、 sas端口；直连最大支持8个主机；使用3gb sas bl交换机可最大支持64个主机冗余电源风扇82800182800数据库热备服务器hp dl380g7标配2颗六核英特尔 至强 x5660 (2.80 ghz, 12mb三级缓存, 95w, ddr3-1333, ht, turbo 2/2/2/2/3/3)处理器，intel 5520芯片组；16gb (6x2gb) pc3-10600r (ddr3-1333) 寄存式 dimm，18个内存插槽，最多192gb内存；2个 hp nc382i 双端口多功能千兆服务器适配器；500gb 7.2k sas 6g 2.5双端口热插拔硬盘，hp sm

24、art array p410i/1gb with fbwc（支持raid 0/1/1+0/5/5+0）；支持8个sff 热插拔硬盘，最大支持到16个sff硬盘；标配3个pci-e 2.0插槽（1个全高全长x16，2个全高半长x8 插槽），可额外添加3个；6个n+1 冗余风扇模块；5个usb（后面2个，前面2个，内部1个），sd插槽1个；集成 lights-out 2(ilo 2)；sata dvd rw；2个750w 1+1冗余热插拔电源；2u高度；含导轨548002109600数据库热备盘阵（8tb）hp msa2000g2sas8tb存储容量，支持raid5/6/50hp storagew

25、orks 2012 模块化存储系统3.5英寸磁盘柜 (lff)能够支持1只2个控制器及磁盘扩展模块带12颗硬盘插槽；冗余电源风扇hp storageworks 2300sa g2模块化存储阵列控制器每个控制器 1 gb缓存；每个控制器有4个3gb sas端口；直连最大支持8个主机；使用3gb sas bl交换机可最大支持64个主机冗余电源风扇44800144800合计692500.00采用负载均衡、细分应用的集群方式工作，每台机器将均匀的负载网络用户的访问，当某台机器出现故障时，其他机器可自动接管故障机器的任务。保证业务不中断、用户的访问不停止。是一种大型信息系统高性能、高可靠性、高可扩展性的

26、解决方案。方案二：小型负载均衡集群项目名称型号参数单价数量合计lvs负载均衡服务器hp dl380g7标配2颗六核英特尔 至强 x5620(2.40 ghz, 12mb三级缓存, 95w, ddr3-1333, ht, turbo 2/2/2/2/3/3)处理器，intel 5520芯片组；8gb (2x4gb) pc3-10600r (ddr3-1333) 寄存式 dimm，18个内存插槽，最多192gb内存；2个 hp nc382i 双端口多功能千兆服务器适配器；500gb 7.2k sas 6g 2.5双端口热插拔硬盘，hp smart array p410/i0m（支持raid 0/1

27、/）；支持8个sff 热插拔硬盘，最大支持到16个sff硬盘；标配3个pci-e 2.0插槽（1个全高全长x16，2个全高半长x8 插槽），可额外添加3个；6个n+1 冗余风扇模块；5个usb（后面2个，前面2个，内部1个），sd插槽1个；集成 lights-out 2(ilo 2)；sata dvd rw；2个460w 1+1冗余热插拔电源；2u高度；含导轨23900247800应用服务器hp dl380g7标配2颗六核英特尔 至强 x5660 (2.80 ghz, 12mb三级缓存, 95w, ddr3-1333, ht, turbo 2/2/2/2/3/3)处理器，intel 5520芯

28、片组；16gb (6x2gb) pc3-10600r (ddr3-1333) 寄存式 dimm，18个内存插槽，最多192gb内存；2个 hp nc382i 双端口多功能千兆服务器适配器；500gb 7.2k sas 6g 2.5双端口热插拔硬盘，hp smart array p410i/1gb with fbwc（支持raid 0/1/1+0/5/5+0）；支持8个sff 热插拔硬盘，最大支持到16个sff硬盘；标配3个pci-e 2.0插槽（1个全高全长x16，2个全高半长x8 插槽），可额外添加3个；6个n+1 冗余风扇模块；5个usb（后面2个，前面2个，内部1个），sd插槽1个；集成

29、 lights-out 2(ilo 2)；sata dvd rw；2个750w 1+1冗余热插拔电源；2u高度；含导轨548003164400视频存储服务器hp dl380g7标配2颗六核英特尔 至强 x5620(2.40 ghz, 12mb三级缓存, 95w, ddr3-1333, ht, turbo 2/2/2/2/3/3)处理器，intel 5520芯片组；8gb (2x4gb) pc3-10600r (ddr3-1333) 寄存式 dimm，18个内存插槽，最多192gb内存；2个 hp nc382i 双端口多功能千兆服务器适配器；500gb 7.2k sas 6g 2.5双端口热插拔

30、硬盘，hp smart array p410/i0m（支持raid 0/1/）；支持8个sff 热插拔硬盘，最大支持到16个sff硬盘；标配3个pci-e 2.0插槽（1个全高全长x16，2个全高半长x8 插槽），可额外添加3个；6个n+1 冗余风扇模块；5个usb（后面2个，前面2个，内部1个），sd插槽1个；集成 lights-out 2(ilo 2)；sata dvd rw；2个460w 1+1冗余热插拔电源；2u高度；含导轨23900123900视频存储盘阵hp msa2000g2sas24tb存储容量，支持raid5/6/50hp storageworks 2012 模块化存储系统3

31、.5英寸磁盘柜 (lff)能够支持1只2个控制器及磁盘扩展模块带12颗硬盘插槽；冗余电源风扇hp storageworks 2300sa g2模块化存储阵列控制器每个控制器 1 gb缓存；每个控制器有4个3gb sas端口；直连最大支持8个主机；使用3gb sas bl交换机可最大支持64个主机冗余电源风扇82800182800数据库服务器hp dl380g7标配2颗六核英特尔 至强 x5660 (2.80 ghz, 12mb三级缓存, 95w, ddr3-1333, ht, turbo 2/2/2/2/3/3)处理器，intel 5520芯片组；16gb (6x2gb) pc3-10600r (ddr3-1333) 寄存式 dimm，18个内存插槽，最多192gb内存；2个 hp nc382i 双端口多功能千兆服务器适配器；500gb 7.2k sas 6g 2.5双端口热插拔硬盘，hp smart array p410i/1gb with fbwc（支持raid 0/1/1+0/5/5+0）；支持8个sff 热插拔硬盘，最大支持到16个sff硬盘；标配3个pci-e 2.0插槽（1个全高全长x16，2个全高半长x8 插槽），可额外添加3个；6个n+1 冗余风扇模块；5个usb（后面2个，前面2个，内部1个），sd插槽1个；集