大型网站平台优化方案

平台优化方案大型网站，在面对大量用户访问、高并发恳求方面，根本的解决方案集中在有高性能的Web载和高并发问题。度来说说我的一些阅历.HTML静态化由于效率最高、消耗最小的就是纯静态化的html页面，所以尽可能使网站上的页面承受静态页面来实现，这个最简洁的方法其实也是最有效的方法.但是对还能具备频道治理、权限治理、自动抓取等功能，对于一个大型网站来说，拥有一套高效、可治理的CMS是必不行少的。态化，有更的时候再重静态化也是大量使用的策略，如Mop的大杂烩就是使用了这样的策略，网易社区等也是如此.同时，html静态化也是某些缓存策略使用的手段,对于系统中频繁使用数据html数据库中,这些信息其实大量被前台程序调用，但是更频率很小，可以考虑将这局部内容进展后台更的时候进展静态化，这样避开了大量的数据库访问恳求.图片效劳器分别对于Web效劳器来说，不管是Apache、IIS还是其他容器，图片是最消耗资源在应用效劳器和图片效劳器上，可以进展不同的配置优化，比方apache在配置ContentType的时候可以尽量少支持,尽可能少的LoadModule，保证更高的系统消耗和执行效率。CPUIO均衡在一个网站供给的全部功能中,有的功能可能需要消耗大量的效劳器端IO资源，像下载，视频播放等，而有的功能则可能需要消耗大量的效劳器CPU资源,像视频格式转换，LOG统计等。在一个效劳器集群中,当觉察某些机器上CPU和IO的利用率相差很大的时候，例如CPU负载很高而IO负责很低，可以考虑将该效劳器上的某些耗CPU资源的进程换成耗IO的进程，以到达均衡的目的。均衡每一台机器的CPU和IO消耗，不仅可以获得更充分的效劳器资源利用，而且还能够支持临时的过载，遇到突发大事，访问流量剧增的时候， 实现得体的性能下降(Gracefulperformancedegradation〕，而不是马上崩溃。读写分别Linux下使用软件RAID-0〔磁盘冗余阵列0级〕。RAID-0在获得硬盘IO提升的同时，也RAID或〔甚至几个读写效率不如RAID—0。而特地用来读的硬盘，则不用如此麻烦，可以使用一般的效劳器硬盘,以降低开销。一般的文件系统,会综合考虑各种大小和格式的文件的读、写效率，因而对特定的文件读或写的效率不是最优.假设有必要，可以通过选择文件系统，以及修改文件系统的配置参数来到达对特定文件的读或写的效率最大化。比方说,假设文件系统中需要存储大量的小文件，则可以使用ReiserFS来替代Linux操作系统默认的ext3ReiserFSext3快。ReiserFSext3中常见的无法回收巨型名目占用的磁盘空间的状况。ReiserFS里小文件〔<4K)可以直接存储进树，小文件读取和写入的速度更快,树内节点是按字节对齐的，多个小文件可共享同一个硬盘块，ext34K要占据4K的空间,导致的空间铺张比较严峻。但ReiserFS对很多Linux内核支持的不是很好，假设网站想要使用它，就必需要安装与它协作的较好的内核。ReiserFSext3来说有一个ReiserFS磁盘分区。所以在选择使用的时候，需要权衡取舍。数据库集群和库表散列大型网站都有简单的应用，这些应用必需使用数据库，那么在面对大量访问于是需要使用数据库集群或者库表散列。有很好的方案，常用的MySQL供给的Master/Slave也是类似的方案，使用了什么样的DB，就参考相应的解决方案来实施即可。功能进展更小的数据库散列，比方用户表，依据用户ID进展表散列,这样就能够低本钱的提升系统的性能并且有很好的扩展性.如sohu的论坛就是承受了这样的板块和ID系统随时增加一台低本钱的数据库进来补充系统性能。缓存Apache供给Squid模块进展缓存,这两种方式均可以有效的提高Apache的访问响应力量。网站程序开发方面的缓存，Linux上供给的MemoryCache是常用的缓存接口，可以在web开发中使用，比方用Java开发的时候就可以调用MemoryCache对一些数据进展缓存和通讯共享。另外,在使用web语言开发的时候，各种语言根本都有自己的缓存模块和方法。硬盘级缓存硬盘级别的缓存是指将需要动态生成的内容临时缓存在硬盘上,在一个可承受的延迟时间范围内,同样的恳求不再动态生成，以到达节约系统资源，提高网站承受力量的目的。Linux环境下硬盘级缓存一般使用Squidcache。Squid是一个高性能的代理缓存效劳器。和一般的代理缓存软件不同,Squid用一个单独的、非模块化的、I/O驱动的进程来处理全部的客户端恳求。它承受来自客户端对目标对象的恳求并适当地处理这些恳求。比方说,用户通过扫瞄器想下载〔即扫瞄〕一个web页面，扫瞄器恳求Squid为它取得这个页面。Squid随之连接到页面所在的原始效劳器并向效劳器发出取得该页面的恳求。取得页面后，SquidSquid本地缓存名目里保存一份Squid可以处理，FTP，GOPHER,SSL和WAIS等协议.Squid默认通过检测协议头的Expires和Cache-Control字段来打算缓存的时间。在实际应用中，可以显式的在效劳器端脚本中输出头,也可以通过配置apache的mod_expires模块，让apache自动的给每一个网页加上过期时间。〔扩展名〕Squid的refresh_pattern来指定缓存时间。SquidhashObject。Object分布的状况。假设要表〕，用来存储其它Squid上的Object摘要。当用户端想要的资料本地硬盘上没有时，可以很快的知道应当去集群中的哪一台机器获得.在硬盘空间快要到达〔默认使用LRULeastRecentlyUsed-最近最少用)删除一些Object，从而腾出空间。之间可以有两种关系：第一种关系是：Child和Server没有资料时,会直接向ParentSquidServer要资料，然后始终等，直到Parent给它资料为止。其次种关系是：Sibling和Sibling.当SquidServer没有资料时，会先向Sibling的SquidServer要Sibling没资料，就跳过它向Parent要或直接上原始网站去拿。默认配置的Squid50%的命中率。Squid到达90%以上的缓存命中率。Squid处理TCP连接消耗的效劳器资源比真正的效劳器要小的多,当Squid内存级缓存内存级别的缓存是指将需要动态生成的内容临时缓存在内存里,在一个可承受的延迟时间范围内,同样的恳求不再动态生成,而是直接从内存中读取。Linux环境下内存级缓存Memcached是一个不错的选择。Memcached是danga开发的一套格外优秀的分布式内存对象缓存系统,用于在动态系统中削减数据库负载,提升性能。和Squid吸引人的一个特性就是支持分布式部署；也就是说可以在一群机器上建立一堆Memcached效劳,每个效劳可以依据具体效劳器的硬件配置使用不同大小的内存块,这样，理论上可以建立一个无限大的基于内存的缓存系统。Memcached是以守护程序方式运行于一个或多个效劳器中，随时承受客户端的连接操作，客户端可以由各种语言编写，目前的客户端 API包括Perl/PHP/Python/Ruby/Java/C＃/C等等。客户端首先与Memcached效劳建立均通过这个key进展保存的时候还可以设置有效期保存在Memcached中的对象实际上是放置在内存中的，而不是在硬盘上。Memcached进程运行之后,会预申请一块较大的内存空间自己进展治理用完之后再申请一块而不是每需要的时候去向操作系统申请.Memcached将对象保存在一个巨大的Hash表中它还使用NewHash算法来治理Hash表,从而获得进一步的性能提升。所以当安排给的内存足够大的时候，Memcached的时间消耗根本上只是网络Socket连接的时间了。Memcached也有它的缺乏。首先它的数据是保存在内存当中的，一旦效劳进〔Memcached以root权限运行,而且MemcachedMemcachedMemcached我们可以将Memcached效劳绑定在内网IP上,通过Linux防火墙进展防护.镜像ChinaNet和EduNet之间更.〔如效劳器故障，网络故障或者网速太慢等〕，仍能通过镜像效劳器获得效劳.不便之的。在用户选择的过程中，缺乏必要的可控性。是很大.镜像网站技术在这种状况下作为一种有效解决方案，被广泛承受。随着-下载的内容是静态的,更频率较低，对带宽,速度要求又比较高，如国外的SourceForge〔：//www。SourceF，著名开源软件托管网站〕，Fedora〔“://fedoraproject/“://，RedHat赞助的Linux发行版)，国内的华等，还在使用这项技术。和产品可选。也有廉价的通过软件实现的思路，比方Linux上的rsync等工具。CDN内容分发网络DeliveryNetwork,即内容分发网络。其目的是通过在现有的互联网中增加一层的网络架构,将网站的内容公布到最接近用户的网络“边缘”，使用户可以就近取得所需的内容,分散效劳器的压力，解决互联网拥量大、网点分布不均等缘由所造成的用户访问网站响应速度慢的问题。CDN与镜像网站技术的不同之处在于网站代替用户去选择最优的内容效劳CDN其实是夹在网页扫瞄者和被访问的效劳器中间的一层镜URL器的域名解析来实现的。使用CDN技术的域名解析效劳器需要维护一个镜像效劳器列表和一份来访IP到镜像效劳器的对应表.当一个用户的恳求到来的时候，依据用户的IP，查询对应表,得到最优的镜像效劳器的IP地址，返回给用户。这的时候,可以很便利的设置将用户的访问转到另外一个地方。这样就增加了可掌握性。图2CDN原理示意图CDN求不是很高的网站；其次，DNS解析有缓存，当某一个镜像网站的访问需要转移DNS效劳器更改了IPDNS效劳器缓存更会滞后一段时间，这段时间内用户的访问仍旧会指向该效劳器，可掌握性照旧有缺乏.CDN但论坛，邮箱等更频繁，实时性要求高的频道,则不适合使用这种技术。负载均衡。负载均衡主要应用技术1、DNS负载均衡最早的负载均衡技术是通过DNSDNS中为多个地址配置同一个名DNS但是它不能区分效劳器的差异,也不能反映效劳器的当前运行状态。2、代理效劳器负载均衡可以提升静态网页的访问速度.然而，也可以考虑这样一种技术，使用代理效劳器将恳求均匀转发给多台效劳器，从而到达负载均衡的目的.3、地址转换网关负载均衡IP地址映射为多个内部IP地TCP连接恳求动态使用其中一个内部地址，到达负载均衡的目的。4、协议内部支持负载均衡例如协议中的重定向力量等,运行于TCP连接的最高层.5、NATNAT〔NetworkAddressTranslation网络地址转换〕IP地址转换为另一个IPIP地址间进展转换.适用于解决InternetIP地址紧急、不想让网络外部知道内部网络构造等的场合下。6、反向代理负载均衡一般代理方式是代理内部网络用户访问internet上效劳器的连接恳求,客户端必需指定代理效劳器,并将原来要直接发送到internet上效劳器的连接恳求发送给代理效劳器处理。反向代理〔ReverseProxy〕方式是指以代理效劳器来承受internetinternetinternet上的连接恳求以反衡的目的。7、混合型负载均衡在有些大型网络〔即把这多个效劳器群当做一个的效劳器群〕，从而到达最正确的性能.我们将这种方式称之为混合型负下。负载均衡的分类1、软/硬件负载均衡软件负载均衡解决方案是指在一台或多台效劳器相应的操作系统上安装一等,它的优点是基于特定环境,配置简洁，使用敏捷，本钱低廉,可以满足一般的负载均衡需求。操作系统的限制；由于操作系统本身的Bug，往往会引起安全问题。，可到达最正确的负载均衡需求。Internet网络适配器将这一功能集成到PC中，一块连接到Internet上,一块连接到后端效劳器群的内部网络上.2、本地/全局负载均衡负载均衡从其应用的地理构造上分为本地负载均衡〔LocalLoadBalance)LoadBalance，也叫地域负载均衡)，本地负载均衡是置、有不同网络构造的效劳器群间作负载均衡。花费昂贵开支购置性能卓越的效劳器，充分利用现有设备,避开效劳器单点故障群内的效劳器共同负担。即使是再给现有效劳器扩大升级,也只是简洁地增加一个的效劳器到效劳群中，而不需转变现有网络构造、停顿现有的效劳。全局负载均衡主要用于在一个多区域拥有自己效劳器的站点,为了使全球用IP来到达资源统一合理安排的目的。全局负载均衡有以下的特点:A、实现地理位置无关性,能够远距离为用户供给完全的透亮效劳。BISP引起的单点失效。访问质量。硬件四层交换能就象是虚IP,指向物理效劳器.它传输的业务听从的协议多种多样，有、IP世界,业务类型由终端TCP或UDP端口地址来打算,在第四层交换中的应用区间则由源端和终端IP地址、TCP和UDP端口共同打算.AlteonF5等，.Yahoo中国当时接近2000台效劳器使用了三四台Alteon就搞定了.软件四层交换大家知道了硬件四层交换机的原理后，