大型网站技术架构方案总结及解析

1、 2013年9月l 大型网站架构的目标与挑战大型网站架构的目标与挑战l 网站架构各网站架构各子系统子系统介绍介绍l 网站网站监控系统监控系统l 讨论讨论及总结及总结定义： IDtN （I dont know, 没有统一标准。）PV1M网站内容 “动态” 每个目标背后面临着技术、设计、维护等诸多方面的挑战。 而目标本身的期望值也会根据实际情况进行调整，这也意味着网站架构建设是个不网站架构建设是个不断调整的过程断调整的过程 负载均衡 数据备份 异地容灾 。 高速缓存 并行计算 异地镜像 。 开发框架 多层设计 业务分割 。l 大型网站架构的目标与挑战大型网站架构的目标与挑战l 网站架构各子系统网站

2、架构各子系统介绍介绍l 网站监控系统网站监控系统l 讨论及总结讨论及总结lWeb前 端系统l负 载均衡系统l数 据库集群系统l缓 存系统l分 布式存储系统l分 布式服务器管理系统l代 码分发系统lWebWeb动、静分离动、静分离 CDN、GADl浏览器缓存浏览器缓存: : Header参数HTTP1.1协议+GET、-POSTContent-Encoding、 gzip+Cookie、- Sessions, AJAXPLUGINPLUGINHTML5HTML5 能够让浏览器缓存的数据一定要缓存；浏览器能够处理的运算，决不放在服务器端来处理。lWeb前端系统l负载均衡系统l数据库集群系统l缓存系

3、统l分布式存储系统l分布式服务器管理系统l代码分发系统大型网站解决高负荷访问和大量并发请求采用的终极解决办法Http serverHttp serverReverse ProxyMail Mail serverserverLB server: 50,000 connectionBug free7*24Easy to upgradelWeb前端系统l负载均衡系统l数据库集群系统l缓存系统l分布式存储系统l分布式服务器管理系统l代码分发系统整个网站体系的高可靠性保证l数据库服务器和应用服务器分离l读写分离读写分离l主从同步、备份机制主从同步、备份机制l读、写数据库集群l从数据库负载均衡: BigI

4、PlWeb前端系统l负载均衡系统l数据库集群系统l缓存系统l分布式存储系统l分布式服务器管理系统l代码分发系统缓存分为文件缓存、内存缓存、数据库缓存。在大型Web应用中使用最多且效率最高的是内存缓存l数据库缓存数据库缓存Query CacheData BufferApp server cachel前端页面缓存前端页面缓存采用具备缓存功能的http反向代理服务器作前端页面缓存器，VarnishSquidNcacheAiCache(商业)【硬件F5】lWeb前端系统l负载均衡系统l数据库集群系统l缓存系统l分布式存储系统l分布式服务器管理系统l代码分发系统l 存储量很大：相册、视频l 负载均衡cl

5、uster中的每个节点操作的数据从逻辑上看只能是一个整体，不是各自独立的数据资源l开源的轻量级分布式文件系统l文件存储、文件同步、文件访问l动态添加，方便扩充lWeb前端系统l负载均衡系统l数据库集群系统l缓存系统l分布式存储系统l分布式服务器管理系统l代码分发系统目标：l集中式的、分组的、批量的、自动化的对服务器进行管理，能够批量化的执行计划任务l 高效的实现大规模的服务器集群管理执行基于策略的配置管理 l完成后期安装任务，例如配置网络界面信息； l编辑系统配置文件以及其它文件；l管理系统服务器进程；l检验、更正文件许可及所有权；l删除无用文件、压缩被选文件、在网络中分发文件； l自动挂载N

6、FS文件系统； l检查重要文件和文件系统是否存在及其完整性。 l执行命令及脚本。 l应用安全相关的补丁以及相似系统的修正。 。 。lWeb前端系统l负载均衡系统l数据库集群系统l缓存系统l分布式存储系统l分布式服务器管理系统l代码分发系统l开发环境内测环境公测环境生产环境l源代码管理和版本控制SVN:l管理方便，逻辑明确，符合一般人思维习惯；l易于管理，集中式服务器更能保证安全性；l代码一致性非常高，更新速度快；l适合开发人数不多的项目开发；l学习成本低，快速上手Rsync (remote sync)l可以镜像保存整个目录树和文件系统；l可以很容易做到保持原来文件的权限、时间、软硬链接等等；l无须特殊权限即可安装;l快速、安全、支持匿名传输，以方便进行网站镜象。l 大型网站架构的目标与挑战大型网站架构的目标与挑战l 网站架构各子系统网站架构各子系统介绍介绍l 网站监控系统网站监控系统l 讨论及总结讨论及总结Nagios (实时)Munin (趋势)Drraw (汇聚)l 大型网站架构的目标与挑战大型网站架构的目标与挑战l 网站架构各子系统网站架构各子系统介绍介绍l 网站监控系统网站监控系统l 讨论及总结讨论及总结l大型大型网站架构是怎么样子的？网站架构是怎么样子的？ l存在存在万能的架构吗？架构本