分布式技术架构介绍

1、分布式技术架构介绍网站架构的演变分布式服务框架分布式数据访问层云计算服务大数据改变传统IT架构的束缚网站架构的演变一. 从一台单机的交易网站开始应用程序、数据库、文件等都放在一台服务器上应用程序数据库文件应用服务器二. 应用与数据分离单机负载告警，将应用程序和数据分离应用系统一台服务器，数据库和文件各一台服务器订单应用服务器用户商品商品表数据库数据库服务器用户表订单表应用服务器数据库服务器三. 应用服务器集群化单节点的应用服务器负载告警使用应用服务器集群，提高网站的并发处理能力订单应用服务器用户商品商品表数据库数据库服务器用户表订单表应用服务器数据库服务器负载均衡器订单应用服务器用户商品负载均

2、衡器应用服务器四. 加入缓存 提高性能二八定律：80%的业务集中访问20%的数据把热点业务数据缓存在内存中，提高访问速度，改善DB写入性能订单应用服务器用户商品商品表数据库数据库服务器用户表订单表负载均衡器订单应用服务器用户商品分布式缓存集群应用服务器数据库服务器负载均衡器应用服务器缓存总结：企业级系统架构特点经历了应用和数据拆分和集群、缓存等阶段千级强并发，万级弱并发（在线用户），十万级用户大型企业ERP、供应链、大型企业HR、办公OA、核心业务系统需要保证数据的一致性、实时性、事务性业务逻辑划分的较清晰，结构化数据应用程序和数据数据库一台服务器阶段应用程序集群阶段数据库应用应用负载均衡拆分

3、阶段缓存阶段数据库应用应用负载均衡缓存反向代理1234数据库应用应用负载均衡数据库问题中央集中式部署架构，小型机和FC共享存储场景较多，水平扩展有瓶颈（应用和数据的扩展能力都很差）有热备和故障恢复机制，但数据集中存储，安全风险高大量的事务、锁检测导致数据库访问瓶颈基础设施率用低，成本高追求单节点的稳定性应用服务器集群数据库服务器集群五. 数据库读写分离写库：需要写入数据库的事务操作读库：缓存访问不命中、缓存过期、需要读取数据库的事务操作订单应用服务器用户商品商品表数据库从库（读）用户表订单表应用服务器从数据库服务器负载均衡器订单应用服务器用户商品负载均衡器主数据库服务器分布式缓存集群商品表数据

4、库主库（写）用户表订单表分布式缓存集群主从库数据同步数据复制六. 使用CDN和反向代理网络提供商机房： 就是离用户最近的机房，用户宽带上网的接入机房；CDN：在离客户最近的机房中缓存业务数据，客户第一跳就能访问到数据；反向代理：用户请求到网站系统所在的IDC后，首先访问反向代理里面的缓存的数据；应用服务器主数据库服务器负载均衡器从数据库服务器分布式缓存集群CDN集群反向代理服务器集群网络提供商IDC机房网站系统IDC机房CDN和反向代理基本原理还是缓存！互联网拨号接入服务器七. 分布式的数据库读写分离分库分表水平分割，将相同的业务不同的数据放到不同的数据库中垂直分割，将不同的业务数据放到不同的

5、数据库中订单应用服务器用户商品负载均衡器订单应用服务器用户商品用户库（主）分布式缓存集群商品库（主）用户库（从）交易库（从）商品库（从）交易库（主）数据复制数据复制数据复制数据访问层分布式数据访问层订单用户商品负载均衡器订单用户商品用户库（主）分布式缓存集群商品库（主）用户库（从）交易库（从）商品库（从）交易库（主）订单服务商品查询服务登录服务服务层应用层应用服务器应用服务器新增服务分主库/从库分库/分表访问路由策略自动扩容，增加数据节点（数据库或者文件服务器）管理数据访问连接数据复制数据复制数据复制通过集群提供一个高存储容量、高并发访问、数据冗余容灾支持的数据库系统。八. 使用NoSQL和搜

6、索引擎大型网站站内搜索提高站内搜索场景下读的性能，提供更好的查询效率CDN集群反向代理服务器集群网络提供商IDC机房网站系统IDC机房订单应用服务器用户商品商品表数据库主分布式数据库（写）用户表订单表负载均衡器订单应用服务器用户商品商品表数据库从分布式数据库（读）用户表订单表分布式缓存集群搜索集群数据复制九. 业务应用拆分读写分离、分布式存储、数据的垂直和水平拆分（分库分表）都是拆分数据，解决数据方面的问题，应用如何拆分？随着业务发展，应用的功能越来越多，也越来越大，我们需要考虑不让应用持续变大；应用拆分，把一个应用拆到多个应用中，分而治之；订单应用服务器用户商品负载均衡器订单应用服务器用户商

7、品负载均衡器订单应用服务器用户应用服务器商品应用服务器应用拆分前应用拆分后十. 服务化的架构各应用中存在重复的业务功能和代码甚至在一个应用中也会存在冗余的代码逻辑应用系统很臃肿，维护和版本升级开销都很大，稳定性不够理想网站初期或者规模较小，整体上容易把控服务1应用A应用B应用C应用D数据库缓存系统搜索引擎应用A应用B应用C应用D数据库应用拆分应用E应用F服务2服务3服务4分布式文件系统搜索引擎缓存系统增加服务层，把冗余的代码和可以复用的业务应用进行拆分提取，封装成服务应用层可以更专注在与前端用户如何交互，业务处理放在服务层来进行系统架构更加清晰，代码质量提高，利于升级和维护，稳定性高服务层利用

8、分布式系统的架构实现HA的功能适用大型网站系统的场景中服务化的架构应用G服务框架服务调用者和提供者直接建立连接，引入服务注册中心，用于保存服务列表；服务列表保存在应用的本地，新的服务上线后，在服务注册中心进行注册，然后更新应用本地存放的服务列表；应用与服务实现负载均衡，通过随机、轮询、权重等策略；服务1应用A应用B应用C应用D应用E应用F服务2服务3服务4应用G分布式服务框架服务框架应用1（服务调用者）服务框架服务框架服务框架服务注册查找中心服务框架服务框架应用2（服务调用者）新应用（服务调用者）服务1（服务提供者）服务2（服务提供者）服务3（服务提供者）服务5注册订阅推送服务列表调用调用调用

9、消息中间件既然应用拆分了，形成了服务层，应用由紧耦合变为松耦合，那么应用之间、服务之间、应用与服务之间如何通讯？应用解耦异步通讯、操作的异步有些场景中，利用消息系统确保分布式数据库的弱事务性服务1应用A应用B服务2消息中间件MQ应用C服务3主库从库服务注册查找中心11223344十. 分布式服务化各个应用系统中有相同的业务功能，提取出来这部分冗余的功能在服务中心以服务的方式供大家一起使用。让应用层更加专注的去解决与浏览器交互的工作，而不必过多的关注业务逻辑的事情。业务数据的操作由服务层封装。业务功能之间访问不仅是单机内部访问，还有远程服务调用。把数据交互的工作封装成 数据访问层，服务层不直接与

10、数据库交互，由数据访问层来提供数据的访问策略。帮助服务层完成数据的拆分以及整个数据的管理、扩容、迁移等工作。商品系统应用层注册权限管理商品服务层用户中心分布式数据库访问数据访问层缓存搜索数据库分布式缓存集群搜索集群交易订单查询系统交易中心数据持久层分布式文件系统高可用的大型网站分布式架构网站的演进过程中经历了应用拆分、服务拆分、数据拆分和应用解耦，需要中间件产品来解决相应的问题；服务框架是帮助应用进行拆分、完成服务化。通过服务框架解决集群间的通信问题；数据访问层帮助数据完成拆分，并对数据进行管理、扩容、迁移等工作。通过访问层让应用可以路由到已被分库分表的数据库主从节点上；消息中间件完成应用解耦

11、，提供分布式环境下的异步通讯；数据复制/迁移帮助业务需求完成数据的分布；大型网站架构技术的核心价值：能够灵活应对业务快速变化的需求安全防护/反向代理Web应用数据访问层Web应用服务服务主库分库1分库2从库分库3分库4分布式文件系统分布式缓存搜索消息中间件数据复制/迁移分布式服务框架负载均衡LBS自动化运行维护大数据平台软负载中心页面缓存NoSQL持久化配置管理总结：互联网分布式系统架构特点分布式部署架构、数据与应用的拆分、架构层次化、半结构化大数据十万级强并发，百万级弱并发（在线用户），千万级用户C2C、B2C电子商务（淘宝、京东、1号店）应用可实时水平扩展、数据可实时水平扩展 （全部不停机

12、）海量非事务性访问 + 一定规模事务性访问，数据部分要求一致性（价格、信息同步的一致性等）、事务缓存机制核心价值：能够灵活应对网站业务的变化需求业务库1（主）缓存、分布式数据库、搜索集群阶段应用应用负载均衡缓存反向代理6CDN业务库2（主）业务库3（主）业务库1（从）业务库2（从）业务库3（从）搜索业务1应用服务器业务2业务3负载均衡器负载均衡器应用服务器应用服务器业务1应用服务器业务2业务3业务1应用服务器业务2业务3业务1业务2业务3业务应用拆分阶段7应用服务器应用层服务层分布式数据库访问缓存访问搜索访问分布式缓存集群搜索集群分布式数据库业务应用1业务服务1业务应用2业务应用3业务应用4业

13、务服务2业务服务3业务服务4数据访问层分布式服务化8应用数据访问层/持久化配置服务主库主库分库从库从库分库分布式文件系统分布式缓存搜索消息中间件数据复制/迁移分布式服务框架负载均衡LBS自动化运行维护应用/页面缓存服务/HA高可用的大型网站分布式架构9拆分大数据平台安全防护/反向代理互联网分布式系统产品系列分布式数据库：取代传统企业级架构中商业数据库产品（Oracle、DB2），替换掉小型服务器和FC光线存储和FC网络交换设备，通过分布式的水平扩展能力，提高数据的IO访问性能和安全性。实现数据的管理、拆分、路由、扩容、迁移等工作。分布式缓存产品：通过CDN、反向代理和分布式缓存集群等产品，提高业务数据的读取能力，对于写数据可实现弱事物一致性。IAAS基础设施云服务平台：提高硬件基础设施的利用率，通过资源池虚拟化的服务，系统基础设施的规模可按需伸缩。分布式服务体系框架、消息：帮助应用拆分解耦，形成业务服务，应用和服务集群之间利用消息实现异步通讯。利用服务框架实现应用层和服务层的HA高可用性，实现应用和服务动态水平扩展。大数据平台：利用大数