分布式应用架构核心要素的设计方法探讨

1、分布式应用架构核心要素的设计方法探讨1互联网应用互联网应用/企业应用那些事企业应用那些事2分布式为弹性应用解困分布式为弹性应用解困分布式平台的核心要素设计剖析分布式平台的核心要素设计剖析34（大型）互联网应用 VS 企业应用 商业模式衍生出技术色彩 高用户量目标 不固定、不可控 快速迭代的冲击 活难干、没预算 商业模式推动技术变革 capacity planning enterprise-scale, carrier-scale 不好的用户体验 限定的使用模式企业应用企业应用（大型）互联网应用（大型）互联网应用2008奥运首次订票12306“互联网思维”2B应用SaaS避免盖棺定论避免盖棺定论

2、问题一直都在问题一直都在托翁法则托翁法则“舍得舍得”建设性改良建设性改良01 VS 1100颠覆逆袭弹性架构弹性架构 完善、灵巧 单体高效 值得尊敬的兼容性 提前布局弹性应用资金的弹性VS规模的弹性弹性的CTO功能迭代弹性可伸缩VS弹性可拥挤弹性的开发人员架构迭代弹性应用的范畴应用应用前端链路后端数据库后端后端负载均衡运行容器数据交换数据存储分布式平台内部实现分布式平台内部实现需求原理设计思想具体实现深入了解现有平台评估自研、改造1互联网应用互联网应用/企业应用那些事企业应用那些事2分布式为弹性应用解困分布式为弹性应用解困分布式平台的核心要素设计剖析分布式平台的核心要素设计剖析34弹性应用面临

3、的困境OLTP（1+1=?）会话型应用（会话型应用（+i）并行并行/分布式计算、大数据分布式计算、大数据困境中的答案分布式分布式计算计算分布式分布式存储存储提升计算节点个数提升计算节点个数同一类同一类任务由超过一任务由超过一个个CPU完成完成摩尔定律摩尔定律“回归回归”通过scale out解脱单一计算节点上无法从硬件无限突破的两大性能瓶颈：CPU和磁盘提升存储节点个数提升存储节点个数维持单位存储管理成本维持单位存储管理成本高可用高可靠高性能弹性可伸缩框架框架应用应用决定如何决定如何“分分”和和“治治”平台平台分布式应用分布式应用开发态开发态 编程范式和API支撑 最少的知识投资 通用、底层、

4、简单、轻量 杜绝“分布式”设计框架运行态运行态强大的运行容器，应用透明多线程/进程/机器透明并发必杀技：强大的RASP理想的分布式平台该做什么？“最高深的技术是那些令人无法察觉的技术，这些技术不停地把他们自己最高深的技术是那些令人无法察觉的技术，这些技术不停地把他们自己编织进日常生活，直到你无从发现为止编织进日常生活，直到你无从发现为止” Mark Weiser分布式平台设计的核心方法论无银弹无银弹有秘诀有秘诀 功能和RASP的N 加法变乘法“舍得舍得”九六四功能与方案的“舍得”主动的“舍”时间/空间上的“舍”不同应用不同取舍收放自如的“舍”不光是智商的问题“改变世界”的发明？1互联网应用互联

5、网应用/企业应用那些事企业应用那些事2分布式为弹性应用解困分布式为弹性应用解困分布式平台的核心要素设计剖析分布式平台的核心要素设计剖析34开发态（框架）的核心要素数据协议数据协议可插拔、可扩展、业务透明持久化便捷的便捷的编程模型编程模型会话会话丰富的数据类型内存管理服务实例间通信工具包工具包编程范式编程范式RPC对话EDAMap-Reduce批处理、并行计算多语言多语言互操作互操作通讯协议通讯协议计算资源间统一可插拔、可扩展、业务透明操作系统操作系统透明透明便捷的编程模型应用服务应用服务Callback那些事那些事开发工作量开发工作量出错几率出错几率运行时灵活度运行时灵活度RASP最小程度的新

6、语义引入最小程度的新语义引入配置驱动配置驱动一种框架解决多种业务一种框架解决多种业务框架初始化应用初始化应用初始化框架主循环应用框架请求服务请求服务路由负载均衡数据协议通讯协议处理响应处理响应框架编编程程模模型型Map-ReduceBuzzword分布式编程框架完全入侵应用逆向思维，本末倒置合适时机出现的伟大的“廉价”创新不等于分布式，不是银弹简单粗暴的“分而治之”适合批处理典型的分布式编程模型请求请求式分布式应用式分布式应用平台和应用有条件隔离 HTTP Session 容器+运行时 VS 统一容器请求成本高、并发弱必备负载均衡请求间同步需第三方支持适合OLTP服务型分布式计算框架分布式遇上

7、SOA服务服务便捷开发重要而简单的异步顺向思维，业务导向框架最小程度入侵开发态运行态隔离专注业务内外统一，便捷发布灵活的应用架构高效的运行效率个性化的分布式模型自上而下、自内而外的全SOA简单、灵活、高效、个性化的分布式应用架构简单、灵活、高效、个性化的分布式应用架构运行态（平台）的核心要素启动动态服务发布动态服务发布/禁用禁用新请求动态绑定服务动态绑定服务发现服务数据协议数据协议通讯协议通讯协议ReliabilityOA&M任务调度任务调度Availability路由路由负载均衡负载均衡调用服务Scalability服务Performance数据一致性数据一致性任任务务分分配配者者者者调调协

8、协据据数数路路载载衡衡任务分配：路由和负载均衡负负任务分配任务分配均均由由负载驱动路由集群、机器、进程、线程、服务、连接应用定制策略分配任务单中心节点无中心静态路由动态发现数据驱动会话驱动时间驱动应用定制维护路由和负载信息的共享单中心节点双点备份 VS N点备份多中心节点多数据分区中心节点123123典型的数据一致性问题注册注册312注册注册 & 数据更新数据更新213注册注册 & 数据更新数据更新数据叠加更新数据叠加更新3142分布式系统分布式系统不可回避的不可回避的问题问题数据的一致性时间窗口时间窗口数据不一致“噩梦”最需要“秘诀”同步什么同步什么如何同步如何同步目标目标高可用可识别、可容忍、可修复不会引起拥堵管理数据业务数据一写多读提高写性能：开源、节流写节点的高可用：简单最美高频负载数据的同步策略计算资源计算资源/能力虚拟能力虚拟化化任务调度请求函数/方法/服务I/O慢速服务阻塞阻塞任务粒度任务粒度编程模型决定调度灵活性系统性能调度器调度器依赖于任务粒度尽力运算CPU100%操作系统内核单线程多线程多进程多机多集群任务虚拟化任务虚拟化