1-5-分布式应用无银弹-分布式应用架构核心要素的设计方法探讨-董健

分布式应用无银弹董健 1互联网应用/企业应用那些事 2分布式为弹性应用解困3分布式平台的核心要素设计剖析342008奥运首次订票12306“互联网思维”2B应用SaaS避免盖棺定论问题一直都在托翁法则2008奥运首次订票12306“互联网思维”2B应用SaaS避免盖棺定论问题一直都在托翁法则“舍得”建设性改良0~1VS1~100颠覆逆袭企业应用•capacityplanning•enterprise-scale,carrier-scale•不好的用户体验•限定的使用模式 (大型)互联网应用••商业模式衍生出技术色彩•高用户量目标•不固定、不可控•快速迭代的冲击•活难干、没预算•商业模式推动技术变革弹性架构•完善、灵巧弹性架构•完善、灵巧高效•值得尊敬的兼容性布局弹性可伸缩VS弹性可拥挤弹性的CTO架构迭代资资金的弹性VS规模的弹性弹弹性的开发人员功功能迭代弹性应用的范畴前端链路后端数据库负载均衡运行容器数据交换数据存储式平台内部实现需求原理设计思想具体实现深入了解现有平台评估自研、改造 1互联网应用/企业应用那些事 2分布式为弹性应用解困3分布式平台的核心要素设计剖析34弹性应用面临的困境OLTPOLTP(1+1=?)并并行/分布式计算、大数据会会话型应用(++i)弹性可伸缩高性能高可用高可靠困境中的答案弹性可伸缩高性能高可用高可靠•提升计算节点个数••提升计算节点个数•同一类任务由超过一个CPU完成•摩尔定律“回归”计算 通过scaleout解脱单一计算节点上无法从硬件无限突破的两分布式存储•提升存储节点个数•维持单位存储管理成本•编程范式和API支撑•编程范式和API支撑•最少的知识投资•通用、底层、简单、轻量•杜绝“分布式”设计框架编织进日常生活，直到你无从发现为止”——MarkWeiser运行态开运行态•强大的运行容器，应用透明•多线程/进程/机器透明并发•必杀技：强大的RASP式应用决定如何“分”和“治”有秘诀无银弹•有秘诀无银弹•功能和RASP的N•加法变乘法“舍得”•九六四•功能与方案的“舍得”•主动的“舍”•时间/空间上的“舍”•不同应用不同取舍•收放自如的“舍”•不光是智商的问题 1互联网应用/企业应用那些事 2分布式为弹性应用解困 3分布式平台的核心要素设计剖析4数据协议话通讯协议可插拔、可扩展、业务透明持久化计算资源间统一可插拔、可扩展、业数据协议话通讯协议可插拔、可扩展、业务透明持久化计算资源间统一可插拔、可扩展、业务透明丰富的数据类型存管理服务实例间通信包便捷的编程模型操作系统明编程范式编程范式PC对话DAMap-Reduce批处理、并行计算语言操作请求服务框架初始化应用初始化路由负载均衡议议框架主循环数据协通讯协请求服务框架初始化应用初始化路由负载均衡议议框架主循环数据协通讯协处理响应应应用服务应用应用框架框架Callback那些事开发工作量出错几率运行时灵活度RASP最小程度的新语义引入配置驱动一种框架解决多种业务Map-ReduceBuzword逆向思维，本末倒置简单粗暴的“分而治之”适合批处理典型的分布式编程模Map-ReduceBuzword逆向思维，本末倒置简单粗暴的“分而治之”适合批处理请求请求式分布式应用平台和应用有条件隔离•HTTPSession•容器+运行时VS统一容器请求成本高、并发弱必备负载均衡请求间同步需第三方支持适合OLTP用架构效率用架构效率的分布式模型、灵活、高效、个性化的分布式应用架构服务服务捷开发单的异步小程度入侵态隔离新请求据协议议定服务发现服务衡服务ReliabilityAvailabilityScalability度调用服务运行态(平台)新请求据协议议定服务发现服务衡服务ReliabilityAvailabilityScalability度调用服务启启动动态服务发布/禁用PerformancPerformance据一致性OOA&MMonitoring路由任务分配者数据协调者负载均衡动路由、机器、进程、线程、服务路由任务分配者数据协调者负载均衡动路由、机器、进程、线程、服务应用定制策略配任务点据驱动话驱动应用定制任务分配由和负载信息的共享VSN备份点注册&数据更新121322典型的数据一致性问题注册&数据更新121322 1' 1' 2'23'1据叠加更新注册&数据更新据叠加更新1134数据的一致性时时间窗口数据不一致“噩梦”最需要“秘诀”式系统避的如何同步一写多读提高写性能：开源、节流写节点的高可用：简单最美高频负载数据的同步策略高可用可识别、可容忍、可修复不会引起拥堵管理数据业务数据同步什么调度器依赖于任务粒度尽力运算调度器依赖于任务粒度尽力运算CPU100%操作系统内核任务虚拟化CPU计算资源/能力虚拟化多集群任务调度任任务粒度编程模型决定调度灵活性系统性能统一调度计统一调度函数函数/方法/服务运行挂起时间片分布式计算框架I/O慢速服务阻塞任务步骤请求多多进程多机单线程多线程 1互联网应用/企业应用那些事 2分布