当当架构平台化与发展规划

1、当当架构平台化之道1/40纲领 业务体系介绍 当当中间层技术 平台化2/40业务特征海量用户7*24品类繁多流量突增业务复杂3/40业务架构图退换货会员促销推荐搜索客服结算配货库存价格商品支付卖场首页列表专题、馆商品详情交易购物车交易结算一键购置订单订单中心订单详情履约仓储实物库存库存调拨库存优化物流预分拣快递管理物流跟踪4/40规模互联网架构关键问题是什么数据海量响应迟缓系统繁多开发困难稳定性差伸缩性差5/40处理方案分片化异步化服务化规范化高可用弹性化6/40 服务框架分片化异步化服务化规范化7/40服务发觉负载均衡服务治理监控报警服务化框架关键概念远程调用异构语言8/40DubboDub

2、boDubbo处理方案服务提供者业务代码服务提供者业务代码Dubbo业务代码服务消费者注册中心Zookeeper集群Dubbo业务代码服务消费者监控中心9/40服务发觉负载均衡服务治理监控报警Dubbo缺失部分远程调用异构语言10/40DubboDubbo服务提供者业务代码服务提供者业务代码业务代码服务消费者Dubbo业务代码服务消费者注册中心Zookeeper集群AgentAgentAgentDubboAgent监控报警监控治理中心SLA统计系统调用图报警11/4012/40异构语言DubboX服务提供者业务代码注册中心Zookeeper集群DubboX服务提供者业务代码负载均衡Nginx异

3、构语言业务代码Agent服务消费者异构语言业务代码Agent服务消费者监控治理中心AgentAgent13/40 数据中间层 服务框架分片化异步化服务化规范化14/40数据中间件实现方案数据库ORM异构语言性能Proxy仅MySQL任意任意损耗略高ORM任意单一仅Java损耗低JDBC任意任意仅Java损耗低15/40开源数据中间件现实状况功效CobarCobar-client TDDL分库分表结果归并事务成熟度支持不支持不支持弱XA中支持不支持不支持弱XA低未开源未开源未开源未开源-16/40SQLSQLSQLSharding-JDBC分库分表解析改写路由并行执行结果归并事务弱XA最大努力T

4、CC17/40分库分表应用业务代码Sharding-JDBC应用业务代码Sharding-JDBCSharding-JDBC内部实现分片规则配置JDBC规范重写SQL解析SQL改写结果归并SQL路由SQL执行18/40单库性能损耗约0.02%单库性能19/40双库性能提升约94%多库性能20/40 LIMIT m, n = LIMIT 0, n 跳过前n条数据 比较并返回最小(大)值 多结果集累加，DISTINCT暂未实现 AVG(expr) = SUM(expr), COUNT(expr) return SUM / COUNT 排序列生成补列 多结果集归并排序 分组列生成补列 全部结果集加载

5、至内存进行分组、聚合、排序 生成笛卡尔积路由结果集SQL兼容性LIMITMIN，MAXSUM，COUNTAVGORDER BYGROUP BYOR21/40分布式事务处理方案一致性性能最终一致性业务无感知XA是低是是弱XA否无影响否是柔性事务否无影响是否22/40 最终成功 无业务入侵柔性事务最大努力 TCC类原生事务业务感知23/40成功柔性事务 最大努力送达型应用业务代码Sharding-JDBC应用业务代码Sharding-JDBC业务库事务库异步送达作业事务同时送达内部实现执行前事件 统计事务日志执行结果事件 监听执行事件失败重试执行成功清理事务日志读取事务库重试执行成功清理事务日志2

6、4/40Roadmap分布式主键读写分离HA相关动态扩容字典表复制广播25/40 任务调度 消息队列 数据中间层 服务框架分片化异步化服务化规范化26/40任务调度 VS 消息队列时间驱动 批量处理 系统内部事件驱动 逐条处理 系统解耦27/40elastic-job关键功效分布式并行调度弹性扩容集中管理异构语言非功效需求易用性稳定性灵活性扩展性28/40架构图应用业务代码Elastic-Job应用业务代码Elastic-Job注册中心全量事件库运维平台Zookeeper集群REST API状态展示 作业操作全量事件统计主节点选举主分片 从获取分片并执行Elastic-Job内部实现在线状态注

7、册定时开启抓取失效转移实时状态监听全量日志ELK日志中心29/40作业类型SimpleDataflowThroughputSequenceIntegratedShellHttp30/40经典消息队列存在问题ActiveMQ性能问题消息分片事务?可靠型Kafka丢消息?重复消费?消息查询事务性能型31/40队列表当当消息队列权衡方案Elastic-JobSharding-JDBCDMQ混合使用32/40 任务调度 消息队列 应用框架 数据中间层 服务框架分片化异步化服务化规范化33/40应用框架服务框架dd-frame数据中间层调度框架消息队列34/40关键类验证框架存活监控环境切换运维脚本Co

8、ntainer快速容器 WEB支持监控规范异常规范版本规范日志规范Standard编码规范 配置规范RDBORM规范多数据源事务规范分页组件慢SQL抓取代码生成Sharding-JDBCRDB-EXT审计表 日志表SOA命名规范 调用搜集DubboxJob事件统计日志分析Elastic-JobMQKafka规范AMQ规范DMQNoSQLRedis接入规范Mongo接入规范WEBPlugin打包插件Test单测规范骨架生成单测框架dd-frame全景图集群平台WEB MVC规范模板规范Session管理数据类其它类集成类监控生态35/40平台化选择中心化去中心化36/40去中心弹性化当当平台化理念高可用优势运维难度性能损耗劣势异构语言资源控制37/40/dangdangdotcom/dubbox/dangdan