ApacheShardingSphere架构及规划PPT课件

1、Apache ShardingSphere 架构及规划京东数科-潘娟PANJUANAPACHE.ORG主要负责京东数科数据库中间件开发、数据库运维自动化平台开发、生产数据库运维工作。多次参与京东6.18、11.11等大促活动的护航工作。曾负责京东数科数据库自动化平台设计与开发项目，现专注于Apache ShardingSphere分布式数据库中间件开发和发展。乐于在数据库、分布式、中间件、开源社区等相关领域进行学习和探索。多次受邀参加数据库&架构领域的相关会议并进行分享交流。也多次进行在线技术和经验交流分享、公众号文章分享。潘娟京东数科高级DBA&Apache Sharding

2、Sphere PPMC架构变迁1架构与实现2社区与开源3目录CONTENTSNewSQL的分类Database-as-a-ServiceTransparent Sharding MiddlewareNew ArchitectureWhats Really New with NewSQL?/papers/2016/pavlo-newsql-sigmodrec2016.pdf数据库集群数据分片分布式事务分布式治理接入端核心功能架构变迁数据库集群数据分片分布式事务分布式治理接入端 弹性扩展核心功能架构变迁部署生态数据库集群Sharding-Proxy业务代码宿

3、主机ASharding-JDBC宿主机B业务代码Sharding-JDBCSharding-Scaling自动化弹性伸缩MySQL/PostgreSQL Client/管理工具核心功能分布式事务数据分片Sharding-OpenTracing可观察性管理UI展示Sharding-OrchestrationUI控制台配置中心管理生态功能架构变迁自动将数据以强一致、高性能的方式复制至跨机房多副本多数据副本高性能、完全支持ACID原义的分布式事务引擎分布式事务计算节点无状态，可通过水平扩展增加算力；存储节点可以和计算节点分层优化 计算存储分离混合处理OLTP的事务型操作和OLAP的分析型操作HTAP

4、020304010506数据存储不受单机磁盘容量限制，可通过增加数据服务器的数量提升存储能力分布式存储可在不重启系统的情况下动态的扩容和缩容当前数据节点弹性伸缩架构变迁1社区与开源2架构与实现3目录CONTENTS社区技术功能特性数据分片分布式事务分布式治理弹性扩展接入端Sharding-JDBCSharding-ProxyApacheShardingSphere（开源分布式数据库中间件平台）活跃社区数据库集群MySQLPostgreSQLOracleSQL Server贡献技术CodingIssue InvestigateDocumentWebsiteDesignShareAny Thing

5、Answer QuestionTranslate/community/en/poweredby/架构变迁1社区与开源2架构与实现3目录CONTENTS数据库数据库 计算 存储ShardingSphere SQL解析&改写&路由 分布式事务拓展拓展 高可用 数据脱敏 可观察性 弹性伸缩 架构层级内核能力SQL解析SQL改写结果归并SQL执行SQL路由1.Antlr语法解析+数据库SQL方言的理解2.理解由用户规则 + SQL语法决定的SQL路由3.JDBC Interface的兼容与实现4.各种SQL的逻辑处理分布式

6、事务外柔内刚01XA两阶段提交事务的标准02Saga源于论文：/andru/cs711/2002fa/reading/sagas.pdf电商技术金融 两阶段事务柔性事务JDTX原子性（回滚）支持服务保证支持一致性强一致最终一致强一致隔离性支持服务保证支持持久性支持支持支持性能严重衰退略微衰退略微衰退业务改造无一般需要无协议限制有无无分布式事务分布式事务Sharding Transaction ManagerSharding-TransactionSharding XATransaction ManagerSharding BASETransac

7、tion ManagerSQL RevertAtomikos XA ManagerNarayana XA ManagerBitronixXA ManagerXA Transaction SPIServicecomb Pack ManagerBASE Transaction SPISharding Data Source本地事务APISeata ManagerSharding JDTXTransaction ManagerJDTX ManagerJDTX Transaction SPI分布式事务1.JTA的解读2.分布式事务原理3.相关数据数据库事务实现方案020103配置动态化跨机房高可用熔断、禁用、失效转移服务治理权限数据脱敏全链路数据压测SQL审核SQL防火墙数据治理APM调用链应用拓扑图监控报警可观察性分布式治理弹性迁移Ori