从传统数据库到云数据库架构的演进

1、从传统数据库到云数据库架构的演进技术创新，变革未来数据库概述与趋势12阿里巴巴数据库发展历程3数据库系统数字化转型4最佳实践目录CONTENTS业界趋势：云计算加速数据库系统演进Data warehouse Data Cube ETL+OLAP 海量数据计算与分析结构化数据在线处理RDBMS SQL+OLTP 图数据时序向量数据文本数据结构化空间/时空异构数据类型关系型数据库NoSQL/NewSQL数据库 Multi-Model + HTAP 多模 + 混合业务云原生分布式/软硬一体化1980 - 1990商业起步1990 2000开源1990 2000分析2000 2010异构NoSQLOr

2、acle IBM DB2Sybase SQL Server InformixPostgresMySQLTeradata Sybase IQ GreenplumHadoop HBase SAP Hana MongoDB RedisAWS Aurora, Redshift Azure SQL Database Google Spanner PolarDBAnalyticDB2010 2019云原生、一体化分布式、 多模、HTAP数据库发展历程数据库发展历程云计算+数据库 挑战与机遇云计算云的本质：资源高效池化 计算机的本质：计算+存数据库数据 生产+处理+存储+消 费计算分析一体化减少数据移动存储

3、计算分离资源池化、解耦云原生+分布式 为基础DB-Engines(357种数据库，2020.05）商业 & 开源生态关系型 & NoSQL在线业务(OLTP)分析业务(OLAP)非 关 系 型 数 据 库(NoSQL)关 系 型 数 据 库(RDBMS)SQL能 力弱强大小支持数据量HTAPOLTPOLAPAnalyticDBNoSQLBig Data数据库生产/处理 由量变走向质变（预判）规模性爆炸增长生产/处理实时化生产处理智能化数据云化40ZB2020年全球数据规模55%2022年新业务采用实 时分析的比例80%数据处理非结构化占比75%2023年数据库云化规 模数据库系统架构演进单节点

4、共享状态分布式NetworkNetworkDBDBDBDBDBDBDBDB本地磁盘DiskDisk兼容性, scale upDiskDisk水平拓展, scale out共享存储部署简单传统开源及商业数据库优势：易于实现事务一致性无需多层复杂管理劣势：DB 节点扩展能力受限存储扩展能力及IO性能 依赖高端共享存储优势：良好的可水平扩展能力数据多副本存储，无需共享存储劣势：计算及存储能力需同时扩展灵活性不足分布式查询、分布式事务处理的开销DB = cpu + memory数据库概述与趋势12阿里巴巴数据库发展历程3数据库系统数字化转型4最佳实践目录CONTENTS数据库云计算关键技术“The r

5、eal battle will be in databases”Source:-“How Amazon Web Services aims to win cloud computings next big battle” SiliconANGLE-“AWS to Oracle: Now its our turn and we got next”ZDNetIaaS数据库智能化应用数据产生、存储、消费Oracle、Google、Amazon、Apple、Microsoft、IBM、Facebook、SAP | 阿里巴巴、华为、腾讯、百度全球云数据库市场格局Market Leadership1st,

6、 Asia Pacific 3rd, WorldwideGartner 2019 Challenger Forrester 2019 Strong PerformerGartner 2019 数据库魔力象限（挑战者）阿里云市场份额第 一，首次超过Oracle市 场，公有云市场份额50%IDC 2019年H2中国关系型数据库市场分析报告2010201320172019从AliSQL到PolarDB阿里巴巴数据库发展史Oracle亚洲最大的Oracle集群 中国最强的DBA团队数字化转型技术革新，引领时代数据库和应用数字化转型异地多活走出杭州数据中心全球多活20052009201020132014

7、20162011阿里云数据库关系型数据库云服务RDS 云原生数据库PolarDB云原生分布式数据库PolarDB-X 云原生数据仓库ADBDTS数据传输服务数据上云迁移、同步、订阅DMS数据管理服务DevOPS/数据安全DBS数据库云备份PolarDB-X云原生分布式数据库，横向扩展架构设计， 应用于跨IDC多活和双十一等高并发业务场 景PolarDBCloud Native数据库，基于共享存储计算分 离架构的软硬件一体化设计、弹性缩扩容AnalyticDB云原生数据仓库Data Lake Analytics数据湖分析CDDC数据库专属集群Lindorm云原生多模数据库IoT(时序、宽表、日志

8、、事件）Redis(Tair)Tair/GDB图数据库MongoDBHBaseCassandraAliSQL-MySQL/PG/SQLServer/MariaDB开源及第三方商业数据库ADAM数据库迁移评估Oracle上云OLAP: 分析在线化代表自研产品代表开源及第三方产品OLTP: 在线交易NoSQL: 非结构化及专有领域管控引擎 产品工具 产品DAS数据库自治服务（自动驾驶）ClickHouseDB Gateway数据库网关阿里云数据库产品大图阿里云数据库更快更稳更安全开箱即用可用性SLA：99.99%(业界第一)稳定硬件选型与压测管理了数十万实例的HA系统快速内核bug修复中国最强的数

9、据库研发团队提供了最丰富的数据库选型，MySQL8.0、SQLServer2019 、Redis6.0 、Mongo4.2等100%兼容生态，客户业务无需修改，可以直接上云所有的内核都是经过了双十一高并发与稳定性考验内核优化参数优化性能至少提升30%快速弹性扩展1分钟创建实例自动参数调优配置内置监控告警一键数据迁移内置备份恢复，避免删库跑路可以恢复到一周内任意时间点回收站，避免误操作SQL/操作审计传输与存储加密：TDE、SSLPCI DSS/ISO/SOC/等保安全认证10万客户40万实例ADB阿里云新一代云原生数据库体系云原生数据库PolarDB云原生分布式数据库PolarDB-X云原生数

10、据仓库AnalyticDB云原生数据湖DLA & OSS云原生多模数据库（面向5G/IoT）Lindorm云原生数据库生态工具数据传输DTS、数据管理DMS、数据库备份DBS数据库自治服务（自动驾驶）DAS（Database Autonomy Service）云原生关系型数据库PolarDB主节点智能代理PolarProxy数据库计算节点自定义读写分离自动负载均衡PolarStore安全保护HA切换READ/WRITEREADApplication只读实例1RDMA数据存储节点abc数据存储节点abc数据存储节点abc只读实例2只读实例3ParallelRaft存储技术分离5分钟添加只读实例1

11、5分钟Scale Up基于Redo log复制备库/只读实例数据同步毫秒级延时分布式共享存储100TB存储空间分钟备份数TB数据用户态I/O stack + NVM + RDMA最高6倍社区开源MySQL性能，100万QPS/秒智能负载均衡透明读写分离自定义应用访问路径兼容生态100%兼容 MySQL 5.6, 5.7 and 8.0100%兼容 PostgreSQL 11高度兼容OraclePolarDB-O混合云软件架构共享存储架构，内置云管控一写多读的主备节点架构（最多10只读节点）RW 提供读写服务，RO 提供只读服务应用可以通过proxy实现透明读写分离PolarFS用户态文件系统提

12、供数据存储的访问基于传统SAN共享存储设备，通过光纤交换机连接主备节点共享一份数据数据+redo logRO 节点通过redo log的replay实现数据在内存的同步把公有云架构输出到客户环境PolarDB混合云版云原生管控系统，在自有机房享受公共云的体验软硬件一体化设计，整机柜交付面向政企行业，支持Oracle应用一键迁移面向5G+IoT未来，SQL性能提升10倍+并行查询，相比MySQL最高27倍性能提升1152vCPU9TB内存120TB1000+闪存兼容项云原生分布式数据库PolarDB-X一体化分布式数据库Shared Nothing with X-Paxos全局 二级索引HTAP

13、复杂查询在线 弹性扩展分布式 事务海量 高并发弹性 高可用 开放生态 弹性扩展政 府 金 融典型行业与客户新 零 售在 线 教育交 通 物流DBDBlogX-Paxos：2 data copies + 1 logDBDBlogX-Paxos：2 data copies + 1 logDBDBlogX-Paxos：2 data copies + 1 log可选日志节点可选日志节点可选日志节点云原生数据仓库AnalyticDB for PostgreSQLMasterMasterMasterTPC-H Benchmark Top 1， 290% 性能优势，4倍成本下降计算引擎Laser，Codeg

14、en+SIMD智能优化，CBO+HBO 一体化HTAPHTAP，通过信通院分析型及事务型数据库双认证结构化非结构化融合分析多维分析/ETL/机器学习多种计算能力 扩展性在线热扩缩容，业务无感知MPP架构，快速弹性扩展能力 生态兼容性兼容PostgreSQL/Greenplum高度兼容Oracle高度兼容TeradataSegment1Laser执行引擎行存/列存Segment2Laser执行引擎行存/列存Segment3Laser执行引擎行存/列存High Speed Network数据库概述与趋势12阿里巴巴数据库发展历程3数据库系统数字化转型4最佳实践目录CONTENTSIT基础设施云计算

15、化核心技术微服务化应用与场景 数据化和智能化混合云+适当的应用构建基于现有IT架构的混合 云，使得互联网、业务应用、 内部系统上云，提升IT资源使 用率、运维效率以及用户体 验。对应用采用合理的安全策略， 保障信息安全。物理世界的数字孪生通过IoT技术，将物与物链接，人与人链接，由传统人协 同驱动的互联网，改为物与物，人与物之间系统的互联 网。智能+拓展认知边界通过机器学习，人工智能和 大数据等手段，深入挖掘数 据的价值， 解决过去人力无 法解决的问题，拓展认知边 界。一切业务数据化建设企业的业务中台，全面 打破信息孤岛，沉淀共享业 务模块，释放企业IT的敏捷 能力，促进业务创新和发 展。一切

16、数据业务化建设企业的数据中台， 通过 对业务数据的萃取和连接形 成基于业务的数据体系，通 过提供数据服务助力业务发 展。传统企业客户IT诉求企业数字化转型“三部曲”Oracle标准化流程OLTP场景OLAP场景混合场景IDC公共云专有云标准化服务体系云和恩墨，新炬, DSG, 驻云，袋鼠云 .原厂培训认证中心，全球技术支持中心，专家服务中心，产品研发中心业务应用平滑迁移 - 云原生架构进化业务调研可行性评估POC验证选型决策适配改造数据迁移测试验证割接上线PolarDBADBPolarDB+ADB公共云专有云混合云生态工具：ADAM, DTS, DMSDBS护航保障方案沉淀,传统企业数据库迁移（Oracle）企业Oracle数字化迁移解决方案 - 标准化，产品化，规模化Oracle迁移标准解决方案云原生70%Oracle性 能TPC-C测试50%成本下降国产化认证业界最 快的 Oracle 迁移方 案95%的Oracle兼容度标准化流程，普通系 统1个月完成迁移ADAM迁移评估DTS在线迁移快速弹性存储计算分离架构内置读写分离100TB存储按使用量计费支持ARM支持国产操作系统商业数据库的1/6成本迁移工具免费PolarDB-O+ADAM+DTSOraclePolarDB-O1.ADAM完成迁移评估2.DTS在线数据迁移数据库概述与趋势12阿里巴巴数据库发展