2025数据库分布式技术趋势_第1页
2025数据库分布式技术趋势_第2页
2025数据库分布式技术趋势_第3页
2025数据库分布式技术趋势_第4页
2025数据库分布式技术趋势_第5页
已阅读5页,还剩5页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

分布式技术趋势分享2025移动云和数据库团队简介移动云立足云服务商第一阵营,入选国资委首批“创建世界一流专业领军示范企业”名单,开启“成为一流云服务商”新征程移动云数据库团队十年前正式诞生,以实现数据库核心技术自主可控为目标,目前已构建完整产品和市场体系,并实现大规模商用。中国公有云I+P服务市场份额第五位2014基于开源启动商业版产品打造集团内部推广和应用苏州研发中心2020启动云改,转型云计算服务商海山数据库1.0发布云能力中心2024云原生进阶,发布海山数据库2.0启动算力网络数据库探索和研究规模200+人苏州/北京/上海/南京研发团队15+31全国资源覆盖30万核资源规模10+中移专业公司9大重点行业突破市场推广多领域市场份额领先专属云No.2边缘云No.1政务云No.2(2023H2)移动云数据库产品矩阵数据库生态工具数据库传输

数据库管理

数据库自治事务型RDS数据库(MySQL、PostgreSQL、达梦、TiDB、SQLServer)分析与检索海山数据库数仓版搜索数据库向量数据库NoSQL缓存数据库文档数据库多模数据库*(图、时序等)数据库统一云原生平台底座海山数据库MySQL版*海山数据库PostgreSQL版海山数据库

分布式版*L1L1L1L1L1L2L3L2L2算力网络数据库*L4*海山数据库MySQL版和分布式版公测中,即将上线*多模数据库正处于研发阶段*算力网络数据库正处于前期调研阶段L1移动云基于K8s构建云原生数据库底座,全线产品达云原生L1级自研海山数据库系列,采用存算分离架构,并全面向Serverless演进在中国移动算力网络战略下,大力探索算力网络数据库,积极推进相关技术以及行业标准制定移动云一站式云原生数据库服务海山数据库(He3DB)集中式版-整体架构He3DB计算引擎:提供SQL解析,计算能力。所有写请求转化为日志

写,读请求从Page服务获取数据He3Store存储引擎:异步回放日志成Page数据,最终使用S3作为数据持久层,分为日志服务与Page服务He3Proxy

智能中间件:能够感知业务负载,多维度负载均衡选择路由,提供读写一致性能力生态工具

实现业务零感知的秒级备份/恢复能力,提供监控工具,迁移工具,Cluster管理工具主要组件主要组件主要组件He3DB云原生版本采用存算分离数据共享架构。包含PostgreSQL、MySQL两个版本,100%兼容PostgreSQL、MySQL协议,支持1主15备读写分离底层共用一份数据,最大支持100TB数据量存储,RTO故障恢复时延可控制在30S以内,支持联邦内存池缓存命中率相对传统主备模式提升2倍以上,支持秒级在线新增实例,适合大数据量实时在线交易性业务海山单机、云原生一体化主机备机全量数据全量数据计算计算计算云原生数据库计算(主)计算(从)计算(从)数据存储服务1数据存储服务2本地磁盘缓存计算本地磁盘缓存单机数据库计算无需重启

存储形态自动切换

支持双向转换共享数据(全量)红色不变蓝色不变绿色新增架构在线升级共享数据访问存算一体存算分离计算本地磁盘缓存成效:一套代码同时支持中小微客户需求,无需中断服务,实现数据共享与非共享访问模式的无感切换本地

RDS

云原生数据库数据库迁移场景应用示例迁移

①迁移

②本地

迁移

友商:2次迁移自研:1次迁移+1次无感切换云原生数据库

海山算力网络一体化数据库服务

面向未来算力网络场景,打造“一专多能”一体化数据库,“专”在TP领域,“能”在提供AP、时序、流、图、文档、AI等多模能力,实现集中式分布式等架构一体化、AP/TP场景支撑一体化、多类引擎一体化,满足一站式即开即用场景需求。结合算网需求,在超大规模、跨域(计算、传输)智能调度、多模协同等算网基础能力,逐步推出算力网络一体化数据库服务。分布式事务及GoogleSpannerTrueTime

分布式事务:分布式数据库的扩展性必须需要数据分区,随之而来的后果就是必须处理跨数据分区的分布式事务。综述:AnEvaluationofDistributedConcurrencyControl(VLDB’2017)。TheEndofaMyth:DistributedTransactionsCanScale(VLDB’2017)Percolator:Google在分布式Key-valuestore(BigTable)上利用TSO和行原子性操作实现分布式事务处理协议.Large-scaleIncrementalProcessingUsingDistributedTransactionsandNotifications(OSDI’2010)Spanner:利用原子钟和CommitWait机制实现分布式事务,保证外部一致性。

Spanner:Google’sGloballyDistributedDatabase(TOCS’2013)Calvin:确定性事务排序批量执行机制。Calvin:FastDistributedTransactionsforPartitionedDatabaseSystems(SIGMOD’2012)HLC:使用TSO(全局时间戳)对分布式事务进行定序,TSO会成为局部单点,影响扩展性,混合逻辑时钟根据事务相关性生成时间戳,解决扩展性问题。LogicalPhysicalClocksandConsistentSnapshotsinGloballyDistributedDatabasesCockroachDB:TheResilientGeo-DistributedSQLDatabase(SIGMOD’2020)微软CitusMx功能的原理就是让其他的worker节点携带元数据,相当于携带元数据的worker节点都支持读写的能力CitusData2010年成立于加州旧金山。2013年CitusData公布了它们第一个产品CitusDB。2015年,CitusData开始scaleoutPostgreSQL。2016年CitusData开始提供PostgreSQL的云服务。2019年微软收购CitusCitus基于PG的插件分布式线性扩。MX功能实现Worker节点写扩展PolarDB-X透明分布式亚马逊分布式DSQL

2023年Auroralimitless支持Sharedtable和Referencetable.

通过指定shared_key,实现用户完全透明无感的分布式。通过EC2TimeSyncservice实现和Google的TrueTime类似的分布式事务能力2024年发布DSQL1、通过snapshotisolation+EC2TimySyncservice获取t(start)的版本信息,提交的时通过OCC进行冲突检测,如果没有冲突,那么就直接进行

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论