2024 Top10国产数据库迁移与同步指南

w内容概览◦手册背景◦使用指南◦数据库技术发展分析◦国产数据库风云榜•ToP10国产数据库同步攻略◦数据库简介◦常见同步方案及工具汇总及介绍◦迁移/同步详细教程数据库一直是企业数字化和创新的重要基础设施之一。从传统的关系型数据库到非关系型数据库、分析型数据库,再到云数据库和多模数据库,这一领域仍在持续变革中,各种新型数据库产品涌现,数据管理的能力和应用场景也由此得到了扩展。随着企业数字化转型的深入,数据的爆炸性增长对数据库技术提出了更高的要求,不仅仅是存储和查询的能力,还包括实时处理、智能分析、多样化数据类型的支持等。数据库技术的多样化是未来发展的一个重要方向,数据库技术正朝着多模、实时、智能化的方向发展。例如,实时分析型数据库、图数据库、内存数据库、时序数据库、分布式数据库、湖仓一体数据库、数据库自治以及数据库云服务等新兴趋势正在引领未来的技术发展。与此同时,在信创环境国产化浪潮之下,国产数据库等基础软件的崛起成为了一个重要的趋势。中国的数据库厂商纷纷推出具有自主可控技术的数据库产品,以应对新时代对于信息安全、自主创新的要求。同时,国产数据库在性能、可扩展性、兼容性以及生态系统支持方面也取得了显著的进展,能够满足企业级应用和海量数据处理的需求。因此,越来越多的国内企业开始寻求从oracle、MYSQL等海外数据库向新兴国产数据库迁移的解决方案如何有效地实现从旧有系统到国产数据库的迁移,以及如何在多种数据库之间进行高效的数据同步,成为企业面临的关键挑战。在这样的背景下,我们着手整编国产数据库迁移与同步系列内容,本手册为系列第一期《2024ToP10国产数据库迁移与同步指南》,在这里我们将我们将以当前市场上最具代表性的国产数据库为例,依次深入解析每款数据库的迁移与同步方案,并附上详细的操作步骤,帮助大家进一步了解国产数据库的发展现状,以及对应的数据同步策略。数据来源本手册采用的国产数据库排行榜数据,均源自墨天轮中国数据库流行度排行。该榜单于2019年6月推出,通过近50个维度的数据来考察近300个中国数据库的流行度排行,每月1日更新排行数据,用于体现中国数据库在互联网上的流行度。作为国产数据库领域的权威参考,展示了各类国产数据库在互联网上的流行度方面的排名和变化。通过定期发布的数据库排行,行业从业者能够全面了解国产数据库的基本发展动态。受众群体与方案需求•-次性迁移方案:从以国产数据库作为目标库,关注全量同步能力,适用于考虑完全替换0racle,SQLserver等海外数据库的企业和组织。•增量迁移方案:对关键型需要24x7不下线的应用,在迁移过程中需要在老库和新库之间持续的实时复制以实现无缝切换•持续同步方案:在确保原业务库正常运行的前提下,持续、实时同步数据至国产数据库。特别适用于正在部署或运行数据仓库或者大数据平台的企业。综上所述,本手册依托墨天轮数据库排行,整理当前流行的国产数据库的技术发展情况,旨在通过对主流迁移工具的分析与对比,为读者提供一个相对实用的参考框架,助力国产数据库的推广和使用。—、国产数据库发展趋势1.1数据库技术发展分析眼下,数据库技术正朝着多模、实时、智能化的方向发展。例如,实时分析型数据库、图数据库、内存数据库、时序数据库、分布式数据库、湖仓一体数据库、数据库自治以及数据库云服务等新兴趋势正在引领未来的技术发展。•云原生数据库云数据库因其灵活性和可扩展性,正在被纳入企业数据管理的优先选择。据Gartner统计,云数据库的全球市场份额正在不断增长,2023年已达整体市场份额的61%。在这一领域,国产厂商正在崭露头角。而作为基于云架构的云数据库,云原生数据库更是以其专为云环境优化的架构,迅速赢得市场青睐。天生匹配云环境和分布式事务,其核心是存储与计算分离,一般提供计算存储分离和日志即数据能力,具备高性能、高可扩展、一致性、容错、易于管理和多云支持等特性。它们专门为云环境设计,能够利用云计算的弹性、分布式架构和高可用性特点。在云原生架构下,数据库能够自动扩展,支持高并发的访问和按需分配资源,极大地提升了企业的运维效率和成本控制能力。这类数据库还通常具备跨区域灾备能力,能够实现数据的高可用性和容灾性能,使其成为现代化企业的重要基础设施之一,引领企业的数据库部署方式发生根本性转变。图数据库的发展同样值得关注,随着数据关联性和复杂关系查询需求的增加,图数据库凭借其处理复杂关系和高效查询的能力,逐渐成为数据库领域的热门技术。与传统的关系型数据库不同,图数据库能够直接表示实体之间的关系,特别适合处理社交网络、知识图谱、推荐系统等高度关联性的数据场景。因此,在需要快速查询和分析复杂关系的场景中,图数据库展现出了巨大的优势。目前,国产厂商也在这一领域有所突破,NebulaGraph等国产图数据库开始在性能、扩展性和应用场景上与国际厂商竞争。NebulaGraph在处理海量节点和边数据时表现出色,支持大规模分布式存储,并能够实现秒级查询和关系分析。此外,图数据库还广泛应用于反欺诈、供应链管理、知识图谱等领域,助力企业从复杂数据中快速挖掘深层次关联,提升决策效率。随着大数据分析需求的增加,图数据库的市场需求也在快速增长,未来将进一步推动数据管理技术的发展。•HTAP(混合事务与分析处理)数据库HTAP数据库技术结合了OLTP(在线事务处理)和OLAP(在线分析处理)的功能,允许用户在同一数据库中既进行高效的事务处理,又能执行实时的数据分析。这项技术克服了传统数据库需要分离在线处理和数据分析系统的局限性,能够支持更为复杂的业务场景。随着实时数据分析需求的增加,HTAP逐渐成为企业构建数据中台和实时数据仓库的关键技术之一。时序数据库的崛起得益于物联网(IOT)、智能制造、能源管理等领域的快速发展。时序数据具有高频采集和大规模写入的特点,传统数据库在处理此类数据时往往面临瓶颈。时序数据库能够高效处理海量时序数据,提供强大的数据压缩和查询能力,适用于智能监控、金融交易记录、工业设备管理等需要大规模实时数据分析的场景。知名的时序数据库包括InfluxDB、openTSDB、TDEngine等。随着企业数据复杂性的增加,多模数据库逐渐兴起,它能够在同一数据库中支持多种数据模型(如文档、键值对、图形、关系型等),帮助企业简化数据管理架构。通过多模数据库,企业可以在不同的应用场景中选择最合适的数据模型,而无需管理多个数据库系统。这种统一的数据存储模式特别适合应用广泛且多样化的数据需求,推动了大数据和人工智能领域的快速发展。自动驾驶数据库是一种具备自优化、自愈合、自安全特性的智能数据库,能够通过机器学习和人工智能算法自动调优性能,预测潜在的故障并采取预防措施。这类数据库代表了未来数据库的智能化发展方向,降低了人工干预和维护的需求,使得数据库系统更加高效、稳定。oracle的自驾数据库是该领域的先锋之一,它能通过内置的AI模块自动执行备份、修复和优化操作。湖仓一体化技术将数据湖和数据仓库的优势融合在一起,提供了一种统一的存储和管理方案。它解决了传统数据湖中数据管理不规范、分析效率低的问题,同时也保留了数据仓库在结构化数据分析上的优势。湖仓一体的数据库不仅能处理结构化数据,还能高效管理非结构化数据,在大数据分析场景中尤为适用。通过以上技术的快速发展,数据库领域正在朝着更加高效、智能、多元的方向前进。这些新兴趋势不仅提高了数据处理的性能和灵活性,还为企业应对数字化转型提供了更加丰富的技术选择。1.2国产数据库风云榜国产数据库的崛起是数据库技术发展的一个重要趋势,随着国家对信息技术自主可控的要求提升,国产数据库得到了快速发展。例如,oceanBase云数据库在两年内客户数年增长130%,支持100多个可用区,显示出国产数据库在性能和市场接受度上的显著进步;腾讯云数据库TDSQL的多项优化创新方案,突破了数据库领域的性能瓶颈。根据墨天轮2024年9月官方解读报告,如上图所示,在墨天轮发布的9月中国数据库流行度排行榜中,中国数据库产业格局进一步聚集刷新,呈现出3大显著特征:1.开源势力力争上游显优势领先潮流;2.openGauss开源根社区优势明显;3.阿里华为两极鼎立云上云下各争先。开源势力力争上游显优势领先潮流首先来谈谈第一个观点:开源势力力争上游显优势领先潮流。在排行榜的前10名中,polarDB、TDSQL都有开源的子品牌,而oceanBase、openGauss、TiDB主产品都已经开源,此外的5个闭源数据库分别是达梦、GoldenDB、GBase、人大金仓、GaussDB,这其中的部分产品同样和开源有关。从排名上来看,开源产品的影响力和排行已经超过了闭源产品。开源数据库的生命力得到了充分证明。以下是从开源视角看5个开源(相关)数据库的情况:从全球看,在数据库领域,开源开放也一直是数据库的原始基因。数据库历史上最早期的Ingres项目,就以开源方式开放了源代码,从而催生了一系列声名显赫的产品,包括postgresQl、Informixsybase、MicrosoftsQlserver、Illustra等。此后,MYSQL同样通过开源打破了商业数据库的壁垒,在互联网时代成就了数据基础。openGauss开源根社区优势明显如果做一个类比,昔日的Ingres就如同中国今天的openGauss.Ingres和openGauss最终都成为了一个根社区,带动和孵化了后续一系列的数据库产品,带动了产业繁荣。当下,在国内,围绕openGauss推出的独立数据库产品包括云和恩墨的MogDB、海量数据的vastBase、中国移动的磐维数据库,这几个产品在墨天轮流行度排行榜上都有独立的呈现。此外,南大通用的GBase、神舟通用的神通数据库,都有基于openGauss的产品版本,这两者的openGuass版本在榜单上没有独立的呈现。下图展示了包含openGauss在内的,openGauss路线的四个独立数据库品牌,合计流行度分值已达到604.6,足以稳定跻身排行榜的前三甲。这就是开源开放的根社区的优势:根据沙利文《重点行业数据库应用调研报告》,2023年中国数据库市场,线下集中式"openGauss系"新增市场份额达21.9%。这正是开源开放的力量。目前在openGauss开源社区官方站点上,通过社区认证的发行版版本数量已经达到了26个。这些发行版伴随着各自厂商,正在千行万业的优势场景下,落地生根蓬勃生长。阿里华为两极鼎立云上云下各争先从墨天轮的榜单来看,阿里系产品和华为系产品,呈现出显著的两极鼎立之势。其中oceanBase、polarDB源自阿里巴巴的基因;openGauss和GaussDB则是源自华为的基因。这四大产品都已位列前10。其中polarDB和GaussDB以云数据库为主。oceanBase和openGauss在过去都以线下为主,并且都采取了开源的路线,openGuass率先开源,oceanBase随后开源。openGauss在开源时即联合了社区伙伴,共同发起,这其中包括的主要厂商包括云和恩墨、海量数据、南大通用、神舟通用等。如今,openGauss路线产品已经多点开花,根社区的优势渐渐显现。并且,中国移动、邮储银行等行业客户,也加入了openGauss社区发行版的行列,例如中国移动的磐维数据库也已经榜上有名。当下,在墨天轮流行度排行榜上,关系型数据库的分类榜单中,从第11名开始和前10名的差距已经拉大,11名的分值约是第10名的一半左右,这说明数据库的阵营已经基本拉开。中国数据库向何处去当谈及"中国数据库向何处去,中国数据库产业何以繁荣?"这一问题时,解读报告认为目前的形势是:强者独善其身,达者兼济天下。•达梦金仓是中国数据库产业的先行者,以20多年的公司探索,成就了今日在信创产业中的领先位置,达梦已经登陆科创板,金仓也已更名为电科金仓,两者都以闭源商业模式探索市场,是谓强者独善其身。•华为阿里是中国数据库产业的新两极,并且两者都受益于开源,并倡导开源,以开源推动产业繁荣,是为达者兼济天下。达者、强者,与产业生态共建者,共同成就中国数据库产业未来。二、ToP10国产数据库迁移及同步攻略2.1oceanBase以下是oceanBase的墨天轮流行度排行变化趋势:2.1.1关于oceanBaseoceanBase数据库是阿里巴巴和蚂蚁集团不基于任何开源产品,完全自研的原生分布式关系数据库软件,在普通硬件上实现金融级高可用,首创"三地五中心"城市级故障自动无损容灾新标准,具备卓越的水平扩展能力,全球首家通过TPC-C标准测试的分布式数据库,单集群规模超过1500节点。产品具有云原生、强一致性、高度兼容oracle/MYSQL等特性,承担支付宝100%核心链路,在国内几十家银行、保险公司等金融客户的核心系统中稳定运行。【产品优势】•金融级高可用:三地五中心容灾架构方案,建立金融行业无损容灾新标准。基于paxos协议的a志传输,支持数据多副本,普通服务器可实现容灾自动恢复,且数据零丢失。•HTAP混合负载:用同套高性能并行执行引擎,结合独有的数据存储方式,分别对交易和分析场景进行深度优化。隔离不同负载使用的计算资源,避免分析场景与交易场景相互干扰。•超大规模集群水平扩展:实现透明水平扩展,支持业务快速的扩容缩容,同时通过准内存处理架构实现高性能。支持集群节点超过数千个,单集群最大数据量超过3PB,最大单表行数达万亿级。•主流商业和开源数据库兼容:兼容MYSQL和oracle两种主流数据库生态,包括SQL语法、函数、视图以及存储过程等高级特性。提供丰富的数据库工具软件,开放API接口,能够与三方工具集成,降低客户的使用门槛。【应用场景】交易支付是蚂蚁集团最核心的一个业务,最初采用的是分库分表的解决方案。分库分表的方案给核心业务带来了水平扩展的能力,同时也带来了灰度升级的能力,让核心业务的系统性风险大大降低。但随着支付宝业务的飞速发展,发现系统中的单机容量开始出现不足,在分库分表的架构下,这种情况只能通过将数据继续拆分成M*N份来解决,导致一方面耗时耗力,另外一方面技术风险非常高。而oceanBase数据库利用分区表的方案及其带来的水平扩展能力,完美地解决了这一问题。只需要将原来的N份数据,每一份都通过分区表打散为M个数据分区,利用分区表打破单机的容量限制,就可以从数据层完成这一拆分过程,无需业务改造,极大地节省了成本,降低了技术风险。同时,oceanBase数据库的分区表方案也可以使得用户完全无需关注数据的分布细节,轻松支持跨分区的分布式事务、多分区的关联,真正实现"透明"访问分布式数据库。会员系统在很多企业中也都是存在的,系统中保存了很多重要的用户信息。对于这些信息,是需要从多个维度进行访问的,例如:通过用户的ID查询用户的详细信息;通过用户的手机号码查询用户的详细信息;以年龄作为一个维度来对用户进行分组等等。对于这种多维度查询场景,尤其是非分区键查询在海量数据的分布式场景中是经常碰到的问题。通常可以采用在非分区列建立影子表的方式来解决。但这样的解决方式并非利用了数据库本身的能力,只能算是应用层的折中方案。oceanBase数据库可以利用分区表特性将数据打散后分布到集群的多个节点上,从而满足一部分的查询需求,之后利用强一致性全局索引功能来满足其它维度的查询和分析需求,在数据库层面实现了数据分片和水平扩展能力,并且对用户透明。很多行业的批处理系统中通常会有大量批处理操作,包含多张大表关联的复杂计算,并且涉及到大量的数据更新。批处理意味着每一次处理的数据量很大,而且有很多张大表要做关联,经常要做一些比较复杂的查询,并且更新量也比较大,使得传统的集中式数据库,出现了单点瓶颈,垂直扩容成本非常高,几乎不可接受。oceanBasE数据库的SQL引擎在经过了近10年的发展之后,已经拥有了很好的SQL执行能力和分布式计算能力,可以支撑这种复杂的HTAP应用。由于oceanBasE数据库的原生分布式数据库特点,可以完美地解决传统数据库的单点性能瓶颈问题,而且还可以节省扩容带来的成本。2.1.2oceanBase常见数据迁移/同步方案详见:《oceanBase数据库技术文档-数据迁移》:/docs/oceanbase-database-cn数据迁移是日常运维操作的一种常见操作,是调整集群负载和机房搬迁的必备操作。虽然集群内部、表与表之间数据归档、磁盘水位均衡、资源单元搬迁等操作在oceanBase数据库中可以通过简单命令快速发起,但是涉及异构数据源和集群间的数据同步等功能时就需要借助外部工具。【应用场景】数据迁移是数据库运维常见的操作,主要有如下的应用场景:•调整集群负载和机房搬迁。•数据导出到文件、从文件导入到数据库。•数据库逻辑复制,包括读写分离、数据库容灾、业务多活等。•业务上的数据复制需求。【迁移方案oceanBase数据库提供丰富的数据迁移复制方法,包括:•使用OMS迁移t建议)•使用obloader&obdumper迁移◦使用obloader导入数据◦使用obdumper导出数据•使用OUTFILE语句迁移•使用DBCAT迁移迁移方案具体支持情况如下:迁移方案结构迁移全量数据迁移增量数据迁移数据校验存储过程支持的数据源OMS支持支持支持支持不支持oceanBaseMYSQLoraclepostgresQLDB2LUWTiDBkafkaRocketMQDatahubobloader&obdumper支持支持不支持不支持支持oceanBaseSQL脚本迁移支持支持不支持不支持支持主流数据库,但无法跨实例做数据迁移MYDumper支持支持不支持不支持支持MYSQL兼容的数据源TapData支持支持支持支持不支持内置100+数据连接器(含oceanBase源与目标的支持),包含商业数据库、开源数据库、云数据库、数据仓库、数据湖、消息队列、saas平台、文件等,且支持自定义数据源较多,具体范围查看官方文档Datax不支持支持不支持不支持不支持较多,具体范围查看官方文档OUTFILE语句不支持支持不支持不支持不支持MYSQLoceanBaseDBCAT支持不支持不支持不支持支持较多,具体范围查看官方文档以上是几种oceanBase适用的数据迁移方法及工具。2.1.3高效数据迁移/同步分步教程此处教程选用TapData本地部署版本为工具,以oceanBase→MYSQL为模拟场景进行操作演示。更多详情,参见《TapData帮助文档-连接数据源-自建数据库oceanBase》:https:/ldocs·/prerequisites/on-prem-databases/oceanbase完成TapDataAgent部署后,即可跟随以下教程在TapData中添加oceanBase数据源(支持版本:oceanBase3.x),后续可将其作为源或目标库来构建数据管道。这里我们将以oceanBase为数据源,MYSQL为数据目标进行模拟演示。①准备工作1.确保TapData所属的网络已加入oceanBase的租户白名单中。3.执行下述格式的命令,创建用于数据同步的用户。•username:用户名。•password:密码。4.执行下述格式的命令,为刚创建的用户授予库级别所有权限,您也可以基于业务需求自定义更精细化的权限控制。•databasename:数据库名称。•username:用户名。②创建oceanBase的连接*oceanBase有MYSQL和oracle两种运行模式,依据JDBC驱动连接时的租户名称判断,目前TapData两种模式都可支持。1.进入TapData控制台,在左侧导航栏,单击连接管理。2.单击页面右侧的创建,在弹框中,搜索并选择oceanBaseo3.在跳转到的页面,根据下述说明填写oceanBase连接信息:◦连接名称:填写具有业务意义的独有名称。◦连接类型:支持OCEanBasE数据库作为源或目标。◦地址:数据库连接地址。◦端口:数据库的服务端口,默认为2881。◦数据库:数据库名称,即一个连接对应一个数据库,如有多个数据库则需创建多个数据连接。test租户时,即填写为test租户时,即填写为tapdata@test◦密码:租户账号对应的密码。◦额外参数:额外的连接参数,默认为空。◦时区:默认为数据库所用的时区,您也可以根据业务需求手动指定。•高级设置◦Agent设置:默认为平台自动分配,您也可以手动指定Agento◦模型加载频率:数据源中模型数量大于1万时,TapData将按照设置的时间定期刷新模型。4.单击连接测试,测试通过后单击保存:*提示:如提示连接测试失败,请根据页面提示进行修复。③创建MYSQL的连接1.参照oceanBase连接创建流程,完成MYSQL连接配置信息填写,添加数据目标MYSQL:2.测试MYSQL连接:3.模型加载成功:④创建数据复制/开发任务1.左侧导航栏点击数据复制,并点击右侧创建:2.进入DAG页面,构建数据复制任务,通过拖拉拽的方式添加源与目标节点,并连接源与目标3.单击源与目标节点,即可按需对二者进行设置:4.保存任务S任务启动与监控1.启动任务,任务全量同步正常运行:2.源表和目标表数据检验count一致,内容一致3.增量同步:数据源表新增数+1,目标表新增数+1,检查源表和目标表,源表和目标表依次新增这条数据以上,便是借助TapData快速实现oceanBase到MYSQL的全、增量同步的模拟教程。2.2polarDB以下是polarDB的墨天轮流行度排行变化趋势:2.2.1关于polarDBpolarDB是一款开源的云原生数据库,支撑了阿里巴巴双十—业务,同时作为云产品为广大企业提供了高质量的服务。作为阿里云自研产品,polarDB在存储计算分离架构下,利用了软硬件结合的优势,为用户提供秒级弹性、高性能、海量存储、安全可靠的数据库服务。10%兼容MYSQL和postgrESQL生态,支持分布式扩展,高度兼容oracle语法。polarDB家族三大分支包括:polarDBMYSQL版、polarDBPostgresQL版、polarDB分布式版。其中polarDBpostgresQL版、polarDB分布式版于2021年开源。•云原生数据库polarDBMYSQL版云原生数据库polarDBMYSQL版是阿里云自研产品,100%兼容MYSQL。产品具有多主多写、多活容灾、HTAP等特性,交易性能最高可达开源数据库的6倍,分析性能最高可达开源数据库的400倍,TCO低于自建数据库50%。•云原生数据库polarDBpostgresQL版云原生数据库polarDBpostgresQL版是阿里云自研的云原生关系型数据库产品,100%兼容postgresQL,高度兼容oracle语法。为用户提供快速弹性、高性能、海量存储、安全可靠的数据库服务,同时支持阿里云自研Ganos多维多模时空信息引擎及开源postGS地理信息引擎。•云原生数据库polarDB分布式版polarDBXpolarDB分布式版(polarDBforxscale,简称"polarDB-X")是阿里云自主设计研发的高性能云原生分布式数据库产品,为用户提供高吞吐、大存储、低延时、易扩展和超高可用的云时代数据库服务。历经各届天猫双11及阿里云各行业客户业务的考验,助力企业加速完成业务数字化转型。【产品优势】•兼容并包,无缝兼容原有生态:1OO%兼容MYSQL和postgresQL生态,无需修改代码即可使用,提供从RDSMYSQL高可用版到polarDB的一键迁移功能,连接地址保留不变。高度兼容oracle语法,ADAM工具全周期协助您进行oracle迁移,将oracle的迁移成本和周期缩减到原来的1/10甚至更低。•海量存储,大规模扩展:polarDBMYSQL版和postgresQL版支持最大容量1OOTB,最多可横向扩展16个节点,每个节点最高88VCPU,serverless分布式存储空间根据数据量自动伸缩。polarDB分布式版本可支持PB级存储扩展。•高性价比:polarDB相比传统MYSQPostgresQ获得百倍以上执行性能加速效果同时多个计算节点共享存储,新增只读节点时只需支付计算节点费用,大大降低扩容成本。存储空间无需手动配置,根据数据量自动伸缩,只需为实际使用的容量付费。•高可用,保障业务永远在线:单机故障,可实现主备切换。数据丢失,彻底解决异步复制带来的主备节点数据非强一致问题,几分钟内即可扩展只读副本,备份和恢复数据。支持多样化的部署和容灾能力,比如同城三机房、三地五中心等。•兼容性强:polarDB数据库100%兼容MYSQl、postgresQL高度兼容oraclE语法,可根据业务需求选择合适的引擎版本。【应用场景】•教育i直播:业务高弹性分钟级弹性升降配,快速应对业务峰值教育、直播场景下业务有明显的峰值峰谷特征,学生课外时间、双11等大促活动时的业务量是日常情况的数倍,业务系统需要在大促前后进行升降配。polarDB支持分钟级弹性升配能力,解决了传统数据库的升配时间会随着存储量的大小、宿主机资源的情况而不断上升的问题。•金融i保险:高可用和强读数据强一致性保证,满足金融级可靠性要求金融场景下对业务要求高可用和强一致性,polarDB采用存储和计算分离的架构,支持秒级的故障恢复、全局数据一致性和数据备份容灾等功能,充分满足金融级合规可靠性要求。•游戏:全球部署高并发提供高读写性能,支持业务全球化部署游戏场景下需经常进行开服合服操作,业务峰值时可能需要支撑百万级玩家同时在线的高并发压力,更可能需要确保业务的增长进行海外部署。polarDB提供低延迟、高稳定、高性能的云服务,满足游戏业务需求。•交通物流:每秒万级并发在线业务超高并发,轻松解决如在城市公交场景下,涉及大量的车辆和车型、多样的计费方式,不仅要求数据库系统具有海量存储的能力,还需满足复杂查询计算的能力。基于polarDB分布式版存储海量数据,通过AnalyticDB进行数据分析,可构建智能化的城市公交系统,满足路线规划、站点查询、公交预报、业务报表结算、公交调度等需求,提升运营效率和服务水平。•电商零售:大促秒杀平稳应对单表数据量过大、业务潮汐电商行业中如大型促销秒杀场景对系统整体访问压力巨大。polarDB分布式版历经各届天猫双十—及阿里云各行业客户业务的考验,能有效解决热点数据的高并发更新性能瓶颈,助力业务稳定运行。•通用:大容量数据存储海量存储,支持上百TB级别数据业务的发展伴随着历史数据的飞速增长,单库能达到TB级别。在这种情况下,传统数据库的存储和性能都碰到了瓶颈。polarDB采用存储和分离架构,单实例最高100TB存储,节点支持纵向扩展(升/降配节点)和横向扩展(增/减只读节点),快速应对业务增长。•通用:HTAP分析加速海量数据,快速查询polarDB采用计算和存储分离架构,支持数据库服务器的CPU、内存能够快速扩容,最快可增加15个只读节点,支持并行查询、读写分离等功能,使查询耗时指数级下降,解决计算量较大的查询、多表连接查询、日常报表查询等轻分析类业务需求。2.2.2polarDB常见数据迁移/同步方案详见《polarDB产品文档-操作指南》:https:/izhipolardb/userguidepolarDB提供了多种数据迁移与同步方案,可满足不同上云、迁云以及业务同步等需求,支持在不影响业务的情况下平滑实现引擎间的数据迁移与同步,以polarDBMYSQL版本为例:①使用阿里云数据传输服务(DTS)DTS(DataTransmissionservice)是阿里云提供的数据传输服务,适用于polarDB的迁移与同步场景,支持RDBMS、NOSQl、OLAP等数据源间的数据交互。polarDB的数据迁移•使用场景:◦从RDS迁移至polarDB◦polarDB间的数据迁移◦从其他数据库迁移至polarDB◦从polarDB迁移至其他数据库polarDB的实时同步•使用场景:◦polarDB间的数据同步◦polarDB与其它数据库的数据同步支持的数据库当源为polarDBMYSQL版时,DTS对源库与目标库的支持情况如下:•源库:polarDBMYSQL版所有版本•目标库:包含polarDBMYSQL自建MYSQl、RDSMYSQl、云原生数据仓库AnalyticDBMYSQl版、云原生数据仓库AnalyticDBpostgresQL版、clickHouse等在内的10+数据目标②使用实时数据同步工具TapDataTapData是一个以低延迟数据移动为核心优势构建的现代数据平台,可用于实现核心数据系统之间的实时同步、实时交换及实时处理。polarDB的数据迁移•使用场景:◦从其他数据库迁移至polarDB◦polarDB间的数据迁移◦从polarDB迁移至其他数据库polarDB的实时同步•使用场景:◦polarDB间的数据同步◦polarDB与其它数据库的数据同步支持的数据库当源为polarDBMYSQL版时,TapData对源库与目标库的支持情况如下:•目标库:包含polarDBMYSQl、MYSQl、RDSMYSQl、cickHouse、Elasticsearch.kafka等在内的60+数据目标2.2.3高效数据迁移/同步分步教程此处教程选用TapData本地部署版本为工具,以polarDBMYSQL→RDSMYSQL为模拟场景进行操作演示。更多详情,参见《TapData帮助文档-连接数据源-云数据库polarDBMYSQL》:https:i//prerequisites/cloud-databases/polardb-mysal完成TapDataAgent部署后,即可跟随以下教程在TapData中添加polarDBMYSQL数据连接(支持版本:polarDBMYSQL5.6、5.7、8.0),后续可将其作为源或目标库来构建数据管道。这里我们将以polarDBMYSQL为数据源,RDSMYSQL为数据目标进行模拟演示。①前提条件(作为源)开启Binlog•必须开启MYSQL的binlog,Tapdata才能正常完成同步工作。•级连删除(CASCADEDELETE),这类由数据库产生的删除不会记录在biniog内,所以不被支持。修改$MYSQLHOME/f,例如:配置解释:•serverid:对于MYSQL中的每个服务器和复制客户端必须是唯一的•binlogformat:必须设置为row或者ROW•binlogrowimage:必须设置为full•expirelogsdays:进制a志文件保留的天数,到期会自动删除•logbin:binlog序列文件的基本名称重启MYSQl验证binlog已启用,请在mysqlshell执行以下命令输出的结果中,formatvalue应该是"ROW"验证binlogrowimage参数的值是否为full:输出结果中,binlogrowimagevalue应该是"FULL"创建MYSQL账号MYSQL以后,对密码加密的方式不同,请注意使用对应版本的方式,设置密码,否则会导致无法进行增量同步使用以下命令,确认supplementallogging是否开启给TapData账号授权对于某个数据库赋予select权限对于全局的权限约束说明当从MYSQL同步到其他异构数据库时,如果源MYSQL存在表级联设置,因该级联触发产生的数据更新和删除不会传递到目标。如需要在目标端构建级联处理能力,可以视目标情况,通过触发器等手段来实现该类型的数据同步。②创建polarDBMYSQL的连接1.进入TapData控制台,在左侧导航栏,单击连接管理。2.单击页面右侧的创建,在弹框中,搜索并选择polarDBo3.在跳转到的页面,根据下述说明填写polarDB连接信息:4.单击连接测试,测试通过后单击保存:*提示:如提示连接测试失败,请根据页面提示进行修复。③创建RDSMYSQL的连接1.参照polarDB连接创建流程,完成RDSMYSQL连接配置信息填写,添加数据目标:2.测试RDSMYSQL的连接:④创建数据复制/开发任务1.左侧导航栏点击数据复制,并点击右侧创建:2.进入DAG页面,构建数据复制任务,通过拖拉拽的方式添加源与目标节点,并连接源与目标3.单击源与目标节点,即可按需对二者进行设置:4.保存任务S任务启动与监控1.启动任务,任务全量同步正常运行:2.增量同步开启以上,便是借助TapData快速实现polarDBMYSQL到RDSMYSQL的全、增量同步的模拟教程。2.3TiDB以下是TiDB的墨天轮流行度排行变化趋势:2.3.1关于TiDBTiDB是pingcAP公司自主设计、研发的开源分布式关系型数据库,是一款同时支持在线事务处理与在线分析处理(HybridTransactionalandAnalyticalprocessing,HTAP)的融合型分布式数据库产品,具备水平扩容或者缩容、金融级高可用、实时HTAP、云原生的分布式数据库、兼容MYSQL5.7协议和MYSQL生态等重要特性。目标是为用户提供一站式OLTP(onlineTransactionalprocessing)OLAP(oonlineAnalyticalprocessing)HTAP解决方案。TiDB适合高可用、强一致要求较高、数据规模较大等各种应用场景。TiDB核心特性:•键水平扩容或者缩容:得益于TiDB存储计算分离的架构的设计,可按需对计算、存储分别进行在线扩容或者缩容,扩容或者缩容过程中对应用运维人员透明。•金融级高可用:数据采用多副本存储,数据副本通过Muiti-Raft协议同步事务日志,多数派写入成功事务才能提交,确保数据强一致性且少数副本发生故障时不影响数据的可用性。可按需配置副本地理位置、副本数量等策略满足不同容灾级别的要求。•实时HTAP:提供行存储引擎Tikv、列存储引擎TiFlash两款存储引擎,TiFlash通过Multi-RaftLearner协议实时从Tikv复制数据,确保行存储引擎Tikv和列存储引擎TiFlash之间的数据强一致。Tikv、TiFlash可按需部署在不同的机器,解决HTAP资源隔离的问题。•云原生的分布式数据库:为云设计的分布式数据库,通过TiDBOperator可在公有云、私有云、混合云中实现部署工具化、自动化,依托公有云提供开箱即用的TiDBcloud服务(DBaas)。•兼容MYSQl5.7协议和MYSQL生态:兼容MYSQl5.7协议、MYSQL常用的功能、MYSQL生态,应用无需或者修改少量代码即可从MYSQL迁移到TiDB。提供丰富的数据迁移工具帮助应用便捷完成数据迁移。【产品优势】与传统的单机数据库相比,TiDB具有以下优势:•纯分布式架构,拥有良好的扩展性,支持弹性的扩缩容;•支持SQl,对外暴露MYSQL的网络协议,并兼容大多数MYSQL的语法,在大多数场景下可以直接替换MYSQL;•默认支持高可用,在少数副本失效的情况下,数据库本身能够自动进行数据修复和故障转移,对业务透明;•支持AciD事务,对于些有强一致需求的场景友好,例如:银行转账;•具有丰富的工具链生态,覆盖数据迁移、同步、备份等多种场景。【应用场景】•对数据一致性及高可靠系统高可用、可扩展性、容灾要求较高的金融行业属性的场景金融行业对数据一致性及高可靠、系统高可用、可扩展性、容灾要求较高。传统的解决方案是同城两个机房提供服务、异地一个机房提供数据容灾能力但不提供服务,此解决方案存在以下缺点:资源利用率低、维护成本高、RTO(RecoveryTimeobjective)及RPO(Recoverypointobjective)无法真实达到企业所期望的值。TiDB采用多副本+Multi-Raft协议的方式将数据调度到不同的机房、机架、机器,当部分机器出现故障时系统可自动进行切换,确保系统的RTO<=30S及RPO=0O•对存储容量可扩展性、并发要求较高的海量数据及高并发的olTP场景随着业务的高速发展,数据呈现爆炸性的增长,传统的单机数据库无法满足因数据爆炸性的增长对数据库的容量要求,可行方案是采用分库分表的中间件产品或者NewsQL数据库替代、采用高端的存储设备等,其中性价比最大的是NewsQL数据库,例如:TiDB.TiDB采用计算、存储分离的架构,可对计算、存储分别进行扩容和缩容,计算最大支持512节点,每个节点最大支持1000并发,集群容量最大支持PB级别。•Real-timeHTAP场景随着5G、物联网、人工智能的高速发展,企业所生产的数据会越来越多,其规模可能达到数百TB甚至PB级别,传统的解决方案是通过OLTP型数据库处理在线联机交易业务,通过ETL工具将数据同步到OLAP型数据库进行数据分析,这种处理方案存在存储成本高、实时性差等多方面的问题。TiDB在4.0版本中引入列存储引擎TiFlash结合行存储引擎Tikkv构建真正的HTAP数据库,在增加少量存储成本的情况下,可以同一个系统中做联机交易处理、实时数据分析,极大地节省企业的成本。•数据汇聚=次加工处理的场景当前绝大部分企业的业务数据都分散在不同的系统中,没有一个统一的汇总,随着业务的发展,企业的决策层需要了解整个公司的业务状况以便及时做出决策,故需要将分散在各个系统的数据汇聚在同一个系统并进行二次加工处理生成T+0或T+1的报表。传统常见的解决方案是采用ETL+Hadoop来完成,但Hadoop体系太复杂,运维、存储成本太高无法满足用户的需求。与Hadoop相比,TiDB就简单得多,业务通过ETL工具或者TiDB的同步工具将数据同步到TiDB,在TiDB中可通过SQL直接生成报表。2.3.2常见数据迁移/同步方案详见《TiDB技术文档-数据迁移》:/zh/tidb/stable/migration-overviewTiDB在官方文档中,为大家提供了一些适用的数据迁移方案:•全量数据迁移◦数据导入:使用TiDBLightning将Aurorasnapshot,Csv文件或SQldump文件的数据全量导入到TiDB集群。◦数据导出:使用Dumpling将TiDB集群的数据全量导出为CSV文件或SQldump文件,从而更好地配合从MYSQL数据库或MariaDB数据库进行数据迁移。◦TiDBDM(Datamigration)也提供了适合小规模数据量数据库(例如小于1TiB)的全量数据迁移功能。•快速初始化TiDB集群:TiDBLightning提供的快速导入功能可以实现快速初始化TiDB集群的指定表的效果。请注意,使用快速初始化TiDB集群的功能对TiDB集群的影响极大,在进行初始化的过程中,TiDB集群不支持对外访问。极大降低业务迁移过程中停机窗口时间。•TiDB集群复制:TiDB支持备份恢复功能,该功能可以实现将TiDB的某个快照初始化到另-个全新的TiDB集群。•TiDB集群增量数据同步:TicDC支持同构数据库之间的灾备场景,能够在灾难发生时保证主备集群数据的最终一致性。目前该场景仅支持TiDB作为主备集群。根据迁移数据所在数据库类型、部署位置、业务数据规模大小、业务需求等因素,会有不同数据迁移选择。下面是一些常用的迁移工具汇总:TiDBDataMigration(DM)使用场景用于将数据从与MYSQL协议兼容的数据库迁移到TiDB上游MYSQL,MariaDB,Aurora下游TiDB主要优势一体化的数据迁移任务管理工具,支持全量迁移和增量同步支持对表与操作进行过滤支持分库分表的合并迁移使用限制数据导入速度与TiDBLightning的逻辑导入模式大致相同,而比TiDBLightning的物理导入模式低很多。建议用于1TB以内的存量数据迁移。TiDBLightning使用场景用于将数据全量导入到TiDB上游(输入源文件)Dumpling输出的文件从AmazonAurora或ApacheHive导出的parquet文件csv文件从本地盘或AmazonS3云盘读取数据下游TiDB主要优势支持快速导入大量数据,实现快速初始化TiDB集群的指定表支持断点续传支持数据过滤使用限制如果使用物理导入模式进行数据导入,TiDBLightning运行后,TiDB集群将无法正常对外提供服务。如果你不希望TiDB集群的对外服务受到影响,可以参考TiDBLightning逻辑导入模式中的硬件需求与部署方式进行数据导入。TicDC使用场景通过拉取Tikv变更日志实现的TiDB增量数据同步工具,具有将数据还原到与上游任意TSO一致状态的能力,支持其他系统订阅数据变更上游TiDB下游TiDB,MYSQL,kafka,MQ,confluent,存储服务(如AmazonS3、GCS、AzureBlobstorage和NFS)主要优势提供开放数据协议(TicDcopenprotocol)。使用限制TicDC只能同步至少存在一个有效索引的表。暂不支持以下场景:单独使用Rawkv的Tikv集群。在TiDB中创建SEQUENCE的DDL操作和SEQUENCE函数。TapData使用场景用于将数据从各类数据源全量/增量导入到TiDB,同时支持从包括TiDB在内的个数据源将数据全量/增量导出上游TapData支持的60+数据源(含TiDB),包含商业数据库、开源数据库、云数据库、数据仓库、数据湖、消息队列、saas平台、文件等,且支持自定义数据源下游TapData支持的60+数据目标(含TiDB),包含商业数据库、开源数据库、云数据库、数据仓库、数据湖、消息队列、saas平台、文件等,且支持自定义数据源主要优势为进一步简化使用流程,TapData的TiDB连接器集成了TicDC,可基于数据变更日志解析为有序的行级变更数据。支持全量数据同步和基于CDC的增量实时数据采集,广泛的数据源和数据类型支持,低代码可视化操作使用限制将其设置为24小时。将TiDB作为源以实现增量数据同步场景时,将其设置为24小时。•待同步的表需具备主键或唯一索引],其中唯一索引所属列的值不可为NUUL且不能为虚拟列。•由于TiDB组件间通信限制,当采用Tapdatacloud产品时的,部署的Agent需为半托管实例(详情参见:/faq/agent-installation#semi-and-full-agent)。Dumpling使用场景用于将数据从MYSQL/TiDB进行全量导出上游MYSQL,TiDB下游(输出文件)SQL,CSV主要优势支持全新的table-filter,筛选数据更加方便支持导出到AmazonS3云盘使用限制如果导出后计划往非TiDB的数据库恢复,建议使用Dumpling.如果导出后计划往另-个TiDB恢复,建议使用BR。Backup&Restore(BR)使用场景通过对大数据量的TiDB集群进行数据备份和恢复,实现数据迁移上游TiDB下游(输出文件)SST,backup.meta文件,backup.lock文件主要优势适用于向另一个TiDB迁移数据。支持数据冷备份到外部存储,可以用于灾备恢复。使用限制BR恢复到TicDC/Drainer的上游集群时,恢复数据无法由TicDC/Drainer同步到下游。BR只支持在mysql.tidb表中newcollationenabled开关值相同的集群之间进行操作。sync-diff-inspector使用场景用于校验MYSQL/TiDB中两份数据的一致性上游TiDB,MYSQL下游TiDB,MYSQL主要优势提供了修复数据的功能,适用于修复少量不一致的数据。使用限制对于MYSQL和TiDB之间的数据同步不支持在线校验。不支持JSON、BIT、BINARY、BLOB等类型的数据。以上是使用这些工具的场景、支持的上下游、优势和相关限制等信息,可根据实际需求选择合适的工具。2.3.3高效数据迁移/同步分步教程此处教程选用TapData本地部署版本为工具,以MYSQL→TiDB为模拟场景进行操作演示。更多详情,参见《TapData帮助文档-连接数据源-自建数据库TiDB》:/prerequisites/on-prem-databases/tidb完成TapDataAgent部署后,即可跟随以下教程在TapData中添加TiDB数据源(支持版本:TiDB6.0.0及以上),后续可将其作为源或目标库来构建数据管道。这里我们将以MYSQL为数据源,TiDB为数据目标进行模拟演示。*注意:为保障数据的正常同步,TiDB集群与TapData引擎(Agent)之间需处于同内网且能正常通信。①准备工作1.登录TiDB数据库,执行下述格式的命令,创建用于数据同步/开发任务的账号。•username:用户名。•host:允许该账号登录的主机,百分号(%)表示允许任意主机。•password:密码。示例:创建一个名为tapdata的账号,允许从任意主机登录。2.为刚创建的账号授予权限。3•databasename:数据库名称。•username:用户名。②创建TiDB的连接1.进入TapData控制台,在左侧导航栏,单击连接管理。2.单击页面右侧的创建,在弹框中,搜索并选择TiDB。3.在跳转到的页面,根据下述说明填写TiDB连接信息:◦连接名称:填写具有业务意义的独有名称。◦连接类型:支持将TiDB数据库作为源或目标。◦PDServer地址:填写PDserver的连接地址和端口,默认端口号为2379,本参数仅在作为源库时需填写。◦数据库地址:数据库连接地址。◦端口:数据库的服务端口,默认为4000。◦数据库名称:数据库名称,即一个连接对应一个数据库,如有多个数据库则需创建多个数据连接。◦账号、密码:数据库的账号和密码,账号的创建和授权方法,见准备工作。•高级设置◦其他连接串参数:额外的连接参数,默认为空。◦时间类型的时区:默认为数据库所用的时区,您也可以根据业务需求手动指定。◦共享挖掘:挖掘源库的增量日志,可为多个任务共享源库的增量日志,避免重复读取,从而最大程度上减轻增量同步对源库的压力,开启该功能后还需要选择一个外存用来存储增量日志信息,本参数仅在作为源库时需填写。◦包含表:默认为全部,您也可以选择自定义并填写包含的表,多个表之间用英文逗号(,)分隔。◦排除表:打开该开关后,可以设定要排除的表,多个表之间用英文逗号(,)分隔。◦agent设置:默认为平台自动分配,您也可以手动指定。。模型加载时间:当数据源中模型数量小于10,000时,每小时刷新次模型信息;如果模型数据超过10,000,则每天按照您指定的时间刷新模型信息。。开启心跳表:当连接类型选择为源头和目标、源头时,支持打开该开关,由Tapdata在源库中创建一个名为tapdataheartbeattable的心跳表并每隔10秒更新一次其中的数据(数据库账号需具备相关权限),用于数据源连接与任务的健康度监测。•SSL设置:选择是否开启SSL连接数据源,可进步提升数据安全性,开启该功能后还需要上传CA文件、客户端证书、密钥填写客户端密码。更多介绍,见生成自签名证书。*提示:数据源需在数据复制/开发任务引用并启动后,心跳任务任务才会启动,此时您可以再次进入该数据源的编辑页面,即可单击查看心跳任务。4.单击连接测试,测试通过后单击保存:*提示:如提示连接测试失败,请根据页面提示进行修复。③创建MYSQL的连接1.参照TiDB连接创建流程,完成MYSQL连接配置信息填写,添加数据源MYSQL:2.测试MYSQL连接:④创建数据复制/开发任务1.左侧导航栏点击数据复制,并点击右侧创建:2.进入DAG页面,构建数据复制任务,通过拖拉拽的方式添加源与目标节点,并连接源与目标:3.单击源与目标节点,即可按需对二者进行设置:4.保存任务:任务启动与监控1.启动任务,任务全量同步正常运行:2.增量事件正常同步:以上,便是借助TapData快速实现MYSQL到TiDB的全、增量同步的模拟教程。2.4达梦数据库(Dameng)以下是Dameng的墨天轮流行度排行变化趋势:2.4.1关于Dameng达梦数据库管理系统(DM)是新一代大型通用关系型数据库,全面支持SQL标准和主流编程语言接口/开发框架。行列融合存储技术,在兼顾OLAP和OLTP的同时,满足HTAP混合应用场景。凭借其丰富的产品架构、优异的性能表现、绝对的安全保证适应各种应用场景需求得到了众多客户的信任,不仅在国产数据库市场中成功占有一席之地,成为国产化替代的常见选项,也逐渐成为国际竞争中的一股重要力量。值得一提的是,DM8是达梦公司在总结DM系列产品研发与应用经验的基础上,坚持开放创新、简洁实用的理念,推出的新一代自研数据库。DM8吸收借鉴当前先进新技术思想与主流数据库产品的优点,融合了分布式、弹性计算与云计算的优势,对灵活性、易用性、可靠性、高安全性等方面进行了大规模改进,多样化架构充分满足不同场景需求,支持超大规模并发事务处理和事务-分析混合型业务处理,动态分配计算资源,实现更精细化的资源利用、更低成本的投入。—个数据库,满足用户多种需求,让用户能更加专注于业务发展。核心特性】•多维融合,满足多样需求◦达梦读写分离架构数据库读写分离■支持自动故障切换▪支持事务级读写负载分离▪支持读写分配比例可调整◦读多写少业务场景下的性能近线性提升▪达梦混合事务分析处理技术行列融合2.0▪具备事务-分析混合型业务处理的能力,满足用户对HTAP应用场景的需求▪具备变更缓存、高级日志两个关键特性,弥合行存储与列存储的鸿沟•多项细节优化,增强易用性◦为用户带来359项产品细节打磨,优化细节增强易用性省心便捷的运维管理◦全新的集中式运维管理工具-DEM◦管理工具集成新的SQL助手2.0◦运行环境提示与误删保护持续增强安全性◦高安全等级的数据库管理系统,达到国家安全四级、EAL4+级满足GB/T20273、GB/T18336◦增强改进多项安全性技术生态再升级◦支持更广泛的技术选型◦支持多种云计算基础设施环境、支持多种软硬件平台◦广泛的SQL语法兼容性◦专用DBAPI特性兼容◦便捷的数据迁移◦达梦柔性迁移解决方案【应用场景】•高性能交易处理需求场景事务处理应用的主要特点是高并发的短事务请求,通常响应时间为秒级以内,数据量相对较低,一般为TB级别,可靠性要求一般视业务重要性和业务特点而定,通常要求可靠率达99.99%。•高可用需求场景数据库系统往往处在信息系统的核心位置,是系统正常运行的必要基础。因此,用户对数据库系统的安全性和可用性提出了很高的要求。传统的备份恢复技术,基于存储的远程镜像等方法可以满足用户对数据安全性的要求,但无法满足高可用性的要求,从出现故障,到解决故障、重新提供数据库服务的时间往往较长。用户迫切地希望有一种新的解决方案,可以同时满足数据安全性和高可用性的要求。大规模数据分析以复杂统计查询请求为主,并发相对较少,请求响应时间相对较长,通常为分钟级,部分场景甚至可达小时级,但该应用场景数据量非常大,达到TB级~PB级,在可靠性方面业务连续性要求相对较低,但数据必须确保副本/备份。高强度混合负载场景的特点是既有相对较高的并发事务请求,同时也有较复杂的报表、分析统计业务,传统的数据库架构下,两类不同业务往往会产生严重的资源争用,对用户业务系统的整体性能产生显著的影响。本类场景多以大集中架构的办公、管理、财务等系统为代表。以oracle、DB2数据库为代表的数据库软件产品,已经长期、广泛应用于国内各行业的核心业务系统中。当面临升级替换时,需要解决新老数据库切换过程中数据迁移、应用兼容、新系统稳定性等各种问题,降低用户进行数据库管理系统架构迁移的风险。达梦柔性替换解决方案,可使在替换过程中达梦数据库应用上线过程风险总体可控、系统运行平滑。提供统一的数据库发放、运维、监控、管理平台,实现数据库云服务的"按需申请、开箱即用、秒级发放",满足内部中小型业务系统数据库的统一云化管理和智能运维。2.4.2常见数据迁移/同步方案详见《达梦技术文档-DM数据移植》:https:iieco.dameng·comidocument/dmizh-cn/starti①需求确认移植会涉及诸多场景,如容灾备份、应用改造/替代、数据库版本升级/回退、数据库替代、业务分流等,不同的场景在数据流向、停机窗口、同步需求、数据处理等方面会有不同的需求,需要针对性地选择迁移工具和方案。②数据库调研考虑迁移工具版本、驱动版本、基础环境、操作方式、对象个数、对象大小、数据量等均会影响迁移工作的开展,需要对源端和目的端数据库及服务器、业务系统进行调研,确保在满足相关需求的前提下稳定完成迁移。确认迁移需求后,源端数据库需提前调研如下信息:1.环境信息。提前了解操作系统层面,确定工具能否使用可视化界面,或者端口号开放情况,可以方便在后期部署安装过程中,及时避开处理问题时的一些干扰项。主要包括对服务器、内存、CPU、网络、端口、安全策略、是否具备可视化界面等信息的调研。2.业务系统信息。提前了解应用系统层面信息,结合应用系统特性,为后面制定迁移策略、迁移时间评估等提供参考。主要包括对业务类型、业务运行时段、停机窗口、数据量、数据增量、并发访问量等信息的调研。3.数据库信息。提前了解迁移数据量、字符编码、归档保留、数据库对象、表空间等信息,为后续迁移做好规划和相关准备工作。③迁移评估1.了解数据源特征数据源分析是数据迁移的基础,帮助您评估数据同步所需的资源,制定精细化的任务配置策略,包括:类别说明确认源库类型例如需进行异构数据同步,需在迁移前进行源端数据库兼容性评估,确保数据类型兼容性。待同步表的数量基于该数据估算同步任务的规模和复杂度,如果表数量众多,需要分批创建数据同步任务或优先同步关键数据。数据变化量估算日常数据变化量,以便于调整同步频率和性能参数,确保实时或近实时的数据更新。主键/唯一索引主键或唯一索引对同步性能和数据一致性保障起到至关重要的作用,如果缺失可在后续任务配置时对该表进行特殊配置。2.测试环境验证通过在测试环境中进行细致的上线前测试,可以大大降低生产环境中遇到问题的风险,确保数据同步过程的平稳和高效,通常流程包括:•模拟真实环境:在测试环境中尽可能地模拟生产环境,包括数据量数据类型和业务操作。•验证数据同步逻辑:确保所有同步逻辑按预期工作,包括数据转换、过滤和错误处理。•性能测试:检验数据同步对系统性能的影响,包括同步速度和系统资源消耗。•异常和错误处理:测试数据同步在面对网络中断、数据格式错误等异常情况时的表现。•恢复和回滚计划:确保有应对失败情况的恢复和回滚计划。④移植工具选择达梦在官方文档中提供了三种移植工具,分别是:数据迁移工具DTS、数据复制软件DMDRS和数据集成软件DMDls,以满足不同移植场景的使用需求。除此之外,实时数据同步工具TapData,也是非常常见的工具选择。他们各自的功能属性如下:1.数据迁移工具DTSDTS是一款免费的数据迁移工具,在数据库安装时自带有图形化的版本,同时也可以部署DEM(达梦企业管理器),以WEB客户端方式提供。此工具主要适用于静态数据迁移场景。DTS基于成熟的关系数据模型和标准接口,跨越多种主流大型数据库,能以极少的系统开销实现数据迁移工作。DMDTS的技术原理图如下图所示