DTS数据服务解决方案打破数据孤岛

1、腾讯云DTS数据服务解决方案打破数据孤岛从同构到异构 ， 打破数据孤岛1腾讯云DTS产品介绍2腾讯云DTS的新使命3DBbridge产品介绍4DBbridge关键技术实现5DBbridge未来规划目录CONTENTS2腾讯云DTS产品介绍腾讯云数据传输服务（Database Transmission Service，DTS）支 持 MySQL、MariaDB、 PostgreSQL、Redis、MongoDB 等多种关系型数据库及 NoSQL 数据库迁移，可帮助用户在业务 不停服的前提下轻松完成数据库 迁移上云，利用实时同步通道轻松构建高可用的数据库容灾架构， 通过数据订阅来满足商业数据挖 掘

2、、业务异步解耦等场景需求。数据订阅实时计算 消息队列 离线分析数据同步异地多活跨地域数据同步 异地灾备数据迁移云下到云上 同构数据迁移 数据拆分3腾讯云DTS产品特性故障自动恢复每个传输节点具备高度的恢复和自愈能力设置简单快速几分钟的时间就能设置一个迁移任务可视化操作可视化界面几步简单配置即可开启数据传输丰富的告警监控监控指标，自定义告警数据同步零停机拷贝高传输性能高规格服务器来保证每条迁移同步链路都能 拥有良好的传输性能4DTS产品满足这些功能就足够了吗？腾讯云自建机房其他云腾讯云从云上到云下的数据流动从其他云到腾讯云的数据流动从华北到华南的数据流动 从国内到海外的数据流动华北华南51腾讯云

3、DTS产品介绍2腾讯云DTS的新使命3DBbridge产品介绍4DBbridge关键技术实现5DBbridge未来规划目录CONTENTS6如何加快数据库国产化进程？数据库国产化加速数据流动“数字中国”写入2018年政府工作包括 信息安全的不可控性日益突出国家推进“国产、自主、安全、可控”的 战略方针商业数据库TencentDB7总部分部异构数据 复制同步异构数据复制同步异构数据 复制同步异构数据双 向复制同步同构数据双 向复制同步同构数据双 向复制同步同构数据双 向复制同步过渡阶段数据同步异构数据双 向复制同步腾讯云某私有云数据库架构规划业务数据复杂度加速数据流动业务复杂数据同步通道 如何能

4、够统一管理？统一部署统一监控统一任务管理 同步进度可视化 统一高可用方案总部大数据平台8业务分析库总部其他 数据库业务生产库核心生产等数据库全国电子 底账库分部电子 底账库如何打通企业内部的数据孤岛？构建统一的数据中台还需要数据孤岛之间的数据流动数据中台不仅需要中台；更需要数据的互联互通9数据孤岛的存在需要数据流动DTS从工具产品到平台产品从同构到异构加速数据库国产化从公有云到私有云加速数据流动打破数据孤岛数据的流动产生新的价值101腾讯云DTS产品介绍2腾讯云DTS的新使命3DBbridge产品介绍4DBbridge关键技术实现5DBbridge未来规划目录CONTENTS11DBbridg

5、e基础版迁移评估应用改造结构迁移数据迁移服务交割反向同步数据对比增量同步DBbridge企业版oracleDB2informixsybaseMySQLPostgreSQLxmljsoncsv商业 数据库开源 数据库半结构 数据主要定位：Oracle数据 库应用服务迁移平台主要定位：同构和异构 数据库数据复制平台腾讯云DBbridge产品介绍DBbridge企业版TencentDB12目标数据库迁移平台+专家服务源数据库腾讯云数据应用服务迁移解决方案Oracle腾讯云DBbridge数据库应用服迁移解决方案DB2DTS-DBbridge迁移评估数据迁移数据同步迁移校验迁移专家服务迁移评估方案设计

6、改造建议交割保障MySQLTencentDB13对象兼容评估报告迁移评估模块源端数据库腾讯云DBbridge迁移评估模块对象兼容评估报告：数据库静态对象，例如：表、索引、视图、函数、存 储过程、物化视图、触发器、包、数据类型等信息应用兼容评估报告：应用端发送给源端执行的SQL评估评估效果和运行时间、抓取得SQL有关数据采集数据脱敏规则应用生成报告应用兼容 评估报告14对象兼容评估报告应用兼容评估报告兼容对象：目标端数据库可以直接迁移的对象可转换对象：目标端数据库可以通过语法规则 转换后可以迁移的对象不兼容对象：目标端数据库目前不能直接迁移 的对象，需要人工介入后处理腾讯云DBbridge迁移评

7、估报告15数据排序数据校验模块数据抽取数据对比源端数据文件腾讯云DBbridge数据校验模块源端 数据库目标端 数据库数据校验报告源端数据文件数据校验校验基本库表数量表数据量主键表行记录hash值是否一致16腾讯云DBbridge数据校验结果检验通过表：数据行数、每行数据字段均对比 通过检验不通过表：数据行数不同，或主键相同行 中具体字段值不同支持在数据校验日志中查看具体差异情况17迁移需求沟通迁移评估迁移实施资源准备服务交割客户/行业架构师：服务人员：方案评审结果确认标准产出：具体内容：腾讯云DBbridge数据库应用服务迁移实施流程需求传递给产品 服务下单系统调研迁移评估，并生成迁 移方案

8、、改造方案和 可行性评估等和用户沟通迁移方案用户确认迁移计 划准备测试环境 数据库改造应用部分改造 业务功能测试 性能测试安全性测试数据迁移数据校验 对比测试 服务交割迁移评估报告迁移测试报告数据校验报告DBbridge迁移测试181腾讯云DTS产品介绍2腾讯云DTS的新使命3DBbridge产品介绍4DBbridge关键技术实现5DBbridge未来规划目录CONTENTS19强大的数据采集引擎 特有的数据压缩技术 数据实时合并算法 采集速度可以达到 120G200G/小时腾讯云DBbridge优势特点数据同步集群支持横向 扩展单通道支持多并发写入单表支持并行复制高性能可扩展数据复制支持幂等

9、保证 数据最终一致性数据拆分算法保证数据复制时序性数据对比工具数据一致性数据复制同步通道 支持高可用支持数据断点续传高可用同时支持Oracle、DB2、Sybase多种数据库类型支持多种数据库图形管理界面，经过 现场培训即可自主管理 DBbridge数据同步系统易管理、易维护20数据抽取模块任务管理模块迁移校验模块迁移评估模块语法转换 模块WEB管理平台对象兼容评估报告应用兼容评估报告数据对比校验报告迁移状态监 控模块腾讯云DBbridge整体架构平台展示实时数据导出数据装载模块实时数据写入迁移通道任务管理源库目标库数据抽取数据转化数据加载 插件插件插件数据抽取数据转化数据加载 插件插件插件2

10、11、Xstream解析 redolog日志获 取变更前后的记 录节点节点节点共享存储变更SQL执行之后表A的记录变为（a=1,b=2） 表B的记录变为（c=2，d=3）表A增量同步通道表B增量同步通道2、获取的更新为一个json字符串“before:a=1, b=1”,“after:a=1,b=2”3、获取的更新为一个json字符串“before:c=2, d=2”,“after:c=2,d=3”7、最终达到A表和B表的数据源库保持 一致，不依赖上游数据库时序，目标端： 表A的记录变为（a=1,b=2）表B的记录变为（c=2，d=3）TencentDB5、在目标端表B的记录变为（c=2，d=

11、3）腾讯云DBbridge数据最终一致性保障DBbridge增量同步采用多通道同步，基于行复制来进行数据同步的，保证数据最终一致性；从归档日志中的Redolog中记录，通过Xstream获取中那个表 哪一行发生变更前后的信息取出来，基于行信息进行发生变更字段的更新。同步的内容是具体行结果的变更，和源库变更是如何产生的没有任何关系，不依赖于时序，单表不乱序不会出现数据一致性问题。最终一致性增量同步场景示例：源oracle数据库，有两个表A和B；表A有一个记录（a=1，b=1），表B有一个记录（c=2，d=2）；源数据库有两条变更SQL，其中一条是“update A，B set A.b=B.d w

12、here A.a=1；”这个时候A的记录为（a=1，b=2）；另外一条变更SQL是“update B set B.d=3 where B.c=2；这个时候B的记录为（c=2, d=3）”源Oracle RACDBbridge目标数据库6、生产目标 端SQL并行 “update A set b=2 where a=1 and b=14、如果表B 通道中执行较 快，生产目标 端SQL并执行 “update B set d=3 where c=2 and c=2;22节点节点节点共享存储变更SQL执行之后表A的记录变为（a=1,b=2） 表B的记录变为（c=2，d=3）1、Xstream解析 red

13、olog日志获 取变更前后的记 录单通道增量同步获取的更新为一个json字符串“before:a=1, b=1”,“after:a=1,b=2”获取的更新为一个json字符串“before:c=2, d=2”,“after:c=2,d=3”生产目标端 TBase SQL并 在一个事务中 执 行 “start transaction; update A set b=2 where a=1 and b=1; update B set d=3 where c=2 and c=2; commit;在目标端表A的记录变为（a=1，b=2） 表B的记录变为（c=2，d=3）TencentDB最终达到源端A

14、表和B表在同一时刻 内的瞬时一致性腾讯云DBbridge数据瞬时一致性保障DBbridge增量同步采用单通道同步，基于事务时序性来进行数据同步的，保证数据瞬时一致性；从归档日志中的Redolog中记录，通过Xstream按 照数据源事务产生的时序来获取数据的变更，并把相同事务的数据变更放到一个事务中发给下游TBase执行。在单个通道内数据变更的同步是按照事务产生的顺序来执行的，上游同一个事务产生的数据变更，下游同样会按照一个事务去执行，这样就保证了下游数据和上游数据的瞬时一致性。瞬时一致性增量同步场景示例：源oracle数据库，有两个表A和B；表A有一个记录（a=1，b=1），表B有一个记录（

15、c=2，d=2）；源数据库有一个事务，这个事务中有两条变更SQL，其中一条是“update A，B set A.b=B.d where A.a=1；”这个时候A的记录为（a=1，b=2）； 另外一条变更SQL是“update B set B.d=3 where B.c=2；这个时候B的记录为（c=2, d=3）”源Oracle RACDBbridge目标数据库23如果单表单通道单并发数据同步，确实可以解决数据变更的时序性问题，但还是很影响数据同步速度。但如果开启多并发并行复制，对于单表变更来说，又存在数据同步时序性问题，会导致数据不一致情况。数据装载一致性hash算法：hash(table_p

16、k)数据抽取数据装载腾讯云DBbridge并行复制技术数据抽取中间存储数据抽取数据装载中间存储中间存储源库源库源库通过一致性hash算法，确保相同表相同主键的记录 变更在相同的并发连接中执行，这样既确保了数据 变更的时序性，也实现了数据同步的横向扩展。源库241腾讯云DTS产品介绍2腾讯云DTS的新使命3DBbridge产品介绍4DBbridge关键技术实现5DBbridge未来规划目录CONTENTS25迁移评估兼容性改造整个过程 历时3周腾讯云DBbridge数据库应用服务迁移案例某保险公司OA系统Oracle实例信息：业务测试数据约200G数据量包含大量分区表，最大的单表数据量9千万 包含大量存储过程、触发器、序列和视图管理者建立数据配置迁移规则数据源管理迁移规则管理数据报告对象 应用SQL报告迁移报告校验报告可移植性分析作业管理数据迁移迁移校验源库目标库HTTP/HTTPS函数适配存储过程适配SQL兼容性适配加号连接改写，SQL改写 序列用户改写数据库功能性测试 数据库备份恢复测试 应用功能性测试应用数据库性能目标数据库测试26腾讯云DBbridge数据实时复制案例27数据迁移数据复制数据容灾数据热活企业内部(私有云)公有云私有云公有云 混合云政府能源电力医疗金融运营商2种方式