TurboDX架构、应用场景、比较优势

TurboDX架构、应用场景、比较优势2023-07TurboDX产品架构源库事务日志读取TurboDXServer内存流处理点击式交换任务设计及管理转换过滤CDC读取分块读取分块读取分块读取流式加载分块读取分块读取分块加载目标库数据/元数据数据/元数据元数据库先进的监控和控制功能B/S点击式设计方式、简单易用快速全量加载和实时CDC增量广泛异抅数据源支持非侵入式架构、源端无任何代理程序︾︾︾︾︾TurboDX功能结构数据同步及数据融合多源异构数据接入任务配置/调度/运行TurboDX系统管理授权管理参数配置操作日志用户/多租户管理实时数据同步CDC元数据/数据标准与服务流式多表融合/实时ETLKafka/MQ报文交换数仓/湖连接数据库连接二进制文件连接RESTAPI连接Kafka/MQ连接数据文件连接集群管理数据服务文件同步转换/函数/质量/脱敏数据发布/订阅

主题数据请求/响应API系统监控/运维TurboDX集群部署（中心）TurboDX集群架构–负载均衡和HA高可用性TurboDX数据库服务器（双机集群）应用数据源应用数据源数据仓库TurboDX应用服务器（主）TurboDX应用服务器（备）备热TurboDX任务服务器（ZKnode1）TurboDX任务服务器（ZKnode3）TurboDX任务服务器（ZKnode2）Zookeeper集群（三机+）管理配置人员大数据平台应用数据库应用数据源支持企业级多种应用场景KAE单向/双向/双活数据实时同步TurboDX数据集成中台系统，提供元数据目录、异构数据库复制同步、实时数据交换、多表数据融合、API数据服务、及跨网络远程通道传输服务等集成一体化的功能，可用于异构数据库复制、实时数据同步、读写分离、实时ETL、数据融合、数据分发、数据API服务、B2B/G2G数据交换网关、大数据集成等应用场景RESTAPI数据服务数据库逻辑复制（备份/容灾）国产数据库迁移信创国产化替代读写分离/归档/卸载元数据采集、梳理、标注、智能分折/数据目录/主数据/数据治理B2B/G2G数据交换服务网关数据库抽取到数据文件一对多数据分发/发布订阅多对一数据汇聚数仓/湖建设多源多表融合/实时ETL/宽表/流计算LJIHCBDGF应用场景：单向/双向/双写复制同步TurboDX数据库/数仓/Hadoop/KafkaDatabase业务数据库Database业务数据库TurboDXDatabase业务数据库数据集成中台：多源异构实时汇聚一融合计算一数据分发生产系统A生产系统B生产系统C汇聚基础库/主数据TurboDX任务数据捕获CDC/数据标准化REST接口RESTTurboDX任务多表融合/SQL流计算/函数/宽表/JSON数据湖/Iceberg/HudiTurboDX通道服务Kafka/MQ#FFFFFFMPP数仓/ES/Mongo应用请求调用/B2Bi应用订阅消费/B2BiBI/搜索/查询大数据存储/分析计算应用场景：数据标准化

主数据管理MDM主数据生产域TurboDX数据标准化、主数据更新匹配规则主数据/模型GoldenRecords业务应用A业务应用B业务应用C业务应用D应用系统1主数据消费域应用系统2字典表/编码MPP数仓-BI分折TurboDX多表融合TurboDX主数据识别、CDC数据捕获应用场景：跨部门/地域数据采集汇聚标准下发标准下发数据上传数据上传TurboDX部门端Application部门业务系统Application部门业务系统Database部门前置库TurboDX部门端Application部门业务系统Application部门业务系统Database部门前置库Application中心业务系统DB/Hadoop/Kafka中心汇聚库TurboDXPLUS数据中心端BI中心BI系统应用场景：跨部门/地域数据分发数据分发数据分发TurboDX部门端Application部门业务系统Application部门业务系统Database部门前置库部门中心库TurboDXPLUS数据中心端Database中心服务数据库Database中心业务数据库Database中心汇聚数据库目录加载安全等级加载Catalog服务目录XMLSafelevel安全等级TurboDX部门端Application部门业务系统Application部门业务系统Database部门前置库部门中心库应用场景：升级备份/灾备中心

+数据汇聚分析中心业务中心同构库备份/异构库备份生产系统A生产系统B生产系统C异构多源汇聚灾备中心数据恢复数仓/数据湖/大数据平台分析中心TurboDX数据同步复制平台动态复制任务复制同步任务复制同步任务Oracle/SqlServer/MySQL/PG/DB2/Informix/DM/OBKingbase/GBase/TiDB等应用场景：云边单向/双向/双写同步说明：1、在局域网内安装一套TurboDX，直接接入局域网内的Oracle数据库、云网络内7个主从数据库、云网络内DDM集群数据库；2、上行增量数据采集通过CDC方式Oracle数据库中获取，写入到云网络DDM集群中，由集群自行负责分发到各个主从数据库中；3、下行增量数据采集通过CDC方式从云网络各主从数据库中获取，写入到局域网络的Oracle数据库。分块读取分块读取日志CDC读取数据/元数据数据源数据目标加载处理模块内存流处理读取处理模块转换映射分块读取分块读取Dispatcher并行处理控制器加载线程1加载线程2加载线程3TurboDXServerTurboDX协同并行加载提升CDC写入效率复制同步全量(多线程、大表分拆)实时增量(CDC)全量+增量(不停服)动态热复制(DDL+DML)双向双写双活数据比对数据审核、清洗数据回补数据脱敏集群数据源支持(如OracleRAC等)交换整合日志CDC触发器标识位时间戳全量比对物理表、视图、自定义SQL单表交换多表融合/实时ETL一对多分发广泛数据源Oracle（RAC）(10Ig-21c)、OracleADG备库、

SQLServer、MySQL、PostgreSQL、Informix、DB2、DM、Kingbase、Gbase8s、SAPHana、Gbase8a、GaussDB、TiDB、OB、TDSQL、GaussDWS、CK、Doris、Starrocks、Greenplum、Vertica、Mongo、ES、Redis、Hive、HBase、Kafka/RabbitMQ二进制文件、格式化数据文件(csv,txt,excel,json、xml)过滤转换数据过滤表级行级字段级转换处理格式类型转换自动匹配映射关系常用函数自定义函数自定义后处理程序冲突策略标准策略以源为主目标为主自定义智能策略值大值小时间新旧自定义TurboDX功能特点交换性能多线程流处理部署单节点任务服务器情况下，数据库传输可达30000记录/s或20M/s;实时数据同步延时秒级;文件传输可达：40M/s安全可靠Kerberos认证加密传输压缩存储断点续传传且传一次保持事务完整实时监控事件通知运维管理扩展功能文件实时同步数据文件入库数据API服务Hdfs、Hive、Hbase、Mongo、ES、Doris、Starrocks、Kafka/MQ集成支持各厂商的MPP数仓/湖/大数据平台(CDH、HDP、TDH、FI)提供HA高可用性/负载集群版提供多租户SaaS服务化平台版信创版TurboDX优势和价值A集成复制同步(CDC)、ELT/ETL和数据交换功能于一体支持同构/异构关系型数据库、Hadoop、Kafka等大数据的接入支持二进制文件传输、半结构化数据文件入库统一元数据目录视图、统一调度、统一监控远维管理多功能集成一体化、元数据目录视图与数据同步、交换整合管理”一张皮”C采用独有的CDC技术，在源与目标不需要部署任何代理程序和建任何表，对源端应用系统的影响几乎为零。釆用微服务容器架构和内存多线程流处理技术，系统高容错机制设计，稳定可靠、数据实时性和交换性能高。提供高可用性集群版、实现故障转移和负载均衡。对源和目标无侵入、干扰影响最小容错机制、稳定性、可靠性强B完全B/S图形化配置和监控管理界面不用命令行、不用开发接口实施高效、快速上线、自助服务大大降低实施时间成本和运维成本完全B/S界面简单易用D租售结合，满足不同招标形式按源计费，随时扩展，适应项目发展趋势原厂商技术支持、快速响应、保驾护航让用户用得起，用得好，用得放心!具有灵活的商业许可、价格比较优势TurboDXSaaS跨部门交换方案优势A与TurboDXPlusService中心数据通道组成跨域交换网络多重访问控制、加密传输、压缩存储，保证数据安全、可控无需落地前置库，消除安全隐患无前置库跨部门节点(域)交换方案及SaaS服务平台TurboDX支持的数据源（1）

序号支持的源数据库类型（全量及采用传统的触发器、时间戳、标识位等增量读取模式）支持的源数据库类型（日志解析CDC增量读取模式）支持的目标数据库类型1OracleOracleOracle2OracleRACOracleRAC，OracleADG备库OracleRAC3MySQLMySQLMySQL4SQLServerSQLServerSQLServer5PostgreSQLPostgreSQLPostgreSQL6InformixInformixInformix7DB2forLUWDB2forLUWDB2forLUW8达梦DM达梦DM达梦DM9KingbaseKingbaseKingbase10GBase8sGBase8sGBase8s11GBase8cGBase8cGBase8c12openGaussopenGaussopenGaussTurboDX支持的数据源（2）

序号支持的源数据库类型（全量及采用传统的触发器、时间戳、标识位等增量读取模式）支持的源数据库类型（日志解析CDC增量读取模式）支持的目标数据库类型13GaussDWS(Gauss200)TiDBTiDB14GBase8aOceanbaseOceanbase15数据文件（txt,csv,excel,json,xml）(解析入库）TDSQLTDSQL16MongoDBMongoDBMongoDB17HiveGaussDBGaussDWS(Gauss200)18GreenplumGoldenDBGBase8a19DorisUXDBArgoDB20StarrocksHighGOGreenplum21ClickhouseKafkaDoris22SAPHanaRedisStarrocksTurboDX支持的数据源（3）

序号支持的源数据库类型（全量及采用传统的触发器、时间戳、标识位等增量读取模式）支持的源数据库类型（日志解析CDC增量读取模式）支持的目标数据库类型21

Clickhouse22

Hive23

HBase24

Elasticsearch25

Redis26

GoldenDB27HashData28KafkaTurboDXvsOracleOGG功能比较列表（1）比较事项数贝TurboDX

OracleOGG技术架构内存流处理，读写进程同在一个JVM中读写进程分布部署在源和目标中，中间通过TCP传输数据文件异构数据源和目标支持支持CDC功能对源和目标数据库的影响无任何驻留程序、无需建任何表，非入侵式设计、影响几乎为零（第三方平台的概念）需要在源端部署代理程序及库中建表，对源库有一定影响Hadoop、Doris、CK、Kafka等大数据源和目标支持Kafka支持、不支持Doris、Starrocks、CK等MPP数仓云端部署支持支持图形管理监控界面完全B/S图形化配置管理和监控，简单易用本身是命令行界面，C/S图形化界面需另购买产品元数据目录及智能分析支持。具有字段识别、关系分析、主数据梳理等智能元数据分析功能，交换任务基于元数据目录配置不支持。没有元数据目录和分析功能，DDL变化有时会卡死运行中的任务自动续传/交易事务完整性支持，并支持高可用性HA集群部署支持，HA集群版与OracleDB高度绑定在线复制支持。全量+CDC增量任务类型不支持高可用性HA集群支持。支持负载均衡和自动故障转移/恢复，任务切换时保证断点续传。支持，HA集群版与OracleDB高度绑定TurboDXvsOracleOGG功能比较列表（2）比较事项数贝TurboDXOracleOGG多数据源DB、MPP数仓、二进制文件交换、数据文件（txt、excel、json、xml）加载、NoSQL、Kafka

支持DB、Kafka。但不支持二进制文件交换、数据文件（csv、excel、xml）等加载数据库大数据源NoSQL和目标支持Hadoop（HDFS、Hive、HBase、Kudu）、ES、MongoDB、各类MPP数仓，如GBase8a、Greenplum、Doris、Starrocks、GaussDWS、CK，以及大数据平台CDH、TDH、FI等不确定ETL过程实时ETL、流式多表融合/SQLJoin/宽表不提供，需额外购买ODIETL产品数据转换函数丰富，且支持自定义函数、脱敏函数、数据审核清洗无B/S配置界面完全web界面任务”点击式”配置和监控管理不支持，提供命令行及C/S（需另购买管理工具）跨广域网/防火墙的安全数据传输及1对多分发支持支持对异常数据的处理

（