异构与实时数据迁移实践 - DataWorks数据集成

|Dataworks数据集成异构数据与实时数据迁移林鹏阿里云技术专家目录01DataX核心框架数据集成框架与原理设计03增全量同步02DataX实时同步实时数据同步方案04DataX开源建设DataX开源建设及更新计划||01DataX核01FTPMFTP……ODPS……OSSHOSSFTPMFTP……O……OSSHOSS|通用数据存储类型抽象为如下若干类型:Long数(Int、Short、Long、BigInteger等)DoubleFloatDoubleBigDecimal等)。-String：字符串类型，底层不限长，使用通用字符集(Unicode)。-Date：日期类型-Boolean：布尔值Bytes以存放诸如MP3等非结构化数据|task1task2ersplittask3task44321task1task2ersplittask3task44321…selectmin(splitPk),max(splitPk)fromtable insertintotable(c1,c2,…)values(v1,v2,…),(x1,x2,…),…JDBC源SDK进行读写jobtasktaskWrWriterthreadthreathreadthread… selectc1,c2,…fromtablewheresplitPk>=min1andsplitPk<max1源端目标端源端DataX-运行模式管控，单机/分布式-脏数据收集-状态信息汇报-流量控制-与具体数据源建立连接-执行数据读写操作-数据切分-数据类型转换-定制化数据处理|WritePluginMaxComputeWriterteWritePluginMaxComputeWriterteelelriterriter数据集数据集成JOJOB|境数据源所在环境同步网络选择数据源与DataX关系连通方式S里云数据库云产品通过VPC(内网)同步IDC里云的云数据库--||02DataX实02实时数据同步方案关系型数据库转化处理消息分解取大数据转化处理…实时消息流转关系型数据库转化处理消息分解取大数据转化处理…实时消息流转化处理…消息订阅关系型数据关系型数据库实实时消息流|实时数据同步原理消息类型消息含义实时数据同步原理源端类型实时同步方案o|0303增全量同步到离线数仓表方案实表在线库数据同步到数仓Hive/MaxCompute场景进行分析在线库-数据量巨大，十几亿人口-字段多，性别，户籍，出生年月，住址，身份证，婚姻等-每天都会有数据新增，更新，删除|方案实践在线库数据同步到数仓Hive/MaxCompute场景进行分析在线库同步方案在线库优点缺点资源浪费严重dified理增量和全量数据merge|ompute全量数据(Base表)e(deltaJDBC读取ompute全量数据(Base表)e(deltaJDBC读取(Log表)阅增量全量同步+增量同步+自动mergeable每天调度初始每天调度SQLmerge点在离线SQLmerge||04DataX开04•2015年开源•Git仓库：/alibaba/DataX•Fork:4.4K,Star:12.1K•离线同步覆盖RDBMS数据库、NOSQL、大数据存储、文件存储等30+种数据源•迭代更新–2022.09更新：通道更新(Maxcompute、Ela