一键同步ElasticsearchDataWorks数据集成同步解决方案上线

简介：企业的实时数据除了存储在⼤数据引擎中，还有很多⾮结构化的⽇志数据，通过阿⾥云的Elasticsearch，⽤全托管的⽅式提离线）

⼀键同步Elasticsearch，DataWorks数据集成同步解决⽅案上线！简介：企业的实时数据除了存储在⼤数据引擎中，还有很多⾮结构化的⽇志数据，通过阿⾥云的Elasticsearch，⽤全托管的⽅式提离线）

简介：供低成本的冷热存储⽅案，轻松助⼒企业搭建统⼀的云上全观测运维监控平台，实现海量数据的实时监控分析，提⾼⾃动化运维管理效率。DataWorks数据集成提供了“MySQL⼀键实时同步⾄Elasticsearch”的解决⽅案，可以将MySQL中的数据库，通过⼀次性的简单配置，全增量⼀体化同步到Elasticsearch，达到数据实时落⼊ElasticSearch，实时可以⽤于分析的效果。也可以将MySQL数据库离线全量或者增量搬迁到Elasticsearch中

企业的实时数据除了存储在⼤数据引擎中，还有很多⾮结构化的⽇志数据，通过阿⾥云的Elasticsearch，⽤全托管的⽅式提供低成本的冷热存储⽅案，轻松助⼒企业搭建统⼀的云上全观测运维监控平台，实现海量数据的实时监控分析，提⾼⾃动化运维管理效率。DataWorks数据集成提供了“MySQL⼀键实时同步⾄Elasticsearch的解决⽅案，可以将MySQL中的数据库，通过⼀次性的简单配置，全增量⼀体化同步到Elasticsearch，达到数据实时落⼊ElasticSearch，实时可以⽤于分析的效果。如果您只需要将业务库数据离线全量或者增量搬迁到Elasticsearch中，也可以将MySQL数据库，通过⼀次性的简单配置，全增量⼀体化离线同步到Elasticsearch中。DataWorks数据集成采⽤⾃研⾼性能引擎，在相同的机器规格情况下，同步性能更⾼，价格更优惠！

⽅案简介

本⽅案是整库全增量实时/离线同⾄Elasticsearch⽬前⽀持的源数据库类型为MySQL，后续更多类型持续增加中）。在DataWorks数据集成界⾯下，单击“⼀键实时同步⾄Elasticsearch新建同步任务，再通过完成“设置同步来源和规则”、“设置⽬标表”、“DDL消息处理规则”、“运⾏资源设置”这样4步简单的产品化配置，就可以将指定类型的数据库中全部表或者部分表的数据实时同步到Elasticsearch⾥。或者单击“整库离线同步⾄Elasticsearch”新建离线同步任务，再通过完成“设置同步来源和规则”、“设置⽬标索引”、“同步规则设置”、“运⾏资源设置”实现数据离线同步到Elasticsearch⾥。适⽤场景

“⼀键实时同步⾄Elasticsearch”适⽤于业务库需要保持业务数据库数据实时更新⾄ElasticSearch的场景，供上层应⽤做实时数据检索分析或者后续数据开发。“整库离线同步⾄Elasticsearch”适⽤于将业务库数据全量或者增量搬迁到Elasticsearch中。优势特点

整库级别同步：

不需要⼀个个建⽴表到索引的同步，⽀持以库为单位，选择其中所有表或者部分表进⾏同步

⾼效实时同步：

⽀持数据实时同步⾄ElasticSearch，灵活配置DDL规则

多种同步⽅式：

离线同步⽀持全量、增量以及全量和增量结合的⽅式，同时⽀持周期性调度设置

配置简单：

避开纷繁复杂的同步任务、建索引配字段、相互依赖、参数对齐等操作，只需简单的产品化的功能配置。

操作步骤

步骤⼀：创建同步解决⽅案任务（实时/

1.登录并进⼊"数据集成"页⾯，单击“⼀键实时同步⾄Elasticsearch”新建实时同步任务或者单击“整库离线同步⾄Elasticsearch”新建离线同步任务。

描述同步解决⽅案的名称，最多⽀持50个字符。对当前⽅案进⾏简单描述，最多⽀持50个字符。默认创建⼀个新的业务流程，所有任务均以clone_database_源端数据源名称+to+⽬标数据源名称的命名⽅式存放⾄数据集成⽬录下。您也可以取消⾃动建⽴⼯作流程，在选择位置下拉列表中指定存放⽬标任务的路径。图标，将其移动⾄已选源表。

2.完成⽅案名称等基本信息配置。在基本配置区域，配置各项参数。描述同步解决⽅案的名称，最多⽀持50个字符。对当前⽅案进⾏简单描述，最多⽀持50个字符。默认创建⼀个新的业务流程，所有任务均以clone_database_源端数据源名称+to+⽬标数据源名称的命名⽅式存放⾄数据集成⽬录下。您也可以取消⾃动建⽴⼯作流程，在选择位置下拉列表中指定存放⽬标任务的路径。图标，将其移动⾄已选源表。

参数

⽅案名称

描述

⽬标任务存放位置

步骤⼆：选择来源数据源并配置同步规则

1.在数据来源区域，选择类型和数据源（仅⽀持选择MySQ类型的数据源）

2.在选择同步的源表区域，选中需要同步的源表

该区域会为您展⽰所选数据源下所有的表，您可以选择整库全表或部分表进⾏同步。

注意如果选中的表没有主键，将⽆法进⾏实时同步。

3.在设置同步规则区域，单击添加规则，选择相应的规则进⾏添加。同步规则包括表名转换规则和⽬标表名规则：

表名转换规则：转换表名为⽬标表名，进⾏字符串替换。

⽬标表名规则：⽀持对转换后的表名添加前缀和后缀。

4.单击下⼀步。

步骤三：选择⽬标数据源并配置⽬标表格式

1.在设置⽬标表/设置⽬标索引页⾯，选择⽬标**Elasticsearch数据源**。

2.单击刷新源表和**Elasticsearch索引映射**，创建需要同步的源表和⽬标Elasticsearch索引的映射关系。3.查看任务的执⾏进度和表来源。

描述显⽰映射关系的创建进度。说明如果同步的表数量较多，会导致执⾏进度较慢，请耐⼼等待。如果来源库有主键则会直接使⽤此主键。如果没有，则会显⽰编辑标志，允许⾃定义主键（⽀持联合主键）选择的索引建⽴⽅式：-当索引建⽴⽅式选择⾃动建索引时，显⽰⾃动创建的Elasticsearch索引名称。您可以单击表名称，修改建索引的配置。-当索引建⽴⽅式选择使⽤已有索引时，请在下拉列表中选择需要的索引。同步规则设置解释此DDL消息将会继续下发给⽬标数据源，由⽬标数据源来处理，不同⽬标数据源处理策略可能会不同。⽐如“增加列”对于MaxCompute来说就是个错误，但是对于Hologres来说就可以正常增加⼀列。丢弃掉此DDL消息，不再向⽬标数据源发送此消息。在⽇志中发送告警信息，同时丢弃掉此DDL消息。直接让实时同步任务以出错状态终⽌运⾏。

序号描述显⽰映射关系的创建进度。说明如果同步的表数量较多，会导致执⾏进度较慢，请耐⼼等待。如果来源库有主键则会直接使⽤此主键。如果没有，则会显⽰编辑标志，允许⾃定义主键（⽀持联合主键）选择的索引建⽴⽅式：-当索引建⽴⽅式选择⾃动建索引时，显⽰⾃动创建的Elasticsearch索引名称。您可以单击表名称，修改建索引的配置。-当索引建⽴⽅式选择使⽤已有索引时，请在下拉列表中选择需要的索引。同步规则设置解释此DDL消息将会继续下发给⽬标数据源，由⽬标数据源来处理，不同⽬标数据源处理策略可能会不同。⽐如“增加列”对于MaxCompute来说就是个错误，但是对于Hologres来说就可以正常增加⼀列。丢弃掉此DDL消息，不再向⽬标数据源发送此消息。在⽇志中发送告警信息，同时丢弃掉此DDL消息。直接让实时同步任务以出错状态终⽌运⾏。

①

②③

④56

4.单击下⼀步。

步骤四：DDL消息处理规则/

1.如果是“⼀键实时同步⾄Elasticsearch”任务，那么这⼀步是配置DDL消息处理规则，如下图配置要同步的⽅式和参数。

2.处理规则说明：

处理⽅式

正常处理

忽略

告警

出错

3.如果是“整库离线同步⾄Elasticsearch”任务，那么这⼀步应该是配置同步规则设置，如下图配置要同步的⽅式和参数。

解释先将源端所有数据全量拉取到Elasticsearch后，再按照指定的过滤条件和重复周期，每次循环将增量数据拉取到Elasticsearch中。只进⾏⼀次同步，将源端所有数据全量拉取到Elasticsearch。只进⾏⼀次同步，按照指定的过滤条件将源端的增量数据拉取到Elasticsearch中。按照指定的重复周期，每次循环都将源端所有数据拉取到Elasticsearch中。按照指定的过滤条件和重复周期，每次循环将增量数据拉取到Elasticsearch中。

4.⽅案选择：解释先将源端所有数据全量拉取到Elasticsearch后，再按照指定的过滤条件和重复周期，每次循环将增量数据拉取到Elasticsearch中。只进⾏⼀次同步，将源端所有数据全量拉取到Elasticsearch。只进⾏⼀次同步，按照指定的过滤条件将源端的增量数据拉取到Elasticsearch中。按照指定的重复周期，每次循环都将源端所有数据拉取到Elasticsearch中。按照指定的过滤条件和重复周期，每次循环将增量数据拉取到Elasticsearch中。

⽅案

全量⼀次性同步后周期增量

只全量⼀次性同步

只增量⼀次性同步

周期性全量同步

周期性增量同步

步骤五：运⾏资源设置

在运⾏资源设置页⾯，配置各项参数。⽬前解决⽅案仅⽀持使⽤独享数据集成资源组，该资源组可以在下“单独产品”购买处点击购买（注意是“独享数据集成资源”，不是调度资源），资源组详情也可参见⽂档。

1.如果是“⼀键实时同步⾄Elasticsearch”任务，这⼀步配置界⾯如下：

2.如果是“整库离线同步⾄Elasticsearch”任务，这⼀步配置界⾯如下：

描述全量同步时的离线任务名称。创建解决⽅案后，会先⽣成⼀个离线任务⽤于读取全量数据，再⽣成实时任务持续读取实时增量数据。分别选择实时任务和全量离线任务需要使⽤的独享资源组。⽬前解决⽅案仅⽀持使⽤独享数据集成资源组，此处可配置为准备操作中已购买并配置的独享数据集成资源组，详情可参见。选择运⾏任务时使⽤的调度资源组。读取端的最⼤连接数，即来源端数据库的JDBC连接数。请根据数据库资源的实际情况合理配置。

参数描述全量同步时的离线任务名称。创建解决⽅案后，会先⽣成⼀个离线任务⽤于读取全量数据，再⽣成实时任务持续读取实时增量数据。分别选择实时任务和全量离线任务需要使⽤的独享资源组。⽬前解决⽅案仅⽀持使⽤独享数据集成资源组，此处可配置为准备操作中已购买并配置的独享数据集成资源组，详情可参见。选择运⾏任务时使⽤的调度资源组。读取端的最⼤连接数，即来源端数据库的JDBC连接数。请根据数据库资源的实际情况合理配置。

离线任务名称规则

选择实时任务独享资源组

选择全量离线任务独享资源组

选择调度资源组

来源端读取⽀持最⼤连接数

3.单击完成配置，完成数据同步解决⽅案任务创建。查看运⾏状态及结果

在解决⽅案任务列表页⾯，单击已运⾏任务后的执⾏详情，查看当前解决⽅案数据同步过程中各⼦任务节点的运⾏详情。单击⼦任务节点后的执⾏详情，可在弹窗中单击任务链接进⼊⼦节点的数据开发页⾯。管理数据同步解决⽅案任务

查看或编辑任务。在解决⽅案任务列表页⾯，单击相应任务后的任务配置，可以查看或编辑任务。仅单击未运⾏状态后的任务配置，您可以编辑任务。其它状态下的任务配置页⾯，仅⽀持查看。

删除任务：单击相应任务后的删除。在删除对话框中，单击确定（仅删除当前任务的配置记录，已经⽣成的表和任务不受影响）。

版权声明：本⽂内容由阿⾥云实名注册⽤户⾃发贡献，版权归原作者所有，阿⾥云开发者社区不拥有其著作权，亦不承担相应法律责

总结版权声明：本⽂内容由阿⾥云实名注册⽤户⾃发贡献，版权归原作者所有，阿⾥云开发者社区不拥有其著作权，亦不承担相应法律责

以上就是Elasticsearch实时同步解决⽅案的全部内容，数据同步到Elasticsearch之后，您可以很⽅便地做实时分布