1. 批量同步

当用户需要将数据从一个数据库迁移到一个或多个目标数据库时可以通过在批量同步中创建项目来实现。

批量同步主要功能:

  • 将一个或者多个表同步到指定连接中。
  • 在数据同步过程中设置数据同步策略。
  • 支持手动、定时同步数据。
  • 可执行多个项目来完成数据同步工作。

1.1. 创建数据同步流程

批量同步数据的过程如下:

  1. 创建批量同步项目。
  2. 配置来源数据连接和目标数据连接。
  3. 配置同步策略。
  4. 设定项目执行计划。

1.2. 批量同步详细指导

1.创建批量同步项目。
数据集成->批量同步页面中,点击右上角的新建项目,创批量同步项目。

2.配置数据源。
在批量同步项目页面设置来源数据连接(需要迁移的数据连接)和目标数据连接(即数据迁移到的数据连接)。 目标数据连接创建时需要勾选支持数据集成输出功能。 如果不了解数据连接的概念,请先阅读数据连接

3.配置数据同步策略。
批量同步支持对连接、schema、表分别设置同步策略。

  • 配置连接同步策略。连接同步策略对连接内所有目录及目录下的表都生效。
    • schema名称: 数据同步后表所在的schema名称设置。
      • 前缀+ 原名称 : 数据同步后表存放的目录名称为“前缀”+“原名称”。 如图将前缀设置为“prefix_”时,数据同步前表86export存放在目录chenjing中,同步后表86export存放目录名称为“prefix_chenjing”。
      • 固定名称:数据同步后所有表存放在同一目录中。 如图所示,目录chenjing、gb1312、gbkdb里面的表都存放在example中。。
    • table名称:表同步后的命名规则。
      • 原名称:数据同步后表名不变。
      • schema+中缀+原名称:数据同步后,表的名称变为“schema”+“中缀”+“原名称”。如图将中缀设为“_mid_”时,表86export同步后名称改为chenjing_mid_86export。
        • 全量提取建表策略: 当选择全量提取时,支持以下两种方式。
      • 删除原表并创建新表:将原有表格删除,重新创建新表,同步数据。
      • 保留原表清空数据:原表不删除,只是将数据进行清空,然后同步数据。
        • 增量提取时字段变化处理策略: 当表选择增量提取方法时,如果表的字段发生变化可以选择如下两种处理策略。
      • 触发全量提取: 表按照全量方式进行提取方法。
      • 忽略变动: 忽略变动的字段,表按照原来增量方式进行提取。
        • 忽略后续新增的表: 勾选此项后,来源数据连接中新增的表不会被同步。
        • 为每个表添加额外的更新时间列
          选择此项后,数据同步时,除了原始的数据列之外,会额外增加 hs_sync_time列,记录每行数据被同步的时间戳。
  • 配置shema同步策略,仅对当前schema配置生效,目前仅支持“忽略后续新增的表”的配置。
  • 配置表同步策略,仅对当前表配置生效。
    • 提取方法
      • 全量提取:每次都是全量提取数据。
      • 增量提取: 第一次同步时是全量提取数据,后续以增量键或主键作为表同步依据,在增量键和主键的基础上进行增量提取。
        • 增量键:必须是数字或者时间类型。
        • 主键:必须是数字或者时间类型。

4.执行同步操作。
数据同步可分为立即执行和通过执行计划同步数据。

  • 立即执行:即手动执行数据同步操作,点击立即执行按钮后开始同步数据。
  • 执行计划:即设定同步计划,由系统触发数据同步操作。

说明:

每次执行数据同步,无论成功和失败都会记录在执行记录中。

1.3. FAQ

1.单表快捷同步
数据集成支持单表快捷同步。在全量提取少数表时,设置目的数据连接后,找到对应的表,点击图标即可完成表同步。

results matching ""

    No results matching ""

    数据集成 流式同步