配置数据同步任务
1. 概述
1.1 应用场景
用户希望将业务数据库、SaaS系统数据定时同步到分析数仓里，供后续开发使用。
1.2 功能简介
在数据同步任务中定义数据来源、数据去向、字段映射、写入方式，并结合定时调度功能，可以将源端的全量/增量表数据定时同步到目标表中。
1.3 前提条件
1）需要 配置存储计算引擎，可作为同步任务的目标端。
2）需要配置来源端的数据连接，例如 RDS MySQL数据源连接，作为数据同步任务的来源端。
2. 操作步骤
2.1 新建数据同步任务
数据集成模块中，点击「新建任务」，新建数据同步任务。如下图所示：
2.2 设置数据来源&数据去向
数据来源：
设置项 | 说明 |
数据连接 | 需要配置来源端的数据连接，例如RDS MySQL数据源连接，作为数据同步任务的来源端 |
来源表 | 下拉框中选择要同步的表；支持搜索 |
数据去向：
设置项 | 说明 |
数据连接 | 需要 配置存储计算引擎，作为数据同步任务的目标端 |
目标表 | 1）目标表表名默认为来源表表名 2）可在下拉框中选择已存在表；或者输入目标表名称，若表不存在，会自动建表 3）用户输入表名称时，有以下几种情况： 注：限制一个目标表仅能被一个同步任务写入
4）目标表不能为已开发表、已在其他数据同步任务中作为目标表的表 |
所属目录：
用户输入目标表名称后，若没有匹配到已存在表，由于任务运行后将自动创建该表并注册，支持设置注册表所在的文件夹位置。
2.3 读写逻辑
2.3.1 来源为数据库
设置项 | 说明 |
读取方式、写入方式 | 读取方式为全量读取：
读取方式为增量读取：
|
2.3.2 来源为SAAS
设置项 | 说明 |
读取方式 | 增量读取： 1）对于上游定义的增量表，支持增量读取 2）每次基于游标字段识别出增量数据，增量读取无法识别出增量区间内物理删除的数据
全量读取：
|
写入方式 | 增量读取：直接写入 全量读取：清表写入 |
2.4 字段映射
序号 | 说明 |
1 | 支持同名映射、同行映射，详情请参见：数据同步-数据去向与映射 |
2 | 来源端为数据库：显示来源表备注 来源端为SaaS：展示表信息
|
3 | 可搜索字段 |
4 | 可筛选目标表有异常、无异常的字段
|
5 | 源表的字段、字段类型发生改变时，点击该按钮可重新获取，并初始化字段映射界面 |
6 | 1）可自定义选择来源表哪些字段，写入到目标表中；比如来源表一共7个字段，其中有2个字段不想写入到目标表中，可使用该功能
2）来源端为 SaaS 时，对于有主键的主表，主键为dm_key，不支持取消选择 |
7 | 点击后可批量修改目标表字段类型
|
8 | 目标表类型为自动建表： 1）源端为数据库+全量读取+清表写入：
2）其他场景
为了保证数据一致性，目标表主键必须与来源表主键保持一致 来源表和目标表都没主键时，数据可能会重复，不建议这样使用 目标表类型为已存在表： 1）源端为数据库+全量读取+清表写入
2）其他场景
来源表和目标表都没主键时，数据可能会重复，不建议这样使用 |
2.5 主键映射配置
2.5.1 来源为数据库
设置项 | 说明 |
主键映射 | 展示目标表主键的映射 当目标表没有主键时，不支持配置逻辑主键 |
主键冲突策略 | 来源表数据主键与目标表已存在主键相同时的处理策略 当目标表没有主键时，无需配置主键冲突策略 |
2.5.2 来源端为SaaS
设置项 | 说明 |
主键映射 |
为保证数据准确性，目标端与来源端主键必须一致 |
主键冲突策略 | 为了保证数据一致性，仅支持更新 |
2.6 创建确认
1）点击左下角的「创建确认」按钮，弹出框中可修改任务名称（不能重名，最多 60 个字符），可添加任务描述（最多 300 个字符）。如下图所示：
2）任务详情界面如下图所示：
2.7 设置定时调度
点击「定时调度」按钮，可为该同步任务设置执行频率。
注：一个数据同步任务只能设置一个定时调度；定时调度功能详细说明请参见：数据同步任务设置定时调度
设置后，界面如下图所示：
2.8 设置结果通知
点击「结果通知」按钮，可为数据同步任务配置结果通知，当同步任务运行异常时通知给对应负责人。如下图所示：
2.9 效果查看
1）手动运行该同步任务：
注：同步任务运行逻辑说明请参见：数据同步任务运行逻辑说明
来源端为数据库：
来源端为SaaS：
手动运行时，可选择数据同步起点。
2）可在任务详情页，运行记录Tab下查看运行结果：
运行记录详细说明请参见：数据同步任务运维
3）本文示例中目标表为自动建表，同步任务运行成功后，点击「数据开发」，可看到自动生成一张注册表，将表托管到平台里来。
受平台托管的表，可以承载更多信息，比如业务描述、标签、血缘、质量信息等等，在后续的开发过程中，可以直接引用注册表完成数据开发。运维过程中，也可以基于业务信息和血缘信息，快速定位到你要找的表。
注：血缘分析功能暂未支持。
400-111-0890
在线咨询