数据同步任务运维
1. 概述
数据同步任务运行后,如何修改相关配置、查看运行详情呢?本文为您详细说明。
2. 管理数据同步任务
2.1 筛选任务
可通过数据同步任务名称、表名、读取方式、定时调度配置情况,筛选已创建的同步任务。如下图所示:

2.2 查看任务配置详情
1)点击同步任务名称,跳转到任务详情页,可查看数据来源、数据去向、字段映射、写入方式、是否配置定时调度等信息。

2)增量读取的同步任务,任务详情页中会展示当前游标位置。

如果任务未运行过,该字段值为初始位置,如果任务已经运行,则刷新为现在存的位置:
- 初始位置:同步任务配置时需要填写,为初始化定义的位置,可编辑修改,但如果任务运行过后,不会再自动使用初始位置的值作为当前游标位置(初始位置的主要作用是在任务首次运行时给当前游标位置赋值)。
- 当前游标位置:如果任务未运行过,该字段值取初始位置的值,调度运行时,从当前游标位置开始取数,到增量数据取完结束,运行结束后将最后的数据的断点位置更新到当前游标位置;手动运行时,可以选择使用初始位置、当前游标位置、和自定义位置。
2.3 设置/修改定时调度
2.3.1 为单个同步任务设置
方式一:
同步任务列表中,点击「定时调度」按钮,即可添加/修改定时调度。如下图所示:

方式二:
点击同步任务名称,跳转到任务详情页,点击右上角「定时调度」按钮。

2.3.2 批量设置
任务列表页面中,选择多个同步任务,可设置统一的定时调度。

2.4 删除同步任务
任务列表页面中,点击「删除」按钮即可。如下图所示:

2.5 修改同步任务
点击同步任务名称,跳转到任务详情页,点击右上角「编辑」按钮。

同步任务运行后,支持修改的设置项:
来源端 | 可修改设置项 |
数据库数据 |
|
SAAS系统 |
|
2.6 中止同步任务
同步任务详情页中,运行记录 Tab 下,可点击「中止」按钮中止运行。如下图所示:

2.7 设置结果通知
结果通知详细说明请参见:数据同步任务设置结果通知
2.7.1 单个同步任务设置
任务列表中,在单个数据同步任务右侧,点击「结果通知」按钮进行设置。如下图所示:

2.7.2 批量设置
任务列表中,选择多个数据同步任务,可批量设置结果通知。如下图所示:

3. 查看运行详情
3.1 查看运行记录
任务列表页面中,点击同步任务名称,跳转到任务详情页,点击下方的「运行记录」Tab,可查看该同步任务所有的运行记录。如下图所示:

1)可筛选不同运行状态下的实例。
2)可查看实例的触发方式(支持筛选)、插入总量、触发时间、运行状态等信息。
3)部分字段说明:
字段 | 含义 |
触发时间 | 实例为定时触发:调度时间 实例为手动触发:手动运行的时间 |
等待耗时 |
|
3.2 查看实例运行详情
点击实例右侧的「详情」图标,可查看该实例的运行详情。

部分字段说明如下表所示:
字段 | 含义 |
运行耗时 | 运行结束时间-运行开始时间 |
读取总量 | 累计读取数据条数 |
写入总量 | 累计写入数据条数 |
更新总量 | 累计更新数据条数 |
删除总量 | 累计删除数据条数,包括清表的数据和写入过程里可能存在的删除情况 |
平均流量 | (写入+更新)总数据大小/运行时间 |
平均写入速度 | (写入+更新)总量/运行时间 |
4. 手动运行同步任务
注:手动执行产生的实例,不受最小时间间隔约束(两个实例间要间隔至少 10 分钟),即 10 分钟内可手动运行多次,但上一次调度未完成时新的实例被触发,那么会只保留最新的实例。
应用场景:
补跑数据:同步任务失败后手动重跑,希望下游跟着刷新。
4.1 运行单个同步任务
4.2.1 手动运行入口
方式一:
任务列表页面中,点击「运行」按钮即可。如下图所示:

方式二:
点击同步任务名称,跳转到任务详情页,点击右上角「运行」按钮。如下图所示:

4.2.2 手动运行说明
手动执行时可选择是否传播下游。

若点击「运行当前任务及下游」,将拉起下游任务的运行:
示例:同步任务 A 目标表为自动建表,生成了注册表 aa,注册表 aa 在开发表 bb 中引用,那么集成任务 A 的下游就是开发表 bb。

4.2 批量运行同步任务
支持批量运行同步任务。如下图所示:


400-111-0890
在线咨询