数据同步任务运维

1. 概述

数据同步任务运行后,如何修改相关配置、查看运行详情呢?本文为您详细说明。

2. 管理数据同步任务

2.1 筛选任务

可通过数据同步任务名称、表名、读取方式、定时调度配置情况,筛选已创建的同步任务。如下图所示:

29.png

2.2 查看任务配置详情

1)点击同步任务名称,跳转到任务详情页,可查看数据来源、数据去向、字段映射、写入方式、是否配置定时调度等信息。

33.png

2)增量读取的同步任务,任务详情页中会展示当前游标位置。

38.png

如果任务未运行过,该字段值为初始位置,如果任务已经运行,则刷新为现在存的位置:

  • 初始位置:同步任务配置时需要填写,为初始化定义的位置,可编辑修改,但如果任务运行过后,不会再自动使用初始位置的值作为当前游标位置(初始位置的主要作用是在任务首次运行时给当前游标位置赋值)。
  • 当前游标位置:如果任务未运行过,该字段值取初始位置的值,调度运行时,从当前游标位置开始取数,到增量数据取完结束,运行结束后将最后的数据的断点位置更新到当前游标位置;手动运行时,可以选择使用初始位置、当前游标位置、和自定义位置。

2.3 设置/修改定时调度

2.3.1 为单个同步任务设置

方式一:

同步任务列表中,点击「定时调度」按钮,即可添加/修改定时调度。如下图所示:

34.png

方式二:

点击同步任务名称,跳转到任务详情页,点击右上角「定时调度」按钮。

35.png

2.3.2 批量设置

任务列表页面中,选择多个同步任务,可设置统一的定时调度。

36.png

2.4 删除同步任务

任务列表页面中,点击「删除」按钮即可。如下图所示:

37.png

2.5 修改同步任务

点击同步任务名称,跳转到任务详情页,点击右上角「编辑」按钮。

39.png

同步任务运行后,支持修改的设置项:

来源端

可修改设置项

数据库数据

  • 来源表字段对应的目标表字段,支持修改
  • 支持添加/取消来源表字段进行同步
  • 读取方式为「增量读取」时,支持修改初始位置
  • 支持修改主键冲突策略

SAAS系统

  • 来源表字段对应的目标表字段,支持修改
  • 支持添加/取消来源表字段进行同步
  • 支持修改初始位置

2.6 中止同步任务

同步任务详情页中,运行记录 Tab 下,可点击「中止」按钮中止运行。如下图所示:

1779866411693063.png

2.7 设置结果通知

结果通知详细说明请参见:数据同步任务设置结果通知

2.7.1 单个同步任务设置

任务列表中,在单个数据同步任务右侧,点击「结果通知」按钮进行设置。如下图所示:

2.7.2 批量设置

任务列表中,选择多个数据同步任务,可批量设置结果通知。如下图所示:

3. 查看运行详情

3.1 查看运行记录

任务列表页面中,点击同步任务名称,跳转到任务详情页,点击下方的「运行记录」Tab,可查看该同步任务所有的运行记录。如下图所示:

40.png

1)可筛选不同运行状态下的实例。

2)可查看实例的触发方式(支持筛选)、插入总量、触发时间、运行状态等信息。

3)部分字段说明:

字段

含义

触发时间

实例为定时触发:调度时间

实例为手动触发:手动运行的时间

等待耗时

  • 对于实例排队后被中止/跳过的实例:中止/跳过时间-触发时间
  • 对于创建完进入运行的实例:运行开始时间-触发时间

3.2 查看实例运行详情

点击实例右侧的「详情」图标,可查看该实例的运行详情。

1779778754997514.png

部分字段说明如下表所示:

字段

含义

运行耗时

运行结束时间-运行开始时间

读取总量

累计读取数据条数

写入总量

累计写入数据条数

更新总量

累计更新数据条数

删除总量

累计删除数据条数,包括清表的数据和写入过程里可能存在的删除情况

平均流量

(写入+更新)总数据大小/运行时间

平均写入速度

(写入+更新)总量/运行时间

4. 手动运行同步任务

注:手动执行产生的实例,不受最小时间间隔约束(两个实例间要间隔至少 10 分钟),即 10 分钟内可手动运行多次,但上一次调度未完成时新的实例被触发,那么会只保留最新的实例。

应用场景:

补跑数据:同步任务失败后手动重跑,希望下游跟着刷新。

4.1 运行单个同步任务

4.2.1 手动运行入口

方式一:

任务列表页面中,点击「运行」按钮即可。如下图所示:

31.png

方式二:

点击同步任务名称,跳转到任务详情页,点击右上角「运行」按钮。如下图所示:

32.png

4.2.2 手动运行说明

手动执行时可选择是否传播下游。

58.png

若点击「运行当前任务及下游」,将拉起下游任务的运行:

示例:同步任务 A 目标表为自动建表,生成了注册表 aa,注册表 aa 在开发表 bb 中引用,那么集成任务 A 的下游就是开发表 bb。

57.png

4.2 批量运行同步任务

支持批量运行同步任务。如下图所示:

30.png

咨询
扫码领取100+零代码资料简道云官方微信号400-111-0890
图标在线咨询
立即体验