新建和管理开发表

1. 概述

1.1 开发表简介

开发表定义:集成治理平台声明式开发过程中定义的表,其内部不仅包含表结构信息,还包含以 SQL 语句表达的开发逻辑。

能力

1)支持在「数据开发」模块作为「开发表」计算逻辑的载体,完成声明式开发过程

支持在「数据开发」模块定义「开发表」计算逻辑时引用,在实际物化过程中,作为计算的数据来源

2)支持在「数据开发」模块为「开发表」配置调度逻辑,作为调度触发起点

限制

不支持作为「数据集成」模块的数据目标

1.2 开发流程

1779873110177695.png

1.3 注意事项

上一次调度未完成时新的实例被触发,那么会只保留最新的实例(针对所有触发方式)。

1779948519630462.png

2. 配置开发表

必须先配置:存储计算引擎

2.1 生成开发表

1)若「数据开发」模块下为空,即没有注册表和开发表,必须先生成一张 注册表

注:注册表和开发表都可作为开发表的数据来源。

2)新建一张开发表。如下图所示:

10.png

也可在文件夹中新建开发表。如下图所示:

注:文件夹只能建立三层。

设置项

说明

开发表计算逻辑

注:此处的SQL语句需要根据 存储计算引擎 类型来写,比如目前我们支持阿里云 RDS PostgreSQL作为存储计算引擎,那么此处需要编写该数据源支持的 SQL 语句

支持语句:

  • WITH:CTE、公用子查询
  • SELECT:投影列、表达式、别名
  • FROM:数据源
  • JOIN:关联关系
  • WHERE:行过滤
  • GROUP BY:分组
  • HAVING:分组后过滤
  • WINDOW / OVER:窗口定义
  • QUALIFY:窗口后过滤(部分数据库)
  • ORDER BY:排序
  • LIMIT / OFFSET / FETCH:结果裁剪
  • UNION / INTERSECT / EXCEPT:集合运算

表引用方式:

在编辑器中输入 @ 可检索并引用表,选中后自动插入表名

SQL语句示例:

select * from [注册表] where event_time >= (select coalesce(max(event_time), '1900-01-01') from [当前表]);

支持预览SQL结果和复制SQL语句:

12.png

开发表支持的字段类型:

数值、文本、日期时间、布尔

物化策略

写入到 配置的存储计算引擎 中,可新建表或者选择已存在表

通用说明:

开发表字段发生变化时,点击「重新获取」按钮即可

1779877924378386.png

新建表:

1)输入表名称,若与已存在表匹配不上,则新建物理表

2)可直接编辑预期的物理表的字段类型、主键约束、非空约束、字段注释

已存在表:

1)输入表名称,若与已存在表匹配成功,则写入到已存在的物理表中

注:若已存在表已绑定注册表,则不支持选择

2)可下拉选择与开发表映射的字段,其余字段属性不可编辑

3)若开发表与已存在物理表的表结构不同,表格

读写逻辑

支持直接写入和清表写入

主键冲突时,默认为更新数据

3)可为开发表修改名称,再点击「保存」按钮(支持随时保存;若未配置完整,保存后不能运行)。如下图所示:

11.png

4)开发任务详情页,点击「运行」按钮。如下图所示:

注:开发表每次执行时,获取的是注册表/开发表的全量数据,而非增量数据。

14.png

可在运行记录Tab下查看运行状态:

15.png

点击「实例详情」按钮,可查看实例详情。如下图所示:

1779931529577123.png

5)开发表运行成功后,可预览物理表数据。如下图所示:

1779931593150852.png

2.2 设置调度计划

开发任务详情页,支持设置定时调度和依赖调度。详情请参见:开发表设置调度计划

16.png

2.3 设置结果通知

开发表详情页中,点击「结果通知」按钮,可配置结果通知,当开发表运行异常时通知给对应负责人。如下图所示:

2.4 使用开发表新建开发表

2.1 节生成的开发表,可以被新的开发表引用,生成一张开发表。

17.png

3. 管理开发表

注:不支持复制开发表。

3.1 编辑开发表

开发表详情页,点击右上角的「编辑」按钮即可。如下图所示:

1779932690448414.png

3.2 删除/重命名开发表

如下图所示:

8.png

3.3 查看计算逻辑

开发表详情页,支持查看开发表的计算逻辑:

9.png

3.4 手动运行开发表

3.4.1 应用场景

调试验证:修改了开发表的计算逻辑,想先跑一次看结果对不对,还不确定是否正确,不希望影响下游。

3.4.2 功能简介

注:手动执行产生的实例,不受最小时间间隔约束(两个实例间要间隔至少 10 分钟),即 10 分钟内可手动运行多次,但上一次调度未完成时新的实例被触发,那么会只保留最新的实例。

1)开发表详情页,可手动运行开发表。

17.png

2)点击「运行当前表及下游」,提示影响的下游:

1779938726781803.png

3.5 中止开发表

开发表详情页,「运行记录」Tab下,点击「中止」按钮即可:

20.png

咨询
扫码领取100+零代码资料简道云官方微信号400-111-0890
图标在线咨询
立即体验