数据开发

过程式开发元素

说明

来源表

来源数据所在的表，可以为注册表或者开发表

计算逻辑

来源数据的计算逻辑（原样读取、过滤、聚合等）

目标表和映射

1）目标表表名

开发表运行后，会在 存储计算引擎 中新建目标表

2）字段映射

设置来源表字段与目标表字段的对应关系

写入方式

来源数据写入目标表的方式（直接写入、清表写入）

表类型

定义

说明

物理表

在外部存储中实际存在的表

比如：从 Navicat、DataGrip 这些数据库管理工具看到的数据库表，就是物理表

能力：

支持在「数据集成」模块作为数据来源和数据目标

限制：

不支持独立参与数据开发

注册表

集成治理平台将物理表托管到平台内，参与集成开发治理的表

比如：在数据开发模块新建注册表后，物理表就变为了注册表，可以参与后续开发过程

能力：

支持在「数据开发」模块定义「开发表」计算逻辑时引用，在实际物化过程中，作为计算的数据来源（要求与开发表同源）

限制：

不支持独立「配置调度」

开发表

集成治理平台声明式开发过程定义的表，其内部不仅包含表结构信息，还包含以SQL语句表达的开发逻辑

能力：

1）支持在「数据开发」模块作为「开发表」计算逻辑的载体，完成声明式开发过程

2）支持在「数据开发」模块定义「开发表」计算逻辑时引用，在实际物化过程中，作为计算的数据来源

3）支持在「数据开发」模块为「开发表」配置调度逻辑，作为调度触发起点

限制：

不支持作为「数据集成」模块的数据目标

序号

说明

文档

1

需要先配置「存储计算引擎」，便于后续选择物理表生成「注册表」，以及储存配置好的「开发表」

配置存储计算引擎

2

若数据开发模块下没有「注册表」，必须先创建一张「注册表」才能继续生成开发表

新建和管理注册表

3

开发表和注册表都可以在定义开发表计算逻辑时引用，计算逻辑定义好后，设置存储位置

新建和管理开发表

4

支持为开发表设置定时调度或者依赖调度

开发表设置调度计划

5

支持查看开发表的运行记录

运维开发表

运维中心说明