共搜索到
26
条相关结果
- 数据开发: 支持在「数据开发」模块定义「开发表」计算逻辑时引用,在实际物化过程中,作为计算的数据来源(要求与开发表同源) 限制: 不支持独立「配置调度」 开发表 集成治理平台声明式开发过程定义的表,其内部不仅包含表结构信息,还包含以SQL语句表达的开发逻辑 能力: 1)支持在「数据开发」模块作为「开发表」计算逻辑的载体,完成声明式开发过程 2)支持在「数据开发」模块定义「开发表」计算逻辑时引用,在实际物化过程中
- 新建和管理开发表能力 1)支持在「数据开发」模块作为「开发表」计算逻辑的载体,完成声明式开发过程 支持在「数据开发」模块定义「开发表」计算逻辑时引用,在实际物化过程中,作为计算的数据来源 2)支持在「数据开发」模块为「开发表」配置调度逻辑,作为调度触发起点 限制 不支持作为「数据集成」模块的数据目标 1.2 开发流程 1.3 注意事项 上一次调度未完成时新的实例被触发,那么会只保留最新的实例(针对所有触发方式)
- 集成治理平台支持的数据源数据开发 开发表的来源端可以是注册表和开发表。详情请参见:新建和管理开发表 注册表说明: 数据开发模块中,从 配置的存储计算引擎 中,选择物理表,可新建注册表。 数据集成模块 中,若目标表为新建表,集成任务运行后将自动创建该表并注册。
- 集成治理最佳实践2.3 配置数据开发任务 2.3.1 合并线上线下数据并去除无效数据 1)新建开发表: 2)修改开发表名称为dwd_order_detail,合并线上线下有效订单数据并补全品类维度;将处理后的数据输出到 dwd_order_detail 表中。 表名需要输入@后点击生成。
- 新建和管理注册表能力 支持在「数据开发」模块定义「开发表」计算逻辑时引用,在实际物化过程中,作为计算的数据来源(要求与开发表同源) 限制 不支持独立「配置调度」(注册表只引用数据,不生成数据,如果数据来源是数据集成,则跟随数据集成的调度并在注册表数据来源侧做展示即可) 生成方式 方式一:数据开发模块新建注册表(本文内容) 方式二:数据集成模块 中,若目标表为新建表,集成任务运行后将自动创建该表并注册 1.2 注册表生命周期
- 配置数据同步任务2)可在任务详情页,运行记录Tab下查看运行结果: 运行记录详细说明请参见:数据同步任务运维 3)本文示例中目标表为自动建表,同步任务运行成功后,点击「数据开发」,可看到自动生成一张注册表,将表托管到平台里来。 受平台托管的表,可以承载更多信息,比如业务描述、标签、血缘、质量信息等等,在后续的开发过程中,可以直接引用注册表完成数据开发。
- 功能模块介绍功能 说明 参考文档 数据同步任务 支持将单表的全量/增量数据定时同步到目标端(原表原样同步) 支持设置执行频率 支持设置结果通知 配置数据同步任务 数据同步任务运维 支持修改数据同步任务的配置、查看运行详情 数据同步任务运维 数据开发 功能 说明 参考文档 注册表 集成治理平台将物理表托管到平台内,参与集成开发治理的表 可作为开发表的数据来源 新建和管理注册表 开发表 集成治理平台声明式开发过程中定义的表
- 配置存储计算引擎后续步骤 存储计算引擎配置后,后续如何使用呢,请查看下表: 模块 说明 数据集成 已配置的存储计算引擎作为一个独立的数据源,可作为数据同步模块的目标端,选择该数据源后,像其他数据源一样可以测试连接 数据开发 开发表运行后会物化在已配置的数据计算存储引擎中,注册表也只能使用当前计算存储引擎中的物理表新建
- 运维开发表实例运行流程与状态 分类 状态 说明 过程状态:开发表实例执行过程中的中间状态,表示实例正在处理中 排队中 - 构建中 运行中 结果状态:开发表实例执行完成后达到的终态,表示执行的最终结果 运行成功 开发表成功执行 运行失败 开发表执行过程中报错,比如建表失败、数据写入异常等 运行中止 开发表执行过程中被手动/自动中止 构建失败 开发表构建过程中的校验等操作失败 运行跳过 重复触发的开发表实例会跳过
- 开发表设置结果通知概述 1.1 应用场景 开发表运行出错时,通知用户及时处理。 1.2 功能简介 开发表支持设置结果通知,当运行异常时通知给对应负责人。如下图所示: 2. 功能说明 2.1 设置结果通知 开发表详情页中,点击「结果通知」按钮,可配置结果通知。如下图所示: 2.1.1 通知内容 开发表运行异常时进行通知。
- 开发表设置调度计划概述 1.1 功能简介 创建 开发表 后,可设置调度计划,定期将开发表数据写入到物理表中。 调度计划 说明 定时调度 设置开发表的固定执行频率,比如每天执行一次 依赖调度 依赖上游任务的执行结果 比如开发表 B 的数据来源中使用到了开发表 A, 开发表 B 的上游就是开发表 A 1.2 注意事项 1)定时调度和依赖调度,只能任选其一。
- 数据集成概述 数据集成与数仓搭建场景中,数据同步任务 可将数据库、SaaS 平台的数据定时同步到分析数仓里,供后续开发使用。 2.
- 数据同步任务运维概述 数据同步任务运行后,如何修改相关配置、查看运行详情呢?本文为您详细说明。 2. 管理数据同步任务 2.1 筛选任务 可通过数据同步任务名称、表名、读取方式、定时调度配置情况,筛选已创建的同步任务。如下图所示: 2.2 查看任务配置详情 1)点击同步任务名称,跳转到任务详情页,可查看数据来源、数据去向、字段映射、写入方式、是否配置定时调度等信息。
- 数据连接
- 配置RDS MySQL数据源使用数据源 配置数据连接后,可在「数据集成」任务中,作为读取端使用。
- 配置聚水潭数据源使用数据源 配置数据连接后,可在「数据集成」任务中,作为读取端使用。
- 配置TikTok Shop数据源如下图所示: 5)保存数据连接即可。 3. 使用数据源 配置数据连接后,可在「数据集成」任务中,作为读取端使用。
- 数据同步任务设置结果通知概述 1.1 应用场景 数据同步任务运行出错时,通知用户及时处理。 1.2 功能简介 数据同步任务支持设置结果通知,当同步任务运行异常时通知给对应负责人。如下图所示: 2. 功能说明 2.1 设置结果通知 数据同步任务详情页中,点击「结果通知」按钮,可为该同步任务配置结果通知。如下图所示: 2.1.1 通知内容 实例运行失败时进行通知。
- 配置易仓数据源使用数据源 配置数据连接后,可在「数据集成」任务中,作为读取端使用。
- 配置Lazada数据源3.使用数据源 配置数据连接后,可在「数据集成」任务中,作为读取端使用。
