04-加工与准备
加工与准备用于创建和维护 DWS 数据汇总层模型。用户可以通过 SQL 编辑器、配置面板、依赖引用和 AI 助手完成聚合模型开发，并通过 Dev 测试验证模型可运行。
进入方式
在左侧导航栏选择 数据工厂 > 加工与准备。
页面功能
| 区域 | 说明 |
|---|---|
| 搜索区 | 按模型名称或描述关键词搜索。 |
| 模型列表 | 展示 DWS 模型名称、描述、刷新策略、子目录、Dev 测试状态和操作。 |
| 新建模型 | 创建新的 DWS 模型。 |
| 操作区 | 支持编辑和删除模型。 |
新建 DWS 模型
- 点击 新建 DWS 模型。
- 填写模型名称、描述、子目录、刷新策略等信息。
- 系统根据配置生成初始 SQL 模板。
- 创建成功后进入模型编辑器继续开发。
DWS 编辑器
编辑器通常包含以下区域：
| 区域 | 说明 |
|---|---|
| 可引用表 | 展示可引用的上游模型或表，可插入引用模板。 |
| SQL 编辑器 | 编写模型 SQL。 |
| Config 面板 | 配置刷新策略、主键、分区、增量游标和触发策略。 |
| 状态区 | 展示 Dev 测试状态、错误信息、物化策略等。 |
| 数据契约测试 | 配置模型测试规则。 |
| AI 助手 | 辅助生成或改写 SQL。 |
编辑和测试模型
- 点击模型行中的 编辑。
- 在 SQL 编辑器中维护模型 SQL。
- 在 Config 面板中确认刷新策略、增量字段、分区字段和依赖关系。
- 点击 保存 SQL。
- 点击 Dev 测试，验证 dbt parse、模型运行和测试结果。
Config 配置说明
| 配置项 | 说明 |
|---|---|
| 刷新策略 | 定义模型全量或增量刷新方式。 |
| 主键字段 | 增量 merge 或去重时使用。 |
| 分区字段 | 用于生成分区表或优化查询。 |
| 增量游标 | 判断新增或变更数据的字段。 |
| 触发策略 | 控制上游变更后是否触发当前模型。 |
AI 助手
打开 AI 助手后，可让系统根据当前 SQL、模型配置和引用关系给出修改建议。AI 改写结果应通过 Diff 视图确认后再接受。
注意事项
-
DWS 模型应尽量使用已治理的 DWD 明细层作为上游。
-
SQL 保存成功不代表模型运行成功，必须执行 Dev 测试。
-
增量模型必须配置可靠的主键和增量游标。
-
删除模型前需确认下游 ADS、数据开放或报表不再依赖该模型。