数据集成与治理平台 首页

01-数据接入

发布于 2026年5月28日

数据接入用于管理数据库类数据源,将业务库中的表结构和数据同步到平台的 ODS Raw 层。页面支持新建数据源、测试连接、配置同步表和字段、查看日志,并进入数据源工作台完成 EL 同步配置。

01-data-ingestion.png

进入方式

在左侧导航栏选择 数据工厂 > 数据接入,进入数据库数据源管理页面。

页面功能

区域 说明
查询区 按数据源名称、数据库类型筛选数据源。
视图切换 支持卡片视图和列表视图切换。
数据源列表 展示数据源名称、数据库类型、连接地址、数据库名、调度信息、测试状态和 ODS 命名空间。
操作区 提供编辑、同步配置、日志、删除等操作。

新建数据源

  1. 点击页面右上角 新建数据源
  2. 在弹窗中填写数据源名称、数据库类型、主机地址、端口、数据库名、账号、密码等连接信息。
  3. 点击 连接测试 验证数据库可访问。
  4. 测试通过后点击确认保存。

提示:连接测试通过只代表连接参数可用,是否同步哪些表和字段,需要继续进入同步配置或数据源工作台完成。

配置同步

在数据源卡片中点击 同步配置,进入表级同步配置页面。常见配置项包括:

配置项 说明
Schema 源库 schema 名称。
表名 源库业务表名。
写入模式 控制同步写入方式,常见为 append、replace、merge。
增量字段 用于增量抽取的时间或自增字段。
主键 merge 模式下用于识别唯一记录的字段。
状态 当前表是否已纳入同步。

数据源工作台

点击数据源卡片进入工作台,可进行更细粒度的配置:

  • 扫描源库表结构。

  • 按表名或 Schema 搜索源表。

  • 勾选表加入同步范围。

  • 查看字段名、字段类型、主键、可空等字段属性。

  • 启用或停用字段同步。

  • 保存同步策略。

  • 执行 EL 测试,验证抽取链路是否可运行。

查看日志

点击数据源卡片中的 日志 可查看该数据源相关运行记录。若需要跨数据源查看全局任务状态,可进入 运行记录 模块。

删除数据源

点击 删除 后按弹窗提示确认。删除前应确认该数据源下游治理资产、模型或开放服务不再依赖该数据源。

注意事项

  • 建议先完成连接测试,再配置同步表。

  • 增量同步场景必须确认增量字段的业务含义和更新规律。

  • 主键配置错误会影响 merge 写入结果,可能产生重复或覆盖异常。

  • 数据源删除属于高风险操作,生产环境应先确认依赖关系。