管理连接器作业

借助 Knowledge Catalog(以前称为 Dataplex Universal Catalog),您可以管理连接器作业,这些作业会运行预定和按需元数据导入,以使目录与外部数据源保持同步。您可以查看作业配置、运行历史记录和日志,更新导入设置,停用或启用预定运行,手动触发作业运行以及删除作业。

如需详细了解连接器的工作原理,请参阅元数据连接器简介。

准备工作

如需管理连接器作业,您需要拥有适当的 IAM 角色。如需了解详情,请参阅 IAM 角色。

  • 如需查看作业和运行历史记录,请执行以下操作:
    • BigQuery User (roles/bigquery.user)
    • Dataplex Viewer (roles/dataplex.viewer)
  • 如需修改、删除或手动触发作业,请执行以下操作:
    • BigQuery Admin (roles/bigquery.admin)
    • Dataplex Administrator (roles/dataplex.admin) 或 Dataplex Editor (roles/dataplex.editor)

您需要启用 BigQuery Data Transfer Service。

此外,您还必须向 BigQuery Data Transfer Service 服务代理 (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) 授予 dataplex.entryGroups.import 权限或 Dataplex Entry Group Importer (roles/dataplex.entryGroupImporter) 角色。可以在项目级层或条目组级层授予此角色。某些连接器(例如 Databricks Unity 和 Snowflake Horizon 连接器)还需要项目的 Dataplex Entry and EntryLink Owner (roles/dataplex.entryOwner) 角色。如需了解详情,请参阅连接器专用指南。

查看连接器作业

  1. 在 Google Cloud 控制台中,前往 Knowledge Catalog 页面。

    前往 Knowledge Catalog

  2. 在导航菜单的管理部分中,点击连接器。 连接器页面会列出项目中的所有元数据导入作业。

  3. 如需查看特定作业的详细信息、运行历史记录或配置,请点击列表中该作业的显示名称。

查看作业运行历史记录和日志

对于任何连接器作业,您都可以查看其运行历史记录,包括成功和失败的运行。超过 90 天的作业运行会自动删除。

  1. 在连接器页面上,点击要查看的作业的显示名称。
  2. 点击运行记录标签页。此标签页会显示最近的作业运行。
  3. 如需查看特定运行作业的日志,请在列表中找到该运行作业,然后点击查看详细信息。

日志记录和监控

Knowledge Catalog 元数据连接器会将日志和指标导出到 Cloud Monitoring 和 Cloud Logging,以便向您的导入配置提供可观测性。您可以使用 Monitoring 设置信息中心,以监控元数据导入配置、评估运行性能以及查看错误消息以排查运行失败问题。您可以使用 Logging 查看与运行或配置相关的日志。

更新连接器作业

您可以修改现有作业的配置,包括其时间表、目标条目组、通知设置以及要导入的源对象。

  1. 在连接器页面上,点击要更新的作业的显示名称。
  2. 点击修改。
  3. 根据需要修改作业配置。
  4. 点击保存。

停用或启用连接器作业

停用作业后,其名称会更新为 disabled 状态,并且不会安排新的作业运行。任何已在进行的运行作业都会完成。 停用作业不会移除已导入 Knowledge Catalog 的元数据。

  1. 在连接器页面上,找到要停用或启用的作业。
  2. 点击操作,然后选择停用或启用。

删除连接器作业

删除作业后,系统不会安排新的运行,并且所有正在进行的运行都会停止。删除作业不会移除已导入 Knowledge Catalog 的元数据。

  1. 在连接器页面上,找到要删除的作业。
  2. 点击操作,然后选择删除。
  3. 如需确认,请输入 delete,然后点击删除。

手动触发作业

您可以在常规时间表之外启动作业运行。这有时称为“回填”。

  1. 在连接器页面上,点击要运行的作业的显示名称。
  2. 点击立即运行转移作业,然后选择运行一次性转移作业。