借助 Knowledge Catalog(以前称为 Dataplex Universal Catalog),您可以管理连接器作业,这些作业会运行预定和按需元数据导入,以使目录与外部数据源保持同步。您可以查看作业配置、运行历史记录和日志,更新导入设置,停用或启用预定运行,手动触发作业运行以及删除作业。
如需详细了解连接器的工作原理,请参阅元数据连接器简介。
准备工作
如需管理连接器作业,您需要拥有适当的 IAM 角色。如需了解详情,请参阅 IAM 角色。
- 如需查看作业和运行历史记录,请执行以下操作:
- BigQuery User (
roles/bigquery.user) - Dataplex Viewer (
roles/dataplex.viewer)
- BigQuery User (
- 如需修改、删除或手动触发作业,请执行以下操作:
- BigQuery Admin (
roles/bigquery.admin) - Dataplex Administrator (
roles/dataplex.admin) 或 Dataplex Editor (roles/dataplex.editor)
- BigQuery Admin (
您需要启用 BigQuery Data Transfer Service。
此外,您还必须向 BigQuery Data Transfer Service 服务代理 (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) 授予 dataplex.entryGroups.import 权限或 Dataplex Entry Group Importer (roles/dataplex.entryGroupImporter) 角色。可以在项目级层或条目组级层授予此角色。某些连接器(例如 Databricks Unity 和 Snowflake Horizon 连接器)还需要项目的 Dataplex Entry and EntryLink Owner (roles/dataplex.entryOwner) 角色。如需了解详情,请参阅连接器专用指南。
查看连接器作业
在 Google Cloud 控制台中,前往 Knowledge Catalog 页面。
在导航菜单的管理部分中,点击连接器。 连接器页面会列出项目中的所有元数据导入作业。
如需查看特定作业的详细信息、运行历史记录或配置,请点击列表中该作业的显示名称。
查看作业运行历史记录和日志
对于任何连接器作业,您都可以查看其运行历史记录,包括成功和失败的运行。超过 90 天的作业运行会自动删除。
- 在连接器页面上,点击要查看的作业的显示名称。
- 点击运行记录标签页。此标签页会显示最近的作业运行。
- 如需查看特定运行作业的日志,请在列表中找到该运行作业,然后点击查看详细信息。
日志记录和监控
Knowledge Catalog 元数据连接器会将日志和指标导出到 Cloud Monitoring 和 Cloud Logging,以便向您的导入配置提供可观测性。您可以使用 Monitoring 设置信息中心,以监控元数据导入配置、评估运行性能以及查看错误消息以排查运行失败问题。您可以使用 Logging 查看与运行或配置相关的日志。
更新连接器作业
您可以修改现有作业的配置,包括其时间表、目标条目组、通知设置以及要导入的源对象。
- 在连接器页面上,点击要更新的作业的显示名称。
- 点击修改。
- 根据需要修改作业配置。
- 点击保存。
停用或启用连接器作业
停用作业后,其名称会更新为 disabled 状态,并且不会安排新的作业运行。任何已在进行的运行作业都会完成。
停用作业不会移除已导入 Knowledge Catalog 的元数据。
- 在连接器页面上,找到要停用或启用的作业。
- 点击操作,然后选择停用或启用。
删除连接器作业
删除作业后,系统不会安排新的运行,并且所有正在进行的运行都会停止。删除作业不会移除已导入 Knowledge Catalog 的元数据。
- 在连接器页面上,找到要删除的作业。
- 点击操作,然后选择删除。
- 如需确认,请输入
delete,然后点击删除。
手动触发作业
您可以在常规时间表之外启动作业运行。这有时称为“回填”。
- 在连接器页面上,点击要运行的作业的显示名称。
点击立即运行转移作业,然后选择运行一次性转移作业。