元数据连接器简介

随着数据环境变得越来越复杂，元数据可能会在不同的平台之间孤立，从而使团队难以查找、信任和管理其数据。Knowledge Catalog（以前称为 Dataplex Universal Catalog）连接器可帮助解决此问题，让您能够自动将技术、运营、业务和语义元数据从第三方数据源直接导入 Google Cloud。

通过这些连接器，您可以让分析师无需切换工具即可搜索外部数据资产，让数据监管人员在多云环境中实施集中式治理，并集中监控跨平台数据质量。通过安排周期性运行，您可以使目录与源系统保持同步，以便团队能够准确、及时地了解数据生态系统。

支持的数据源

您可以使用 Knowledge Catalog 连接器从以下来源导入元数据：

  • Databricks Unity Catalog
  • dbt Core 和 dbt Cloud
  • MySQL
  • Oracle
  • PostgreSQL
  • Snowflake Horizon
  • SQL Server

与数据治理合作伙伴集成

您还可以将 Knowledge Catalog 与其他 Data Catalog 和治理平台集成。这些集成可让并行目录工具共享信息，而不是从原始数据源中提取信息。您可以在 Knowledge Catalog 中丰富元数据，也可以导出 Knowledge Catalog 元数据，以便在这些第三方工具中查看。

以下合作伙伴提供 Knowledge Catalog 集成：

本页面的其余部分介绍了如何通过连接器导入元数据。如需详细了解合作伙伴集成，请参阅链接的合作伙伴页面。

工作原理

Knowledge Catalog 连接器使用预构建的集成来连接到您的数据源并自动提取元数据。BigQuery Data Transfer Service 会管理这些转移作业，并将提取的元数据映射到您选择的特定 Knowledge Catalog 条目组。

连接器会提取以下类型的元数据：

  • 技术元数据：架构、数据类型和列名称定义。
  • 操作元数据：创建和修改时间戳、沿袭、使用情况统计信息和数据质量结果。
  • 业务元数据：标记、所有者和注释。
  • 语义元数据：维度、度量、指标、黄金查询和关系。

配置连接器后，Knowledge Catalog 会按照您指定的时间表安排元数据导入运行，以确保目录与源系统保持同步。每次运行元数据导入时，系统都会对该配置管理的目标条目组中的条目执行完全覆盖。不再存在于来源中的元数据对象会从条目组中移除，并添加新对象。条目组中未由连接器配置导入的对象不受影响。

术语

本文档中使用了以下术语：

  • 元数据导入配置：使用 BigQuery Data Transfer Service 从来源提取元数据并将其加载到 Knowledge Catalog 的计划任务或按需任务的设置。
  • 运行：元数据导入配置的单个执行实例。
  • 条目组：Knowledge Catalog 中包含元数据条目的资源。配置连接器时，您需要指定一个条目组作为导入的元数据的目标位置。
  • 条目：Knowledge Catalog 中表示数据资产（例如表或视图）的资源。

价格

使用连接器导入元数据时，Knowledge Catalog 或 BigQuery Data Transfer Service 不会收取额外费用。

其他 Knowledge Catalog 用量（例如元数据存储）需支付标准费用。如需了解详情，请参阅 Knowledge Catalog 价格。

限制

  • 系统只会导入元数据，而不会导入源表或视图中的底层数据。如需转移底层数据，您可以使用 BigQuery Data Transfer Service。
  • 每次运行都会完全覆盖目标条目组中由连接器管理的条目。不支持增量元数据更新。
  • 运行记录会保留 90 天。

后续步骤