關於中繼資料連接器

隨著資料環境日益複雜，中繼資料可能會分散在不同平台，導致團隊難以尋找、信任及管理資料。Knowledge Catalog (舊稱 Dataplex Universal Catalog) 連接器可解決這個問題，讓您直接從第三方資料來源，自動將技術、作業、業務和語意中繼資料匯入 Google Cloud。

透過這些連接器，分析人員不必切換工具即可搜尋外部資料資產，資料監管員可在多雲端環境中強制執行集中式治理，並在單一位置監控跨平台資料品質。排定週期性執行作業，即可讓目錄與來源系統保持同步，讓團隊準確掌握資料生態系統的最新狀態。

支援的資料來源

您可以使用 Knowledge Catalog 連接器，從下列來源匯入中繼資料：

  • Databricks Unity Catalog
  • dbt Core 和 Cloud
  • MySQL
  • Oracle
  • PostgreSQL
  • Snowflake Horizon
  • SQL Server

與資料治理合作夥伴整合

您也可以將 Knowledge Catalog 與其他 Data Catalog 和治理平台整合。這些整合功能可讓平行目錄工具共用資訊，而不必從原始資料來源提取。您可以在 Knowledge Catalog 中充實中繼資料，或將 Knowledge Catalog 中繼資料匯出，以便在這些第三方工具中查看。

下列合作夥伴提供 Knowledge Catalog 整合功能：

本頁其餘部分將說明如何透過連接器匯入中繼資料。如要進一步瞭解合作夥伴整合，請參閱連結的合作夥伴頁面。

運作方式

Knowledge Catalog 連接器會使用預先建構的整合功能，連線至資料來源並自動擷取中繼資料。BigQuery 資料移轉服務會管理這些移轉作業，並將擷取的中繼資料對應至您選擇的特定 Knowledge Catalog 項目群組。

連接器會擷取下列類型的中繼資料：

  • 技術中繼資料：結構定義、資料類型和資料欄名稱定義。
  • 作業中繼資料：建立和修改時間戳記、歷程、使用統計資料和資料品質結果。
  • 業務中繼資料：標記、擁有者和註解。
  • 語意中繼資料：維度、測量指標、指標、精確查詢和關係。

設定連接器後，Knowledge Catalog 會按照您指定的排程執行中繼資料匯入作業，確保目錄與來源系統保持同步。每次執行中繼資料匯入作業時，系統都會完整覆寫該設定管理的目的地項目群組中的項目。來源中不再存在的中繼資料物件會從項目群組中移除，並新增物件。如果項目群組中的物件未由連接器設定匯入，則不受影響。

術語

本文件使用下列術語：

  • 中繼資料匯入設定：排定或隨選工作的設定，使用 BigQuery 資料移轉服務從來源擷取中繼資料，並載入 Knowledge Catalog。
  • 執行：中繼資料匯入設定的單一執行個體。
  • 項目群組：Knowledge Catalog 中含有中繼資料項目的資源。設定連接器時，您需要指定一個項目群組，做為匯入中繼資料的目的地。
  • 項目：Knowledge Catalog 中代表資料資產 (例如資料表或檢視表) 的資源。

定價

使用連接器匯入中繼資料時，Knowledge Catalog 或 BigQuery 資料移轉服務不會收取額外費用。

其他 Knowledge Catalog 用量 (例如中繼資料儲存空間) 則適用標準費用。詳情請參閱「Knowledge Catalog 定價」。

限制

  • 系統只會匯入中繼資料，不會匯入來源資料表或檢視表中的基礎資料。如要移轉基礎資料，可以使用 BigQuery 資料移轉服務。
  • 每次執行都會完整覆寫目的地項目群組中，由連接器管理的項目。不支援漸進式中繼資料更新。
  • 執行記錄會保留 90 天。

後續步驟