使用 Knowledge Catalog 管理資料資產

Knowledge Catalog 會自動將 Bigtable 資源的中繼資料編入目錄。這項功能可協助您搜尋及管理 Bigtable 資料資產。

系統會自動將下列 Bigtable 資源的中繼資料，從 Bigtable 同步至 Knowledge Catalog：

  • 執行個體
  • 叢集
  • 資料表，包括資料欄系列詳細資料

  • 檢視表：

    • 授權檢視表
    • 持續性 materialized view
    • 邏輯檢視表

    檢視表沒有全域目錄項目。如要存取檢視表中繼資料，您必須查詢指派給執行個體的區域。詳情請參閱本文的「存取檢視表中繼資料」一節。

Knowledge Catalog 是全代管的中繼資料管理服務。這項服務提供整合式檢視畫面和標記機制，可用於技術和業務中繼資料。如要進一步瞭解 Knowledge Catalog 和使用原因，請參閱「Knowledge Catalog 總覽」。

搭配使用 Knowledge Catalog 和 Bigtable 的優點

Knowledge Catalog 提供的資料資訊，有助於支援分析、資料重複使用、應用程式開發和資料管理。

您可以在 Knowledge Catalog 中依詳細資料 (例如資源名稱) 搜尋項目。例如，搜尋執行個體名稱即可找到執行個體的項目，搜尋資料欄系列則可找到資料表的項目。您也可以使用多面向搜尋，套用篩選器來縮小搜尋範圍。詳情請參閱「在 Knowledge Catalog 中搜尋資源」。

擷取及編目 Bigtable 檢視表後，即可執行下列操作：

  • 在中央目錄中，尋找授權、邏輯和連續 materialized view 等精細資料資產。
  • 瞭解有哪些檢視表，以及誰有權存取，讓管理團隊套用政策和存取控管機制。
  • 瞭解授權檢視表如何連結至資料表，以及邏輯和持續性 materialized view 如何連結至執行個體，以便掌握更完整的背景資訊。

使用切面充實中繼資料，有助於瞭解及分類 Bigtable 資料表中的資料。切面可讓您將自訂業務和技術中繼資料附加至目錄項目，讓資料在整個資料資產中更容易被找到，並啟用指定搜尋。詳情請參閱「管理切面並充實中繼資料」。

開始使用 Knowledge Catalog

如要開始使用 Knowledge Catalog 管理 Bigtable 資料資產，請完成下列工作：

  1. 選用：如果您是首次使用 Knowledge Catalog，請啟用 Dataplex API。

  2. 將 IAM 角色授予需要在 Knowledge Catalog 存取 Bigtable 項目的主體。

  3. 瞭解如何搜尋資料資產。

  4. 請參閱 Knowledge Catalog 搜尋語法，瞭解如何尋找中繼資料。

  5. 請參閱概念說明，瞭解如何使用切面管理中繼資料。詳情請參閱「關於 Knowledge Catalog 中的中繼資料」。

在 Knowledge Catalog 查看中繼資料

每種 Bigtable 檢視表類型在目錄中都以不同的項目類型表示。Knowledge Catalog 會為每種類型儲存特定中繼資料 (切面)：

View type 中繼資料欄位
授權 view 完整子集定義、防刪除功能狀態。基礎資料表 ID 是項目資源路徑和父項項目的一部分，而非獨立的切面欄位。
邏輯檢視表 SQL 查詢、結構定義、防刪除功能狀態。基礎資料表會在 SQL 查詢中參照。
持續性 materialized view SQL 查詢、結構定義、防刪除功能狀態、儲存空間詳細資料。SQL 查詢會參照基礎資料表。在儲存空間方面，sourceUri 欄位會指向檢視表資源本身，而非基礎資料表。

搜尋 Bigtable 中繼資料的方法

您可以使用 Knowledge Catalog 搜尋已同步的 Bigtable 中繼資料。

除了具有限定詞的述詞，您也可以使用下列中繼資料欄位搜尋 Bigtable 資源：

  • 執行個體

    • Bigtable 執行個體名稱
    • Bigtable 執行個體 ID
    • 叢集位置
    • 叢集 ID

  • 資料表

    • 資料表 ID
    • 資料欄系列名稱
    • Bigtable 執行個體名稱
    • Bigtable 執行個體 ID

你可以依下列類別搜尋檢視畫面：

  • 檢視類型：
    • type=cloud-bigtable-authorized-view
    • type=cloud-bigtable-logical-view
    • type=cloud-bigtable-materialized-view
  • 整合檢視別名：使用 VIEW 別名，同時尋找所有類型的 Bigtable 檢視。
  • 中繼資料詳細資料：依查詢文字、上層資源、子集定義詳細資料或特定屬性 (例如防刪除功能) 搜尋。
  • 區域：在 Google Cloud 控制台，使用 location=LOCATION 或區域篩選器，搜尋區域中的檢視表或任何其他資源。

在Google Cloud 控制台查看全域 Bigtable 執行個體或資料表項目時，其「Entry list」(項目清單) 分頁不會顯示區域檢視。同樣地，查看區域檢視表項目時，其導覽標記路徑不會連結至父項執行個體或資料表。如要尋找這些資源，請直接使用上述搜尋類別進行搜尋。

存取檢視表中繼資料

與 Bigtable 執行個體和資料表不同，檢視表沒有全域目錄項目。檢視表的中繼資料只會儲存在 Knowledge Catalog (knowledgeCatalogRegion) 中指派給執行個體的區域。

在 Knowledge Catalog 中搜尋資源時，您可以使用區域篩選器，找出特定區域的檢視表或其他資源。不過，如果使用 Dataplex API 或用戶端程式庫查詢、擷取或管理 Bigtable 檢視表的切面，則必須在要求網址的 location 參數中，指定執行個體的 Knowledge Catalog 區域。如果將位置指定為 global，指令會傳回 NOT_FOUND 錯誤。

以下各節說明如何存取執行個體區域中的檢視表中繼資料。

尋找執行個體的 Knowledge Catalog 區域

如要找出 Bigtable 執行個體的 knowledgeCatalogRegion，請使用 gcloud bigtable instances describe 指令：

gcloud bigtable instances describe INSTANCE_ID

將 INSTANCE_ID 替換為執行個體的專屬 ID。

指令輸出內容包含 knowledgeCatalogRegion 欄位，如以下範例所示：

createTime: '2026-01-15T10:00:00.000000Z'
displayName: my-instance
edition: ENTERPRISE
knowledgeCatalogRegion: us-central1
name: projects/my-project/instances/my-instance
state: READY
type: PRODUCTION

在這個範例中，Dataplex API 要求的所在位置和這個執行個體中檢視表的區域篩選器為 us-central1。

檢查檢視表的 Knowledge Catalog 項目

控制台

如要在 Knowledge Catalog 檢查檢視表的項目，請按照下列步驟操作：

  1. 前往 Google Cloud 控制台的 Knowledge Catalog「Search」(搜尋) 頁面。

    前往「Search」(搜尋) 頁面

  2. 在搜尋欄位中，輸入 Bigtable 檢視表的名稱或 ID，或輸入搜尋查詢，然後按下 Enter 鍵。

    您可以使用下列述詞搜尋檢視表：

    • 所有觀看次數：VIEW
    • 授權檢視表：type=cloud-bigtable-authorized-view
    • 邏輯檢視表：type=cloud-bigtable-logical-view
    • 持續性 materialized view：type=cloud-bigtable-materialized-view
    • 依區域劃分的觀看次數：例如 location=us-central1

  3. 如要修正搜尋範圍，請按一下「篩選器」。

  4. 在搜尋結果中，按一下檢視表名稱，開啟項目詳細資料頁面。

    項目詳細資料頁面會顯示所有項目屬性，包括總覽資訊、系統切面 (例如 SQL 查詢、結構定義或子集定義)，以及附加的自訂切面。

gcloud

如要檢查檢視表在 Knowledge Catalog 中的項目，請使用 gcloud dataplex entries lookup 指令：

gcloud dataplex entries lookup "VIEW_RESOURCE_NAME" \
    --project="PROJECT_ID" \
    --location="LOCATION" \
    --entry-group="@bigtable" \
    --view="all"

更改下列內容：

  • VIEW_RESOURCE_NAME：檢視表的 Bigtable 資源路徑 (省略開頭的 //)。請根據檢視表類型建構資源路徑：
    • 授權檢視表： bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/tables/TABLE_ID/authorizedViews/VIEW_ID
    • 邏輯檢視表： bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/logicalViews/VIEW_ID
    • 持續性 materialized view：bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/materializedViews/VIEW_ID
  • PROJECT_ID：Google Cloud 專案的專屬 ID。
  • INSTANCE_ID：Bigtable 執行個體的專屬 ID。
  • TABLE_ID：如果是授權檢視表，則為包含該檢視表的基礎資料表專屬 ID。
  • VIEW_ID：指派給檢視畫面的 ID。
  • LOCATION：Bigtable 執行個體的 Knowledge Catalog 區域 (例如 us-central1)。

輸出內容會傳回所有項目屬性，包括系統層面和附加的自訂層面。在輸出內容中，parentEntry 欄位包含父項資料表或執行個體的區域項目路徑。Bigtable 只會將資料表和執行個體項目儲存在 global 位置，因此無法存取這個區域父項項目。如要查詢上層資料表或執行個體項目，請將位置指定為 global。

REST

如要使用 Dataplex API 以程式輔助方式查詢檢視表項目，請將已驗證的 HTTP GET 要求傳送至 lookupEntry 方法：

curl -X GET \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    "https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION:lookupEntry?entry=projects/PROJECT_ID/locations/LOCATION/entryGroups/@bigtable/entries/VIEW_RESOURCE_NAME&view=ALL"

更改下列內容：

  • VIEW_RESOURCE_NAME：檢視表的 Bigtable 資源路徑 (省略開頭的 //)。請根據檢視表類型建構資源路徑：
    • 授權檢視表： bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/tables/TABLE_ID/authorizedViews/VIEW_ID
    • 邏輯檢視表： bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/logicalViews/VIEW_ID
    • 持續性 materialized view：bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/materializedViews/VIEW_ID
  • PROJECT_ID：Google Cloud 專案的專屬 ID。
  • INSTANCE_ID：Bigtable 執行個體的專屬 ID。
  • TABLE_ID：如果是授權檢視表，則為包含該檢視表的基礎資料表專屬 ID。
  • VIEW_ID：指派給檢視畫面的 ID。
  • LOCATION：Bigtable 執行個體的 Knowledge Catalog 區域 (例如 us-central1)。

輸出內容會傳回所有項目屬性，包括系統層面和附加的自訂層面。在輸出內容中，parentEntry 欄位包含父項資料表或執行個體的區域項目路徑。Bigtable 只會將資料表和執行個體項目儲存在 global 位置，因此無法存取這個區域父項項目。如要查詢上層資料表或執行個體項目，請將位置指定為 global。

必要的角色

在 Knowledge Catalog 中查看、標記及搜尋 Bigtable 資源，需要不同的權限。一般來說，請授予組織中的主體完成工作所需的最低角色。

查看公開和私人資料的權限

如要取得查看 Bigtable 資源公開和私人層面的權限，請要求管理員授予您下列 IAM 角色：

這些預先定義的角色具備查看公開和私人面向所需的權限。所需確切權限如下：

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get
  • dataplex.aspectTypes.get

檢視表需要下列權限：

  • 授權檢視表：bigtable.authorizedViews.get
  • 邏輯檢視表：bigtable.logicalViews.get
  • 持續性 materialized view：bigtable.materializedViews.get

搜尋 Bigtable 資源的權限

如要取得在 Knowledge Catalog 搜尋 Bigtable 資源所需的權限，請要求管理員授予您下列 IAM 角色：

這些預先定義的角色具備搜尋 Bigtable 資源所需的權限。所需確切權限如下：

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get

檢視表需要下列權限：

  • 授權檢視表：bigtable.authorizedViews.get
  • 邏輯檢視表：bigtable.logicalViews.get
  • 持續性 materialized view：bigtable.materializedViews.get

可搜尋及查看 Bigtable 中繼資料

如要搜尋及查看 Bigtable 資源的中繼資料，您必須具備包含下列權限的角色：

  • 執行個體和資料表：bigtable.instances.get、bigtable.clusters.get、bigtable.tables.get
  • 授權檢視表：bigtable.authorizedViews.get
  • 邏輯檢視表：bigtable.logicalViews.get
  • 持續性 materialized view：bigtable.materializedViews.get

預先定義的角色 (例如 roles/bigtable.viewer 或 roles/bigtable.admin) 通常包含這些權限。

可將切面附加至 Bigtable 資源

如要取得在 Knowledge Catalog 中將切面附加至 Bigtable 資源所需的權限，請要求管理員授予您下列 IAM 角色：

這些預先定義的角色具備新增公開和私人切面的必要權限。所需確切權限如下：

  • bigtable.instances.update
  • bigtable.clusters.update
  • bigtable.tables.update
  • dataplex.aspectTypes.use
  • dataplex.entries.update

檢視表需要下列權限：

  • 授權檢視表：bigtable.authorizedViews.update
  • 邏輯檢視表：bigtable.logicalViews.update
  • 持續性 materialized view：bigtable.materializedViews.update

選用：建立自訂角色

您可以建立自訂角色，授予需要完整存取權的使用者，讓他們能存取專案或組織中 Knowledge Catalog 的所有 Bigtable 中繼資料。接著，您可以將需要存取權的任何使用者或服務帳戶，指派為自訂角色的主體。如要進一步瞭解自訂角色，請參閱「角色和權限」。

請為角色選擇有意義的名稱，例如 Bigtable Dataplex 編輯者，然後只將角色指派給需要存取權的主體。如需設定操作說明，請參閱「建立及管理自訂角色」。

將下列權限授予自訂角色：

  • bigtable.instances.get
  • bigtable.instances.update
  • bigtable.clusters.get
  • bigtable.clusters.update
  • bigtable.tables.get
  • bigtable.tables.update
  • bigtable.authorizedViews.get
  • bigtable.authorizedViews.update
  • bigtable.logicalViews.get
  • bigtable.logicalViews.update
  • bigtable.materializedViews.get
  • bigtable.materializedViews.update
  • dataplex.aspectTypes.get
  • dataplex.aspectTypes.use

詳情請參閱「Knowledge Catalog IAM 權限」。如需 Bigtable 權限說明，請參閱「權限」。

限制

下列各節列出使用 Knowledge Catalog 管理 Bigtable 中繼資料前，必須考量的限制。

位置限制

如果貴組織強制執行位置限制，Bigtable 資源的中繼資料項目可能不會同步至 Knowledge Catalog。在強制執行位置限制之前建立的任何項目，都會由 Knowledge Catalog 保留。

為確保 Knowledge Catalog 能載入資源，請確認位置政策允許下列項目：

  • 執行個體和資料表的 global 多區域。
  • 與執行個體 knowledgeCatalogRegion 相符的特定檢視區域。

資料欄系列名稱例外狀況

如果要求中的資料欄系列名稱包含半形句號 (.)，Dataplex API 會拒絕要求。舉例來說，如果資料欄系列名稱是 personal.info。

後續步驟