管理管道

BigQuery 管道可讓您檢查執行記錄、設定失敗警示，以及控管由 Dataform 支援的程式碼資產。您也可以在 Knowledge Catalog 中充實工作流程中繼資料，追蹤資料品質，並刪除過時的工作流程，讓專案井然有序。視團隊儲存程式碼的位置而定，您可以在「Files and Folders」(檔案和資料夾) (包括使用者資料夾和團隊資料夾) 或「BigQuery Studio Git repositories (Git Folders)」(BigQuery Studio Git 存放區 (Git 資料夾)) (預先發布版) 中存取管道。

事前準備

1. 建立 BigQuery 管道。
2. 如要在 Knowledge Catalog 中管理管道中繼資料，請確認 Google Cloud 專案已啟用 Dataplex API。

必要的角色

如要取得管理管道所需的權限，請要求管理員授予您下列 IAM 角色：

• 如要查看及執行管道，請按照下列步驟操作：
  • 專案的 Dataform 檢視者 (roles/dataform.Viewer)
  • 專案的 BigQuery 工作使用者 (roles/bigquery.jobUser)
• 如要使用 Google 帳戶的使用者憑證執行管道：專案或特定 BigQuery 資料集的 BigQuery 資料編輯者 (roles/bigquery.dataEditor)
• 如要刪除管道：管道的 Dataform 管理員 (roles/dataform.Admin)
• 如要管理使用者資料夾中的管道，請按照下列步驟操作：
  • 資料夾的程式碼擁有者 (roles/dataform.codeOwner)
  • 資料夾上的「Code Editor」(程式碼編輯器) (roles/dataform.codeEditor)
  • 資料夾的程式碼檢視者 (roles/dataform.codeViewer)
• 如要管理團隊資料夾中的管道，請按照下列步驟操作：
  • 團隊資料夾的團隊資料夾擁有者 (roles/dataform.teamFolderOwner)
  • 團隊資料夾的團隊資料夾協作者 (roles/dataform.teamFolderContributor)
  • 團隊資料夾的團隊資料夾檢視者 (roles/dataform.teamFolderViewer)
• 如要管理 Git 存放區中的管道：專案的 Developer Connect OAuth 使用者 (roles/developerconnect.oauthUser)
• 如要在 Knowledge Catalog 查看及管理中繼資料：專案或 @bigquery 項目群組的 Dataplex Catalog 編輯者 (roles/dataplex.catalogEditor)

如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

您或許也能透過自訂角色或其他預先定義的角色，取得必要權限。

如要進一步瞭解 Dataform IAM，請參閱「使用 IAM 控管存取權」。如要進一步瞭解資料夾的角色，請參閱「建立及管理資料夾」。如要進一步瞭解 Git 存放區的角色，請參閱「使用 BigQuery Studio Git 存放區管理程式碼」。

如果您使用自訂服務帳戶執行管道，則必須將下列角色授予該服務帳戶：

• 專案的 BigQuery 工作使用者 (roles/bigquery.jobUser)
• 專案或特定 BigQuery 資料集的 BigQuery 資料編輯者 (roles/bigquery.dataEditor)
• 專案或 @bigquery 項目群組的 Dataplex Catalog 編輯者 (roles/dataplex.catalogEditor)

查看管道

您可以在「Files」(檔案) 窗格中，查看及檢查儲存在資料夾或 Git 資料夾中的管道。您可以在「Explorer」窗格中，查看獨立管道和儲存在資料夾中的管道。儲存在 Git 資料夾中的管道不會顯示在「Explorer」窗格中。

在「Files」(檔案) 窗格中查看管道

儲存在資料夾或 Git 資料夾中的管道會直接顯示在「Files」(檔案) 窗格中。

如要查看儲存在資料夾或 Git 資料夾中的管道，請按照下列步驟操作：

1. 前往 Google Cloud 控制台的「BigQuery」BigQuery頁面。

   前往「BigQuery」

2. 在左側窗格中，按一下「檔案」圖示 folder，開啟檔案瀏覽器。

   如果沒有看到左側窗格，請按一下 last_page「Expand left pane」(展開左側窗格)，開啟窗格。

3. 展開「User」資料夾、「Team folder」或已連結的 Git 存放區資料夾。

   管道會以「管道」圖示顯示，而非標準資料夾圖示。

4. 按一下管道資料夾，開啟管道檢視器。

   Pipeline Viewer 會顯示管道工作的編譯有向無環圖 (DAG)、執行狀態和設定分頁。

5. 在檔案瀏覽器中展開管道目錄，即可瀏覽巢狀目錄 (例如 definitions/) 和個別工作檔案。

在「Explorer」窗格中查看管道

如要查看獨立管道和儲存在資料夾中的管道清單，請按照下列步驟操作：

1. 前往 Google Cloud 控制台的「BigQuery」BigQuery頁面。

   前往「BigQuery」

2. 點選左側窗格中的 explore「Explorer」。

   

   如果沒有看到左側窗格，請按一下 last_page「Expand left pane」(展開左側窗格)，開啟窗格。

3. 在「Explorer」窗格中展開專案，然後點選「Pipelines」。

4. 選取管道，在管道檢視器中開啟。

查看過往手動執行作業

如要查看所選管道過去的手動執行記錄，請按照下列步驟操作：

1. 前往 Google Cloud 控制台的「BigQuery」BigQuery頁面。

   前往「BigQuery」

2. 點選左側窗格中的 explore「Explorer」。

   

3. 在「Explorer」窗格中展開專案，按一下「Pipelines」(管道)，然後選取管道。

4. 按一下「Executions」(執行作業)。

5. 選用：如要重新整理過去執行作業的清單，請按一下「Refresh」(重新整理)。

設定快訊，掌握失敗的管道執行作業

每個管道都有對應的 Dataform 存放區 ID。 每次執行 BigQuery 管道時，系統都會使用對應的 Dataform 存放區 ID，將執行作業記錄在 Cloud Logging 中。您可以使用 Cloud Monitoring 觀察 BigQuery 管道執行的 Cloud Logging 記錄趨勢，並在發生指定情況時通知您。

如要在 BigQuery 管道執行失敗時收到快訊，可以為對應的 Dataform 存放區 ID 建立記錄警告政策。如需操作說明，請參閱「設定工作流程叫用失敗的警告」。

如要找出管道的 Dataform 存放區 ID，請按照下列步驟操作：

1. 前往 Google Cloud 控制台的「BigQuery」BigQuery頁面。

   前往「BigQuery」

2. 點選左側窗格中的 explore「Explorer」。

   

3. 在「Explorer」窗格中展開專案，按一下「Pipelines」(管道)，然後選取管道。

4. 按一下「設定」。

   管道的 Dataform 存放區 ID 會顯示在「Settings」(設定) 分頁底部。

刪除管道

如要永久刪除管道，請按照下列步驟操作：

1. 前往 Google Cloud 控制台的「BigQuery」BigQuery頁面。前往 BigQuery

• 如要刪除儲存在資料夾或 Git 資料夾中的管道，請按照下列步驟操作：

  1. 在左側窗格中，按一下「folder 檔案」。

  2. 在檔案樹狀結構中，找出要刪除的管道資料夾。

  3. 按一下管道資料夾旁的 more_vert「View actions」(查看動作)，然後點選「Delete」(刪除)。

  4. 在確認對話方塊中點按「刪除」。

     管道資料夾和其中包含的所有工作和檔案，都會從工作區中刪除。

• 如要刪除「Explorer」窗格中列出的管道，請按照下列步驟操作：

  1. 點選左側窗格中的 explore「Explorer」。

     

  2. 在「Explorer」窗格中展開專案，然後點選「Pipelines」。

  3. 找出要刪除的管道。

  4. 按一下管道旁的 more_vert「View actions」(查看動作)，然後點選「Delete」(刪除)。

  5. 點選「刪除」。

在 Knowledge Catalog 管理中繼資料

Knowledge Catalog 可讓您儲存及管理 pipeline 的中繼資料。Knowledge Catalog 預設提供管道，不需額外設定。

您可以使用 Knowledge Catalog 管理所有管道位置中的管道。在 Knowledge Catalog 中管理管道時，須遵守 Knowledge Catalog 配額和限制，以及 Knowledge Catalog 定價。

Knowledge Catalog 會自動從管道擷取下列中繼資料：

• 資料資產名稱
• 資料資產父項
• 資料資產位置
• 資料資產類型
• 對應的 Google Cloud 專案

Knowledge Catalog 會將管道記錄為項目，並包含下列項目值：

系統項目群組

管道的系統項目群組為 @dataform。如要在 Knowledge Catalog 中查看管道項目的詳細資料，您必須查看 dataform 系統項目群組。如要瞭解如何查看項目群組中所有項目的清單，請參閱 Knowledge Catalog 說明文件中的「查看項目群組的詳細資料」。

系統項目類型

管道的系統項目類型為 dataform-code-asset。如要查看管道詳細資料，您必須查看 dataform-code-asset 系統項目類型、使用切面篩選器篩選結果，並將 dataform-code-asset 切面中的 type 欄位設為 WORKFLOW。接著，選取所選管道的項目。如要瞭解如何查看所選項目類型的詳細資料，請參閱 Knowledge Catalog 說明文件中的「查看項目類型的詳細資料」。如要瞭解如何查看所選項目的詳細資料，請參閱 Knowledge Catalog 說明文件中的「查看項目詳細資料」一節。

系統切面類型

管道的系統切面類型為 dataform-code-asset。如要使用切面為資料管道項目加上註解，為 Knowledge Catalog 中的管道提供額外背景資訊，請查看 dataform-code-asset 切面類型，使用切面篩選器篩選結果，並將 dataform-code-asset 切面中的 type 欄位設為 WORKFLOW。如要瞭解如何使用切面為項目加上註解，請參閱 Knowledge Catalog 說明文件中的「管理切面並充實中繼資料」。

類型

資料畫布的類型為 WORKFLOW。這個類型可讓您在切面篩選器中使用 aspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW 查詢，篩選 dataform-code-asset 系統項目類型和 dataform-code-asset 切面類型中的管道。

如要瞭解如何在 Knowledge Catalog 搜尋資產，請參閱 Knowledge Catalog 說明文件中的「在 Knowledge Catalog 搜尋資料資產」。

中繼資料擴充和資料品質評量表整合

Dataform 可將下列中繼資料發布至 Knowledge Catalog：

• 總覽切面類型
• 一般切面類型
• 資料品質評量表切面類型

Dataform 斷言會自動與 Knowledge Catalog 資料品質評量表整合。在管道執行期間，任何 Dataform 斷言的結果都會自動發布至 Knowledge Catalog。這些結果會填入 Knowledge Catalog 資料品質評量表，並顯示通過或失敗狀態。

如要查看中繼資料更新狀態，請按照「查看過去的手動執行作業」中的操作說明進行。

中繼資料同步後，您可以在 Knowledge Catalog 搜尋及查看項目。詳情請參閱「搜尋資源」。

後續步驟

• 進一步瞭解 BigQuery 管道。
• 瞭解如何建立管道。
• 瞭解如何排定管道。
• 瞭解如何使用 BigQuery Studio Git 存放區管理程式碼。
• 瞭解如何使用資料夾整理程式碼資產。
• 進一步瞭解 Dataform 部署作業。