追蹤管道構件的歷程

使用 Agent Platform Pipelines 建立的每個管道執行作業，都會有相關聯的構件和參數，例如模型、資料集、管道範本和元件。管道構件的沿襲包括促成構件建立的因素，以及衍生自構件的構件和中繼資料。舉例來說，模型的沿襲可能包括：

  • 用於建立模型的訓練、測試和評估資料。

  • 模型訓練期間使用的超參數。

  • 訓練和評估程序記錄的中繼資料，例如模型的準確率。

  • 衍生自這個模型的構件，例如批次預測結果。

您可以運用這些中繼資料來解答下列問題：

  • 為什麼特定管道執行作業會產生特別準確的模型？

  • 哪個管道執行作業產生最準確的模型？訓練模型時使用了哪些超參數？

  • 視管道中的步驟而定，您或許可以回答系統管理問題。舉例來說，您可以使用中繼資料，判斷特定時間點的正式版模型。

如要查看及分析管道構件歷程，可以使用 Vertex ML Metadata 或 Knowledge Catalog。

下表列出 Vertex ML Metadata 和 Knowledge Catalog 的差異：

功能 Vertex ML Metadata Knowledge Catalog
擷取的管道中繼資料類型 管道執行作業產生的所有輸入和輸出構件。 可對應至 Knowledge Catalog 支援的完整名稱 (FQNs) 的輸入和輸出構件，通常是使用 Google Cloud Pipeline Components。
地理位置 單一區域讀取。 全域讀取，也就是跨多個區域。
專案 讀取單一專案。 跨多個專案讀取整個機構的資料。
已整合的服務 與 Agent Platform Pipelines、Gemini Enterprise Agent Platform Experiments、Gemini Enterprise Agent Platform Model Registry 和 Datasets 整合。 與多項 Google Cloud 產品整合，例如 Gemini Enterprise Agent Platform、BigQuery、Managed Service for Apache Airflow 和 Managed Service for Apache Spark。
要啟用嗎？ 否，一律開啟。 為每個專案啟用 Data Lineage API，即可選擇加入。

將 Vertex ML Metadata 構件對應至 Knowledge Catalog

如要將 Vertex ML Metadata 構件對應至 Knowledge Catalog 中的 FQN，請執行下列操作：

  • 建立 Agent Platform 模型和受管理資料集時，請使用 Google Cloud 管道元件。

  • 在 metadata 欄位中指定模型或代管資料集資源名稱時，請使用自訂結構定義標題 (google.VertexDataset 或 google.VertexModel)，如下列範例所示：

{
  "name": "projects/example-project/locations/us-central1/metadataStores/default/artifacts/example-artifact",
  "displayName": "My dataset",
  "uri": "https://us-central1-aiplatform.googleapis.com/v1/projects/example-project/locations/us-central1/datasets/example-dataset",
   ...
  "schemaTitle": "google.VertexDataset",
  "schemaVersion": "0.0.1",
  "metadata": {
    "resourceName": "projects/example-project/locations/us-central1/datasets/example-dataset"
  }
}

使用 Vertex ML Metadata 分析管道構件的歷程

使用 Agent Platform Pipelines 執行管道時，管道執行的構件和參數會透過 Vertex ML Metadata 儲存。Vertex ML Metadata 可協助您分析管道構件的沿襲，省去追蹤管道中繼資料的麻煩。

如果您是 Vertex 機器學習中繼資料新手，請參閱 Vertex 機器學習中繼資料簡介。

請按照下列操作說明，使用 Vertex ML Metadata 查看管道構件的沿襲圖：

  1. 前往 Google Cloud 控制台的「Gemini Enterprise Agent Platform」專區，然後前往「Metadata」頁面。

    前往「Metadata」(中繼資料)

    「中繼資料」頁面會列出在預設中繼資料儲存庫中建立的構件。

  2. 在「Region」(區域) 下拉式清單中，選取建立執行作業的區域。

  3. 按一下構件的「顯示名稱」，即可查看其沿襲圖。

    系統會顯示靜態圖表，當中包含這個沿襲圖表中的構件和執行作業。

  4. 按一下構件或執行作業，即可查看詳細資訊。

使用 Knowledge Catalog 分析管道構件的歷程

Knowledge Catalog 會探索Google Cloud 資源的中繼資料，包括 Agent Platform Pipelines 構件，例如 Vertex AI 模型、受管理資料集，以及 Knowledge Catalog 中可探索的其他Google Cloud 資源。您可以使用 Knowledge Catalog 的中繼資料搜尋功能探索這些構件，並查看其歷程圖表。

如要進一步瞭解 Knowledge Catalog 中繼資料搜尋功能，請參閱「在 Knowledge Catalog 中搜尋資源」。

請注意，在支援 Agent Platform Pipelines 的部分區域，可能無法使用 Knowledge Catalog。如果您的區域不支援 Knowledge Catalog，請改用 Vertex ML Metadata。查看 Knowledge Catalog 支援的區域清單。

如要在 Knowledge Catalog 中查看管道構件的沿襲圖，請按照下列操作說明操作：

  1. 如要在 Google Cloud 控制台中啟動 Knowledge Catalog 搜尋查詢，請前往 Knowledge Catalog 的「Search」(搜尋) 頁面。

    前往「搜尋」

  2. 如果搜尋平台設為「Data Catalog」，請在「選擇搜尋平台」選單中選取「Knowledge Catalog」。

  3. 使用篩選器搜尋構件。舉例來說，您可以使用「資料類型」篩選器指定構件類型，例如模型、資料集或 BigQuery 資料表。詳情請參閱「在 Knowledge Catalog 中搜尋資源」。

    您也可以在搜尋欄位中定義查詢。

  4. 如要查看構件的歷程，請依序點選構件名稱和「歷程」分頁標籤。

    在沿襲圖中，Agent Platform 程序會以 Agent Platform 沿襲圖示 開頭，包括管道構件、管道元件和管道範本。

    • 如要查看程序的詳細資料，請在沿襲圖中點選該程序。

    • 對於以管線執行作業中的管線工作為基礎的程序，您可以執行下列操作：

      • 按一下「詳細資料」分頁標籤中的「在 Agent Platform 中開啟」，即可在 Agent Platform 中查看管道執行作業。如要查看管道執行作業的執行階段詳細資料 (例如狀態、時間戳記和屬性)，請按一下「更多」。如要在 Agent Platform 中查看管道執行作業，請按一下「在 Agent Platform 中開啟」。

    • 對於以管道範本為基礎的程序，您可以執行下列操作：

      • 在「詳細資料」分頁中點選「在 Agent Platform 中開啟」，即可在 Agent Platform 中查看範本詳細資料。

      • 在「執行作業」分頁中，查看管道執行作業中建立的管道工作清單。如要在 Agent Platform 中查看管道範本的詳細資料，請依序點選「更多」和「在 Agent Platform 中開啟」。

後續步驟