瞭解如何在 Gemini Enterprise Agent Platform Pipelines 中要求 Google Cloud 電腦資源

您可以使用 Gemini Enterprise Agent Platform 自訂訓練提供的 Google Cloud專屬機器資源,在 Gemini Enterprise Agent Platform Pipelines 上執行 Python 元件。

您可以透過 Google Cloud Pipeline Componentscreate_custom_training_job_from_component 方法,將 Python 元件轉換為 Gemini Enterprise Agent Platform 自訂訓練工作。瞭解如何建立自訂工作

使用 Gemini Enterprise Agent Platform Pipelines,從元件建立自訂訓練工作

以下範例說明如何使用 create_custom_training_job_from_component 方法,將 Python 元件轉換為自訂訓練工作,並使用使用者定義的 Google Cloud 機器資源,然後在 Gemini Enterprise Agent Platform Pipelines 上執行已編譯的管線:


import kfp
from kfp import dsl
from google_cloud_pipeline_components.v1.custom_job import create_custom_training_job_from_component

# Create a Python component
@dsl.component
def my_python_component():
  import time
  time.sleep(1)

# Convert the above component into a custom training job
custom_training_job = create_custom_training_job_from_component(
    my_python_component,
    display_name = 'DISPLAY_NAME',
    machine_type = 'MACHINE_TYPE',
    accelerator_type='ACCELERATOR_TYPE',
    accelerator_count='ACCELERATOR_COUNT',
    boot_disk_type: 'BOOT_DISK_TYPE',
    boot_disk_size_gb: 'BOOT_DISK_SIZE',
    network: 'NETWORK',
    reserved_ip_ranges: 'RESERVED_IP_RANGES',
    nfs_mounts: 'NFS_MOUNTS'
    persistent_resource_id: 'PERSISTENT_RESOURCE_ID'
)

# Define a pipeline that runs the custom training job
@dsl.pipeline(
  name="resource-spec-request",
  description="A simple pipeline that requests a Google Cloud machine resource",
  pipeline_root='PIPELINE_ROOT',
)
def pipeline():
  training_job_task = custom_training_job(
      project='PROJECT_ID',
      location='LOCATION',
  ).set_display_name('training-job-task')

更改下列內容:

  • DISPLAY_NAME:自訂工作的名稱。如未指定名稱,系統預設會使用元件名稱。

  • MACHINE_TYPE:用於執行自訂作業的機器類型,例如 e2-standard-4。如要進一步瞭解機器類型,請參閱機器類型。如果您將 TPU 指定為 accelerator_type,請將此值設為 cloud-tpu。 詳情請參閱 machine_type 參數參考資料

  • ACCELERATOR_TYPE:附加至機器的加速器類型。如要進一步瞭解可用的 GPU 和設定方式,請參閱「GPU」。如要進一步瞭解可用的 TPU 類型和設定方式,請參閱「TPU」。 詳情請參閱 accelerator_type 參數參考資料

  • ACCELERATOR_COUNT:附加至執行自訂工作的機器的加速器數量。如果您指定加速器類型,加速器數量預設會設為 1

  • BOOT_DISK_TYPE:開機磁碟類型。詳情請參閱 boot_disk_type 參數參考資料

  • BOOT_DISK_SIZE:開機磁碟的大小,單位為 GB。詳情請參閱 boot_disk_size_gb 參數參考資料

  • NETWORK:如果自訂工作與已設定私人服務連線的 Compute Engine 網路對等互連,請指定網路的完整名稱。詳情請參閱 network 參數參考資料

  • RESERVED_IP_RANGES:用於部署自訂作業的虛擬私有雲網路中,保留的 IP 範圍名稱清單。詳情請參閱 reserved_ip_ranges 參數參考資料

  • NFS_MOUNTS:JSON 字典格式的 NFS 掛接資源清單。詳情請參閱 nfs_mounts 參數參考資料

  • PERSISTENT_RESOURCE_ID (預覽版):要執行管道的持續性資源 ID。如果您指定永久資源,管道會在與永久資源相關聯的現有機器上執行,而不是在隨選和短期機器資源上執行。請注意,管道的網路和 CMEK 設定必須與為持續性資源指定的設定相符。如要進一步瞭解永久資源和建立方式,請參閱「建立永久資源」。

  • PIPELINE_ROOT:指定管道服務帳戶可存取的 Cloud Storage URI。管道執行作業的構件會儲存在管道根目錄中。

  • PROJECT_ID:這個管道執行的 Google Cloud 專案。

  • LOCATION:管道執行的位置或區域。

API 參考資料

如需 create_custom_training_job_from_component 方法支援的引數完整清單,請參閱 Google Cloud Pipeline Components SDK 參考資料