從 Kubeflow Pipelines 遷移至 Gemini Enterprise Agent Platform Pipelines

如果您有建構 Kubeflow 管道的經驗,請務必瞭解 Agent Platform Pipelines 與 Kubeflow Pipelines 的差異。

資料傳遞 (輸入/輸出)

網域專屬語言 (DSL) 版本使用情形

  • Agent Platform Pipelines 可以執行使用 TFX v0.30.0 以上版本 Kubeflow Pipelines SDK v2 網域專屬語言 (DSL) 建構的 pipeline。

    Kubeflow Pipelines SDK v2 DSL 適用於 Kubeflow Pipelines SDK v1.6 以上版本。

    Kubeflow Pipelines 可以執行使用 Kubeflow Pipelines SDK 建構的管道。Kubeflow Pipelines 1.6 以上版本也可以執行使用 Kubeflow Pipelines SDK v2 DSL 建構的管道。

儲存空間

  • Kubeflow Pipelines 和 Agent Platform Pipelines 的儲存空間處理方式不同。在 Kubeflow Pipelines 中,您可以運用永久磁碟區要求等 Kubernetes 資源。在 Agent Platform Pipelines 中,資料會儲存在 Cloud Storage,並使用 Cloud Storage FUSE 掛接到元件。

    在 Agent Platform Pipelines 中,您可以使用 Google Cloud 服務提供資源,例如,您可以使用 Cloud Storage FUSE,在管線步驟中將 Cloud Storage bucket 存取為掛接的磁碟區。如果 Cloud Storage URI 為 gs://example-bucket/example-pipeline,則管線元件的容器可以使用 Cloud Storage FUSE,以 /gcs/example-bucket/example-pipeline 路徑存取該 URI。

  • 使用 Agent Platform Pipelines 執行管道時,必須在 @pipeline 註解中指定管道根目錄,或在建立管道執行作業時指定。

    在 Kubeflow Pipelines 中,指定管道根目錄是選用步驟。管道執行的構件預設會使用 MinIO 儲存。

Agent Platform Pipelines 不支援的功能

  • Agent Platform Pipelines 不支援下列 Kubeflow Pipelines 功能。

    • 快取到期:在 Kubeflow Pipelines 中,您可以使用 Kubeflow Pipelines SDK v1 DSL,指定快取元件執行作業在一段時間後到期。

      使用 Kubeflow Pipelines SDK v2 DSL 時,無法指定元件執行作業在一段時間後到期。

      在 Agent Platform Pipelines 中,使用 create_run_from_job_spec 執行管道時,可以透過 enable_caching 引數指定這個管道執行作業不使用快取。

    • 遞迴:在 Kubeflow Pipelines 中,您可以指定遞迴呼叫的管道元件。

      Agent Platform Pipelines 不支援以遞迴方式呼叫的管道元件。