如果您有建構 Kubeflow 管道的經驗,請務必瞭解 Agent Platform Pipelines 與 Kubeflow Pipelines 的差異。
資料傳遞 (輸入/輸出)
- 從 Kubeflow Pipelines SDK 第 1 版到 Kubeflow Pipelines SDK 第 2 版,使用輸入和輸出傳遞資料的方式有所不同。Kubeflow Pipelines SDK 第 2 版會區分參數和構件,兩者無法相互傳遞。如需更多詳細資訊,請參閱 Kubeflow Pipelines 管道基礎知識和 Kubeflow Pipelines 資料型別。
網域專屬語言 (DSL) 版本使用情形
Agent Platform Pipelines 可以執行使用 TFX v0.30.0 以上版本或 Kubeflow Pipelines SDK v2 網域專屬語言 (DSL) 建構的 pipeline。
Kubeflow Pipelines SDK v2 DSL 適用於 Kubeflow Pipelines SDK v1.6 以上版本。
Kubeflow Pipelines 可以執行使用 Kubeflow Pipelines SDK 建構的管道。Kubeflow Pipelines 1.6 以上版本也可以執行使用 Kubeflow Pipelines SDK v2 DSL 建構的管道。
儲存空間
Kubeflow Pipelines 和 Agent Platform Pipelines 的儲存空間處理方式不同。在 Kubeflow Pipelines 中,您可以運用永久磁碟區要求等 Kubernetes 資源。在 Agent Platform Pipelines 中,資料會儲存在 Cloud Storage,並使用 Cloud Storage FUSE 掛接到元件。
在 Agent Platform Pipelines 中,您可以使用 Google Cloud 服務提供資源,例如,您可以使用 Cloud Storage FUSE,在管線步驟中將 Cloud Storage bucket 存取為掛接的磁碟區。如果 Cloud Storage URI 為
gs://example-bucket/example-pipeline,則管線元件的容器可以使用 Cloud Storage FUSE,以/gcs/example-bucket/example-pipeline路徑存取該 URI。使用 Agent Platform Pipelines 執行管道時,必須在
@pipeline註解中指定管道根目錄,或在建立管道執行作業時指定。在 Kubeflow Pipelines 中,指定管道根目錄是選用步驟。管道執行的構件預設會使用 MinIO 儲存。
Agent Platform Pipelines 不支援的功能
Agent Platform Pipelines 不支援下列 Kubeflow Pipelines 功能。
快取到期:在 Kubeflow Pipelines 中,您可以使用 Kubeflow Pipelines SDK v1 DSL,指定快取元件執行作業在一段時間後到期。
使用 Kubeflow Pipelines SDK v2 DSL 時,無法指定元件執行作業在一段時間後到期。
在 Agent Platform Pipelines 中,使用
create_run_from_job_spec執行管道時,可以透過enable_caching引數指定這個管道執行作業不使用快取。遞迴:在 Kubeflow Pipelines 中,您可以指定遞迴呼叫的管道元件。
Agent Platform Pipelines 不支援以遞迴方式呼叫的管道元件。