您可以設定無伺服器訓練工作,將網路檔案系統 (NFS) 共用區掛接至執行程式碼的容器。這樣一來,工作就能像存取本機檔案一樣存取遠端檔案,實現高處理量和低延遲。
本指南說明如何在執行無伺服器訓練工作時,掛接網路檔案系統共用區。
事前準備
在虛擬私有雲 (VPC) 中建立 NFS 共用區。共用項目必須不需驗證即可存取。
您可以使用 Filestore 或 Google Cloud NetApp Volumes 等第一方代管 NFS 服務做為 NFS 共用區。如果您使用 Filestore,並打算在下一個步驟中,將虛擬私有雲對接用於 Gemini Enterprise Agent Platform,請在建立執行個體時,選取「私人服務存取權」做為連線模式。如需範例,請參閱 Filestore 說明文件中的「建立執行個體」。
如要將 Gemini Enterprise Agent Platform 連線至託管 NFS 共用區的虛擬私有雲,請按照「使用 Gemini Enterprise Agent Platform 的 Private Service Connect 介面」(建議) 或「設定虛擬私有雲網路對接」中的操作說明進行。
無伺服器訓練的網路檔案系統資訊
建立無伺服器訓練工作並掛接 NFS 共用區時,必須指定下列項目:
Gemini Enterprise Agent Platform 要存取的網路名稱。指定網路名稱的方式會因無伺服器訓練工作的類型而異。詳情請參閱「執行無伺服器訓練」。
WorkerPoolSpec 欄位中的 NFS 設定。請加入下列欄位:
欄位 說明 nfsMounts.serverNFS 伺服器的 IP 位址。這必須是虛擬私有雲中的私人位址。 nfsMounts.pathNFS 共用區路徑。這必須是以 /開頭的絕對路徑。nfsMounts.mountPoint本機掛接點。這必須是有效的 UNIX 目錄名稱。舉例來說,如果本機掛接點是 sourceData,請從訓練 VM 執行個體指定路徑/mnt/nfs/sourceData。詳情請參閱「指定運算資源的位置」。
範例:使用 gcloud CLI 建立自訂工作
請按照「為預先建構的容器建立 Python 訓練應用程式」中的步驟操作,建構要在 Gemini Enterprise Agent Platform 執行的訓練應用程式。
建立名為
config.yaml的檔案,說明訓練工作的 PSA 或 Private Service Connect 介面設定掛接設定。請使用下列其中一種格式:
Private Service Connect 介面
如要使用 Private Service Connect 介面,請按照下列步驟操作:
pscInterfaceConfig: network_attachment: NETWORK_ATTACHMENT_NAME workerPoolSpecs: - machineSpec: machineType: MACHINE_TYPE replicaCount: 1 pythonPackageSpec: executorImageUri: PYTHON_PACKAGE_EXECUTOR_IMAGE_URI or PRE_BUILT_CONTAINER_IMAGE_URI packageUris: - PYTHON_PACKAGE_URIS pythonModule: PYTHON_MODULE nfsMounts: - server: NFS_SERVER_IP path: NFS_SHARE_NAME mountPoint: LOCAL_FOLDER更改下列內容:
NETWORK_ATTACHMENT_NAME:網路連結的名稱。
MACHINE_TYPE:虛擬機器類型的 ID。
PYTHON_PACKAGE_EXECUTOR_IMAGE_URI 或 PRE_BUILT_CONTAINER_IMAGE_URI:Artifact Registry 中容器映像檔的 URI,會執行提供的 Python 套件。Gemini Enterprise Agent Platform 提供多種預先安裝套件的執行器映像檔,可滿足使用者的各種用途。
PYTHON_PACKAGE_URIS:以半形逗號分隔的 Cloud Storage URI 清單,指定構成訓練程式及其依附套件的 Python 套件檔案。套件 URI 數量上限為 100 個。
PYTHON_MODULE:安裝套件後要執行的 Python 模組名稱。
NFS_SERVER_IP:NFS 伺服器的 IP 位址。
NFS_SHARE_NAME:NFS 共用區路徑,這是以
/開頭的絕對路徑。LOCAL_FOLDER:本機掛接點 (UNIX 目錄名稱)。
請確認網路名稱格式正確,且 NFS 共用區位於指定網路。
建立自訂工作,並將
config.yaml檔案傳遞至--config參數。gcloud ai custom-jobs create \ --region=LOCATION \ --display-name=JOB_NAME \ --config=config.yaml更改下列內容:
LOCATION:指定要建立工作的區域。
JOB_NAME:自訂工作的名稱。
虛擬私有雲對等互連
如要讓工作使用虛擬私有雲對接/PSA,請使用虛擬私有雲對接。
network: projects/PROJECT_NUMBER/global/networks/NETWORK_NAME workerPoolSpecs: - machineSpec: machineType: MACHINE_TYPE replicaCount: 1 pythonPackageSpec: executorImageUri: PYTHON_PACKAGE_EXECUTOR_IMAGE_URI or PRE_BUILT_CONTAINER_IMAGE_URI packageUris: - PYTHON_PACKAGE_URIS pythonModule: PYTHON_MODULE nfsMounts: - server: NFS_SERVER_IP path: NFS_SHARE_NAME mountPoint: LOCAL_FOLDER更改下列內容:
PROJECT_NUMBER: Google Cloud 專案的專案 ID。
NETWORK_NAME:私人或 Shared VPC 的名稱。
MACHINE_TYPE:虛擬機器類型的 ID。
PYTHON_PACKAGE_EXECUTOR_IMAGE_URI or PRE_BUILT_CONTAINER_IMAGE_URI:Artifact Registry 中容器映像檔的 URI,用於執行提供的 Python 套件。Gemini Enterprise Agent Platform 提供多種預先安裝套件的執行器映像檔,可滿足使用者的各種用途。
PYTHON_PACKAGE_URIS:以半形逗號分隔的 Cloud Storage URI 清單,指定構成訓練程式及其依附套件的 Python 套件檔案。套件 URI 數量上限為 100 個。
PYTHON_MODULE:安裝套件後要執行的 Python 模組名稱。
NFS_SERVER_IP:NFS 伺服器的 IP 位址。
NFS_SHARE_NAME:NFS 共用區路徑,這是以
/開頭的絕對路徑。LOCAL_FOLDER:本機掛接點 (UNIX 目錄名稱)。
請確認網路名稱格式正確,且 NFS 共用區位於指定網路。
建立自訂工作,並將
config.yaml檔案傳遞至--config參數。gcloud ai custom-jobs create \ --region=LOCATION \ --display-name=JOB_NAME \ --config=config.yaml
更改下列內容:
LOCATION:指定要建立工作的區域。
JOB_NAME:自訂工作的名稱。
限制
您必須使用虛擬私有雲內部的 IP 位址掛接 NFS 共用區,不得使用公開網址。
訓練工作會在未經驗證的情況下掛接 NFS 共用區,如果需要使用者名稱和密碼,則會失敗。
為保護資料安全,請設定 NFS 共用區的權限。如果您使用 Filestore,請參閱 Filestore 說明文件中的存取控管。
您無法同時執行兩項訓練工作,從不同的虛擬私有雲網路掛接 NFS 共用區。這是因為網路對等互連限制。