Gemini Enterprise Agent Platform 的代管訓練叢集是 Google Cloud 提供的服務，旨在簡化及加速最大、最複雜的 AI/機器學習工作負載。這項服務專為解決大規模訓練的難題而設計，例如複雜的叢集設定、架構最佳化、處理硬體故障，以及整合不同的工具組。
主要價值主張和功能
代管訓練叢集有幾項核心優勢：
開放原始碼 Slurm 使用者體驗和叢集透明度：Managed Training Clusters 提供熟悉且彈性的工具，可透過開放原始碼 Slurm 使用者體驗啟動及管理工作。Slurm 是業界標準，以最佳化 GPU 排程、自動容錯和簡化平行工作啟動而聞名。
自動設定叢集：Managed Training Clusters 會自動設定叢集，目標是在幾小時內從預留階段轉換至正式訓練階段。使用者可以透過 Google Cloud 控制台 (使用參考架構或逐步設定)，或透過 JSON 檔案的 API 呼叫建立叢集。
預先設定的資料科學方案和工作流程：代管訓練叢集包含專門建構的工具和最佳化訓練方案，可快速啟動 Llama 和 Gemma 模型等熱門用途的訓練，涵蓋預先訓練、SFT (監督式微調) 和強化學習 (RL)。這些配方已預先設定，可在 Google CloudInfrastructure 上發揮高效能，大幅提升效能。
硬體韌性和高運作時間：Managed Training Clusters 具備硬體韌性，可提高叢集運作時間。這項服務會自動解決硬體問題、偵測及分類各種故障模式 (例如正確性檢查、速度檢查、錯誤修正碼 (ECC) 錯誤、NVIDIA Data Center GPU Manager (DCGM) 檢查、磁碟空間容量)，並觸發修復動作，例如重新啟動、重新映像或更換故障節點，以及從檢查點繼續執行。這有助於降低大規模訓練中，因工作中斷和硬體故障而導致的成本大幅增加和延遲。
架構和元件：代管訓練叢集在支援 GPU 和 CPU 的 Compute Engine 基礎架構上執行。這項解決方案會運用代管 Slurm 自動調度管理工具，部署及管理運算節點，包括登入和 worker 節點。這項服務可與網路和儲存空間等其他 Google Cloud 服務整合。
MLOps 和觀測能力：與 Gemini Enterprise Agent Platform Model Registry 等 Agent Platform MLOps 工具整合，自動註冊、追蹤及建立訓練工作流程的版本，並透過 Gemini Enterprise Agent Platform Inference 部署，提供自動調度資源和自動指標功能。Managed Training Clusters 也與 Vertex AI TensorBoard 整合，可自動觀測訓練過程、追蹤指標，並及早找出問題。
您可以使用 Gemini Enterprise Agent Platform 訓練叢集 API，建立、擷取、列出、更新及刪除訓練叢集。您也可以在 Google Cloud 控制台中查看叢集，這會為叢集新增 Cloud Monitoring 資訊主頁。建立叢集後，使用者可以登入節點、執行基本 Slurm 指令 (例如 sinfo、sbatch) 和 GPU 相關工作負載 (例如 nvidia-smi)，驗證叢集功能。Slurm Job API 可讓您直接透過 Agent Platform API 管理 Slurm 工作。
Managed Training Clusters 提供 API，可使用 Llama 和 Gemma 等模型的最佳化配方，啟動預先建構的 LLM 工作，支援預先訓練和從檢查點持續預先訓練。如要監控工作，請登入登入節點，並檢查輸出檔案和 Slurm 指令，例如 squeue。
術語
本節定義重要詞彙和概念，有助於您瞭解及有效運用代管訓練叢集。這些術語涵蓋核心服務元件、架構考量、整合式儲存技術，以及訓練環境基礎的機器學習 (ML) 和 MLOps 概念。
核心服務概念
節點
- 叢集中的單一虛擬機器 (Compute Engine 執行個體)。在預留叢集上使用代管訓練時，節點是指叢集內做為單一運算單元的個別虛擬機器 (VM)。您可以將其視為專門執行部分整體訓練工作的 worker 機器。每個節點都配備特定資源，例如 CPU、記憶體和加速器 (例如 A3 或 A4 GPU)，並以協調的方式共同處理大規模的分散式訓練工作。
登入節點
- 登入節點是使用者存取叢集、提交工作和管理檔案的主要進入點。詳情請參閱「什麼是高效能運算？」。
失聯
- 在 Slurm 中，節點的邏輯群組，通常用於區隔具有不同硬體設定的節點。
recipe
- 在代管訓練中，配方是全方位且可重複使用的套件，內含執行特定大規模訓練工作負載所需的一切。
Slurm 叢集
- 由 Slurm 管理的 Compute Engine 執行個體集合，包含登入節點和多個 worker 節點，用於執行訓練工作。詳情請參閱「Slurm Workload Manager」。
worker 節點
- worker 節點是指叢集中的個別機器或運算執行個體，負責執行工作。在 Kubernetes 或 Ray 叢集等系統中，節點是基本的運算單位。詳情請參閱「什麼是高效能運算 (HPC)？」。
架構和網路
用戶虛擬私有雲網路
- 用戶虛擬私有雲網路是 Google Cloud 虛擬私有雲 (VPC)，可私下存取託管於另一個虛擬私有雲 (稱為供應商虛擬私有雲) 的服務。詳情請參閱「Private Service Connect」。
最大傳輸單位 (MTU)
- 網路連線裝置可傳輸的最大資料封包。較大的 MTU 大小 (巨型框架) 可提升特定工作負載的網路效能。詳情請參閱「傳輸單位上限」。
私人服務存取權
- 私人服務存取權可讓虛擬私有雲 (VPC) 網路與 Google 或第三方服務供應商擁有的網路進行私人連線。虛擬私有雲網路中的虛擬機器 (VM) 執行個體，可透過內部 IP 位址與這些服務通訊，避免暴露於公開網際網路。詳情請參閱「私人服務存取權」。
虛擬私有雲網路對等互連
- 可讓兩個虛擬私有雲網路私下通訊的網路連線。在預留叢集上使用代管訓練時，虛擬私有雲網路對接是整合重要服務的關鍵元件。舉例來說，如要將叢集的虛擬私有雲連結至 Filestore 執行個體，就必須使用這個方法，為叢集中的所有節點提供必要的共用「/home」目錄。
zone
- Google Cloud 區域內的特定部署範圍。在預留叢集上使用代管訓練服務時，為達到最佳效能，服務的所有元件 (叢集、Filestore 和 Managed Lustre 執行個體) 都應在同一個可用區建立。
整合式儲存技術
Cloud Storage FUSE
- 開放原始碼 FUSE 轉接器，可讓您在 Linux 或 macOS 系統上，將 Cloud Storage bucket 掛接為檔案系統。詳情請參閱「Cloud Storage Fuse」。
Filestore
- Google Cloud 的全代管高效能檔案儲存服務，通常用於需要共用檔案系統的應用程式。詳情請參閱「Filestore 總覽」。
Managed Lustre
- 專為高效能運算設計的分散式平行檔案系統。Google Cloud 的 Managed Lustre 提供高處理量檔案系統，可處理嚴苛的工作負載。詳情請參閱「Managed Lustre 總覽」。
效能級別
- Managed Lustre 執行個體的設定，可定義處理量速度 (以每 TiB 的 MBps 為單位)，並影響容量下限和上限。
重要機器學習和 MLOps 概念
查核點
- 在訓練期間或訓練完成後，擷取模型參數狀態的資料。舉例來說，在訓練期間，您可以：1. 停止訓練，可能是刻意停止，也可能是因為發生某些錯誤。2. 擷取檢查點。3. 之後再重新載入檢查點，可能是在不同的硬體上。4. 重新開始訓練。在 Gemini 中，查核點是指 Gemini 模型的特定版本，該版本是使用特定資料集訓練而成。
監督式微調 (SFT)
- 一種機器學習技術，使用較小的已標籤資料集進一步訓練預先訓練模型，使其適用於特定工作。
Vertex AI Inference
- Vertex AI 服務，可讓您使用經過訓練的機器學習 (ML) 模型，從未見過的新資料中推論。Vertex AI 提供部署模型以進行推論的服務。詳情請參閱「從自訂訓練模型取得推論」。
Vertex AI Model Registry
- Vertex AI Model Registry 是中央存放區，可用於管理機器學習模型的生命週期。Vertex AI Model Registry 會顯示模型總覽，方便您更妥善地整理、追蹤及訓練新版本。有想部署的模型版本時，可以直接從登錄檔將模型指派給端點，或使用別名將模型部署至端點。詳情請參閱「Vertex AI Model Registry 簡介」。
Vertex AI TensorBoard
- Vertex AI TensorBoard 是 Google Cloud 提供的代管式可擴充服務，可讓數據資料學家和機器學習工程師使用熟悉的開放原始碼 TensorBoard 介面，以圖表呈現機器學習實驗、偵錯模型訓練，以及追蹤成效指標。這項服務與 Vertex AI 訓練 和其他服務完美整合，可為實驗資料提供永久儲存空間，並支援模型開發的協作分析。詳情請參閱「Vertex AI TensorBoard 簡介」。