Gemini Enterprise Agent Platform 提供多種方式，可在 Google Cloud中提供開放式大型語言模型，包括 Llama、DeepSeek、Mistral 和 Qwen。這份文件將概略說明 Gemini Enterprise Agent Platform 的開放模型服務，協助您根據用途選擇合適的選項。
放送選項
Gemini Enterprise Agent Platform 提供下列開放模型服務選項。這些選項都提供高可用性，且預設包含 Google Cloud 安全性最佳做法：
- 模型即服務 (MaaS)：使用無伺服器代管 API 提供開放模型。
- Model Garden 中自行部署的模型： 使用一鍵部署或自訂權重，從 Model Garden 部署開放模型。
- Gemini Enterprise Agent Platform 預先建構的容器映像檔：使用熱門服務架構 (例如 vLLM、Hex-LLM 和 TGI) 的預先建構容器，提供開放原始碼模型。
- 自訂 vLLM 容器：可讓您建構及部署自己的自訂 vLLM 容器，享有更高的彈性。
何時使用 MaaS
在下列情況下，建議使用 MaaS：
- 快速開發和原型設計：MaaS 可協助您快速將大型語言模型功能整合至應用程式。這對於初步探索、快速原型設計，以及快速上市是主要目標的情況特別有用。
- 減少管理作業負擔：如果團隊想專注於應用程式邏輯，而非基礎架構管理，請選擇 MaaS。Google 會處理所有 GPU/TPU 佈建、調度和維護作業，讓團隊專注於應用程式開發，不必擔心 MLOps 或 DevOps。
- 流量不穩定：即付即用模式支援實驗性工作負載或應用程式，這些工作負載或應用程式的流量模式無法預測，且會突然暴增。
- 現成使用：如果應用程式需要穩定效能，但不需要深入自訂基礎模型或服務堆疊，請使用代管 API。
- 安全與法規遵循：企業可透過 MaaS 使用 Google Cloud內建的企業級安全與法規遵循功能。
- 標準模型使用：如果標準的非自訂基礎模型符合需求，即可使用 MaaS。
在 Model Garden 中使用自行部署的模型
您可以從 Model Garden 部署，並使用預建或自訂容器。在下列主要情境中，請考慮自行部署：
- 自訂權重和微調模型：如果應用程式需要使用自訂權重或微調模型，自行部署是最佳選擇，可更彈性地部署符合特定需求的模型。您也可以建構及部署自己的自訂服務容器。舉例來說，如果模型需要獨特的預先處理或後續處理邏輯，請使用這個選項。
- 可預測的高流量工作負載：對於流量可預測且高的正式版應用程式，自行部署是經濟實惠的策略性選項。雖然前期工程投資較高，但由於大規模最佳化每權杖成本，應用程式生命週期的總持有成本 (TCO) 可能會較低。
- 精細控管基礎架構：如需選擇特定硬體設定來微調效能和預算，請使用自行部署功能。包括選取確切的機器類型、GPU (例如 NVIDIA L4 或 H100) 或 TPU，以及最佳化服務架構。
- 嚴格的安全性和法規遵循：這種做法支援必須遵守特定資料駐留政策，或禁止使用多租戶代管服務的嚴格法規的應用程式。您可以在自己的 Google Cloud 專案和虛擬私有雲網路中安全部署模型，完全掌控資料路徑。
- 精細的位置控制：專屬端點可讓您在所有區域的任何 Compute Engine 加速器上部署 Google Cloud 。
預先建立容器的使用時機
在下列情況下，建議使用 Gemini Enterprise Agent Platform 預先建構的容器：
- 效能最佳化：Gemini Enterprise Agent Platform 會針對 vLLM 等架構最佳化及自訂預先建構的容器，以提升效能、可靠性，並在 Google Cloud中完美整合。
- 易於使用：使用 vLLM、Hex-LLM、SGLang、TGI 或 TensorRT-LLM 等熱門服務架構提供模型，不必自行建構及維護容器映像檔。
何時該使用自訂 vLLM 容器
在下列情況下，建議您建構及使用自己的自訂容器：
- 最大彈性：現有的服務選項和預先建構的容器無法滿足您的需求，且您需要完全控管容器映像檔，包括依附元件和設定。
- 自訂服務邏輯：模型需要預先建構容器不支援的獨特前處理或後處理步驟。