本文說明如何使用預先建構的容器映像檔，在 Gemini Enterprise Agent Platform 上部署及提供開放模型。Gemini Enterprise Agent Platform 提供熱門服務架構的預先建構容器，例如 vLLM、Hex-LLM 和 SGLang，並支援 Hugging Face Text Generation Inference (TGI)、Text Embeddings Inference (TEI)、Inference Toolkit (透過Google Cloud Hugging Face PyTorch Inference Containers) 和 Tensor-RT-LLM 容器，可在 Gemini Enterprise Agent Platform 上提供支援的模型。
vLLM 是開放原始碼程式庫，可快速推論及提供大型語言模型 (LLM)。Gemini Enterprise Agent Platform 使用經過最佳化及自訂的 vLLM 版本。這個版本專為提升效能、可靠性及在 Google Cloud中完美整合而設計。您可以使用 Gemini Enterprise Agent Platform 的自訂 vLLM 容器映像檔，在 Gemini Enterprise Agent Platform 上提供模型。預先建構的 vLLM 容器可從 Hugging Face 或 Cloud Storage 下載模型。如要進一步瞭解如何使用 Gemini Enterprise Agent Platform 預先建構的 vLLM 容器映像檔提供模型，請參閱「使用 Gemini Enterprise Agent Platform 預先建構的 vLLM 容器映像檔提供模型」。
範例筆記本
下列筆記本示範如何使用 Gemini Enterprise Agent Platform 預先建構的容器，提供模型服務。如需更多範例筆記本，請前往 GitHub 存放區，查看 Gemini Enterprise Agent Platform 範例。
| 筆記本名稱 | 說明 | 直接連結 (GitHub/Colab) |
|---|---|---|
| Gemini Enterprise Agent Platform Model Garden - Gemma 3 (部署) | 示範如何使用 vLLM 在 GPU 上部署 Gemma 3 模型。 | 前往 GitHub 查看 |
| Gemini Enterprise Agent Platform Model Garden - Serve Multimodal Llama 3.2 with vLLM | 使用 vLLM 預先建構的容器部署多模態 Llama 3.2 模型。 | 前往 GitHub 查看 |
| Gemini Enterprise Agent Platform Model Garden - Hugging Face 文字生成推論部署 | 示範如何使用 Hugging Face 的 Text Generation Inference (TGI) 部署 Gemma-2-2b-it 模型 | 前往 GitHub 查看 |
| Gemini Enterprise Agent Platform Model Garden - Hugging Face 文字嵌入推論部署 | 示範如何使用 Hugging Face 的 Text Embeddings Inference (TEI)，部署 nomic-ai/nomic-embed-text-v1 | 前往 GitHub 查看 |
| Gemini Enterprise Agent Platform Model Garden - Hugging Face PyTorch 推論部署 | 示範如何使用 Hugging Face PyTorch Inference 部署 distilbert/distilbert-base-uncased-finetuned-sst-2-english | 前往 GitHub 查看 |
| Gemini Enterprise Agent Platform Model Garden - DeepSeek 部署作業 | 示範如何使用 vLLM、SGLang 或 TensorRT-LLM 提供 DeepSeek 模型 | 前往 GitHub 查看 |
| Gemini Enterprise Agent Platform Model Garden - Qwen3 部署作業 | 示範如何使用 SGLang 提供 Qwen3 模型 | 前往 GitHub 查看 |
| Gemini Enterprise Agent Platform Model Garden - Gemma 3n 部署作業 | 示範如何使用 SGLang 提供 Gemma3n 模型服務 | 前往 GitHub 查看 |
| Gemini Enterprise Agent Platform Model Garden 深入探討：使用 Hex-LLM 部署 Llama 3.1 和 3.2 | 示範如何使用 Gemini Enterprise Agent Platform Model Garden，在 TPU 上透過 Hex-LLM 部署 Llama 3.1 和 3.2 模型 | 前往 GitHub 查看 |