Hugging Face 提供預先訓練模型、微調指令碼和開發用 API，讓您更輕鬆地建立及探索 LLM。Model Garden可以提供 Hugging Face 的文字嵌入、文字轉圖像、文字生成和圖像文字轉文字模型。
Hugging Face 模型的部署選項
您可以在 Gemini Enterprise Agent Platform 或 Google Kubernetes Engine (GKE) 中部署支援的 Hugging Face 模型。選擇的部署選項取決於您使用的模型，以及您希望對工作負載的控管程度。
在 Gemini Enterprise Agent Platform 中部署
Gemini Enterprise Agent Platform 提供代管平台，讓您建構及擴充機器學習專案，不必具備內部 MLOps 專業知識。您可以將 Gemini Enterprise Agent Platform 做為下游應用程式，提供 Hugging Face 模型。如果您需要端對端 MLOps 功能、加值 ML 功能，以及簡化開發作業的無伺服器體驗，建議使用 Gemini Enterprise Agent Platform。
如要在 Gemini Enterprise Agent Platform 中部署支援的 Hugging Face 模型，請前往 Model Garden。
前往「Hugging Face 中的開放原始碼模型」部分，然後按一下「顯示更多」。
尋找並選取要部署的模型。
選用：在「部署環境」部分，選取「Gemini Enterprise Agent Platform」。
選用：指定部署作業詳細資料。
點選「Deploy」(部署)。
如要開始使用，請參閱下列範例：
- 部分模型有詳細的模型資訊卡，且部署設定經過 Google 驗證，例如 google/gemma-3-27b-it、meta-llama/Llama-4-Scout-17B-16E-Instruct、Qwen/QwQ-32B、BAAI/bge-m3、intfloat/multilingual-e5-large-instruct、black-forest-labs/FLUX.1-dev 和 HuggingFaceFW/fineweb-edu-classifier。
- 部分模型已通過 Google 驗證部署設定，但沒有詳細的模型資訊卡，例如 NousResearch/Genstruct-7B。
- 部分模型會自動產生部署設定。
- 部分模型會根據模型中繼資料自動生成部署設定，例如文字生成、文字嵌入、文字轉圖像生成和圖像文字轉文字的最新熱門模型。
在 GKE 中部署
Google Kubernetes Engine (GKE) 是代管 Kubernetes 的 Google Cloud 解決方案，可提供擴充性、安全性、復原能力和成本效益。如果您已投資 Kubernetes、貴機構具備內部 MLOps 專業知識，或是需要精細控管複雜的 AI/機器學習工作負載，且有獨特的安全性、資料管道和資源管理需求，建議選用這個選項。
如要在 GKE 中部署支援的 Hugging Face 模型，請前往 Model Garden。
前往「Hugging Face 中的開放原始碼模型」部分，然後按一下「顯示更多」。
尋找並選取要部署的模型。
在「部署環境」部分，選取「GKE」。
按照部署指示操作。
如要開始使用，請參閱下列範例：
- 部分模型提供詳細的模型資訊卡和經過驗證的部署設定，例如 google/gemma-3-27b-it、meta-llama/Llama-4-Scout-17B-16E-Instruct 和 Qwen/QwQ-32B。
- 部分模型已驗證部署設定，但沒有詳細的模型資訊卡，例如 NousResearch/Genstruct-7B。
「由 Gemini Enterprise Agent Platform 支援」是什麼意思？
我們會自動將最新、最熱門的 Hugging Face 模型新增至 Model Garden。這個程序包括自動為每個模型產生部署設定。
為解決有關漏洞和惡意程式碼的疑慮，我們每天都會使用 Hugging Face 惡意軟體掃描器，評估每個 Hugging Face 模型存放區中檔案的安全性。如果模型存放區遭檢舉含有惡意軟體，我們會立即從 Hugging Face 藝廊頁面移除該模型。
模型支援 Gemini Enterprise Agent Platform，表示該模型已通過測試，可部署至 Gemini Enterprise Agent Platform，但我們無法保證模型沒有安全漏洞或惡意程式碼。建議您先自行進行安全驗證，再將任何模型部署到正式版環境。
根據特定用途調整部署設定
一鍵部署選項提供的預設部署設定無法滿足所有需求，因為用途廣泛，且延遲、輸送量、成本和準確度等方面的優先順序各不相同。
因此，您可以先透過一鍵部署功能進行實驗，建立基準，然後使用 Colab 筆記本 (vLLM、TGI、TEI、HF pytorch 推論) 或 Python SDK，微調部署設定。這種疊代方法可讓您根據確切需求調整部署作業，為特定應用程式爭取最佳效能。
如果 Model Garden 未列出您想要的模型，該怎麼辦？
如果想找的模型未列在 Model Garden 中，表示 Gemini Enterprise Agent Platform 不支援該模型。請參閱下列章節，瞭解原因和解決方法。
為什麼沒有列出型號？
模型可能未出現在 Model Garden 的原因如下：
- 並非熱門趨勢模型：我們通常會優先處理廣受歡迎且社群興趣濃厚的大型模型。
- 尚未相容：模型可能無法搭配支援的服務容器運作。舉例來說，
text-generation和image-text-to-text模型適用的 vLLM 容器。 - 不支援的管道工作：模型有我們目前尚未完全支援的工作。我們支援下列工作：
text-generation、text2text-generation、text-to-image、feature-extraction、sentence-similarity和image-text-to-text。
有哪些選項？
您仍可使用 Model Garden 未提供的模型：
- 使用 Colab 筆記本自行部署：我們提供下列 Colab 筆記本：(vLLM、TGI、TEI、HF pytorch 推論)，可彈性部署模型並自訂設定，讓您完全掌控整個程序。
- 提交功能要求：與支援工程師合作，透過 Model Garden 提交功能要求，或參閱 Vertex 生成式 AI 支援頁面取得其他協助。
- 留意最新消息：我們會定期在 Model Garden 中新增模型。 你需要的模型可能在未來推出，請定期回來查看！