從 Model Garden 部署開放式模型

您可以在 Model Garden 自行部署開放模型。自行部署的模型並非無伺服器模型，必須先部署至 Gemini Enterprise Agent Platform 才能使用。這些模型會安全地部署在您的 Google Cloud 專案和虛擬私有雲網路中。如要進一步瞭解自行部署的模型，請參閱自行部署的模型說明文件。

如要瞭解如何部署合作夥伴模型，請參閱「從 Model Garden 部署合作夥伴模型」。

可自行部署的開放模型

Model Garden 中的開放模型可能以代管 API (MaaS) 和可自行部署的模型形式提供。如果特定模型同時提供這兩種服務，代管 API 的模型資訊卡名稱會包含「API 服務」，可自行部署的模型則不會。

列出模型

如要取得可自行部署的開放模型清單，請按照下列步驟操作：

  1. 前往 Model Garden。

    前往 Model Garden

  2. 在「功能」篩選器中，選取「開放模型」和「一鍵部署」。

可部署模型

找出要部署的開放模型後，即可使用一鍵部署功能，將模型部署至 Gemini Enterprise Agent Platform 端點。您可以使用 Google Cloud 控制台或 Agent Platform SDK for Python，按一下即可部署模型。

控制台

如要在 Google Cloud 控制台中部署模型，請執行下列步驟：

  1. 前往 Model Garden。

    前往 Model Garden

  2. 找出並點選要使用的模型資訊卡。

  3. 按一下 [Deploy model] (部署模型)。

  4. 按照操作說明設定部署作業。

  5. 點選「Deploy」(部署)。

Python

下列範例說明如何使用 Python 適用的 Agent Platform SDK 部署模型。

import vertexai
from vertexai import model_garden

vertexai.init(project="PROJECT_ID", location="asia-south2")

model = model_garden.OpenModel("meta/llama3-3@llama-3.3-70b-instruct-fp8")
endpoint = model.deploy(
  accept_eula=True,
  machine_type="a3-ultragpu-8g",
  accelerator_type="NVIDIA_H200_141GB",
  accelerator_count=8,
  serving_container_image_uri="us-docker.pkg.dev/deeplearning-platform-release/vertex-model-garden/tensorrt-llm.cu128.0-18.ubuntu2404.py312:20250605-1800-rc0",
  endpoint_display_name="llama-3-3-70b-instruct-fp8-mg-one-click-deploy",
  model_display_name="llama-3-3-70b-instruct-fp8-1752269273562",
  use_dedicated_endpoint=True,
)

部署使用自訂權重的模型

您可以在 Model Garden 中，從 Cloud Storage bucket 部署自訂權重的支援模型。如要進一步瞭解如何使用自訂權重部署模型，請參閱「使用自訂權重部署模型」。您可以使用 Google Cloud 控制台、Google Cloud CLI、Agent Platform API 或 Agent Platform SDK for Python，部署自訂權重。

後續步驟