自行部署的模型總覽

您可以在 Gemini Enterprise Agent Platform 上,透過 Model Garden 自行部署及提供開放原始碼、合作夥伴和自訂模型。與模型即服務 (MaaS) 產品不同,自行部署的模型會在您的專案和 VPC 網路中安全執行,讓您完全控管部署環境。MaaS 產品是無伺服器服務,不需要手動部署。 Google Cloud

自行部署開放式模型

開放式模型提供各種 AI 工作預先訓練的功能,包括擅長多模態處理的 Gemma 模型。這些模型可免費使用,只要遵守授權條款,就能自由發布模型輸出內容。Gemini Enterprise Agent Platform 提供開放權重和開放原始碼模型。

透過 Gemini Enterprise Agent Platform 使用開放式模型時,您會使用 Gemini Enterprise Agent Platform 做為基礎架構。您也可以搭配其他基礎架構產品使用開放式模型,例如 PyTorch 或 Jax。

開放權重模型

許多開放模型都屬於開放權重大型語言模型 (LLM)。開放權重模型比非開放權重模型更透明。模型的權重是儲存在模型類神經網路架構中的數值,代表模型從訓練資料中學到的模式和關係。開放權重模型會發布預先訓練的參數或權重。您可以使用開放權重模型進行推論和微調。 例如原始資料集、模型架構和訓練程式碼等詳細資料,不一定會提供。

開放原始碼模型

開放模型與開放原始碼 AI 模型不同。開放模型通常會公開權重和所學模式的核心數字表示法,但不一定會提供完整原始碼或訓練詳細資料。另一方面,開放原始碼模型通常會公開整個程式碼集,包括訓練指令碼和資料。提供權重可提升 AI 模型透明度,讓您瞭解模型功能,不必自行建構模型。

自行部署的合作夥伴模型

透過 Model Garden,您可以向合作夥伴購買及管理模型授權,這些合作夥伴提供專有模型做為自行部署選項。您可以透過 Cloud Marketplace 存取這些模型。取得授權後,您可以選擇在隨選硬體上部署,或使用現有的 Compute Engine 預留項目和承諾用量折扣來管理費用。使用自行部署的合作夥伴模型時,系統會針對模型用量和所用的基礎 Gemini Enterprise Agent Platform 基礎架構收費。

如要要求使用自行部署的合作夥伴模型,請按照下列步驟操作:

  1. 前往 Model Garden 控制台
  2. 找出相關的合作夥伴模式。
  3. 按一下「啟用」並填寫表單,取得必要的商業用途授權。

如要進一步瞭解如何部署及使用合作夥伴模型,請參閱「部署合作夥伴模型並提出預測要求」。

注意事項

使用自行部署的合作夥伴模型時,請注意下列事項:

  • 權重匯出:與部分開放模型不同,您無法匯出自建合作夥伴模型的權重。
  • 端點類型:這些部署作業只支援共用公開端點類型。

進一步瞭解 Gemini Enterprise Agent Platform 的自行部署模型