Gemini Enterprise Agent Platform 支援的 RAG Engine 模型

本頁面列出 Agent Platform 上的 Gemini 模型、自行部署的模型，以及具有受管理 API 的模型，這些模型支援 Gemini Enterprise Agent Platform 的 RAG Engine。

Gemini 模型

下列模型支援 RAG 引擎：

按一下即可展開支援的機型

如果 Gemini 模型使用 Gemini Enterprise Agent Platform 的 RAG Engine，則不支援微調 Gemini 模型。

自行部署的模型

Gemini Enterprise Agent Platform 的 RAG 引擎支援 Model Garden 中的所有模型。

搭配使用 RAG Engine 與自行部署的開放式模型端點。

取代程式碼範例中使用的變數：

  • PROJECT_ID：專案 ID。
  • LOCATION：處理要求的區域。

  • ENDPOINT_ID：端點 ID。

      # Create a model instance with your self-deployed open model endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID",
      tools=[rag_retrieval_tool]
  )

Agent Platform 上的代管 API 模型

Agent Platform 上支援 RAG Engine 的受管理 API 模型包括：

以下程式碼範例示範如何使用 Gemini GenerateContent API 建立生成模型執行個體。模型 ID /publisher/meta/models/llama-3.1-405B-instruct-maas 位於模型資訊卡中。

取代程式碼範例中使用的變數：

  • PROJECT_ID：專案 ID。
  • LOCATION：處理要求的區域。

  • RAG_RETRIEVAL_TOOL：您的 RAG 檢索工具。

      # Create a model instance with Llama 3.1 MaaS endpoint
  rag_model = GenerativeModel(
      "projects/PROJECT_ID/locations/LOCATION/publisher/meta/models/llama-3.1-405B-instruct-maas",
      tools=RAG_RETRIEVAL_TOOL
  )

下列程式碼範例說明如何使用 OpenAI 相容的 ChatCompletions API 生成模型回應。

取代程式碼範例中使用的變數：

  • PROJECT_ID：專案 ID。
  • LOCATION：處理要求的區域。
  • MODEL_ID：用於生成內容的 LLM 模型。例如：meta/llama-3.1-405b-instruct-maas。
  • INPUT_PROMPT：傳送至 LLM 的文字，用於生成內容。使用與 Agent Search 中的文件相關的提示。
  • RAG_CORPUS_ID：RAG 語料庫資源的 ID。
  • ROLE：您的角色。
  • USER：您的使用者名稱。

  • CONTENT：您的內容。

      # Generate a response with Llama 3.1 MaaS endpoint
  response = client.chat.completions.create(
      model="MODEL_ID",
      messages=[{"ROLE": "USER", "content": "CONTENT"}],
      extra_body={
          "extra_body": {
              "google": {
                  "vertex_rag_store": {
                      "rag_resources": {
                          "rag_corpus": "RAG_CORPUS_ID"
                      },
                      "similarity_top_k": 10
                  }
              }
          }
      },
  )

後續步驟