快速入門導覽課程：使用 Google Cloud 控制台，透過強化學習微調模型

本頁面將逐步引導您在 Google Cloud 控制台，完成 Gemini 模型強化學習微調的端對端工作流程：建立微調工作、查看工作狀態、擷取微調模型端點，以及對端點執行推論。如要使用 Agent Platform API 完成這些工作，請參閱 API 快速入門導覽課程。

開始之前，請參閱「關於強化學習微調」，瞭解這項功能、支援的模型和支援的地區。

建立強化學習微調工作

如要使用 Google Cloud 控制台建立強化學習微調工作，請按照下列步驟操作：

  1. 在 Google Cloud 控制台，依序前往「Models」(模型)>「Tuning」(調整) 頁面。

    前往「Tuning」(調整)

  2. 按一下「Create tuned model」(建立調整後的模型)。

  3. 在「Model details」(模型詳細資料) 部分，設定下列項目：

    1. 在「調整方法」下方，選取「強化學習微調」。
    2. 在「Tuned model name」(調整後模型名稱) 欄位中，輸入調整後模型的名稱 (例如 my-rl-tuned-model)。
    3. 在「基礎模型」下方，選取「調整基礎模型」。
    4. 在「Base model」(基礎模型) 下拉式選單中，選取要微調的模型 (例如 gemini-3.5-flash)。
    5. 在「Region」(區域) 下拉式選單中，選取調整工作的執行區域 (例如 us-central1 (Iowa))。調整後的模型會透過 us 多區域端點提供。如要查看支援調整和提供服務的完整區域清單，請參閱「支援的模型和區域」一節。
    6. (選用) 展開「Advanced options」(進階選項)，自訂超參數：
      • 訓練週期數：訓練週期數 (例如 15)。
      • 學習率調節係數：用於調整學習率的調節係數 (例如 1.0)。
      • Adapter size：高效參數調整的轉接器大小 (例如 16)。
      • 每個提示詞的樣本數：訓練期間，模型針對每個提示詞生成的候選回覆數量 (例如 16)。
      • 思考程度：推論模型的思考程度 (例如 HIGH)。
      • 批次大小：每個批次的訓練樣本數量 (例如 32)。
      • 查核點間隔：儲存中繼查核點的頻率 (以步驟為單位，例如 5)。
      • 輸出詞元數量上限：每個樣本生成的輸出詞元數量上限 (例如 32768)。
      • 評估間隔：評估作業對驗證資料集執行的頻率 (以步數為單位，例如 5)。
    7. 按一下「繼續」。

  4. 在「Reward configuration」(獎勵設定) 部分，設定一或多個獎勵函式，在訓練期間為模型回覆評分：

    1. 在「Reward name」(獎勵名稱) 欄位中，輸入獎勵函式的專屬名稱 (例如 my_reward_function_name)。監控檢視畫面中發出的指標會以此名稱做為前置字串。
    2. 在「Reward type」(獎勵類型) 下拉式選單中，選取評分器類型：
      • 字串比對獎勵：使用完全比對或規則運算式，比較生成的文字和參考資料。
      • 透過 LLM 提供回饋：使用 Gemini 模型做為自動評分工具，根據評估提示詞為回覆評分。
      • 透過 Python 函式提供回饋：在安全的沙箱中執行自訂 Python 程式碼，評估回覆。
      • 透過 Cloud Run 隨意自訂回饋：呼叫託管於 Cloud Run 的外部 HTTP 端點，評估回覆。

    3. 調整所選獎勵類型的設定。例如，Cloud Run 獎勵：

      • 在「Cloud Run URI」欄位中，輸入已部署服務的 HTTPS URI (例如 https://my.cloud.run.uri)。
      • 在「Parse type」(剖析類型) 欄位中，選取「IDENTITY」。

      或者，如果是字串比對獎勵：

      • 在「Parse type」(剖析類型) 欄位中，選取「REGEX_EXTRACT」或「IDENTITY」。如果選取「REGEX_EXTRACT」，請在「Regex extract expression」(規則運算式擷取運算式) 中輸入規則運算式 (例如 \text{(.*)})。
      • 在「Wrong answer reward」(答錯的獎勵) 欄位中，輸入答錯的懲罰 (例如 -1)。
      • 在「Correct answer reward」(答對獎勵) 欄位中，輸入答對的分數 (例如 1)。
      • 在「String match expression type」(字串比對運算式類型) 下方，選取「String match」(字串比對) 或「JSON match」(JSON 比對)。
      • 在「Match operation」(比對作業) 下拉式選單中，選取比對邏輯 (例如「Exact match」(完全比對))。
      • 在「Expression」(運算式) 欄位中，輸入參照運算式 (例如 references.reference)。

    4. 在「Reward weight」(獎勵權重) 欄位中，輸入這個獎勵函式的相對權重 (例如 1)。

    5. 按一下「完成」。

    6. 選用：如要定義複合獎勵，請按一下「+ Add another reward」(新增其他獎勵)，然後設定其他獎勵函式。您最多可以新增 16 個獎勵函式，並為每個函式指派相對權重。

    7. 按一下「繼續」。

  5. 在「Test reward (Optional)」(測試獎勵 (選用)) 部分，先驗證獎勵設定，再啟動調整工作：

    1. 在「Training Example」(訓練範例) 欄位中，輸入包含 contents 和 references 的 JSON 物件範例。
    2. 在「Sample model response」(模型回覆範例) 欄位中輸入候選回覆，或按一下「Generate from Training Example」(根據訓練範例生成)，使用基礎模型生成回覆範例。
    3. 按一下「Test」。
    4. 驗證測試狀態 (「成功」、「部分成功」(如果複合獎勵中的個別子任務失敗)，或「錯誤：子任務」)，並檢查計算出的分數。按一下「See individual reward information」(查看個別獎勵資訊) (或在子任務回報錯誤時按一下「See debug info」(查看偵錯資訊))，開啟側邊導覽匣，查看各獎勵分數、錯誤訊息和偵錯記錄。
    5. 按一下「繼續」。

  6. 在「Tuning dataset」(調整資料集) 下方，指定儲存在 Cloud Storage 中的資料集檔案：

    1. 在「Training dataset」(訓練資料集) 欄位中，輸入訓練資料集 JSONL 檔案的 Cloud Storage URI (例如 gs://path/to/my/training_dataset.jsonl)。
    2. 在「Validation dataset」(驗證資料集) 欄位中，輸入驗證資料集 JSONL 檔案的 Cloud Storage URI (例如 gs://path/to/my/eval_dataset.jsonl)。
    3. 按一下「Start tuning」(開始調整)。

查看強化學習微調工作狀態

點選「Start tuning」(開始調整) 後，控制台會重新導向至「 Models> Tuning」(模型 > 調整) 頁面。調整工作表格會將新建立的工作顯示在清單頂端附近，並提供下列詳細資料：

  • Model name：您為調整後模型指定的顯示名稱。
  • 狀態：調整工作的目前狀態 (例如「待處理」、「執行中」或「成功」)。
  • 方法：Reinforcement Learning。
  • 基礎模型：基礎模型或預先調整的模型。
  • 「Region」(區域)：調整工作的執行位置。

按一下模型名稱，開啟調整工作詳細資料頁面。這個頁面提供下列分頁：

  • Monitor：顯示調整進度和互動式指標圖表：
    • 調整進度：顯示工作正在執行或已完成。
    • 合併圖表：如果提供驗證資料集，訓練和驗證曲線 (例如 /train_mean_reward 和 /eval_mean_reward) 會一起繪製在同一張圖表上。
    • 可收合的圖表群組：指標圖表會分組，包括一般調整指標 (平均獎勵、生成詞元長度、思考詞元長度、取樣延遲時間和獎勵延遲時間)，以及前置字串為 ${reward_name} 的各獎勵指標。
    • 查核點註解：調整期間儲存的中繼查核點會直接在訓練時間軸的圖表上加上註解。
    • 篩選列：使用篩選列依名稱搜尋指標，或依類別篩選 (Show Category)。篩選後，篩選列會固定在檢視畫面頂端。
    • 查核點表格：列出已儲存的中繼查核點，以及步驟編號和指標值。使用資料欄選取器，選擇要顯示的資料欄。
  • 資料集：顯示資料集詳細資料、對話範例和參考值。
  • 詳細資料：匯總工作設定，包括基礎模型、調整方法、超參數和獎勵設定。按一下獎勵設定資訊卡上的「View details」(查看詳細資料)，即可查看非預設參數值。

如需完整的指標清單和解讀方式，請參閱「指標和監控」頁面。

訓練時間

訓練時間會受到下列因素影響：

視設定而定，Gemini 強化學習微調工作可能需要數小時到數天才能完成。

取得調整後的模型端點

調整工作達到「Succeeded」(成功) 狀態後，模型檢查點會部署至端點。您可以直接在Google Cloud 控制台查看及管理已部署的調整後模型：

  1. 在調整工作詳細資料頁面的標頭中，按一下「View model details」(查看模型詳細資料)。「Model Registry」頁面隨即開啟，並顯示調整後模型的詳細資料。
  2. 在模型詳細資料頁面中，找到「Deploy & test」(部署及測試) 分頁，查看已部署的端點資源路徑 (格式為 projects/{PROJECT_ID}/locations/{LOCATION}/endpoints/{ENDPOINT_ID})。
  3. 或者，您也可以在調整工作詳細資料頁面的「監控」分頁，找到「查核點」表格，查看中繼查核點。您可以獨立部署及評估個別檢查點。

如果調整工作是在 us-central1 執行，調整後的模型會透過 us 多區域端點提供。

對調整後的模型執行推論

如要直接在Google Cloud 控制台測試調整後的模型並執行推論，請按照下列步驟操作：

  1. 在調整工作詳細資料頁面的標頭中，按一下「測試」。

    Agent Studio 會開啟，並預先選取調整後的模型。

  2. 在提示詞欄位中輸入提示詞，例如 "Why is the sky blue?" 或目標領域的問題。

  3. 點選「執行」 (或「傳送」) 生成回覆。

  4. 查看生成輸出內容，評估模型是否符合目標推論風格、格式和獎勵目標。

後續步驟