強化學習微調的指標和監控

本頁面列出強化學習微調工作產生的指標，並說明如何查看工作狀態和結果。

指標

系統會在每個訓練步驟 (針對目前的訓練批次) 和每個評估間隔 (針對整個驗證資料集) 產生下列指標。

獎勵指標

系統會發出下列獎勵指標：

  • /train_mean_reward：目前訓練步驟中，一批樣本的平均獎勵。
  • /eval_mean_reward：整個驗證資料集的平均獎勵。

生成長度指標

系統會發出下列生成長度指標：

  • /train_generation_length：目前訓練步驟中，一批樣本的平均生成長度，以詞元數量表示 (包括思考詞元和非思考詞元)。
  • /eval_generation_length：整個驗證資料集的平均生成長度，以詞元數量表示 (包括思考詞元和非思考詞元)。
  • /train_thinking_token_length：目前訓練步驟中，一批樣本的平均思考詞元長度。
  • /eval_thinking_token_length：整個驗證資料集的平均思考詞元長度。

獎勵延遲時間指標

系統會發出下列獎勵延遲時間指標：

  • /train_mean_reward_latency：在目前訓練步驟中，計算一批樣本獎勵的平均延遲時間。
  • /eval_mean_reward_latency：在整個驗證資料集上計算 獎勵的平均延遲時間。
  • /train_p95_reward_latency：在目前訓練步驟中，計算一批樣本獎勵的 P95 延遲時間。
  • /eval_p95_reward_latency：計算整個驗證資料集獎勵的第 95 百分位數延遲時間。

取樣延遲時間指標

系統會發出下列取樣延遲時間指標：

  • /train_mean_sampling_latency：目前訓練步驟中，對一批樣本取樣的平均延遲時間。
  • /eval_mean_sampling_latency：對整個驗證資料集取樣的平均延遲時間。
  • /train_p95_sampling_latency：目前訓練步驟中，對一批樣本取樣的 P95 延遲時間。
  • /eval_p95_sampling_latency：對整個驗證資料集取樣的 P95 延遲時間。

批次組成指標

系統會發出下列批次組合指標：

  • /learnable_prompt_ratio：實際批次大小除以目前訓練步驟的所有樣本 (包括篩除的樣本)。僅限訓練指標。

每項獎勵的指標 (複合獎勵)

如果是複合獎勵，每項獎勵都會發出一組指標，並加上 ${reward_name} 前置字元。在監控 UI 中，具有相同獎勵名稱的指標會分組在一起，您可以摺疊和展開這些指標：

  • ${reward_name}/train_mean_reward：在目前訓練步驟中，${reward_name} 對一批樣本的平均獎勵。
  • ${reward_name}/eval_mean_reward：${reward_name} 在整個驗證資料集上的平均獎勵。
  • ${reward_name}/train_processing_time：在目前訓練步驟中，計算一批樣本的 ${reward_name} 獎勵時，所需的平均延遲時間。
  • ${reward_name}/eval_processing_time：在整個驗證資料集上，計算 ${reward_name} 獎勵的平均延遲時間。
  • ${reward_name}/train_p95_processing_time：在目前訓練步驟中，計算 ${reward_name} 樣本批次獎勵的 P95 延遲時間。
  • ${reward_name}/eval_p95_processing_time：在整個驗證資料集上，計算 ${reward_name} 獎勵的 P95 延遲時間。
  • ${reward_name}/train_executing_code_failure_ratio：在目前訓練步驟中，計算名為 ${reward_name} 的執行程式碼獎勵時，一批樣本的平均失敗率。僅限執行程式碼獎勵。
  • ${reward_name}/eval_executing_code_failure_ratio：在整個驗證資料集上，計算名為 ${reward_name} 的執行程式碼獎勵時，平均失敗率。僅限執行程式碼獎勵。
  • ${reward_name}/train_rpc_error_ratio：在目前訓練步驟中，計算一批樣本的 ${reward_name} 獎勵時，RPC 失敗率的平均值。適用於執行程式碼、Autorater 和 Cloud Run 獎勵，不適用於字串比對。
  • ${reward_name}/eval_rpc_error_ratio：在整個驗證資料集上，計算名為 ${reward_name} 的獎勵時，RPC 平均失敗率。適用於執行程式碼、Autorater 和 Cloud Run 獎勵，不適用於字串比對。
  • ${reward_name}/train_invalid_rpc_response_ratio：在目前訓練步驟的樣本批次中，名為 ${reward_name} 的獎勵無效 RPC 回應平均比率。適用於執行程式碼、Autorater 和 Cloud Run 獎勵，不適用於字串比對。
  • ${reward_name}/eval_invalid_rpc_response_ratio：在整個驗證資料集中，名為 ${reward_name} 的獎勵無效 RPC 回應平均比率。適用於執行程式碼、Autorater 和 Cloud Run 獎勵，不適用於字串比對。
  • ${reward_name}/train_clipping_rewards_ratio：目前訓練步驟中，一批樣本的 ${reward_name} 平均裁剪率。獎勵會限制在 [-1, 1] 範圍內。
  • ${reward_name}/eval_clipping_rewards_ratio：整個驗證資料集中 ${reward_name} 的平均裁剪率。獎勵會限制在 [-1, 1] 範圍內。

查看工作狀態和結果

您可以在 Google Cloud 控制台或使用 REST API，查看強化學習微調工作的狀態和結果。

控制台

在 Google Cloud 控制台中，依序前往「Models> Tuning」(模型 > 調整)，然後選取調整工作。工作詳細資料頁面提供三個分頁，可用於監控和檢查：

  • 「Monitor」(監控) 分頁：顯示即時調整進度，以及本頁所列訓練和評估指標的互動式圖表：
    • 使用固定的「篩選器」列 (Filter metrics by name) 或「顯示類別」選取器，依指標名稱或類別篩選圖表。
    • 展開或收合圖表群組，查看一般調整指標和複合獎勵中的個別獎勵函式。
    • 直接在指標圖表上檢查檢查點註解。
    • 使用「檢查點」表格和資料欄選取器，比較已儲存檢查點的調整和獎勵指標、複製檢查點端點 ID，或按一下「測試」，在 Agent Studio 中評估檢查點。
  • 「Dataset」(資料集) 分頁：檢查訓練和驗證資料集樣本、對話範例、references 欄位和資料集分布圖表。
  • 「Details」(詳細資料) 分頁：查看基礎模型、調整方法、超參數值和獎勵設定。按一下獎勵設定上的「View details」(查看詳細資料)，開啟側邊導覽匣，查看非預設設定。

REST

發出 tuningJobs.get 要求，擷取工作狀態、tunedModel、錯誤詳細資料和中繼資料。

curl -X GET \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  "https://LOCATION_ID-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION_ID/tuningJobs/TUNING_JOB_ID"

更改下列內容：

  • PROJECT_ID：您的 Google Cloud 專案 ID。
  • TUNING_JOB_ID：：調整 工作的 ID。
  • LOCATION_ID：位置 ID。

中繼查核點

強化學習微調會按照 checkpointInterval 超參數設定的頻率，產生中繼檢查點。您可以在工作完成前，獨立部署及評估這些檢查點。如要進一步瞭解 checkpointInterval 超參數，請參閱「超參數」頁面。

後續步驟