強化學習微調的持續調整

您可以透過連續微調，新增更多訓練週期或訓練範例，繼續微調已調整的模型或模型檢查點。使用已調整的模型或檢查點做為基礎模型，可提高調整實驗的效率。

持續微調功能可用於下列用途：

  • 如果現有調整後的模型發生配適不足的情況，請使用更多資料進行調整。
  • 提升效能，或使用新資料讓模型保持最新狀態。
  • 進一步自訂現有的調整模型。

支援的持續調整模式

支援下列連續微調模式：

  • 監督式微調 → 強化學習微調
  • 強化學習微調 → 強化學習微調

設定持續調整

您可以在 Google Cloud 控制台或使用 REST API 設定持續調整工作。

控制台

如要在 Google Cloud 控制台設定持續調整工作，請按照下列步驟操作：

  1. 在 Google Cloud 控制台，依序前往「Models」(模型)>「Tuning」(調整) 頁面。

    前往「Tuning」(調整)

  2. 按一下「Create tuned model」(建立調整後的模型)。
  3. 在「Tuning method」(調整方法)下方，選取「Reinforcement learning fine tuning」(強化學習微調)。
  4. 在「Base model」(基礎模型) 部分，選取「Tune a pre-tuned model」(微調預先調整的模型)。
  5. 按一下「選取模型」，選擇先前調整過的模型，然後選取要繼續調整的版本或檢查點。
  6. 繼續完成其餘步驟，設定獎勵函式、訓練資料集和超參數。詳情請參閱Google Cloud 控制台快速入門導覽課程。

REST

如要透過程式輔助方式設定連續調整工作，請在要求主體中加入 preTunedModel 區塊，指向先前調整的模型 (以及特定檢查點，如有需要)。要求的其餘部分則與新的強化學習微調工作採用相同的結構定義。

{
  "description": "DESCRIPTION",
  "tunedModelDisplayName": "TUNED_MODEL_DISPLAY_NAME",
  "reinforcementTuningSpec": {
    "trainingDatasetUri": "TRAINING_DATASET",
    "validationDatasetUri": "VALIDATION_DATASET",
    "hyperParameters": HYPERPARAMETERS,
    "singleRewardConfig": REWARD_CONFIG
  },
  "preTunedModel": {
    "tunedModelName": "projects/PROJECT_ID/locations/LOCATION_ID/models/PRETUNED_MODEL_ID",
    "checkpointId": "CHECKPOINT_ID"
  }
}

更改下列內容：

  • DESCRIPTION：：調整 工作的說明。選填。
  • TUNED_MODEL_DISPLAY_NAME：調整後模型的顯示名稱。
  • TRAINING_DATASET：訓練資料集 JSONL 檔案的 Cloud Storage URI。
  • VALIDATION_DATASET：驗證資料集 JSONL 檔案的 Cloud Storage URI。選填。
  • HYPERPARAMETERS：連續調整工作的超參數設定。詳情請參閱「超參數」頁面。
  • REWARD_CONFIG：獎勵設定。詳情請參閱「獎勵函式」頁面。
  • PROJECT_ID：您的 Google Cloud 專案 ID。
  • LOCATION_ID：地區 ID。
  • PRETUNED_MODEL_ID：先前調整模型的模型 ID，用於繼續調整。
  • CHECKPOINT_ID：先前調整模型的特定檢查點 ID。選用；如省略，則會使用預先調整模型的最新檢查點。

後續步驟