強化學習微調的調整用資料集

強化學習微調工作是由訓練資料集和選用的驗證資料集驅動。每個資料集都是儲存在 Cloud Storage 的 JSONL 檔案,每行都是一個調整範例。

本頁面說明資料集結構定義、如何使用 references 欄位計算獎勵,以及服務強制執行的各模態資料集限制。

資料集結構定義

JSONL 資料集檔案的每一行都遵循以下結構定義:

{
  "systemInstruction": {
    "role": string,
    "parts": [
      {
        "text": string
      }
    ]
  },
  "contents": [
    {
      "role": string,
      "parts": [
        {
          // Union field data: text or fileData.
          "text": string,
          "fileData": {
            "mimeType": string,
            "fileUri": string
          }
        }
      ]
    }
  ],
  "references": {
    string: string,
    ...
  }
}

contents 和 systemInstruction 欄位使用的結構定義與 Gemini Enterprise Agent Platform generateContent API 相同。systemInstruction 僅接受文字。contents 可包含文字或檔案資料 (圖片、音訊或影片),但須遵守資料集限制。

references 欄位

references 欄位專用於強化學習微調。它會儲存獎勵函式為模型回覆評分所需的任何中繼資料。可接受字串對字串字典。

舉例來說,如果字串比對獎勵會將模型答案與已知基準真相進行比較,則可使用如下的資料集行:

{
  "systemInstruction": {
    "role": "system",
    "parts": [{ "text": "You are a helpful math tutor." }]
  },
  "contents": [
    {
      "role": "user",
      "parts": [{ "text": "What is 17 * 23? Put your final answer in $\\text{your answer}$." }]
    }
  ],
  "references": {
    "ground_truth_answer": "391"
  }
}

獎勵函式可以讀取 references["ground_truth_answer"],並與模型產生的值進行比較。如要進一步瞭解每種獎勵類型如何消耗 references,請參閱「獎勵函式」頁面。

資料集限制

強化學習微調資料集有下列限制:

規格 值
訓練資料集中的樣本數量上限 5,000
驗證資料集中的樣本數量上限 如果驗證樣本超過 1,000 個,則為訓練樣本數量的 30%
資料集檔案大小上限 1 GB
每個範例的輸入詞元數量上限 32,768
每個範例的輸出詞元數量上限 (包括思考詞元) 32,768

多模態限制

如果資料集包含圖片、音訊或影片資料,則適用下列各模態限制:

音訊

規格 值
每個提示的音訊檔案數量上限 15
每個樣本的音訊總長度上限 (所有檔案) 10 分鐘
音訊檔案大小上限 100 MB

影片

規格 值
支援的模型 僅限 Gemini 3.5 Flash
每個提示的影片檔案數量上限 10
每個樣本的影片總長度上限 (所有檔案) 5 分鐘
影片檔案大小上限 20 MB

圖片

規格 值
每個提示的圖片數量上限 15
圖片檔案大小上限 20 MB

後續步驟