強化學習微調工作是由訓練資料集和選用的驗證資料集驅動。每個資料集都是儲存在 Cloud Storage 的 JSONL 檔案,每行都是一個調整範例。
本頁面說明資料集結構定義、如何使用 references 欄位計算獎勵,以及服務強制執行的各模態資料集限制。
資料集結構定義
JSONL 資料集檔案的每一行都遵循以下結構定義:
{
"systemInstruction": {
"role": string,
"parts": [
{
"text": string
}
]
},
"contents": [
{
"role": string,
"parts": [
{
// Union field data: text or fileData.
"text": string,
"fileData": {
"mimeType": string,
"fileUri": string
}
}
]
}
],
"references": {
string: string,
...
}
}
contents 和 systemInstruction 欄位使用的結構定義與 Gemini Enterprise Agent Platform generateContent API 相同。systemInstruction 僅接受文字。contents 可包含文字或檔案資料 (圖片、音訊或影片),但須遵守資料集限制。
references 欄位
references 欄位專用於強化學習微調。它會儲存獎勵函式為模型回覆評分所需的任何中繼資料。可接受字串對字串字典。
舉例來說,如果字串比對獎勵會將模型答案與已知基準真相進行比較,則可使用如下的資料集行:
{
"systemInstruction": {
"role": "system",
"parts": [{ "text": "You are a helpful math tutor." }]
},
"contents": [
{
"role": "user",
"parts": [{ "text": "What is 17 * 23? Put your final answer in $\\text{your answer}$." }]
}
],
"references": {
"ground_truth_answer": "391"
}
}
獎勵函式可以讀取 references["ground_truth_answer"],並與模型產生的值進行比較。如要進一步瞭解每種獎勵類型如何消耗 references,請參閱「獎勵函式」頁面。
資料集限制
強化學習微調資料集有下列限制:
| 規格 | 值 |
|---|---|
| 訓練資料集中的樣本數量上限 | 5,000 |
| 驗證資料集中的樣本數量上限 | 如果驗證樣本超過 1,000 個,則為訓練樣本數量的 30% |
| 資料集檔案大小上限 | 1 GB |
| 每個範例的輸入詞元數量上限 | 32,768 |
| 每個範例的輸出詞元數量上限 (包括思考詞元) | 32,768 |
多模態限制
如果資料集包含圖片、音訊或影片資料,則適用下列各模態限制:
音訊
| 規格 | 值 |
|---|---|
| 每個提示的音訊檔案數量上限 | 15 |
| 每個樣本的音訊總長度上限 (所有檔案) | 10 分鐘 |
| 音訊檔案大小上限 | 100 MB |
影片
| 規格 | 值 |
|---|---|
| 支援的模型 | 僅限 Gemini 3.5 Flash |
| 每個提示的影片檔案數量上限 | 10 |
| 每個樣本的影片總長度上限 (所有檔案) | 5 分鐘 |
| 影片檔案大小上限 | 20 MB |
圖片
| 規格 | 值 |
|---|---|
| 每個提示的圖片數量上限 | 15 |
| 圖片檔案大小上限 | 20 MB |
後續步驟
- 設定調整工作的超參數。
- 定義獎勵函式。
- 監控工作狀態和指標。
- 請按照Google Cloud 控制台快速入門導覽課程或 API 快速入門導覽課程,建立第一個強化學習微調工作。