超参数控制在强化学习微调期间如何更新模型权重。默认值经过调整，适用于大多数工作负载，但您可以在 Google Cloud 控制台中（在创建调优模型时，依次点击模型详情 > 高级选项 > 调优设置）或在使用 REST API 创建调优作业时在请求正文中替换其中任何值。
可用超参数
如需了解这些参数的 API 定义，请参阅 ReinforcementTuningHyperParameters API 参考文档。
epochCount
数据集的迭代次数。这与训练步数不同；每个周期可以产生不同数量的训练步数。
- 默认值：如果留空，则为
min(110 * promptsPerBatch / promptsInDataset, 10)。默认值是动态计算的，以便训练作业多次处理每个提示，上限为 10 个周期，以防止在较小的数据集上出现过拟合。 - 上限：总训练运行次数上限为 500 步，以实现稳定调优。
learningRateMultiplier
应用于适配器层的基础学习速率的系数。
- 默认：
1 - 允许的范围：
[1/4, 4]
thinkingLevel
控制生成过程中使用的内部思维链处理的长度和深度。
- 默认：
HIGH - 允许的值：
MINIMAL、HIGH（动态思考）
batchSize和samplesPerPrompt之间
这两个超参数控制提示的批处理方式，以及模型在每个训练步骤中针对每个提示生成的回答数量。
batchSize：每个批次的提示数量（也称为promptsPerBatch）。批次大小越大，调优速度就越慢，但能让每一步的更新更稳定。- 默认：
32
- 默认：
samplesPerPrompt：在单个训练步骤中，模型针对每个提示生成的不同回答的数量。samplesPerPrompt越大，调优速度就越慢，但能让模型探索出更多样化的回答。- 默认：
16
- 默认：
产品 batchSize * samplesPerPrompt 受特定模态限制：
| 模态 | 对batchSize * samplesPerPrompt的限制 |
|---|---|
| 文本 | 必须能被 16 整除，且小于或等于 8,192 |
| 多模态（图片、音频或视频） | 必须能被 16 整除，且小于或等于 1,024 |
evaluateInterval
调优期间的模型评估频率。该间隔以步（而非周期）为单位进行测量。
checkpointInterval
为了恢复或日后使用而将模型调优进度保存为检查点的频率。间隔以步数而非周期数衡量。
- 建议：设置
checkpointInterval = evaluateInterval * N，其中N是正整数。
maxOutputTokens
调优后的模型所能生成的最大输出长度。
- 默认值和上限：
32,768
adapterSize
LoRA 适配器大小。适配器越大，学习能力越强，越能胜任复杂任务，但训练时间和内存消耗也会增加。
- 默认：
ADAPTER_SIZE_SIXTEEN
后续步骤
- 准备调优数据集。
- 为调优作业定义奖励函数。
- 监控作业状态和指标。
- 按照Google Cloud 控制台快速入门或 API 快速入门创建您的第一个强化学习微调作业。