Gemini Enterprise Agent Platform 偏好调优可让您使用人工反馈数据调优 Gemini 模型。
偏好调优使模型能够从主观用户偏好中学习，这些偏好很难通过特定标签或仅通过监督式微调来定义。
偏好调整输入数据集包含由提示和一对回答组成的示例，其中一个回答表示偏好，另一个回答表示不偏好。模型会学习以更高的概率生成首选回答，以更低的概率生成非首选回答。
如需了解如何准备数据集，请参阅为 Gemini 模型准备偏好调优数据。
支持的模型
以下 Gemini 模型支持偏好调优：
点击即可展开支持的模型
限制
| 规范 | 值 |
|---|---|
| 模态 | 文本 |
| 训练数据集的文件大小 | 1GB |
| 每个训练示例的输入和输出 token 数上限 | 131,072 |
| 输入和输出传送 token 数上限 | 与基础 Gemini 模型相同 |
| 训练数据集中的训练样本数上限 | 1,000 万个纯文本训练样本 |
| 验证数据集大小上限 | 5000 个样本；如果验证样本超过 1000 个，则为训练样本数量的 30% |
| 适配器大小 | 支持的值包括 1、2、4、8 和 16 |
最佳做法
在将偏好优化算法应用于模型之前，我们强烈建议您执行以下操作：
如需创建监督式微调数据集，请使用偏好数据集中的提示和接受的回答对作为监督式微调数据集的提示和目标。通常，一两个周期的监督式微调应该就足够了，不过这可能会根据数据集大小以及训练数据集最初与 Gemini 模型的对齐程度而有所变化。
如需使用监督式微调来调优模型，请按照使用监督式微调来调优 Gemini 模型中的步骤操作。
Quota
系统对并发调优作业的数量实施配额。每个项目都配有运行至少一个调优作业的默认配额。这是一个全球配额，所有可用区域和支持的模型共用这一配额。如果要同时运行更多作业，则需要为 Global concurrent tuning jobs 申请更多配额。
价格
您可以在此处查看 Gemini 偏好调优的价格：Gemini Enterprise Agent Platform 价格。
为了便于计费，每个调优样本的 token 数量计算方法如下：提示中的 token 数量乘以 2，然后加上补全 token 数量。