基于评分准则的受管指标的详细信息

本页面列出了 Gen AI Evaluation Service 提供的基于评分准则的受管指标的完整列表，您可以在 Agent Platform SDK 中的 GenAI 客户端中使用这些指标。

如需详细了解测试驱动型评估，请参阅定义评估指标。

概览

Gen AI Evaluation Service 为测试驱动型评估框架提供了一系列基于评分准则的受管指标：

• 对于采用自适应评分准则的指标，大多数指标都包含针对每个提示的评分准则生成和评分准则验证工作流。如有需要，您可以单独运行这些工作流。如需了解详情，请参阅运行评估。

• 对于具有静态评分准则的指标，系统不会生成针对每个提示的评分准则。如需详细了解预期输出，请参阅指标详情。

每个基于评分准则的受管指标都有一个版本控制编号。默认情况下，该指标会使用最新版本，但您可以根据需要固定到特定版本：

from vertexai import types

text_quality_metric = types.RubricMetric.TEXT_QUALITY
general_quality_v1 = types.RubricMetric.GENERAL_QUALITY(version='v1')

向后兼容性

对于以指标提示模板形式提供的指标，您仍然可以通过 Agent Platform SDK 中的 GenAI 客户端以相同的方式访问逐点指标。Agent Platform SDK 中的 GenAI 客户端不支持成对指标，但您可以参阅运行评估，在同一评估中比较两个模型。

from vertexai import types

# Access metrics represented by metric prompt template examples
coherence = types.RubricMetric.COHERENCE
fluency = types.RubricMetric.FLUENCY

受管指标详情

本部分列出了受管指标，并提供了其详细信息，例如指标类型、必需的输入和预期输出：

• 常规质量
• 文本质量
• 指令遵从
• 标准答案关联
• 安全
• 多轮对话总体质量
• 多轮文本质量
• 智能体最终回答匹配
• 智能体最终回答参考（免费）
• 代理最终回答质量
• 代理幻觉
• 代理工具使用质量
• 代理多轮任务成功率
• 代理多轮工具使用质量
• 代理多轮轨迹质量
• Gecko 文生图质量
• Gecko 文生视频质量

常规质量

文本质量

指令遵从

落地

[
  {
    "sentence": "string",
    "label": "supported | unsupported | contradictory | no_rad",
    "rationale": "string",
    "excerpt": "string or null"
  }
]

安全

多轮对话总体质量

多轮文本质量

智能体最终回答匹配

智能体最终回答参考（免费）

代理最终回答质量

智能体出现幻觉

[
  {
    "response": "string",
    "score": "double",
    "explanation": [
      {
        "sentence": "string",
        "label": "supported | unsupported | contradictory | disputed | no_rad",
        "rationale": "string",
        "supporting_excerpt": "string or null",
        "contradicting_excerpt": "string or null"
      }
    ]
  }
]

代理工具使用质量

智能体多轮任务成功率

代理多轮工具使用质量

代理多轮轨迹质量

Gecko 文生图质量

Gecko 文生视频质量

后续步骤

• 准备评估数据集。