REST Resource: projects.locations.apps.evaluationRuns

资源：EvaluationRun

评估运行是指评估执行中的所有评估结果。

JSON 表示法 
{
  "name": string,
  "displayName": string,
  "evaluationResults": [
    string
  ],
  "createTime": string,
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "evaluations": [
    string
  ],
  "evaluationDataset": string,
  "evaluationType": enum (EvaluationRun.EvaluationType),
  "state": enum (EvaluationRun.EvaluationRunState),
  "progress": {
    object (EvaluationRun.Progress)
  },
  "config": {
    object (EvaluationConfig)
  },
  "error": {
    object (Status)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "evaluationRunSummaries": {
    string: {
      object (EvaluationRun.EvaluationRunSummary)
    },
    ...
  },
  "latencyReport": {
    object (LatencyReport)
  },
  "runCount": integer,
  "personaRunConfigs": [
    {
      object (PersonaRunConfig)
    }
  ],
  "optimizationConfig": {
    object (OptimizationConfig)
  },
  "scheduledEvaluationRun": string,
  "goldenRunMethod": enum (GoldenRunMethod),
  "operation": string
}
字段
name

string

标识符。评估运行的唯一标识符。格式：projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
displayName

string

可选。评估运行的用户定义显示名称。默认值：“ run - ”。
evaluationResults[]

string

仅限输出。相应运行作业的评估结果。格式：projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
createTime

string (Timestamp format)

仅限输出。评估运行的创建时间。

采用 RFC 3339 标准，生成的输出将始终进行 Z 规范化（即转换为 UTC 零时区格式并在末尾附加 Z），并使用 0、3、6 或 9 个小数位。不带“Z”的偏差时间也是可以接受的。示例："2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z" 或 "2014-10-02T15:01:23+05:30"。
initiatedBy

string

仅限输出。发起评估运行的用户。
appVersion

string

仅限输出。要评估的应用版本。格式：projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

仅限输出。评估所针对的 appVersion 的显示名称。
changelog

string

仅限输出。评估所针对的应用版本的更改日志。如果用户对最新版本/草稿运行评估，则会填充此字段。
changelogCreateTime

string (Timestamp format)

仅限输出。评估所针对的应用版本对应的更改日志的创建时间。如果用户对最新版本/草稿运行评估，则会填充此字段。

采用 RFC 3339 标准，生成的输出将始终进行 Z 规范化（即转换为 UTC 零时区格式并在末尾附加 Z），并使用 0、3、6 或 9 个小数位。不带“Z”的偏差时间也是可以接受的。示例："2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z" 或 "2014-10-02T15:01:23+05:30"。
evaluations[]

string

仅限输出。相应运行中包含的评估。该列表可能包含任一类型的评估。此字段与 evaluationDataset 互斥。格式：projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
evaluationDataset

string

仅限输出。相应运行所关联的评估数据集。此字段与 evaluations 互斥。格式：projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
evaluationType

enum (EvaluationRun.EvaluationType)

仅限输出。相应运行中的评估类型。
state

enum (EvaluationRun.EvaluationRunState)

仅限输出。评估运行的状态。
progress

object (EvaluationRun.Progress)

仅限输出。评估运行的进度。
config

object (EvaluationConfig)

仅限输出。运行中使用的配置。
error
(deprecated)

object (Status)

仅限输出。已弃用：请改用 errorInfo。执行期间遇到错误。
errorInfo

object (EvaluationErrorInfo)

仅限输出。评估运行的错误信息。
evaluationRunSummaries

map (key: string, value: object (EvaluationRun.EvaluationRunSummary))

仅限输出。从评估名称到 EvaluationRunSummary 的映射。

包含一系列 "key": value 对的对象。示例：{ "name": "wrench", "mass": "1.3kg", "count": "3" }。
latencyReport

object (LatencyReport)

仅限输出。评估运行的延迟报告。
runCount

integer

仅限输出。运行中评估的运行次数。
personaRunConfigs[]

object (PersonaRunConfig)

仅限输出。每次运行时使用的配置（按角色）。
optimizationConfig

object (OptimizationConfig)

可选。在评估运行后运行优化步骤的配置。如果未设置，则不会运行优化步骤。
scheduledEvaluationRun

string

仅限输出。创建相应评估运行的已安排的评估运行资源名称。仅当评估运行是由已安排的评估运行创建时，才设置此字段。格式：projects/{project}/locations/{location}/apps/{app}/scheduledEvaluationRuns/{scheduledEvaluationRun}
goldenRunMethod

enum (GoldenRunMethod)

仅限输出。用于运行评估的方法。
operation

string

仅限输出。创建相应评估运行的操作。格式：projects/{project}/locations/{location}/operations/{operation}

EvaluationRun.EvaluationType

相应运行中的评估类型。未来可能会添加其他值。

枚举
EVALUATION_TYPE_UNSPECIFIED 未指定评估类型。
GOLDEN 黄金评估。
SCENARIO 场景评估。
MIXED 表示运行包含黄金评估和场景评估。

EvaluationRun.EvaluationRunState

评估运行的状态。

枚举
EVALUATION_RUN_STATE_UNSPECIFIED 未指定评估运行状态。
QUEUED 表示评估运行已加入队列。
RUNNING 评估运行正在运行。
COMPLETED 评估运行已完成。
ERROR 评估运行出错。
CANCELLED 评估运行已取消。

EvaluationRun.Progress

评估运行的进度。

JSON 表示法 
{
  "totalCount": integer,
  "failedCount": integer,
  "errorCount": integer,
  "completedCount": integer,
  "passedCount": integer,
  "cancelledCount": integer
}
字段
totalCount

integer

仅限输出。相应运行中的评估结果总数。
failedCount

integer

仅限输出。结果为“失败”的已完成评估结果的数量。（EvaluationResult.execution_state 为 COMPLETED，且 EvaluationResult.evaluation_status 为 FAIL）。
errorCount

integer

仅限输出。未能执行的评估结果数量。（EvaluationResult.execution_state 为 ERROR）。
completedCount

integer

仅限输出。成功完成的评估结果数量。（EvaluationResult.execution_state 为 COMPLETED）。
passedCount

integer

仅限输出。结果为“通过”的已完成评估结果的数量。（EvaluationResult.execution_state 为 COMPLETED，且 EvaluationResult.evaluation_status 为 PASS）。
cancelledCount

integer

仅限输出。已取消的评估结果数量。（EvaluationResult.execution_state 为 CANCELLED）。

EvaluationRun.EvaluationRunSummary

包含评估运行中特定评估的通过和失败结果数量的摘要。

JSON 表示法 
{
  "passedCount": integer,
  "failedCount": integer,
  "errorCount": integer
}
字段
passedCount

integer

仅限输出。相应评估在此运行中的通过结果数。
failedCount

integer

仅限输出。相应评估在此运行中的失败结果数。
errorCount

integer

仅限输出。相应评估在此运行中的错误结果数。

LatencyReport

评估运行的延迟报告。

JSON 表示法 
{
  "toolLatencies": [
    {
      object (LatencyReport.ToolLatency)
    }
  ],
  "callbackLatencies": [
    {
      object (LatencyReport.CallbackLatency)
    }
  ],
  "guardrailLatencies": [
    {
      object (LatencyReport.GuardrailLatency)
    }
  ],
  "llmCallLatencies": [
    {
      object (LatencyReport.LlmCallLatency)
    }
  ],
  "sessionCount": integer
}
字段
toolLatencies[]

object (LatencyReport.ToolLatency)

仅限输出。无序列表。每种工具的延迟时间指标。
callbackLatencies[]

object (LatencyReport.CallbackLatency)

仅限输出。无序列表。每个回调的延迟时间指标。
guardrailLatencies[]

object (LatencyReport.GuardrailLatency)

仅限输出。无序列表。每个安全措施的延迟时间指标。
llmCallLatencies[]

object (LatencyReport.LlmCallLatency)

仅限输出。无序列表。每次 LLM 调用的延迟时间指标。
sessionCount

integer

仅限输出。延迟时间报告中考虑的会话总数。

LatencyReport.ToolLatency

单个工具的延迟时间指标。

JSON 表示法 
{
  "toolDisplayName": string,
  "latencyMetrics": {
    object (LatencyReport.LatencyMetrics)
  },

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of mutually exclusive fields.
}
字段
toolDisplayName

string

仅限输出。工具的显示名称。
latencyMetrics

object (LatencyReport.LatencyMetrics)

仅限输出。工具的延迟时间指标。
工具的标识符。以下是互斥字段的列表。在响应中，最多只能设置以下字段之一：
tool

string

仅限输出。格式：projects/{project}/locations/{location}/apps/{app}/tools/{tool}。
toolsetTool

object (ToolsetTool)

仅限输出。工具集工具标识符。
互斥字段的结束。

LatencyReport.LatencyMetrics

组件的延迟时间指标。

JSON 表示法 
{
  "p50Latency": string,
  "p90Latency": string,
  "p99Latency": string,
  "callCount": integer
}
字段
p50Latency

string (Duration format)

仅限输出。第 50 百分位的延迟时间。

该时长以秒为单位，最多包含九个小数位，以“s”结尾。示例："3.5s"。
p90Latency

string (Duration format)

仅限输出。第 90 百分位的延迟时间。

该时长以秒为单位，最多包含九个小数位，以“s”结尾。示例："3.5s"。
p99Latency

string (Duration format)

仅限输出。第 99 百分位的延迟时间。

该时长以秒为单位，最多包含九个小数位，以“s”结尾。示例："3.5s"。
callCount

integer

仅限输出。资源被调用的次数。

LatencyReport.CallbackLatency

单个回调的延迟时间指标。

JSON 表示法 
{
  "stage": string,
  "latencyMetrics": {
    object (LatencyReport.LatencyMetrics)
  }
}
字段
stage

string

仅限输出。回调的阶段。
latencyMetrics

object (LatencyReport.LatencyMetrics)

仅限输出。回调的延迟时间指标。

LatencyReport.GuardrailLatency

单个安全措施的延迟时间指标。

JSON 表示法 
{
  "guardrail": string,
  "guardrailDisplayName": string,
  "latencyMetrics": {
    object (LatencyReport.LatencyMetrics)
  }
}
字段
guardrail

string

仅限输出。防护栏的名称。格式：projects/{project}/locations/{location}/apps/{app}/guardrails/{guardrail}。
guardrailDisplayName

string

仅限输出。安全防护措施的显示名称。
latencyMetrics

object (LatencyReport.LatencyMetrics)

仅限输出。护栏的延迟时间指标。

LatencyReport.LlmCallLatency

单次 LLM 调用对应的延迟时间指标。

JSON 表示法 
{
  "model": string,
  "latencyMetrics": {
    object (LatencyReport.LatencyMetrics)
  }
}
字段
model

string

仅限输出。模型的名称。
latencyMetrics

object (LatencyReport.LatencyMetrics)

仅限输出。LLM 调用的延迟时间指标。

方法

delete

 删除评估运行。

export

 导出评估运行。

get

 获取指定评估运行的详细信息。

list

 列出指定应用中的所有评估运行。