代理評估

本文說明如何使用代理評估功能，評估及提升代理的效能、安全性和品質。

如要進一步瞭解模型評估，請參閱「Gen AI Evaluation Service 總覽」。

程序摘要

評估程序

評估作業會遵循結構化的疊代工作流程：

1. 定義評估案例：評估案例是定義代理工作的規格。評估案例可包含一或多個對話步驟、對話內容 (代理的狀態)，以及在推論期間模擬使用者回覆的規格。
2. 執行推論：推論是指執行評估案例。如果評估案例包含對話計畫，系統會在推論期間模擬使用者回覆。
3. 生成追蹤記錄：每次推論執行作業都會在追蹤記錄中擷取代理的行為。追蹤記錄是代理行為的真實、不可變更記錄，包括模型輸入內容、回覆和工具呼叫。
4. 運算指標：指標是使用預先建構或自訂評估器，為每個追蹤記錄計算的分數。部分指標 (例如完全相符) 以參考資料為依據，需要提供參考答案的評估案例。其他指標 (例如實用性) 則不需參考資料，會自行評估追蹤記錄。這項自動評估功能可讓您為從正式環境流量或外部記錄擷取的追蹤記錄評分，不受代管測試環境影響。
5. 進行分析：分析指標、評分標準和判定結果，找出代理的主要問題，將代理問題連結回測試案例，並生成改善洞察資料。
6. 最佳化代理：使用最佳化功能管理整個評估週期。這項自動化程序會分析結果、向代理提出改善建議，並反覆執行程序，驗證效能是否提升。

評估工作流程

您可以在工作流程的兩個主要階段整合評估作業：

• 本機開發疊代：在本機評估以 Agent Development Kit (ADK) 為基礎的代理，快速疊代提示工程和工具設定。
• 評估已部署的代理：分析歷來追蹤記錄，或對代理端點執行合成基準測試，評估已部署代理的品質。

核心功能

即使沒有現成的測試資料，您也能透過代理評估功能，建立初步的評估套件。下列功能可自動生成測試案例，並調整代理系統：

• 情境生成和使用者模擬：根據代理的指令和工具定義，自動生成多種多輪合成測試情境。這項自動化功能可讓您立即開始測試，不必手動編寫初始測試案例。

• 環境模擬：攔截特定工具呼叫，插入自訂行為、模擬資料或模擬錯誤 (例如 HTTP 503 錯誤或延遲時間激增)。這項模擬作業可讓您驗證代理的復原能力，而不會影響正式版後端。

• 多輪評估：使用多輪自動評分工具，自動評估整個對話記錄。這些評估人員會分析意圖擷取、動態生成評分量表，並提供客觀的驗證判定，確保模型遵循指令。

• 提示詞最佳化：使用提示詞最佳化功能，以程式輔助方式生成及驗證經過調整的系統指令。最佳化架構會找出失敗點，並反覆提出目標更新。

使用 AI 程式開發輔助進行評估

如果您使用 Gemini CLI 或其他 AI 程式開發輔助，可以安裝代理技能，讓助理瞭解本頁所述的代理評估方法。每項技能都會直接在程式設計工作階段中，提供評估工作流程、資料集結構定義、指標選取指南和失敗分析步驟，因此助理不必離開編輯器，就能建立、評分及改善評估作業。

每項技能下方都有安裝說明。

Agents CLI 評估技能

使用 agents-cli eval 指令評估及最佳化 ADK 代理的 CLI 導向工作流程。這項技能涵蓋：

• 準備評估資料集，並透過使用者模擬合成多輪對話情境
• 執行推論、評估追蹤記錄，以及分析失敗叢集
• 透過評估修正迴圈，反覆調整提示和工具

如要安裝，請執行下列指令：

npx skills add https://github.com/google/agents-cli --skill google-agents-cli-eval

Agent Platform Gen AI Evaluation Service 飛輪技能

這份教戰手冊以 SDK 為主，說明如何透過 Gemini Enterprise Agent Platform Gen AI Evaluation Service，使用 Agent Platform GenAI Evaluation SDK (client.evals.evaluate()) 評估及改善模型和代理。這項技能涵蓋：

• 使用工作階段追蹤記錄、DataFrame 或合成生成資料，建立評估資料集
• 選取、設定及編寫自訂指標，並使用 LLM 做為評審評分
• 分析評分標準判定結果和損失模式，推動具體改善

如要安裝，請執行下列指令：

npx skills add https://github.com/google/skills --skill agent-platform-eval-flywheel

後續步驟

• 模擬代理行為
• 執行評估作業
• 管理評估指標
• 查看評估結果