當專員的成效低於定義的門檻時，系統會傳送品質快訊通知。您可以運用這些快訊偵測品質變化，也就是代理程式效能隨時間明顯下降。即使基礎模型維持不變，準確度仍可能下降，通常是因為現實世界的使用者行為發生變化、資料模式演變，或是複雜提示鏈中的細微互動所致。
設定線上監控器時，系統會自動將評估分數匯出至 Cloud Monitoring。這些指標會在 Cloud Monitoring 中觸發事件。接著，您可以建立快訊政策，在發生品質問題時通知團隊。
您可以為特定監控器建立指定目標快訊政策：
- 在 Google Cloud 控制台中，前往「Agent Platform」>「Agents」頁面。
選取左側導覽選單中的「評估」。
選取「線上監控器」分頁標籤。按一下監控器的「更多選項」 more_vert，然後選取「建立警告政策」。
查看適用於該監控項目的警告政策範本。
選取要啟用的範本。系統會為監控器上設定的每個指標提供一個範本。
設定通知：選取「通知管道」。如果取消勾選「使用通知管道」，系統會執行檢查，但不會主動通知使用者。您還是可以在「Monitoring」>「Alerting」(快訊) 頁面中查看觸發的事件。
點選「建立」。
透過資訊主頁建立建議的快訊
評估資訊主頁提供捷徑，可為所有有效監控器啟用廣泛的品質防護措施：
- 在 Google Cloud 控制台中，前往「Agent Platform」>「Agents」頁面。
在左側導覽選單中，選取「部署」，然後選取您的代理程式。
選取「資訊主頁」分頁，然後選取「評估」子區段。
按一下右上角的「建議的快訊」按鈕。
查看可用的範本，例如：
- 線上監控 - 評估分數偏低：如果監控器的匯總分數過低，就會觸發這項快訊。
- 個別指標快訊：特定指標的閾值，例如「工作成功率」或「工具使用品質」。
選取範本和通知管道，然後按一下「建立」。
以程式輔助方式建立快訊
如果是大規模部署，您可以使用 gcloud CLI 或 Cloud Monitoring API 設定品質快訊。
使用 gcloud
從 JSON 或 YAML 設定檔建立快訊政策：
gcloud monitoring policies create --policy-from-file="policy.yaml"
以下是 policy.yaml 範例，如果 30 分鐘內平均「工作成功」分數低於 80%，就會觸發這項規則：
displayName: "Low Task Success Score"
conditions:
- displayName: "Task Success < 0.8"
conditionThreshold:
filter: >
metric.type="aiplatform.googleapis.com/online_evaluator/scores"
AND metric.labels.evaluation_metric_name="task_success"
comparison: COMPARISON_LT
thresholdValue: 0.8
duration: 1800s
aggregations:
- alignmentPeriod: 60s
perSeriesAligner: ALIGN_MEAN
combiner: OR
enabled: true
notificationChannels:
- "projects/YOUR_PROJECT_ID/notificationChannels/CHANNEL_ID"
使用 Agent Platform SDK
from google.cloud import monitoring_v3
client = monitoring_v3.AlertPolicyServiceClient()
project_name = f"projects/YOUR_PROJECT_ID"
policy = {
"display_name": "Agent Quality Drift",
"conditions": [{
"display_name": "Low Evaluation Score",
"condition_threshold": {
"filter": (
'metric.type="aiplatform.googleapis.com/online_evaluator/scores"'
),
"comparison": monitoring_v3.ComparisonType.COMPARISON_LT,
"threshold_value": 0.7,
"duration": {"seconds": 3600},
"aggregations": [{
"alignment_period": {"seconds": 60},
"per_series_aligner": monitoring_v3.Aggregation.Aligner.ALIGN_MEAN,
}],
},
}],
"combiner": monitoring_v3.AlertPolicy.ConditionCombinerType.OR,
"enabled": True,
}
response = client.create_alert_policy(name=project_name, alert_policy=policy)
print(f"Created alerting policy {response.name}")
管理快訊政策
使用 Cloud Monitoring 控制台查看警告政策的位置，並調整設定。每個事件都包含相關聯的線上監控器標籤，有助於調查根本原因。