本文提供代理式 AI 系統的高階架構,可協調與不同企業系統的互動。自動化調度管理代理可自動執行複雜程序,並透過現代化的對話式介面,統一存取多個企業系統。這些系統可能是商業第三方應用程式或專屬內部系統。這種設計方法可消除點對點系統整合,讓操作人員不必經常切換情境 (旋轉椅處理)。
這份文件的目標對象包括在雲端建構及管理代理式 AI 應用程式的架構師、開發人員和管理員。本文假設您對代理式 AI 有基本瞭解。
架構
下圖顯示多層架構,其中自動化調度管理代理使用 AI,將多個管道的用戶端互動轉送至適當的後端系統。
架構中的元件分為下列層:
- 互動管道
在範例架構中,用戶端會透過多個管道與代理式 AI 系統互動:
- 自訂前端,例如透過安全 REST API 與代理通訊,並支援人工介入迴路程序的網頁應用程式。
- Gemini Enterprise 的臨時對話介面,可將代理叫用為安全工具,讓使用者透過自然語言與複雜的後端系統互動。
- 外部應用程式:將業務事件發布至 Pub/Sub 主題,啟動系統對系統的自動化工作流程。
- 代理核心
架構的核心元件是使用 Agent Development Kit (ADK) 建構,並部署在 Cloud Run 的自動化調度管理工具代理。自動調度管理工具會管理多代理系統。這個無伺服器平台可擴充,並使用 Identity and Access Management (IAM) 控管代理 REST API 的存取權。
為了在多步驟工作中維持狀態,代理會使用內建的 ADK 支援,在 Gemini Enterprise Agent Platform 工作階段或 Cloud Storage 中保留狀態資料。
- 與後端系統標準化整合
為在代理和後端系統之間通訊,架構會使用部署在 Cloud Run 上的 Model Context Protocol (MCP) 伺服器。
- MCP Toolbox for Databases 提供一套安全、立即可用的工具,可用於存取 Cloud SQL 等資料庫。
- 自訂 MCP 伺服器可提供後端應用程式的存取權。
每個 MCP 伺服器都會將特定後端系統的 API 公開為一組標準化工具。MCP 伺服器會形成防損層,將代理與後端系統隔離。這種做法有助於避免代理與後端系統緊密耦合。這可簡化代理的邏輯,讓您獨立於代理之外,翻新後端系統。
- 後端系統
在範例架構中,AI 代理會自動調度對下列後端系統的存取權:
- Cloud SQL 中的作業資料庫。
- 部署於 Compute Engine VM 的應用程式。
- 在 Google Cloud外部執行的應用程式。
使用的產品
這個範例架構使用下列 Google Cloud 和開放原始碼產品和工具:
- Gemini Enterprise Agent Platform:全方位平台,可建構、擴充、管理及最佳化企業級 AI 代理。
- Cloud Run:無伺服器運算平台,可讓您直接在 Google 可擴充的基礎架構上執行容器。
- Cloud SQL:全代管關聯式資料庫服務,可協助您在 Google Cloud上佈建、操作及管理 MySQL、PostgreSQL 和 SQL Server 資料庫。
- Cloud Storage:適用於多種資料類型的物件儲存庫,成本低廉且沒有限制。資料在 Google Cloud內外都能存取,且會複製到多個位置,以便提供備援機制。
- Compute Engine:安全可靠且可自訂的運算服務,可讓您透過 Google 的基礎架構建立及執行 VM。
- Gemini:Google 開發的多模態 AI 模型系列。
- Gemini Enterprise:全代管的安全平台,可在企業內部部署及管理 AI 代理。
- Pub/Sub:可擴充的非同步訊息服務,會分離產生訊息的服務與處理訊息的服務。
- Agent Development Kit (ADK):一組工具和程式庫,用於開發、測試及部署 AI 代理。
- Model Context Protocol (MCP):開放原始碼標準,用於將 AI 應用程式連結至外部系統。
- MCP Toolbox for Databases:開放原始碼 Model Context Protocol (MCP) 伺服器,可管理連線集區、驗證和觀測能力等複雜的資料庫作業,讓 AI 代理安全地連線至資料庫。
如要瞭解代理式 AI 系統的其他元件,例如 Agent Runtime、工具和記憶體,請參閱「選擇代理式 AI 架構元件」。
用途
這種架構適用於下列用途:
- 自動處理不同外部和內部應用程式之間的轉椅作業。
- 為多個舊版系統建立統一介面,不必進行大規模遷移。
- 為現有業務程序加入智慧型對話功能。
- 透過事件導向功能,逐步翻新應用程式。
此架構具備下列優點:
- 提高工作效率:自動執行重複性工作,減少人為錯誤,讓團隊專注於附加價值高的工作。
- 擴充性:採用事件導向方法,獨立開發、部署及擴充服務。
- 提升使用者體驗:建構現代化、彈性的介面,整合複雜的業務流程。
- 整合方式與時俱進:使用 MCP 伺服器,將與後端系統的整合方式標準化,以便獨立替換及升級後端系統。
設計須知
本節說明使用這個參考架構開發拓撲時,應考量的設計因素、最佳做法和建議,以滿足您對安全性、作業效率和效能的特定需求。
本節的指引僅列出部分範例。如要進一步瞭解設計因素和最佳做法,以及建構和部署多代理式 AI 系統的建議,請參閱「 Google Cloud中的多代理式 AI 系統」。
安全性、隱私權和法規遵循
為因應 AI 代理特有的安全風險,Google 建議採取做法,結合確定性安全控管機制與動態、以推論為基礎的防禦措施:
- 人工監督:在業務關鍵系統中加入人工介入迴路流程,讓人工監督員審查輸出內容,並核准、覆寫或暫停代理動作。
- Agent Identity:為每個代理指派與工作負載繫結的身分,強制執行最小權限存取控管,並集中管理外部工具的憑證。
- Agent Gateway:強制執行輸入和輸出流量管理、預設拒絕存取政策,以及使用 Model Armor 進行內嵌提示和工具檢查。
Agent Registry:確認代理只會連線至核准的子代理和 MCP 工具。
Cloud Run 服務安全性:針對 Cloud Run 服務,請使用專屬 IAM 服務帳戶,並依據最小權限原則授予權限。設定 Cloud Run 輸入控管,限制只有經過驗證的呼叫端才能存取,藉此保護代理的 API。如要驗證及授權傳入的代理和工具要求,並傳送至託管於 Cloud Run 的 MCP 伺服器,請搭配使用 Identity-Aware Proxy (IAP) 和 Agent Gateway。
提升作業效率
為確保代理程式設定符合您的作業效率需求,請參考下列建議:
- 觀測能力:在分散式系統中,記錄和追蹤功能對於疑難排解至關重要。如要掌握整個 Agentic Workflows,請檢測服務,將結構化記錄寫入 Cloud Logging,並將追蹤記錄傳送至 Cloud Trace。
- 自動化部署:使用 Terraform 等基礎架構即程式碼 (IaC) 工具,自動佈建及管理資源。IaC 可確保在開發、測試和正式環境中,部署作業可重複執行且可供稽核。
- 基礎架構管理:使用 App Design Center 簡化應用程式基礎架構的設計和部署作業。您可以使用 App Design Center 定義範本,納入貴機構的治理規則和最佳做法。
效能最佳化
Cloud Run 會根據需求自動調度資源,並在沒有負載時縮減至零。如果應用程式易受延遲影響,您可以設定執行個體數量下限,盡量減少冷啟動。
後續步驟
- (程式碼實驗室) 如何在 Cloud Run 部署安全的 MCP 伺服器。
- (程式碼實驗室) 在 Cloud Run 建構及部署採用 MCP 伺服器的代理。
- (程式碼實驗室) 非同步叫用事件導向的代理式 AI 應用程式。
- (Google Skills 課程) 使用 ADK 建構多代理系統。
- (程式碼範例) 前往 GitHub 查看更多程式碼範例,瞭解如何使用 ADK 建構代理。
- 如要概略瞭解 Google Cloud中 AI 和機器學習工作負載專屬的架構原則和建議,請參閱 Well-Architected Framework 中的「AI 和機器學習觀點」一文。
貢獻者
作者:Casey West | 架構推廣師, Google Cloud
其他貢獻者:
- Amina Mansour | 全球開發人員關係與策略內容技術負責人
- Kumar Dhanagopal | 跨產品解決方案開發人員
- Leonid Yankulin | 開發人員關係工程師