代理式 AI 用途：建構無邊界的開放式資料湖倉

Last reviewed 2026-10-14 UTC

本文件提供高階架構，說明如何建構無邊界開放式資料湖倉，建立高度控管的安全管道，直接從原始無邊界孤島傳送資料，並據此採取 AI 驅動的行動。這份指南說明如何整合 Google Cloud、其他雲端服務供應商和即時營運資料庫中分散的企業資料，而不必依賴可能複製資料的脆弱擷取、轉換和載入 (ETL) 管道。

本文件適用於資料工程師、資料架構師和 AI 開發人員，他們需要設計使用開放標準的高效能聯合系統。目標對象也可能需要處理企業限制，例如無邊界網路路由，以及嚴格的身分和存取權管理隔離。

本文的部署一節提供程式碼範例，協助您建構及部署本文所述的架構。

架構

下圖顯示無邊界架構，其中 Google Cloud內有中央湖倉。

這個架構顯示無邊界架構，其中包含 Google Cloud中的中央湖倉。

上圖中的架構包含兩個子系統：資料擷取和服務。

  • 資料擷取子系統會從外部來源擷取資料。這項解決方案使用中央湖倉，將分散的資料庫整合並處理成 Google Cloud中的統一顧客個人資料。
  • 服務子系統可讓使用者向 AI 助理和資料分析代理提出查詢，分析整合後的資料。

以下各節說明各子系統的元件。

資料擷取子系統

資料擷取子系統包含下列元件：

Managed Service for Apache Spark 搭配 Lightning Engine

這項服務提供分散式處理引擎，可處理複雜的分析工作負載，例如大規模、無邊界的資料彙整和轉換。為盡可能提高運算效率，Managed Service for Apache Spark 會使用 Lightning Engine 處理大規模的多向 join、複雜的視窗化和行為匯總，這些都是合併無邊界資料來源所需的作業。

Managed Service for Apache Spark 會使用 Lightning Engine，從下列路徑擷取資料，執行分散式 join：

外部資料來源

位於其他雲端環境的企業資料資產。在本文件說明的架構中，外部資料來源如下：

連結至外部資料來源後，您就能就地分析資料，不必耗費高昂成本和時間遷移資料。雖然這個範例架構使用 Databricks Unity Catalog 和 Amazon S3 bucket，但您可以將這個架構模式與其他外部 Iceberg 目錄服務和雲端儲存空間供應商搭配使用。

AlloyDB
高效能資料庫，適用於混合型交易和分析處理 (HTAP)，例如管理即時庫存或即時客戶設定檔。BigQuery AlloyDB 聯合可讓分析引擎直接從 BigQuery 傳送查詢至儲存在 AlloyDB 的即時交易資料。這種做法有助於避免與變更資料擷取 (CDC) 管道相關的延遲和負擔。
Cloud Storage
可擴充的物件儲存庫服務，適用於高處理量資料，例如點擊流事件。為確保各種處理引擎都能存取資料，請使用 Cloud Storage 將資料與特定運算服務分離，並以開放式 Apache Iceberg 格式 (例如 Apache Parquet) 儲存資料。
無邊界湖倉

中央中繼資料和管理系統，可實現統一且無邊界的聯盟。為建立與 Lakehouse 中繼資料的連線，Lakehouse 會執行下列動作：

  1. 連結至 Databricks Unity Catalog，解析無邊界資料的結構定義和轉送資訊。
  2. 傳送要求至 Secret Manager，驗證憑證：
    • 如果憑證獲得核准，請建立與 Lakehouse 中繼資料的直接連線。
    • 如果憑證遭拒，則傳回錯誤訊息並取消作業。
Cloud NAT 和 Cloud Router
代管服務，可讓 Google Cloud網路中的資源安全存取外部雲端來源的資料，而不會將這些資源公開至網際網路。
虛擬私有雲 (VPC)
這項服務可為所有 Google Cloud 資源提供私人、安全且獨立的網路，這些資源是做為這個架構的一部分部署。
Secret Manager
這項服務可安全儲存 Databricks 服務主體憑證 (例如用戶端 ID 和密鑰)，用於無邊界驗證。

服務子系統

提供子系統包含下列元件：

統合客戶資料
BigQuery 資料庫，可整合分散式 Spark 工作的輸出內容。BigQuery 資料表會將分散的無邊界指標轉換為複雜的反正規化資料類型，並做為中央控管的資料儲存庫，用於分析。
BigQuery 資料代理
對話式數據分析代理，可讓使用者直接在 BigQuery 查詢資料，並生成企業洞察資訊。代理會對查詢強制執行安全和管理防護機制。
BigQuery MCP 伺服器
Google 代管的 Model Context Protocol (MCP) 伺服器，可提供 BigQuery 資料的存取權。BigQuery MCP 伺服器會安全地將受控管的湖倉脈絡公開給本機或外部 AI 模型，例如 Gemini CLI。AI 工程師不必建構及維護自訂 REST API 中介軟體，就能執行端對端 Agentic Workflows。
Gemini CLI
這個指令列 AI 助理可讓使用者與統合的顧客檔案互動，生成以資料為依據的個人化內容，例如個人化行銷廣告活動。Gemini CLI 會做為 BigQuery MCP 伺服器的用戶端，存取儲存在整合式客戶設定檔中的資料。

使用的產品

這個範例架構使用下列 Google Cloud 產品和工具：

  • Lakehouse：高效能儲存引擎，可讓您建構開放式資料湖倉，並提供進階數據分析和 AI 的統一介面。
  • BigQuery：企業資料倉儲，內建機器學習、地理空間分析和商業智慧等功能，可協助您管理及分析資料。
  • AlloyDB for PostgreSQL：與 PostgreSQL 相容的全代管資料庫服務，專為最嚴苛的工作負載 (包括混合型交易和分析處理作業) 而設計。
  • Managed Service for Apache Spark：這項代管服務可在代管運算基礎架構上，執行 Apache Spark 批次工作負載。
  • Cloud Storage：適用於多種資料類型的物件儲存庫，成本低廉且沒有限制。資料在 Google Cloud內外都能存取，且會複製到多個位置，以便提供備援機制。
  • Gemini：Google 開發的多模態 AI 模型系列。
  • Google Cloud MCP 伺服器：Google 代管的遠端服務，可實作 Model Context Protocol (MCP)，讓 AI 應用程式存取 Google 和 Google Cloud 產品與服務。
  • Cloud NAT：提供 Google Cloud代管的高效能網路位址轉譯服務。
  • Cloud Router：分散式全代管服務，提供邊界閘道通訊協定 (BGP) 發言者和回應者功能。Cloud Router 可與 Cloud Interconnect、Cloud VPN 和路由器設備搭配使用，根據 BGP 接收和自訂已知路由，在虛擬私有雲網路中建立動態路由。
  • 虛擬私有雲 (VPC)：虛擬系統，為 Google Cloud 工作負載提供全球性、可擴充的網路功能。虛擬私有雲包含虛擬私有雲網路對接、Private Service Connect、私人服務存取權和 Shared VPC。

這個範例架構使用下列第三方產品：

  • Databricks Unity Catalog：Databricks 平台上的資料和 AI 資產統一治理和中繼資料目錄。
  • Amazon S3：Amazon Web Services (AWS) 的儲存服務，以物件形式儲存及管理資料。

用途

這項參考架構專為需要整合多個雲端環境和地端部署系統中孤立資料的組織設計，可推動數據分析和 AI 計畫。這種架構有下列優點：

  • 無邊界的整合式設定檔：單一、全方位的商業主體檢視畫面，可讓分析師和決策者取得全面洞察資料。這種整合式資料檢視可提高數據分析的準確度，並確保資料不論儲存在何處，都一致且符合現況。
  • 降低作業複雜度和總持有成本 (TCO)：湖倉可避免建構及維護不穩定的資料管道。這樣一來，您就能直接在資料所在位置 (跨不同雲端) 查詢資料。避免實體資料移動帶來的作業負擔、儲存成本和延遲。
  • 代理式 AI 工作流程：AI 代理可協助資料分析師，將複雜的行為匯總資料直接轉化為可行的業務策略。代理可讓分析師透過標準通訊協定，安全存取結構化、受控管的湖倉資料。

以下是本文所述架構的用途範例：

  • 即時零售數據分析：零售公司需要根據銷售和庫存情況立即做出決策。這項架構可讓他們將 AWS 管理的靜態產品目錄資料，與 Google Cloud上 AlloyDB 作業資料庫的即時銷售交易資料結合。分析師和商店經理可以按照預先定義的批次間隔查詢這個整合式資料檢視，監控銷售成效、找出暢銷商品來補貨，或分析新出現的區域購買模式。
  • 客戶個人化：金融服務公司希望為客戶關係經理提供完整且整合的客戶檢視畫面。該公司可使用這個架構，將 AWS 資料湖泊中的歷來行銷參與資料，與 AlloyDB 中的即時客戶帳戶資訊整合。接著，客戶關係經理可以使用 AI 助理提問，例如「總結這位客戶最近三筆交易，並草擬一封個人化電子郵件，建議新的高收益儲蓄帳戶」。

設計須知

本節說明使用這個參考架構開發拓撲時，應考量的設計因素、最佳做法和建議，以符合您對安全性和成本的特定需求。

本節指南僅列出部分範例。如要進一步瞭解設計因素和最佳做法，以及建構和部署多代理式 AI 系統的建議，請參閱「 Google Cloud中的多代理式 AI 系統」。

安全性、隱私權和法規遵循

為落實最小權限原則，請透過系統管理的身分控管存取權。請參考下列建議：

代理安全性與管理

為因應 AI 代理獨有的安全風險，Google 建議採取做法，結合確定性安全控管機制與動態、以推論為基礎的防禦措施：

  • 人工監督：在業務關鍵系統中加入人工介入迴路流程，讓人工監督員審查輸出內容，並核准、覆寫或暫停代理動作。
  • Agent Identity：為每個代理指派與工作負載繫結的身分，強制執行最小權限存取控管，並集中管理外部工具的憑證。
  • Agent Gateway：強制執行輸入和輸出流量管理、預設拒絕存取政策，以及使用 Model Armor 進行內嵌提示和工具檢查。
  • Agent Registry：確認代理只會連線至核准的子代理和 MCP 工具。

成本和效能最佳化

為確保代理程式設定符合成本和效能需求，請參考下列建議：

  • 運算選擇：為提高效能和成本效益，請選取最適合工作負載各部分的運算服務。現代資料湖倉不依賴單一運算服務，如要對作業資料庫執行完全比對篩選器，請使用 BigQuery 聯合查詢。如要卸載記憶體密集且複雜的資料操作 (例如向量化無邊界 join)，請使用 Managed Service for Apache Spark 搭配 Lightning Engine。
  • AI 模型基準建立：為減少 AI 模型幻覺，請以統合客戶個人資料為基準建立模型，強制執行業務定義和統計驗證。如果將 AI 模型暴露在數十億列未經匯總的原始無邊界資料中，可能會導致過度消耗權杖，以及高幻覺率。
  • 網路拓撲和輸出策略：為確保可靠效能，並盡可能降低無邊界網路的資料移轉費用，請使用 Cross-Cloud Interconnect 在 Google Cloud 和 AWS 之間建立私人連線。否則，透過公開網際網路從 Google Cloud 向 AWS 查詢資料，可能會產生高昂的輸出費用和無法預測的延遲時間。

部署作業

如要部署這個架構，請參閱「建構無邊界開放式資料湖倉」程式碼實驗室。這個範例實作可協助您佈建特定網路基礎架構、執行 C++ PySpark 工作流程，以及設定 AI 代理，以便安全地與 Lakehouse 互動。

後續步驟

貢獻者

作者：開發人員服務代表 Hyunuk Lim

其他貢獻者：