智能体 AI 应用场景：多模态 GraphRAG 资源编排

本文档提供了一个多智能体 AI 系统的高级架构，该系统可将零散的多模态数据整合到可搜索的知识图谱中。该系统允许用户上传数据，然后使用知识图谱识别潜在问题或系统性风险。该架构使智能体能够浏览复杂的数据网络并保持长期个性化。它可确保分布式资源与搜索要求持续匹配。

GraphRAG 是一种基于图的检索增强生成 (RAG) 方法。RAG 通过使用 Vector Search 检索到的与上下文相关的数据来增强提示，从而帮助 AI 生成的回答接地。GraphRAG 将 Vector Search 与知识图谱查询相结合，以检索能够更好地反映来自不同来源的数据之间互连性的情境数据。使用 GraphRAG 增强的提示可以生成更详细、更相关的 AI 回答。

本文档的目标受众群体包括在云端构建和管理 AI 基础设施和应用的架构师、开发者和管理员。本文档假定您对 AI 智能体和模型有基本的了解。本文档不提供有关设计和编码 AI 智能体的具体指导。

本文档的部署部分提供了一个代码示例，演示了如何定义 Spanner Graph 架构并关联多模态实体以进行智能体检索。

架构

下图简要展示了多智能体 AI 系统的架构，该系统可实现多模态 GraphRAG 资源编排：

上图中的架构包含两个工作流：数据注入和搜索。

• 数据注入工作流会将零散的多模态记录整合到统一的知识图谱中。此工作流使用依序多智能体模式将原始数据上传到 Cloud Storage，使用 Gemini 提取复杂关系，并更新 Spanner Graph 知识图谱，以确保数据可供检索。
• 搜索工作流可让您通过 GraphRAG 流程检索数据洞见并提供有依据的回答。此工作流使用 Gemini 和专用子智能体来浏览知识图谱，并根据之前的会话数据整合发现结果。

以下标签页提供了展示数据注入和搜索工作流的架构图：

使用的产品

此参考架构使用以下 Google Cloud产品和功能：

• Cloud Run：一个无服务器计算平台，可让您直接在 Google 可伸缩的基础设施之上运行容器。
• Gemini：Google 开发的一系列多模态 AI 模型。
• Gemini Enterprise Agent Platform：一个综合性平台，可让您构建、扩缩、治理和优化企业级 AI 智能体。
• Cloud Storage：适用于各种数据类型的费用低廉且不受限制的对象存储区。数据可从 Google Cloud内部和外部访问，并且跨位置进行复制以实现冗余。
• Spanner Graph：一种图数据库，提供 Spanner 的可伸缩性、可用性和一致性功能。
• Gemini Enterprise Agent Platform 会话：一种永久性存储服务，用于保存和检索用户与智能体之间的互动历史记录。
• 记忆库：一种永久性存储服务，可根据用户与代理的对话生成、优化、管理和检索长期记忆。

如需了解如何为智能体 AI 系统选择替代组件（包括框架、Agent Runtime、工具、记忆和设计模式），请参阅选择智能体 AI 架构组件。

使用场景

该架构专为整合和分析碎片化多模态数据的应用场景而设计，旨在优化资源分配和信息检索。通过维护独立的子智能体，系统支持模块化更新，并确保分布式资源与搜索要求高度一致。将 Spanner Graph 集成为知识图谱，使智能体 AI 系统能够对复杂的互联数据进行建模。这种集成有助于实现丰富的上下文理解和复杂的查询功能，而这些功能在关系型数据库或 NoSQL 数据库中可能具有挑战性或效率低下。

对于以下应用场景，图数据库擅长表示从多模态数据中派生的任意和不断变化的连接。否则，这些连接将需要在关系型数据库中进行复杂且僵化的架构管理。

以下是本文档中所述架构的用例示例：

• 企业人力资源人才流动：通过语义扩展识别符合条件的内部候选人，从而改进大规模招聘搜索的关键字搜索。该架构从多模态作品集和视频介绍中提取技术技能和软技能评估，以构建全面的才智图谱。Spanner 知识图谱可跟踪员工、能力和项目历史记录之间的关系。跟踪结果会根据概念深度识别专家，并标记人员不足的项目。
• 社交媒体内容分析：通过在社交媒体平台上执行高级内容发现和网络分析，识别特定记忆或趋势。系统会处理上传的内容（例如视频、语音备忘录和 vlog），然后提取实体、主题、情感和提及内容。Spanner 知识图谱可跟踪用户、其连接（好友和关注者）、帖子、点赞、评论、分享的主题和趋势之间的关系。

设计考虑事项

以下部分提供了有关设计 AI 智能体和实现此架构以用于生产环境的一般建议。

本部分中的指导并非详尽无遗。如需详细了解设计因素和最佳实践，以及有关构建和部署多智能体 AI 系统的建议，请参阅 Google Cloud中的多智能体 AI 系统。

AI 智能体设计

如需降低代理的费用并提升其性能，请考虑以下建议：

• 智能体系统设计：将复杂的工作流拆解为多个职责明确的专用智能体，而不是使用单一智能体。这种关注点分离简化了提示词工程，最大限度地减少了指令漂移，并实现了精细的模型伸缩。该架构会将大量、定义明确的任务路由到较小、较快的模型，同时将复杂的推理任务留给高容量模型。
• 工具设计：将工具拆分为多个专注的方法，而不是使用单个庞大的方法。这种方法可确保整个代码库的一致性，减少逻辑分支，并实现特定的优化路径，例如在调用直接搜索方法时跳过查询分析。
• 智能体上下文：为防止下游智能体在依序流水线中重复查询上游数据，请通过智能体状态传递足够的上下文。为共享状态使用定义明确的 JSON 结构，以便每个智能体都能可靠地解析数据。
• 会话状态存储：使用会话状态存储即时对话历史记录，并使用记忆库存储跨会话提炼的事实。在会话开始时注入记忆上下文，以便智能体可以引用偏好设置，而无需重新处理冗长的对话历史记录。
• 记忆质量：如果用户的偏好设置或角色随时间发生变化，允许用户清除或更新过时的记忆。

安全性、隐私权和合规性

为了帮助应对 AI 智能体的独特安全风险，Google 建议采用一种方法，将确定性安全控制与基于推理的动态防御相结合：

• 人工监督：在业务关键型系统中纳入人机协同流程，以便人工监督员可以审核输出并批准、覆盖或暂停智能体操作。
• Agent Identity：为每个智能体分配一个与工作负载绑定的身份，以强制执行最小权限访问权限控制，并集中管理外部工具的凭证。
• Agent Gateway：通过 Model Armor 强制执行入站和出站流量治理、默认拒绝访问政策以及内嵌提示和工具检查。

• Agent Registry：验证智能体是否仅连接到已获批准的子智能体和 MCP 工具。

• 实现精细访问权限控制：使用精细访问权限控制在表级和列级授予访问权限。限制 Cloud Storage 存储桶政策，以便只有 Cloud Run 服务账号拥有访问权限。

• 清理推理和回答：使用 Model Armor 检查和清理推理请求和模型回答。这种清理可降低用户上传的多模态内容带来的提示词注入风险。它还有助于防止在代理输出中意外泄露个人身份信息 (PII) 或敏感数据。

可靠性

为确保您的代理配置满足可靠性要求，请考虑以下建议：

• 实现智能体重试逻辑：如需处理配额限制等暂时性错误，请为对智能体平台端点和 Spanner 的调用实现重试逻辑（采用指数退避算法）。
• 设置文件限制：为避免大文件导致 API 超时，请设置明确的上传大小限制，并在提取数据实体之前将大视频分成块。如需了解详情，请参阅自定义视频处理。

运营效率

为确保代理配置满足您的运营效率要求，请考虑以下建议：

• 使用结构化日志记录：使用结构化元数据记录所有智能体工具调用和流水线结果。借助结构化日志，您可以在 Cloud Monitoring 中查询日志和信息中心。
• 实现跟踪：如需诊断延迟热点，请使用 Cloud Trace 捕获代理运行程序和工具执行过程中的端到端请求跟踪记录。
• 评估代理质量：使用 Gen AI Evaluation Service 定期评估代理输出质量，以验证工具选择轨迹和回答质量。

费用优化

为帮助确保您的代理配置符合您的费用要求，请考虑以下建议：

• 存储费用：为了降低存储费用，请使用对象生命周期管理在定义的保留期过后将文件移至 Nearline 或 Coldline 存储类别。
• 费用分析和管理：如需分析和管理 Agent Platform 费用，我们建议您为每秒查询次数 (QPS) 和每秒 token 数 (TPS) 创建基准指标。然后在部署后监控这些指标。您在费用管理过程中创建的基准可以帮助您确定容量规划。例如，基准可帮助您确定何时可能需要预配吞吐量。

性能优化

为帮助确保代理配置满足您的性能要求，请考虑以下建议：

• 根智能体路由：为了最大限度地减少延迟时间并避免不必要的子智能体调用，请在智能体指令中明确定义路由逻辑。确保每个工具的用途、输入参数和预期输出都以字符串字面量形式记录，以帮助模型选择正确的工具。
• 数据库内 AI 模型：为缩短延迟时间，请使用 Spanner ML.PREDICT 函数在 SQL 查询中以内嵌方式调用模型。监控 Agent Platform 配额用量，因为混合搜索工作负载可能会在每次查询时触发多次模型调用。
• 资源分配：根据您的性能要求，配置要分配给 Cloud Run 服务的内存限制和 CPU 限制。

部署

如需部署此架构的示例实现，请尝试“Way Back Home”第 2 级 Codelab。

后续步骤

• 了解如何在 Cloud Run 上托管 AI 智能体。
• 了解如何使用 Agent Platform 和 Spanner Graph 为生成式 AI 构建 GraphRAG 基础设施。
• 了解设计 Spanner Graph 架构的最佳实践。
• 了解如何获取多模态嵌入。
• 了解如何在 Google Cloud中构建多智能体 AI 系统。
• 探索学习资源，通过 Gemini Enterprise Agent Ready (GEAR) 构建和部署企业级智能体。
• 如需简要了解 Google Cloud中特定于 AI 和机器学习工作负载的架构原则和建议，请参阅 Well-Architected Framework 中的 AI 和机器学习视角。
• 如需查看更多参考架构、图表和最佳实践，请浏览 Cloud 架构中心。

贡献者

作者：

• Annie Wang | 软件工程师
• Samantha He | 技术文档工程师

其他贡献者：

• Christina Lin | 开发者关系工程师经理
• Kumar Dhanagopal | 跨产品解决方案开发者
• Olivier Bourgeois | 开发者关系工程师