优化 AI 和机器学习工作负载，以提高能效

Last reviewed 2026-10-28 UTC

Google Cloud Well-Architected Framework 可持续性核心中的这一原则提供了优化 AI 和机器学习工作负载以减少其能耗和碳足迹的建议。

原则概览

为了优化 AI 和机器学习工作负载以实现可持续性，您需要采用整体方法来设计、部署和运行工作负载。选择合适的模型和专用硬件（例如张量处理单元 [TPU]），在低碳区域运行工作负载，进行优化以减少资源用量，并应用运营最佳实践。

优化 AI 和机器学习工作负载的成本和性能的架构和运营实践，本质上会减少能源消耗并降低碳足迹。Well-Architected Framework 中的 AI 和机器学习视角介绍了设计、构建和管理 AI 和机器学习工作负载的原则和建议，这些工作负载可满足您的运营、安全、可靠性、费用和效果目标。此外，Cloud 架构中心还提供了 Google Cloud中 AI 和机器学习工作负载的详细参考架构和设计指南。

建议

如需优化 AI 和机器学习工作负载以提高能效，请考虑以下各部分中的建议。

使用 TPU 构建高能效架构

AI 和机器学习工作负载可能是计算密集型。AI 和机器学习工作负载的能源消耗是可持续发展的一个关键考虑因素。TPU 可让您显著提高 AI 和机器学习工作负载的能效和可持续性。

TPU 是专为 AI 和机器学习工作负载而定制设计的加速器。TPU 的专用架构使其在处理大规模矩阵乘法（深度学习的基础）时非常高效。与 CPU 或 GPU 等通用处理器相比，TPU 可以更高效地大规模执行复杂任务。

TPU 可直接带来以下可持续发展优势：

  • 能源消耗更低：TPU 旨在实现最佳能效。它们每消耗一瓦特能量，就能提供更高的计算能力。 其专用架构可显著降低大规模训练和推理任务的功耗，从而降低运营成本并减少能源消耗。
  • 更快的训练和推理：TPU 的卓越性能让您可以在数小时（而非数天）内训练复杂的 AI 模型。总计算时间的大幅减少直接有助于减少环境足迹。
  • 减少冷却需求：TPU 采用先进的液冷技术，可提供高效的热管理，并显著减少用于冷却数据中心的能源。
  • 优化 AI 生命周期：通过集成硬件和软件，TPU 可在整个 AI 生命周期（从数据处理到模型部署）中提供优化的解决方案。

遵循 4M 资源选择最佳实践

Google 建议采用一系列最佳实践，以显著降低 AI 和机器学习工作负载的能耗和碳排放。我们将这些最佳实践称为 4M：

  • 模型：对于专业应用场景，请选择专用模型，这些模型使用的计算资源比通用大型模型少。
  • 机器：选择针对机器学习训练进行了优化的处理器和系统。与通用处理器相比，这些处理器可将性能和能源效率提高 2 到 5 倍。
  • 机械化：在云端部署计算密集型工作负载。与本地部署相比，您的工作负载消耗的能源更少，排放量也降低了 1.4 到 2 倍。云数据中心使用经过定制设计的新型仓库，这些仓库专为高效利用能源而打造，具有较高的能效 (PUE) 比。本地数据中心通常较陈旧且规模较小，因此投资节能型冷却和电力分配系统可能不经济。
  • 地图：选择 Google Cloud 使用最清洁能源的位置。这种方法有助于将工作负载的总碳足迹减少 5-10 倍。如需了解详情，请参阅 Google Cloud 区域的无碳能源数据。

如需详细了解 4M 最佳实践和效率指标，请参阅以下研究论文：

优化 AI 模型和算法，以进行训练和推理

AI 模型的架构以及用于训练和推理的算法对能源消耗有重大影响。请考虑以下建议。

选择高效的 AI 模型

选择更小、更高效且满足性能要求的 AI 模型。不要选择最大的可用模型作为默认选择。例如，与 BERT 等较大模型相比，DistilBERT 等较小的蒸馏模型版本可以提供类似的性能，但计算开销显著降低，推理速度更快。

使用特定领域的高效解决方案

选择专用机器学习解决方案，这些解决方案可提供更好的性能，并且所需的计算能力明显低于大型基础模型。这些专用解决方案通常经过预训练和高度优化。它们可以显著减少训练和推理工作负载的能源消耗和研究工作量。以下是特定于网域的专用解决方案示例：

  • Earth AI 是一种高效利用能源的解决方案，可综合大量全球地理空间数据，提供及时、准确且富有实用价值的分析洞见。
  • 与传统的基于物理的方法相比，WeatherNext 可生成更快、更高效且高度准确的全球天气预报。

应用适当的模型压缩技术

以下是可用于模型压缩的技术示例：

  • 剪枝：从神经网络中移除不必要的参数。这些参数对模型的性能没有显著贡献。此方法可缩减模型大小，并减少推理所需的计算资源。
  • 量化：降低模型参数的精度。例如，将精度从 32 位浮点数降低到 8 位整数。此技术有助于显著减少内存占用和功耗，而不会明显降低准确率。
  • 知识蒸馏：训练较小的学生模型，以模仿较大、较复杂的教师模型的行为。学生模型可以用更少的参数和更少的能耗实现高水平的性能。

使用专用硬件

如遵循 4M 资源选择最佳实践中所述，请选择针对机器学习训练进行了优化的处理器和系统。与通用处理器相比，这些处理器可将性能和能效提高 2-5 倍。

使用参数高效微调

使用低秩适应 (LoRA) 等参数高效微调 (PEFT) 方法，而不是调整模型的所有数十亿个参数（全面微调）。使用此方法时，您需要冻结原始模型的权重，并仅训练少量新的轻量级层。这种方法有助于降低成本和能源消耗。

遵循 AI 和机器学习运维的最佳实践

运营实践会显著影响 AI 和机器学习工作负载的可持续性。请考虑以下建议。

优化模型训练流程

使用以下方法优化模型训练过程：

  • 早停法：监控训练过程，当您发现模型在验证集上的性能没有进一步提升时，停止训练。此方法有助于您避免不必要的计算和能耗。
  • 高效的数据加载：使用高效的数据流水线，确保 GPU 和 TPU 始终得到利用，而不会等待数据。此技术有助于最大限度地提高资源利用率并减少能源浪费。
  • 优化的超参数调优：如需更高效地找到最佳超参数，请使用贝叶斯优化或强化学习等技术。避免进行详尽的网格搜索，因为这可能是资源密集型操作。

提高推理效率

如需提高 AI 推理任务的效率，请使用以下方法：

  • 批处理：将多个推理请求分组，并利用 GPU 和 TPU 上的并行处理。此方法有助于降低每次预测的能耗。
  • 高级缓存：实施多层缓存策略，包括用于自回归生成的键值对 (KV) 缓存和用于应用响应的语义提示缓存。此技术有助于绕过冗余的模型计算，并可显著减少能耗和碳排放。

衡量和监控

监控和衡量以下参数：

  • 用量和费用：使用适当的工具跟踪 AI 工作负载的 token 用量、能源消耗和碳足迹。这些数据可帮助您发现优化机会，并报告可持续发展目标的进展情况。
  • 性能：持续监控模型在生产环境中的性能。识别数据偏移等问题，这些问题可能表明模型需要再次微调。如果您需要重新训练模型，可以使用原始微调模型作为起点，从而节省大量时间、资金和精力。
    • 如需跟踪效果指标，请使用 Cloud Monitoring。
    • 如需将模型更改与效果指标的改进相关联，请使用事件注释。

如需详细了解如何实施持续改进，请参阅持续衡量和改进可持续性。

实现碳感知型调度

将机器学习流水线作业设计为在能源结构最清洁的区域运行。 使用碳足迹报告确定碳密集度最低的区域。在本地电网具有较高比例的无碳能源 (CFE) 的时段，将资源密集型任务安排为批量作业。

优化数据流水线

机器学习运维和微调需要干净、高质量的数据集。在启动机器学习作业之前，请使用代管式数据处理服务高效地准备数据。例如，使用 Dataflow 进行流处理和批处理，使用 Managed Service for Apache Spark 运行托管式 Spark 和 Hadoop 流水线。经过优化的数据流水线有助于确保微调工作负载无需等待数据，从而最大限度地提高资源利用率，并减少能源浪费。

采用 MLOps

如需自动执行和管理整个机器学习生命周期，请实施机器学习运维 (MLOps) 实践。这些做法有助于确保模型得到持续监控、验证和高效重新部署，从而避免不必要的训练或资源分配。

使用托管式服务

使用 Gemini Enterprise Agent Platform 等代管式云服务，而不是管理自己的基础设施。云平台会处理底层资源管理，让您可以专注于微调过程。使用包含内置超参数调优、模型监控和资源管理工具的服务。

后续步骤

上一页
使用低碳区域
下一页
优化资源使用情况