最佳化 AI 和機器學習工作負載，提升能源效率

Last reviewed 2026-10-28 UTC

這項原則屬於Google Cloud Well-Architected Framework的永續發展支柱，提供最佳化 AI 和機器學習工作負載的建議，以減少能源用量和碳足跡。

原則總覽

如要最佳化 AI 和機器學習工作負載，提升永續發展成效，您必須採取全方位做法，設計、部署及運作工作負載。選取合適的模型和 Tensor Processing Unit (TPU) 等專用硬體、在低碳區域執行工作負載、進行最佳化調整以減少資源用量，並套用營運最佳做法。

採用架構和營運做法，最佳化 AI 和機器學習工作負載的成本和效能，自然能降低能源消耗和碳足跡。Well-Architected Framework 的 AI 和機器學習觀點說明原則和建議，協助您設計、建構及管理 AI 和機器學習工作負載，達成營運、安全性、可靠性、成本和效能目標。此外，Cloud Architecture Center 提供詳細的參考架構和設計指南，協助您在 Google Cloud中建構 AI 和機器學習工作負載。

建議

如要最佳化 AI 和機器學習工作負載，提高能源效率，請參考下列各節的建議。

使用 TPU 建構高能源效率架構

AI 和機器學習工作負載可能會耗用大量運算資源。AI 和機器學習工作負載的能源消耗，是永續發展的考量重點。TPU 可大幅提升 AI 和機器學習工作負載的能源效率和永續性。

TPU 是專為 AI 和機器學習工作負載打造的特製加速器。TPU 採用專用架構，能有效處理大規模矩陣乘法，這是深度學習的基礎。TPU 能大規模執行複雜工作，效率高於 CPU 或 GPU 等一般用途處理器。

TPU 可直接帶來下列永續發展效益：

  • 降低能源消耗：TPU 專為最佳能源效率而設計。每瓦能源消耗的運算量更高。其專門架構可大幅降低大規模訓練和推論任務的電力需求，進而降低營運成本和能源消耗。
  • 訓練和推論速度更快：TPU 效能卓越，訓練複雜 AI 模型只需幾小時，而非數天。大幅縮短總運算時間，直接減少環境足跡。
  • 減少冷卻需求：TPU 採用先進的液冷技術，可有效管理熱能，大幅減少資料中心冷卻所需的能源。
  • 最佳化 AI 生命週期：TPU 整合軟硬體，為整個 AI 生命週期提供最佳化解決方案，涵蓋資料處理到模型提供。

遵循 4M 最佳做法，選取資源

Google 建議採用一組最佳做法，大幅減少 AI 和機器學習工作負載的能源用量和碳排放量。我們將這些最佳做法稱為 4M：

  • 模型：針對特殊用途，請選擇專用模型，這類模型使用的運算資源比一般用途的大型模型少。
  • 機器：選擇專為機器學習訓練最佳化的處理器和系統。與一般用途處理器相比，這些處理器可將效能和高能源效率提升 2 至 5 倍。
  • 機械化：在雲端部署耗用大量運算資源的工作負載。與地端部署相比，您的工作負載可減少 1.4 到 2 倍的能源消耗和排放量。雲端資料中心採用新型特製廠房，專為高效節能而生，電力使用效能 (PUE) 比率極高。地端部署資料中心通常規模較小且老舊，因此投資節能冷卻設備和配電系統可能不符合經濟效益。
  • 地圖：選取使用最潔淨能源的 Google Cloud 位置。這個方法可將工作負載的總碳足跡減少 5 到 10 倍。詳情請參閱「 Google Cloud 區域的無碳能源」。

如要進一步瞭解 4M 最佳做法和效率指標，請參閱下列研究論文：

最佳化 AI 模型和演算法，用於訓練和推論

AI 模型的架構和用於訓練及推論的演算法，對能源消耗有重大影響。請參考下列建議。

選取高效的 AI 模型

選擇更小、更有效率且符合效能需求的 AI 模型。請勿將可用的最大模型設為預設選項。舉例來說，相較於 BERT 等大型模型，DistilBERT 等精簡模型版本能提供類似的效能，但運算負擔大幅降低，推論速度也更快。

使用特定領域的高效率解決方案

選擇專門的機器學習解決方案，可提供更佳效能，且所需的運算能力遠低於大型基礎模型。這類專用解決方案通常經過預先訓練和高度最佳化。無論是訓練或推論工作負載，都能大幅降低能源消耗和研究工作量。以下是領域專屬解決方案的例子：

  • Earth AI 是一項高能源效率的解決方案，可整合大量全球地理空間資料，提供即時、準確且可做為行動依據的洞察資料。
  • 與傳統物理方法相比，WeatherNext 能更快、更有效率地產生高度準確的全球天氣預報。

套用適當的模型壓縮技術

以下列舉幾種可用於模型壓縮的技術：

  • 剪枝：從類神經網路中移除不必要的參數。這些參數對模型效能沒有顯著貢獻。這項技術可縮減模型大小，以及推論所需的運算資源。
  • 量化：降低模型參數的精確度。例如將精確度從 32 位元浮點數降為 8 位元整數。這項技術可大幅減少記憶體用量和耗電量，且不會明顯降低準確度。
  • 知識蒸餾：訓練較小的學生模型，模仿較大、較複雜的教師模型行為。學員模型能以較少的參數和能源，達到高水準的效能。

使用專用硬體

如「遵循 4M 資源選擇最佳做法」一節所述，請選擇針對機器學習訓練最佳化的處理器和系統。與一般用途處理器相比，這類處理器的效能和能源效率可提升 2 至 5 倍。

使用高效參數微調

請使用低秩適應 (LoRA) 等高效參數微調 (PEFT) 方法，而非調整模型的所有數十億個參數 (全量微調)。這項技術會凍結原始模型的權重，只訓練少量新的輕量層。這個方法有助於降低成本和能源消耗。

遵循 AI 和機器學習作業的最佳做法

作業做法會大幅影響 AI 和機器學習工作負載的永續性。請參考下列建議。

最佳化模型訓練程序

請使用下列技術，最佳化模型訓練程序：

  • 提早停止：監控訓練過程，如果模型在驗證集上的成效沒有進一步提升，就停止訓練。這項技術可協助您避免不必要的運算和能源使用。
  • 有效率地載入資料：使用高效率的資料管道，確保 GPU 和 TPU 隨時處於運作狀態，不會等待資料。這項技術有助於充分利用資源，減少能源浪費。
  • 最佳化超參數調整：如要更有效率地找出最佳超參數，請使用貝氏最佳化或強化學習等技術。避免執行詳盡的網格搜尋，因為這類作業可能會耗用大量資源。

提升推論效率

如要提升 AI 推論工作的效率，請採用下列技術：

  • 批次處理：將多個推論要求分批，並利用 GPU 和 TPU 的平行處理功能。這項技術有助於降低每次預測的能源成本。
  • 進階快取：實作多層快取策略，包括用於自動迴歸生成的鍵/值 (KV) 快取，以及用於應用程式回應的語意提示快取。這項技術有助於略過多餘的模型運算，大幅減少能源用量和碳排放量。

評估及監控

監控及測量下列參數：

  • 用量和成本：使用適當工具，追蹤 AI 工作負載的詞元用量、能源消耗和碳足跡。這項資料可協助您找出最佳化機會，並回報永續發展目標的進度。
  • 效能：持續監控正式環境中的模型效能。找出資料偏移等問題，這可能表示模型需要再次微調。如果需要重新訓練模型，可以從原本微調過的模型開始，節省更新所需的時間、金錢和精力。
    • 如要追蹤成效指標，請使用 Cloud Monitoring。
    • 如要將模型變更與成效指標改善情形建立關聯，請使用事件註解。

如要進一步瞭解如何落實持續改善，請參閱「持續評估及改善永續發展成效」。

實作碳感知排程

架構機器學習管道工作，在潔淨能源組合最豐富的區域執行。使用碳足跡報表，找出碳密集度最低的區域。在本機電網無碳能源 (CFE) 比例較高的時段，將資源密集型工作排定為批次工作。

最佳化資料管道

機器學習作業和微調需要乾淨、高品質的資料集。在開始機器學習工作前，請使用代管資料處理服務，有效率地準備資料。例如，使用 Dataflow 處理串流和批次處理，並使用 Managed Service for Apache Spark 處理代管 Spark 和 Hadoop 管道。最佳化的資料管道可確保微調工作負載不必等待資料，因此您可以充分利用資源，並減少能源浪費。

採用 MLOps

如要自動化及管理整個機器學習生命週期，請導入機器學習運作 (MLOps) 做法。這些做法有助於確保模型持續受到監控、驗證及有效率地重新部署，避免不必要的訓練或資源分配。

使用代管服務

建議您使用 Gemini Enterprise Agent Platform 等代管雲端服務，而非自行管理基礎架構。雲端平台會處理基礎資源管理作業，讓您專注於微調程序。使用內建超參數調整、模型監控和資源管理工具的服務。

後續步驟

上一頁
使用低碳區域
下一頁
充分運用資源