最佳化資料和儲存空間,提升永續性

Last reviewed 2026-10-28 UTC

Google Cloud Well-Architected Framework 永續發展支柱中的這項原則提供建議,協助您最佳化 Google Cloud中儲存資源的高效節能和碳足跡。

原則總覽

儲存的資料並非被動資源。資料的整個生命週期都會消耗能源並產生碳排放。每 GB 的儲存資料都需要實體基礎架構,並持續供電、冷卻和管理。如要打造永續的雲端架構,請將資料視為寶貴但會對環境造成負擔的資產,並優先採取主動的資料治理措施。

您對資料保留、品質和位置的決策,有助於大幅降低雲端成本和能源消耗。盡量減少儲存的資料、最佳化資料儲存位置和方式,並實施自動刪除和封存策略。減少資料雜亂情形,可提升系統效能,並從根本上減少資料的長期環境足跡。

建議

如要最佳化資料生命週期和儲存資源,以提升永續發展成效,請參考下列各節的建議。

優先處理高價值資料

儲存的資料若未使用、重複或過時,仍會持續消耗能源,為基礎架構供電。如要減少與儲存空間相關的碳足跡,請使用下列技術。

找出並消除重複項目

制定政策,避免在多個 Google Cloud 專案或服務中不必要地複製資料集。使用 BigQuery 資料集或 Cloud Storage bucket 等中央資料存放區做為單一事實來源,並授予這些存放區適當的存取權。

移除影子資料和暗資料

暗資料是指用途或擁有者不明的資料。影子資料是指未經授權的資料副本。使用 Knowledge Catalog 等資料探索和目錄解決方案,掃描儲存系統並找出暗資料和影子資料。定期稽核這些發現項目,並視情況實施暗資料和影子資料的封存或刪除程序。

盡量減少 AI 工作負載的資料量

只儲存模型訓練和提供所需的特徵和處理過的資料。盡可能使用資料取樣、匯總和合成資料生成等技術,在不依賴大量原始資料集的情況下,達到模型效能。

整合資料品質檢查

在資料擷取階段,使用 Managed Service for Apache Spark、Dataflow 或 Knowledge Catalog 等服務,實作自動資料驗證和資料清理管道。低品質資料會浪費儲存空間。日後使用這些資料進行分析或 AI 訓練時,也會消耗不必要的能源。

查看資料的價值密度

定期查看記錄和 IoT 串流等大量資料集。判斷是否可以匯總、彙整或降採樣任何資料,以維持所需的資訊密度並減少實體儲存空間。

審慎評估是否需要備份

評估是否需要備份可輕鬆重新產生的資料。這類資料包括中繼 ETL 結果、臨時快取,以及從穩定永久來源衍生的訓練資料。只保留獨特或重建成本高昂的資料備份。

最佳化儲存空間生命週期管理

自動化儲存空間生命週期,以便在資料效用降低時,將資料移至高效節能的儲存空間級別,或視情況淘汰。請使用下列技巧。

選取適當的 Cloud Storage 級別

使用物件生命週期管理功能,根據存取頻率,自動將 Cloud Storage 中的資料轉換至碳排放量較低的儲存空間級別。

  • 只有經常使用的資料集 (例如目前的正式環境模型) 才適合使用 Standard Storage。
  • 將舊版 AI 訓練資料集或較少存取的備份等資料,轉換至 Nearline 或 Coldline Storage。
  • 如需長期保留,請使用 Archive 儲存空間,這類儲存空間經過最佳化,可大規模提高能源效率。

實施積極的資料生命週期政策

針對非必要資料 (例如記錄檔、暫時模型構件和過時的中繼結果),定義明確、自動化的存留時間 (TTL) 政策。使用生命週期規則,在指定時間後自動刪除這類資料。

強制標記資源

強制所有 Cloud Storage bucket、BigQuery 資料集和永久磁碟使用一致的資源標記和標籤。建立標記,指出資料擁有者、資料用途和保留期限。使用組織政策服務限制,確保資源套用必要標記,例如保留期限。標記可讓您自動管理生命週期、建立精細的 FinOps 報表,以及產生碳排放報表。

調整運算儲存空間大小及取消佈建

定期稽核連接至 Compute Engine 執行個體的永久磁碟,確保磁碟未過度佈建。只在需要備份時使用快照。刪除未使用的舊快照。如果是資料庫,請使用資料保留政策,縮減基礎永久磁碟的大小。

最佳化儲存格式

如果是用於分析工作負載的儲存空間,建議使用 Parquet 等壓縮的資料欄格式,或最佳化的 Avro 格式,而非 JSON 或 CSV 等資料列格式。資料欄儲存空間可大幅減少實體磁碟空間需求,並提高讀取效率。這項最佳化功能有助於降低相關運算和 I/O 作業的能源消耗。

最佳化區域性和資料移動

資料的實體位置和移動方式會影響網路資源的消耗,以及儲存所需的能源。請使用下列技術,盡可能提高資料區域性。

選取低碳儲存區域

視法規遵循要求而定,請將資料儲存在無碳能源 (CFE) 使用比例較高或電網碳排放強度較低的 Google Cloud 區域。使用資源位置組織政策限制,禁止在高碳排區域建立 Storage bucket。如要瞭解 Google Cloud 區域的 CFE 和碳排放強度資料,請參閱「 Google Cloud 區域的無碳能源」。

盡量減少複製

只有在必須滿足災難復原 (DR) 或高可用性 (HA) 需求時,才跨區域複製資料。跨區域和多區域複製作業會大幅增加資料的能源成本和碳足跡。

最佳化資料處理位置

如要減少網路資料移轉的能源消耗,請將 AI 訓練和 BigQuery 處理等運算密集型工作負載,部署在資料來源所在的區域。

為合作夥伴和客戶最佳化資料移動

如要在雲端服務、位置和供應商之間移動大量資料,請鼓勵合作夥伴和客戶使用 Storage 移轉服務或資料共用 API。避免大量傾印資料。如果是公開資料集,請使用要求者付費 bucket,將資料移轉和處理費用及環境影響轉移給使用者。