使用 Cloud Storage Rapid 服務,為 AI/機器學習和資料分析作業提供最理想的儲存空間

Cloud Storage 提供多種選項,可協助您針對需要高效能的用途 (例如人工智慧 (AI)、機器學習 (ML) 和資料密集型數據分析),最佳化資料儲存空間。本頁面將介紹這些選項,並引導您選取適合工作負載需求的選項。

Cloud Storage Rapid 產品系列

Cloud Storage Rapid 是 Cloud Storage 的高效能產品系列,專為消除 AI/機器學習和資料分析工作負載的資料瓶頸而設計。隨著 AI/機器學習模型日益複雜,資料集規模達到 PB 級,儲存空間效能往往會成為昂貴 GPU 和 TPU 叢集的主要瓶頸。Cloud Storage Rapid 運用可用區架構,讓資料更靠近運算資源,有助於加速器保持飽和、縮短訓練時間,並降低最繁重工作負載的總持有成本 (TCO)。

Cloud Storage Rapid 包含 Rapid Bucket 和 Rapid Cache。

使用 Rapid Bucket 將資料儲存在 Rapid Storage 儲存空間級別

Rapid Bucket 是高效能的可用區物件儲存解決方案,可讓您將可用區定義為 bucket 的位置,將資料儲存在 Rapid 儲存空間級別。Rapid Bucket 可讓您將資料與 AI 加速器放在同一個實體可用區,在所有 Cloud Storage 產品中,這個選項的延遲時間最短,處理量最高。Rapid Bucket 的延遲時間不到一毫秒,匯總處理量高達 15 TB/s,每秒查詢次數 (QPS) 最高可達 2000 萬次。

Rapid Bucket 支援有狀態的串流物件附加作業,可讓應用程式即時將資料寫入現有物件。這項功能可避免昂貴的物件重寫作業,並立即顯示資料,讓消費者應用程式在寫入資料時讀取資料。

最佳用途:訓練、建立查核點,以及提供需要超低延遲和高確定性效能的 AI 模型

適用情況:讀取和寫入作業都需要專屬的高效能

如要瞭解如何使用 Rapid Bucket 建立可用區 bucket,請參閱「建立可用區 bucket」。

使用 Rapid Cache 建立可用區快取

Rapid Cache 是全代管、採用 SSD 的可用區讀取快取,可與現有的區域、雙區域或多區域 bucket 搭配使用,不需變更 API。快取會根據工作負載的需求,自動調度資源暫時儲存空間容量和頻寬。當 VM 從與快取相同的可用區讀取資料時,系統會自動將資料從 bucket 擷取至快取。

Rapid Cache 提供 2.5 TB/s 的匯總處理量,並將資料與 VM 放在相同可用區,縮短延遲時間,加快讀取速度。除了能更快提供資料,從快取提供資料的資料移轉、資料擷取和作業費用,也可能低於直接從 bucket 提供資料。詳情請參閱 Rapid Cache 的優點。

最佳用途:訓練、還原查核點,以及提供需要從現有 Cloud Storage bucket 取得高讀取頻寬的 AI 模型

適用情況:Cloud Storage bucket 中已有資料儲存空間,且您想加快存取速度

如要瞭解如何使用 Rapid Cache,請參閱「建立及管理快取」。