如要建立已連結 NVIDIA GPU 的機密 VM 執行個體,您必須在 Google Cloud專案中,為要使用的特定 GPU 類型、區域和執行個體佈建模型,取得足夠的 GPU 配額。
NVIDIA RTX PRO 6000
以 G4 機型為基礎的 Confidential VM 執行個體會使用 NVIDIA RTX PRO 6000 GPU,並根據執行個體佈建模型消耗 GPU 配額:
標準 (隨選) VM 執行個體:耗用
GPU_FAMILY:NVIDIA_RTX_PRO_6000配額。Spot VM 和彈性啟動型 VM 執行個體:消耗
PREEMPTIBLE_NVIDIA_RTX_PRO_6000_GPUS配額。
NVIDIA RTX PRO 6000 GPU 的配額要求遵循 Google Cloud 程序。詳情請參閱「查看及管理配額」。
NVIDIA H100
以 A3 High 機型為基礎的機密 VM 執行個體使用 NVIDIA H100 GPU。您必須在下列配額類型中擁有足夠配額,才能順利建立搭載 GPU 的機密 VM 執行個體:
要在各個區域建立的 GPU 模型先占配額。
所有地區中各類 GPU 的總數全域配額。
如要申請提高這些 GPU 配額,請參閱「申請搶占型配額」和「申請全域配額」。
要求搶占型配額
如要申請提高區域先占 NVIDIA H100 GPU 配額,請按照下列步驟操作:
前往 Google Cloud 控制台的「Quotas」(配額) 頁面。
在「篩選器」方塊中輸入
PREEMPTIBLE_NVIDIA_H100_GPUS,然後按下 Enter 鍵或 Return 鍵。在表格的「維度」欄中,找出要提高配額的區域所在資料列。
在該資料列中,依序點選 「More actions」(更多動作) 和「Edit quota」(編輯配額)。
在「Quota changes」(配額變更) 窗格的「New value」(新值) 方塊中,輸入所需的 GPU 數量。
按一下 [提交要求]。
申請全域配額
如要申請提高全域配額,請按照下列步驟操作:
前往 Google Cloud 控制台的「Quotas」(配額) 頁面。
在「篩選器」方塊中輸入
GPUS_ALL_REGIONS,然後按下 Enter 鍵或 Return 鍵。在結果列中,依序點選 「更多動作」和「編輯配額」。
在「Quota changes」(配額變更) 窗格的「New value」(新值) 方塊中,輸入所需的 GPU 數量。
按一下 [提交要求]。
提出配額要求後的影響
如果配額要求獲得核准,您會收到核准電子郵件。收到電子郵件後,請等待約 15 分鐘,然後重新整理「配額」頁面,確認配額是否已更新。如果 15 分鐘後配額仍未更新,請與 Cloud Customer Care 聯絡。
如果配額要求遭拒,您可能會收到電子郵件,說明後續步驟。如要重新申請更多配額,請按照電子郵件中的指示操作。