建立預測叢集

您必須在基礎架構運算子 (IO) 為您建立的預測叢集中，部署預測自訂資源。運算子會在同一個叢集中建立預測工作負載。

如要建立預測叢集，請與 IO 合作，在 Google Distributed Cloud (GDC) 實體隔離方案中，建立預測專案與線上預測所需節點集區的關聯。

事前準備

如要設定專案並在預測叢集中部署預測資源，您必須具備必要權限。

要求 IAM 組織角色

請與 IAM 機構組織管理員聯絡，要求對方授予下列角色：

  • 專案建立者 (project-creator)：在組織中建立新專案。

要求 IAM 專案角色

請與 IAM 專案管理員聯絡，要求在專案命名空間中取得下列角色：

  • Vertex AI Prediction 管理員 (vertex-ai-prediction-admin)：管理用於透過線上預測部署模型的資源。

如要進一步瞭解這些角色，請參閱「準備 IAM 權限」。

要求預測叢集

如要建立預測叢集，請按照下列步驟操作：

  1. 找出組織中要與新叢集建立關聯的專案，以便進行線上預測。

    如要建立專案，請參閱「設定 Vertex AI 專案」。發出 API 呼叫時，您需要提供專案 ID。

  2. 從 Distributed Cloud 的可用機器類型清單中，選擇叢集中工作負載所需節點的機器類型。

    您選擇的機器類型取決於預測模型的大小和複雜度，並決定 IO 為叢集提供的運算和圖形處理器 (GPU) 資源。為節點選取機型時，請遵循節點選取建議。

  3. 使用預測叢集案件範本傳送電子郵件給 IO，建立案件並提出建立叢集的要求。

  4. 如有必要，請與 IO 溝通，直到他們完成建立與專案相關聯的預測叢集，並在叢集內指派適當的節點集區。

完成叢集佈建後，預測叢集即可用於線上預測。

節點選取建議

IO 在叢集中建立節點集區時，會指派 Distributed Cloud 中可用的機型之一，為 worker 節點提供一組預先定義的資源。視模型大小和複雜度而定，您需要不同的運算效能，因此需要特定數量的 CPU、記憶體和 GPU。如要建立預測叢集，請務必在與 IO 溝通時提供這些詳細資料。

在 IO 中決定預測叢集所需的節點集區機型時，請務必遵守下列做法：

  • Distributed Cloud 會為強制性系統元件的節點增加運算負擔。因此，您必須為節點集區選擇比模型資源集區更大的機型。
  • 請選擇能提供符合您需求最低記憶體和運算資源的解決方案。舉例來說，如果模型需要八個 vCPU，請選擇 n2-highcpu-8-gdc 機型，這是 Distributed Cloud 中最小的解決方案，配備八個 vCPU 和 8 GB 記憶體。
  • 隨著進度推進，只有在較小的解決方案無法滿足需求，以及模型的大小和複雜度時，才考慮使用效能較高的解決方案。請務必遵守最小權限原則，只使用執行特定工作流程所需的資源。這種負責任的做法可確保在 Distributed Cloud 環境中謹慎使用資源。
  • 如果模型需要 GPU，請務必選擇有 GPU 的解決方案。
  • 如果模型需要 GPU，請考慮使用 a2-highgpu-1g-gdc 機型，這是提供 GPU 的最小解決方案。

預測叢集案件範本

請使用下列範本，傳送電子郵件給 IO。電子郵件會開啟客服案件，建立線上預測所需的預測叢集。

Good day,

I need to create a prediction cluster and associate it with a project in my organization to use online predictions.

Please use the following information for the creation of the cluster:

- **Cluster name:** vtx-ai-prediction
- **Name of the organization:** [Specify your organization's name.]
- **Project name:** [Specify the name of your project to associate with the prediction cluster.]
- **Machine type for the node pool:** [Specify the machine type you chose from the list of available machine types for the cluster nodes based on node selection recommendations. Please note that the IO can respond with a different suggestion based on your needs.]
- **Compute resources:** [Optionally, if you know how many compute resources your workloads need, describe them in this field.]
- **Memory resources:** [Optionally, if you know how many memory resources your workloads need, describe them in this field.]
- **GPU resources:** [Optionally, if you know how many GPU resources your workloads need, describe them in this field.]

**Note for IO:** Review the instructions to create the prediction cluster in the following section of the documentation: Operator > Configure the deployment > Create the Prediction cluster

Thank you,
[Your name]