將 GKE Pod 放置在特定區域

本頁說明如何使用區域拓撲，指示 Google Kubernetes Engine (GKE) 在特定 Google Cloud 區域的節點上執行 Pod。這類刊登位置適用於下列情況：

  • Pod 必須存取儲存在可用區 Compute Engine 永久磁碟中的資料。
  • Pod 必須與其他區域性資源 (例如 Cloud SQL 執行個體) 一併執行。

您也可以搭配使用區域放置和拓撲感知流量路徑，縮短用戶端和工作負載之間的延遲時間。如要進一步瞭解拓撲感知流量導向，請參閱「拓撲感知導向」。

使用區域拓撲控管 Pod 放置位置是 Kubernetes 的進階機制，只有在需要 Pod 在特定區域中執行的情況下才應使用。在大多數正式環境中，建議您盡可能使用區域資源 (GKE 預設值)。

區域刊登位置配置方式

Kubernetes 內建區域拓撲，並使用 topology.kubernetes.io/zone: ZONE 節點標籤。如要告知 GKE 將 Pod 放置在特定區域，請使用下列任一方法：

  • nodeAffinity：在 Pod 規格中，為一或多個 Google Cloud 區域指定 nodeAffinity 規則。這個方法比 nodeSelector 更具彈性，因為您可以在多個區域中放置 Pod。

  • nodeSelector：在單一 Google Cloud 區域的 Pod 規格中指定 nodeSelector。

  • 運算類別：設定 Pod 使用 GKE 運算類別。 這種做法可讓您定義一組優先順序清單，列出 Google Cloud 區域。當這些區域有可用節點時，這項功能可讓工作負載動態移至最偏好的區域組合。詳情請參閱「關於自訂運算類別」。

注意事項

使用區域拓撲進行區域 Pod 放置時，請注意下列事項：

  • 叢集必須與要求的區域位於相同 Google Cloud 區域。
  • 在 Standard 叢集中，您必須使用節點自動佈建功能，或在要求的可用區中建立節點集區。Autopilot 叢集會自動為您管理這項程序。
  • 標準叢集必須是區域叢集。

定價

可用區拓撲是 Kubernetes 排程功能，在 GKE 中使用無須額外付費。

如需定價詳細資料，請參閱 GKE 定價。

事前準備

開始之前，請務必先完成下列工作：

  • 啟用 Google Kubernetes Engine API。
    • 啟用 Google Kubernetes Engine API
  • 如要使用 Google Cloud CLI 執行這項工作，請安裝並初始化 gcloud CLI。如果您先前已安裝 gcloud CLI，請執行 gcloud components update 指令，取得最新版本。較舊的 gcloud CLI 版本可能不支援執行本文件中的指令。
  • 確認您在與要放置 Pod 的區域相同的Google Cloud 區域中，已有 GKE 叢集。如要建立新叢集，請參閱「建立 Autopilot 叢集」。

使用 nodeAffinity 將 Pod 放置在多個可用區中

Kubernetes nodeAffinity 提供彈性的排程控制機制，支援多個標籤選取器和邏輯運算子。如要讓 Pod 在一組可用區的其中一個可用區中執行 (例如 us-central1-a 或 us-central1-f)，請使用 nodeAffinity。

  1. 將下列資訊清單儲存為 multi-zone-affinity.yaml：

    apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
spec:
  replicas: 3
  selector:
    matchLabels:
      app: nginx-multi-zone
  template:
    metadata:
      labels:
        app: nginx-multi-zone
    spec:
      containers:
      - name: nginx
        image: nginx:latest
        ports:
        - containerPort: 80
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              - key: topology.kubernetes.io/zone
                operator: In
                values:
                - us-central1-a
                - us-central1-f

    這個資訊清單會建立含有三個副本的 Deployment，並根據節點可用性，將 Pod 放置在 us-central1-a 或 us-central1-f 中。

    確認叢集位於 us-central1 區域。如果叢集位於不同區域，請將資訊清單值欄位中的區域變更為叢集區域中的有效區域。

    選用：如果您要佈建 TPU VM，請使用 AI 區域，例如 us-central1-ai1a。AI 可用區是經過最佳化調整的專用位置，適用於 Google Cloud 區域內的 AI/機器學習工作負載。

  2. 建立 Deployment：

    kubectl create -f multi-zone-affinity.yaml

    GKE 會在其中一個指定區域的節點中建立 Pod。 多個 Pod 可能會在同一節點上執行。您可以視需要使用 Pod 反相依性，告知 GKE 將每個 Pod 放在不同的節點上。

使用 nodeSelector 將 Pod 放置在單一可用區中

如要將 Pod 放在單一可用區，請在 Pod 規格中使用 nodeSelector。nodeSelector 等於指定單一可用區的 requiredDuringSchedulingIgnoredDuringExecution nodeAffinity 規則。

  1. 將下列資訊清單儲存為 single-zone-selector.yaml：

    apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-singlezone
spec:
  replicas: 3
  selector:
    matchLabels:
      app: nginx-singlezone
  template:
    metadata:
      labels:
        app: nginx-singlezone
    spec:
      nodeSelector:
        topology.kubernetes.io/zone: "us-central1-a"
      containers:
      - name: nginx
        image: nginx:latest
        ports:
        - containerPort: 80

    這個資訊清單會告知 GKE，將 Deployment 中的所有副本放置在 us-central1-a 可用區。

  2. 建立 Deployment：

    kubectl create -f single-zone-selector.yaml

使用運算類別，優先在所選區域中放置 Pod

GKE 運算類別提供控制機制，可讓您定義節點設定優先順序清單。可用區偏好設定可讓您定義要 GKE 將 Pod 放置在哪些可用區。

使用位置區域優先順序

如要在運算類別中定義可用區偏好設定，並使用位置區域優先順序，必須使用 GKE 1.33.1-gke.1545000 以上版本。

以下範例會建立運算級別，指定 Pod 的偏好可用區清單。

這些步驟假設您的叢集位於 us-central1 區域。如果叢集位於不同地區，請將資訊清單中的區域值變更為叢集地區的有效區域。

  1. 將下列資訊清單儲存為 zones-custom-compute-class.yaml：

    apiVersion: cloud.google.com/v1
kind: ComputeClass
metadata:
  name: zones-custom-compute-class
spec:
  priorities:
  - location:
    zones: [us-central1-a, us-central1-b]
  - location:
    zones: [us-central1-c]
  activeMigration:
    optimizeRulePriority: true
  nodePoolAutoCreation:
    enabled: true
  whenUnsatisfiable: ScaleUpAnyway

    這項運算類別資訊清單會變更縮放行為，如下所示：

    1. GKE 會嘗試將 Pod 放置在 us-central1-a 或 us-central1-b 中。
    2. 如果 us-central1-a 和 us-central1-b 沒有可用容量， GKE 會嘗試將 Pod 放置在 us-central1-c 中。
    3. 如果 us-central1-c 沒有可用容量，whenUnsatisfiable: ScaleUpAnyway 欄位會讓 GKE 將 Pod 放置在該區域的任何可用區域中。
    4. 如果運算類別中優先順序較高的可用區稍後恢復運作，activeMigration.optimizeRulePriority: true 欄位會讓 GKE 將 Pod 從任何優先順序較低的可用區移至該可用區。這項遷移作業會使用 Pod 中斷預算，確保服務可用性。

  2. 建立自訂運算類別：

    kubectl create -f zones-custom-compute-class.yaml

    GKE 會建立工作負載可參照的自訂運算級別。

  3. 將下列資訊清單儲存為 custom-compute-class-deployment.yaml：

    apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-zonal-preferences
spec:
  replicas: 3
  selector:
    matchLabels:
      app: nginx-zonal-preferences
  template:
    metadata:
      labels:
        app: nginx-zonal-preferences
    spec:
      nodeSelector:
        cloud.google.com/compute-class: "zones-custom-compute-class"
      containers:
      - name: nginx
        image: nginx:latest
        ports:
        - containerPort: 80

  4. 建立 Deployment：

    kubectl create -f custom-compute-class-deployment.yaml

使用位置區域類型優先順序

如要在運算類別中定義可用區偏好設定，並使用位置可用區類型優先順序，必須使用 GKE 1.35.2-gke.1842000 以上版本。為 Pod 選取區域類型後，系統會視設定而定，使用或建立涵蓋特定類型所有區域的新節點集區。

您可以在運算類別中指定下列區域類型：

  • STANDARD：一般用途， Google Cloud 區域中的可用區。建議用於非 ML 工作負載。
  • AI：專為 AI/加速器容量最佳化的專屬區域。建議用於 AI/機器學習工作負載。
  • CLUSTER_DEFAULT：叢集autoprovisioning-locations中指定的可用區 (如為空白，則為叢集的位置)。

如要進一步瞭解標準可用區和 AI 可用區，請參閱「關於 AI 可用區」一文。

合併欄位的限制

在同一個優先順序項目中，您無法將 zoneTypes 欄位與 location.zones 欄位或 reservations.specific 欄位合併。只要將 zoneTypes 欄位和 location.zones 欄位放在不同的優先順序項目中，即可在同一個運算類別中使用這兩個欄位。

此外，priorityDefaults 欄位會套用至運算類別中的每個優先順序。這項規則的影響是，在 priorityDefaults 欄位中設定 zoneTypes 欄位，會導致您無法在任何優先順序中使用 location.zones 欄位或 reservations.specific 欄位。

有效範例：優先順序不同

下列範例有效，因為 zones 和 zoneTypes 是在不同的優先順序項目中指定：

apiVersion: cloud.google.com/v1
kind: ComputeClass
metadata:
  name: valid-zonal-preferences
spec:
  priorities:
  - location:
      zones: [us-central1-a]
  - location:
      zoneTypes: [AI]

無效範例：優先順序相同

下列範例無效，因為 zones 和 zoneTypes 是在同一個優先順序項目中指定：

apiVersion: cloud.google.com/v1
kind: ComputeClass
metadata:
  name: invalid-same-priority
spec:
  priorities:
  - location:
      zones: [us-central1-a]
      zoneTypes: [AI] # Error: mutually exclusive

無效範例：與預設值衝突

下列範例無效，因為在 priorityDefaults 區段中設定 zoneTypes 欄位，會與優先順序項目的 zones 欄位衝突：

apiVersion: cloud.google.com/v1
kind: ComputeClass
metadata:
  name: invalid-defaults-conflict
spec:
  priorityDefaults:
    location:
      zoneTypes: [AI]
  priorities:
  - location:
      zones: [us-central1-a] # Error: merges with defaults

使用範例

以下範例會建立運算類別，指定 Pod 的偏好區域類型清單。

  1. 將下列資訊清單儲存為 zone-types-custom-compute-class.yaml：

    apiVersion: cloud.google.com/v1
kind: ComputeClass
metadata:
  name: zone-types-custom-compute-class
spec:
  priorities:
  - location:
    zones: [us-central1-c]
  - location:
    zoneTypes:
    - AI
  - location:
    zoneTypes:
    - CLUSTER_DEFAULT
  activeMigration:
    optimizeRulePriority: true
  nodePoolAutoCreation:
    enabled: true
  whenUnsatisfiable: ScaleUpAnyway

    這項運算類別資訊清單會變更縮放行為，如下所示：

    1. GKE 會嘗試將 Pod 放置在 us-central1-c 區域。
    2. 如果 us-central1-c 沒有可用容量，GKE 會嘗試將 Pod 放置在該區域的任何 AI 區域中。
    3. 如果沒有任何 AI 區域有可用容量，GKE 會嘗試將 Pod 放置在任何 CLUSTER_DEFAULT 區域。
    4. 如果所有 CLUSTER_DEFAULT 區域都沒有可用容量，whenUnsatisfiable: ScaleUpAnyway 欄位會讓 GKE 將 Pod 放置在該區域的任何可用區域。
    5. 如果運算類別中優先順序較高的可用區稍後恢復運作，activeMigration.optimizeRulePriority: true 欄位會讓 GKE 將 Pod 從任何優先順序較低的可用區移至該可用區。這項遷移作業會使用 Pod 中斷預算，確保服務可用性。

  2. 建立自訂運算類別：

    kubectl create -f zone-types-custom-compute-class.yaml

    GKE 會建立工作負載可參照的自訂運算級別。

  3. 將下列資訊清單儲存為 custom-compute-class-deployment.yaml：

    apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-zonal-preferences
spec:
  replicas: 3
  selector:
    matchLabels:
      app: nginx-zonal-preferences
  template:
    metadata:
      labels:
        app: nginx-zonal-preferences
    spec:
      nodeSelector: cloud.google.com/compute-class: "zone-types-custom-compute-class"
      containers:
      - name: nginx
        image: nginx:latest
        ports:
        - containerPort: 80

  4. 建立 Deployment：

    kubectl create -f custom-compute-class-deployment.yaml

NAP 如何評估 zoneTypes

判斷是否要重複使用現有節點集區或建立新節點集區時，自動佈建節點 (NAP) 通常會要求節點集區的現有區域與您要求的 zoneTypes 完全相符。如果您更新優先順序，納入更廣泛的區域類型 (例如從 [AI] 移至 [AI, STANDARD])，NAP 會佈建新的節點集區，以符合新的確切形狀。

可辨識機型的修剪功能

如果機器類型 (例如 h3-standard-88) 僅適用於類型定義的可用區子集 (例如僅適用於 us-central1-a)，GKE 會自動將節點集區位置清單縮減為僅包含實際提供該硬體的可用區。

目標 AI 可用區

AI 可用區是專門的可用區，用於 AI/機器學習訓練和推論工作負載。這些可用區提供大量機器學習加速器容量。詳情請參閱「AI 可用區」一文。

在本文件和 GKE 說明文件中，「標準可用區」或「可用區」是指 Google Cloud 區域內的非 AI 可用區。

在 GKE 中使用 AI 區域前，請先考量下列特性：

  • AI 可用區與標準可用區在實體上是分開的，可提供額外的儲存空間和電力。這種分離可能會導致延遲時間較長，但一般來說，AI/機器學習工作負載可容許這種情況。
  • AI 可用區的後置字串會加上 ai 標記。舉例來說，us-central1 地區中的 AI 可用區名稱為 us-central1-ai1a。
  • 目前僅支援 TPU VM。
  • 叢集的控制層會在與 AI 可用區相同的地區內，於一或多個標準可用區中執行。

  • 如要在 AI 區域中執行未附加 TPU 的 VM，必須符合下列條件：

    • 您已在相同可用區中執行其他使用 TPU VM 的工作負載。
    • 非 TPU VM 可能是 Spot VM、與預留項目綁定，或是節點集區的一部分，且具有特定的加速器與一般用途 VM 比例。

  • AI 可用區與同一地區內具有相同後置字元的標準可用區，共用網路連線和軟體推出等元件。如要處理高可用性工作負載，建議您使用不同區域。舉例來說，請避免同時使用 us-central1-ai1a 和 us-central1-a 實現高可用性。

根據預設，GKE 不會在 AI 區域部署工作負載。如要使用 AI 專區，請設定下列其中一個選項：

  • (建議) ComputeClasses：將最高優先順序設為在 AI 區域中要求隨選 TPU。您可以透過 ComputeClass 為工作負載定義優先順序清單。如需範例，請參閱「關於 ComputeClass」。
  • 節點自動佈建：在 Pod 規格中使用 nodeSelector 或 nodeAffinity，指示節點自動佈建功能在 AI 可用區中建立節點集區。如果工作負載未明確指定 AI 可用區，節點自動佈建功能只會考慮標準可用區或 --autoprovisioning-locations 中的可用區，建立新的節點集區。這項設定可確保未執行 AI/機器學習模型的工作負載會留在標準可用區，除非您明確設定其他可用區。如需使用 nodeSelector 的資訊清單範例，請參閱「為自動建立的節點設定預設區域」。
  • GKE Standard：如果您直接管理節點集區，請在建立節點集區時，使用 --node-locations 旗標中的 AI 區域。如需範例，請參閱「在 GKE Standard 中部署 TPU 工作負載」。

確認 Pod 放置位置

如要驗證 Pod 放置位置，請列出 Pod 並檢查節點標籤。單一節點中可能會執行多個 Pod，因此如果您使用 nodeAffinity，可能不會看到 Pod 分散在多個區域。

  1. 列出 Pod：

    kubectl get pods -o wide

    輸出內容會列出執行中的 Pod 和對應的 GKE 節點。

  2. 說明節點：

    kubectl describe node NODE_NAME | grep "topology.kubernetes.io/zone"

    將 NODE_NAME 替換為節點名稱。

    輸出結果會與下列內容相似：

    topology.kubernetes.io/zone: us-central1-a

如要讓 GKE 將 Pod 平均分散到多個區域，以改善多個故障網域的容錯移轉，請使用 topologySpreadConstraints。

後續步驟