自訂節點系統設定

本文說明如何使用節點系統設定設定檔，自訂 Google Kubernetes Engine (GKE) 節點設定。

節點系統設定檔可讓您調整一組有限的系統設定。在節點集區中，您可以使用節點系統設定，為 kubelet Kubernetes 節點代理程式和 sysctl 低階 Linux 核心設定指定自訂設定。

本文詳細說明節點系統設定的可用設定，以及如何將這些設定套用至 GKE Standard 節點集區。請注意，GKE Autopilot 叢集的節點環境代管程度較高，因此與 GKE Standard 節點集區相比，直接設定節點系統的選項較少。

使用節點系統設定的原因

節點系統設定具有下列優點：

• 效能調整：針對 AI 訓練或服務、資料庫、高流量網路伺服器或延遲敏感服務等高需求應用程式，最佳化網路堆疊效能、記憶體管理、CPU 排程或 I/O 行為。
• 安全性強化：套用特定核心層級安全性設定，或限制特定系統行為，縮小攻擊面。
• 資源管理：微調 kubelet 管理 PID、磁碟空間、映像檔垃圾收集，或 CPU 和記憶體資源的方式。
• 工作負載相容性：確保節點環境符合特定先決條件，適用於需要特定核心設定的專業軟體或舊版應用程式。

自訂節點設定的其他選項

您也可以使用其他方法自訂節點設定：

• 執行階段設定檔：如要自訂 GKE 節點上的 containerd 容器執行階段，可以使用另一個稱為執行階段設定檔的檔案。詳情請參閱「自訂 GKE 節點中的 containerd 設定」。
• ComputeClass：您可以在 GKE ComputeClass 規格中指定節點屬性。在 GKE 1.32.1-gke.1729000 以上版本中，您可以在 GKE Autopilot 模式和標準模式中使用 ComputeClass。詳情請參閱「自訂節點系統設定」。
• DaemonSets：您也可以使用 DaemonSet 自訂節點。詳情請參閱「使用 DaemonSet 自動啟動 GKE 節點」。

Windows Server 節點不支援節點系統設定。

事前準備

開始前，請務必完成下列操作：

• 安裝指令列工具：
  • 如要使用本文中的 gcloud CLI 範例，請務必安裝並設定 Google Cloud CLI。
  • 如要使用 Terraform 範例，請務必安裝並設定 Terraform。
• 授予權限：您需要適當的身分與存取權管理權限，才能建立及更新 GKE 叢集和節點集區，例如 container.clusterAdmin 或具備同等權限的其他角色。
• 規劃潛在的工作負載中斷：自訂節點設定會在節點集區層級套用。變更通常會觸發集區中節點的滾動式更新，包括重新建立節點。規劃可能的工作負載中斷，並視情況使用 Pod 中斷預算 (PDB)。
• 備份並測試所有變更：請務必先在測試或開發環境中測試設定變更，再套用至正式環境。設定錯誤可能導致節點不穩定或工作負載失敗。
• 查看 GKE 預設設定：GKE 節點映像檔隨附最佳化的預設設定。除非有特定需求，且瞭解變更帶來的影響，否則請勿自訂參數。

新增節點系統設定

您可以使用 ComputeClass 或設定檔，自訂節點系統設定。

使用 ComputeClass 設定節點系統

您可以使用自訂 ComputeClass，自訂 kubelet 和 Linux 核心中的特定參數。這個方法適用於 GKE 1.32.1-gke.1729000 以上版本。

如要使用 ComputeClass 自訂節點系統設定，請按照下列步驟操作：

1. 建立包含 spec.nodePoolAutoCreation.enabled: true 欄位值組合的 ComputeClass，並在 priorityDefaults 欄位中指定系統設定。
2. 部署會選取 ComputeClass 的工作負載。

建立 ComputeClass

以 YAML 格式編寫 ComputeClass 設定。使用 priorityDefaults 規格中的 nodeSystemConfig 欄位，設定所有優先順序的系統設定。

下列 ComputeClass 範例會設定靜態 CPU 管理工具政策和自訂核心參數：

apiVersion: cloud.google.com/v1
kind: ComputeClass
metadata:
  name: custom-sysconfig
spec:
  nodePoolAutoCreation:
    enabled: true
  priorityDefaults:
    nodeSystemConfig:
      kubeletConfig:
        cpuManagerPolicy: static
      linuxNodeConfig:
        sysctls:
          net.core.somaxconn: 2048
  priorities:
  - machineFamily: n4

套用 ComputeClass：

kubectl apply -f custom-sysconfig.yaml

部署選取 ComputeClass 的工作負載

在 Pod 規格中，為 ComputeClass 名稱新增節點選取器：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: my-app
spec:
  replicas: 2
  selector:
    matchLabels:
      app: my-app
  template:
    metadata:
      labels:
        app: my-app
    spec:
      nodeSelector:
        cloud.google.com/compute-class: custom-sysconfig
      containers:
      - name: app-container
        image: nginx

套用工作負載：

kubectl apply -f my-app.yaml

詳情請參閱「自訂節點系統設定」。

使用設定檔進行節點系統設定

使用節點系統設定檔時，您會使用包含 kubelet 和 Linux 核心設定參數的 YAML 檔案。雖然 GKE Autopilot 模式也提供節點系統設定，但本文步驟說明的是如何建立及使用 GKE Standard 模式的設定檔。

如要在 GKE Standard 模式中使用節點系統設定檔，請按照下列步驟操作：

1. 建立設定檔。這個檔案包含 kubelet 和 sysctl 設定。
2. 在建立叢集或節點集區時新增設定，或更新現有節點集區。

建立設定檔

以 YAML 格式編寫節點系統設定。以下範例會新增 kubelet 和 sysctl 選項的設定：

kubeletConfig:
  cpuManagerPolicy: static
  allowedUnsafeSysctls:
    - 'kernel.shm*'
    - 'kernel.msg*'
    - 'kernel.sem'
    - 'fs.mqueue.*'
    - 'net.*'
linuxConfig:
  sysctl:
    net.core.somaxconn: '2048'
    net.ipv4.tcp_rmem: '4096 87380 6291456'

在這個例子中，適用下列條件：

• cpuManagerPolicy: static 欄位會設定 kubelet，以使用靜態 CPU 管理政策。
• net.core.somaxconn: '2048' 欄位會將 socket listen() 待處理項目限制為 2,048 個位元組。
• net.ipv4.tcp_rmem: '4096 87380 6291456' 欄位會將 TCP 通訊端接收緩衝區的最小值、預設值和最大值分別設為 4,096 位元組、87,380 位元組和 6,291,456 位元組。

如果只想為 kubelet 或 sysctl 新增設定，請在節點系統設定中僅加入該部分。舉例來說，如要新增 kubelet 設定，請建立下列檔案：

kubeletConfig:
  cpuManagerPolicy: static

如需可新增至節點系統設定的完整欄位清單，請參閱「Kubelet 設定選項」和「Sysctl 設定選項」一節。

將設定新增至 Standard 節點集區

建立節點系統設定後，請使用 Google Cloud CLI 新增 --system-config-from-file 旗標。您可以在建立叢集或節點集區時，或更新現有節點集區時，新增這個旗標。您無法使用 Google Cloud 控制台新增節點系統設定。

建立具有節點系統設定的叢集

您可以在建立叢集時，使用 gcloud CLI 或 Terraform 新增節點系統設定。下列操作說明會將節點系統設定套用至預設節點集區：

gcloud container clusters create CLUSTER_NAME \
    --location=LOCATION \
    --system-config-from-file=SYSTEM_CONFIG_PATH

resource "google_container_cluster" "default" {
  name     = "gke-standard-regional-cluster"
  location = "us-central1"

  initial_node_count = 1

  node_config {
    # Kubelet configuration
    kubelet_config {
      cpu_manager_policy = "static"
    }

    linux_node_config {
      # Sysctl configuration
      sysctls = {
        "net.core.netdev_max_backlog" = "10000"
      }

      # Linux cgroup mode configuration
      cgroup_mode = "CGROUP_MODE_V2"

      # Linux huge page configuration
      hugepages_config {
        hugepage_size_2m = "1024"
      }
    }
  }
}

建立新的節點集區，並套用節點系統設定

使用 gcloud CLI 或 Terraform 建立新的節點集區時，可以新增節點系統設定。

下列操作說明會將節點系統設定套用至新的節點集區：

gcloud container node-pools create POOL_NAME \
     --cluster CLUSTER_NAME \
     --location=LOCATION \
     --system-config-from-file=SYSTEM_CONFIG_PATH

resource "google_container_node_pool" "default" {
  name    = "gke-standard-regional-node-pool"
  cluster = google_container_cluster.default.name

  node_config {
    # Kubelet configuration
    kubelet_config {
      cpu_manager_policy = "static"
    }

    linux_node_config {
      # Sysctl configuration
      sysctls = {
        "net.core.netdev_max_backlog" = "10000"
      }

      # Linux cgroup mode configuration
      cgroup_mode = "CGROUP_MODE_V2"

      # Linux huge page configuration
      hugepages_config {
        hugepage_size_2m = "1024"
      }
    }
  }
}

更新現有節點集區的節點系統設定

如果您使用設定檔管理節點系統設定，可以透過下列任一方式更新現有節點集區：

• 不中斷服務的即時更新：直接將更新後的 sysctl 和 kubelet 設定套用至執行中的節點，不必重新建立 VM 或移除 Pod。如果只想變更 sysctl 或 kubelet 設定，並盡可能減少干擾，請使用這個方法。
• 標準升級策略：使用新設定重新建立節點。如果變更的設定不支援即時更新、叢集或節點集區執行的 GKE 版本早於 1.37.1-gke.1954000，或您希望 GKE 排除 Pod 並重新排程至新節點，請使用這個方法。

如要變更使用 ComputeClass 的節點設定，請改為參閱「編輯 ComputeClass 的節點系統設定」。

使用不中斷服務的即時更新功能

您可以直接將設定檔中更新的 sysctl 和 kubelet 設定套用至執行中的節點。這項程序會更新參數，而不重新建立或重新啟動基礎 VM，因此可減少中斷情形並加快更新速度。下列 linuxConfig 選項仍須採用標準升級策略：

• Linux cgroup 模式
• Linux hugepages
• Linux 精確時間同步處理
• Linux VFIO
• Linux 磁碟 I/O 排程器

最新即時資訊的運作方式

最新即時資訊功能在各項支援設定中的運作方式如下：

• sysctl 設定：GKE 會在每個節點上重新啟動 sysctl systemd 服務，以套用 linuxConfig.sysctl 欄位中的核心參數。如果您更新命名空間 sysctl 參數，GKE 也會重新啟動 kubelet 服務，以更新 Pod 層級 sysctl 設定。如要瞭解支援的參數，請參閱「Sysctl 設定選項」。
• kubelet 設定：GKE 會重新啟動各節點上的 kubelet 服務，套用 kubeletConfig 欄位中的參數。大多數 kubelet 設定選項都支援即時更新。不過，cpuManagerPolicy、shutdownGracePeriodSeconds 和 shutdownGracePeriodCriticalPodsSeconds 選項需要標準升級策略。

無論是哪一種情況，GKE 都會直接在執行中的節點上套用變更，不會重新建立 VM、剔除 Pod 或建立臨時激增 VM。GKE 會將節點集區的 --max-surge-upgrade 和 --max-unavailable-upgrade 設定總和做為並行限制，決定要同時更新多少現有節點。

最新即時資訊功能的必要條件

如要使用即時更新功能，叢集和節點集區必須符合下列必要條件：

• 執行 GKE 1.37.1-gke.1954000 以上版本。
• 在叢集上啟用 NodeReadinessController 外掛程式。在即時更新期間，這個控制器會暫時將 readiness.k8s.io/gke-node-live-update-reconciling:NoSchedule 污點套用至每個更新中的節點，這樣 GKE 就不會在更新完成前，將新的 Pod 排程至該節點：
  • 如果是新叢集，請在建立叢集時，於 --addons 旗標中加入 NodeReadinessController 外掛程式。這個旗標只會啟用您指定的外掛程式，並停用所有其他外掛程式，因此請一併加入要保留的任何預設外掛程式。
  • 如果是現有叢集，請在更新叢集時傳遞 --update-addons=NodeReadinessController=ENABLED 旗標。

套用即時更新

如要套用即時更新，請按照下列步驟操作：

1. 建立或修改節點系統設定 YAML 檔案，使其包含節點集區的完整設定，包括您要變更的 kubelet 或 sysctl 設定。為避免重設不想變更的設定，請從節點集區的現有設定開始。

2. 使用設定檔更新節點集區，並將 --node-config-update-mode 旗標的值設為 LIVE_UPDATE_WITHOUT_DRAIN：

   gcloud container node-pools update POOL_NAME \
       --cluster=CLUSTER_NAME \
       --location=LOCATION \
       --system-config-from-file=SYSTEM_CONFIG_PATH \
       --node-config-update-mode=LIVE_UPDATE_WITHOUT_DRAIN
   

   更改下列內容：

   • POOL_NAME：要更新的節點集區名稱
   • CLUSTER_NAME：節點集區所在叢集的名稱
   • LOCATION：叢集的運算可用區或區域
   • SYSTEM_CONFIG_PATH：節點系統設定 YAML 檔案的路徑

3. 確認 GKE 已將更新後的設定套用至節點集區：

   gcloud container node-pools describe POOL_NAME \
       --cluster=CLUSTER_NAME \
       --location=LOCATION \
       --format="yaml(config.kubeletConfig, config.linuxNodeConfig)"
   

   指令輸出內容會在 config.kubeletConfig 和 config.linuxNodeConfig 欄位中，顯示節點集區的有效設定。

4. 選用：重新啟動現有 Pod。即時更新不會中斷執行中的 Pod，因此 GKE 只會將更新後的設定套用至更新完成後啟動的 Pod。如要將設定套用至已執行的工作負載，請重新啟動其 Pod，例如在 Deployment 上執行 kubectl rollout restart。

如果即時更新未如預期進行，復原路徑取決於更新作業是否完成：

• 如果即時更新作業失敗，請參閱「從失敗的即時更新中復原」。
• 如果即時更新作業成功，但新設定導致非預期的工作負載行為，請參閱「還原已完成的即時更新」。

從失敗的即時更新中復原

如果節點的即時更新失敗，GKE 會立即停止推出作業，並讓節點集區處於部分更新狀態。如要檢查失敗詳情，請執行下列任一操作：

• 執行 gcloud container operations describe 指令。在輸出內容中，statusMessage 欄位會指出即時更新失敗的節點，以及節點回報的錯誤，例如：

  statusMessage: 'Failed precondition: live update failed on node gke-my-cluster-default-pool-ae3770ee-2kk0:
    Live update fails with error: failed to write new kubelet config: ...'
  

• 在Logs Explorer中，檢查受影響節點上的 gke-node-live-update-reconciler 元件是否有錯誤。

由於即時更新失敗不會變更節點集區儲存的設定，因此使用 gcloud container node-pools update 指令重新套用先前的設定不會觸發更新。檢查失敗原因後，請選擇下列其中一個復原選項：

• 修正問題並完成即時更新 (建議)：解決導致失敗的問題，然後使用目標設定重新執行先前程序中的 gcloud container node-pools update 指令。
• 還原至先前的設定：如果無法解決問題，請執行 gcloud container node-pools rollback 指令，將節點集區還原至先前的設定。與即時更新不同，這個指令會重新建立節點集區中的所有節點，因此會中斷在這些節點上執行的工作負載。

還原已完成的最新即時資訊

如果即時更新作業成功，但新套用的設定導致非預期的工作負載行為，請套用另一個採用先前設定的即時更新，就地還原變更。這項即時更新會還原先前的設定，不會剔除 Pod 或重新啟動節點。作業成功後，gcloud container node-pools rollback 指令就無法使用，只有在作業失敗時才能使用。

如要還原已完成的即時更新，請按照下列步驟操作：

1. 更新節點系統設定 YAML 檔案，使其包含節點集區的完整先前設定。如果先前未設定某項設定，請明確將其設為預設值，而非省略或留空。如要瞭解預設值，請參閱「Kubelet 設定選項」和「Sysctl 設定選項」。

2. 將先前的設定套用至節點集區：

   gcloud container node-pools update POOL_NAME \
       --cluster=CLUSTER_NAME \
       --location=LOCATION \
       --system-config-from-file=SYSTEM_CONFIG_PATH \
       --node-config-update-mode=LIVE_UPDATE_WITHOUT_DRAIN
   

使用標準升級策略更新

如果您要更新不支援即時更新的設定選項、叢集或節點集區執行的 GKE 版本低於 1.37.1-gke.1954000，或希望 GKE 自動排空 Pod 並重新排程至新建立的節點，請使用標準升級策略。

如要使用標準升級策略更新現有節點集區，請執行下列指令：

gcloud container node-pools update POOL_NAME \
    --cluster=CLUSTER_NAME \
    --location=LOCATION \
    --system-config-from-file=SYSTEM_CONFIG_PATH

更改下列內容：

• POOL_NAME：要更新的節點集區名稱
• CLUSTER_NAME：節點集區所在叢集的名稱
• LOCATION：叢集的運算可用區或區域
• SYSTEM_CONFIG_PATH：節點系統設定 YAML 檔案的路徑

這項變更需要重新建立節點，可能會中斷執行中的工作負載。如要進一步瞭解這項特定變更，請在手動變更表格中，找出對應的資料列。

如要進一步瞭解節點更新，請參閱「規劃節點更新中斷」。

編輯節點系統設定

您可以根據使用的是 ComputeClasses 還是設定檔，編輯節點系統設定。

ComputeClass

如要在使用 ComputeClasses 時編輯節點系統設定，請選擇下列其中一種方法：

方法 1：更新現有的 ComputeClass

如果您更新現有 ComputeClass 中的 nodeSystemConfig，GKE 只會將更新後的設定套用至新建立的節點。現有節點不會自動更新。

如要將工作負載遷移至採用新設定的節點，您可以採取下列任一做法：

• 在 ComputeClass 中設定主動遷移。
• 如要觸發新節點的擴充作業，請手動重新啟動或重新建立工作負載。

如要更新 ComputeClass，請編輯 YAML 檔案並套用：

kubectl apply -f custom-sysconfig.yaml

方法 2：建立新的 ComputeClass

為確保工作負載遷移至採用更新設定的新節點，請按照下列步驟操作：

1. 使用新名稱和更新後的設定建立新的 ComputeClass。
2. 更新工作負載規格中的節點選取器，參照新的 ComputeClass。
3. 套用更新後的工作負載規格。叢集自動配置器會使用新設定佈建新節點，並最終縮減舊節點。
4. 刪除舊的 ComputeClass 物件。

設定檔

如要使用設定檔編輯節點系統設定，您可以建立新的節點集區並套用所需設定，或更新現有節點集區的節點系統設定。

建立節點集區來編輯

如要透過建立節點集區來編輯節點系統設定，請按照下列步驟操作：

1. 建立設定檔，並加入所需設定。
2. 將設定新增至新的節點集區。
3. 將工作負載遷移至新的節點集區。
4. 刪除舊節點集區。

更新現有節點集區

如要就地變更現有節點集區的節點系統設定，請參閱「更新現有節點集區的節點系統設定」。

取得現有節點系統設定

如要擷取節點集區現有的節點系統設定 (例如您已自訂設定，並想新增設定)，請使用 gcloud container node-pools describe 指令。指令輸出內容會列出 kubeletConfig 和 linuxNodeConfig 下的所有現有設定。

舉例來說，請參閱下列程式碼片段，瞭解 describe 指令的輸出格式：

  kubeletConfig:
    allowedUnsafeSysctls:
    - kernel.shm*
    - kernel.msg*
    - kernel.sem
    - fs.mqueue.*
    - net.*
    cpuManagerPolicy: static
    insecureKubeletReadonlyPortEnabled: false
    maxParallelImagePulls: 2
  linuxNodeConfig: # IMPORTANT: Use linuxConfig when updating these settings
    sysctl:
      net.core.somaxconn: '2048'
      net.ipv4.tcp_rmem: 4096 87380 6291456

如果您尚未設定節點系統，輸出內容就不會列出 kubeletConfig 或 linuxNodeConfig。

重設現有的節點系統設定

如要將節點系統設定重設為預設值，請更新設定檔，將 kubelet 和 sysctl 欄位的值留空，例如：

```yaml
kubeletConfig: {}
linuxConfig:
  sysctl: {}
```

刪除節點系統設定

如要移除節點系統設定，請根據您使用的是 ComputeClasses 還是設定檔，按照下列步驟操作。

ComputeClass

如要移除自訂節點系統設定，請按照下列步驟操作：

1. 從工作負載規格中移除 cloud.google.com/compute-class 節點選取器。
2. 套用更新後的工作負載規格。GKE 會在預設節點上重新建立工作負載。叢集自動配置器最終會縮減資源，並刪除為 ComputeClass 佈建的節點。

3. 從叢集刪除 ComputeClass 物件：

   kubectl delete computeclass CUSTOM_COMPUTE_CLASS_NAME
   

設定檔

如要移除使用設定檔套用的節點系統設定，請按照下列步驟操作：

1. 建立新的節點集區，但不使用設定檔。
2. 將工作負載遷移至新的節點集區。
3. 刪除具有舊節點系統設定的節點集區。

kubelet 的設定選項

本節表格說明可修改的 kubelet 選項。

CPU 管理

下表說明 kubelet 的 CPU 管理選項。

記憶體管理和淘汰機制

下表說明記憶體管理和淘汰的可修改選項。本節也包含另一個表格，說明 evictionSoft 旗標的可修改選項。

下表列出 evictionSoft 旗標的可修改選項。相同的選項也適用於 evictionSoftGracePeriod 和 evictionMinimumReclaim 旗標，但限制不同。

PID 管理

下表說明 PID 管理的可修改選項。

記錄

下表說明可修改的記錄選項。

映像檔垃圾收集

下表說明映像檔垃圾收集的可修改選項。

提取映像檔

下表說明可修改的映像檔提取選項。

安全性與不安全的操作

下表說明設定安全性和處理不安全作業時，可修改的選項。

資源管理員

Kubernetes 提供一套資源管理工具。您可以設定這些 Resource Manager，為 Pod 協調及最佳化節點資源的配置，並為 Pod 設定 CPU、裝置和記憶體 (hugepages) 資源的特定需求。

下表說明 Resource Manager 的可修改選項。

容器重新啟動延遲時間

這項設定可控制容器處於 CrashLoopBackOff 狀態時，重新啟動容器之間的最長等待時間。如果 Standard 節點集區執行 GKE 1.35 以上版本，則可調整這項設定。

下表說明 crashLoopBackOff 的可修改選項。

在 GKE 中安全終止 Spot VM

下表說明 GKE 中 Spot VM 終止和正常關機期間的可修改選項。如要使用這些選項，叢集的控制層必須執行 GKE 1.35.0-gke.1171000 以上版本。詳情請參閱「Spot VM 在 GKE 中的運作方式」。

系統資源預留

如果 Standard 節點集區執行 Linux 和 GKE 1.37 以上版本，您可以自訂為系統元件保留的記憶體和 CPU 數量。這可讓您針對特定情境微調可分配容量，例如處理大量映像檔提取作業，或執行自訂節點 DaemonSet。如要進一步瞭解預設預留項目，請參閱「關於 GKE 節點大小」。

下表說明系統資源保留的可修改選項。

確認有效預留項目

如要查看節點集區套用的有效預留項目，請檢查 effectiveMemoryReservedMib 和 effectiveCpuReservedMillicore 輸出欄位：

gcloud container node-pools describe POOL_NAME \
    --cluster=CLUSTER_NAME \
    --location=LOCATION \
    --format="yaml(config.kubeletConfig.reservedResourcesConfig)"

Sysctl 設定選項

如要調整系統效能，可以修改 Linux 核心參數。本節中的表格說明您可以設定的各種核心參數。

檔案系統參數 (fs.*)

下表說明 Linux 檔案系統的可修改參數。這些設定可控管 Linux 檔案系統的行為，例如檔案處理限制和事件監控。

核心參數 (kernel.*)

下表說明 Linux 核心的可修改參數。這些設定會設定核心功能，包括共用記憶體配置。

網路參數 (net.*)

下表說明可修改的網路參數。這些設定會調整網路堆疊的效能和行為，從通訊端緩衝區到連線追蹤。

虛擬記憶體參數 (vm.*)

下表說明虛擬記憶體子系統的可修改參數。這些設定會管理虛擬記憶體子系統，控制核心如何處理記憶體、交換和磁碟快取。

如要進一步瞭解各 sysctl 旗標支援的值，請參閱 --system-config-from-file gcloud CLI 說明文件。

不同的 Linux 命名空間可能會有特定 sysctl 旗標的不重複值，但其他旗標可能適用於整個節點。使用節點系統設定更新 sysctl 選項，有助於確保 sysctl 全域套用至節點和每個命名空間，讓每個 Pod 在每個 Linux 命名空間中都有相同的 sysctl 值。

Linux cgroup 模式設定選項

容器執行階段和 kubelet 會使用 Linux 核心 cgroup 進行資源管理，例如限制 Pod 中每個容器可存取的 CPU 或記憶體量。核心中有兩個版本的 cgroup 子系統：cgroupv1 和 cgroupv2。Kubernetes 對 cgroupv2 的支援在 Kubernetes 1.18 版中為 Alpha 版，在 1.22 版中為 Beta 版，在 1.25 版中為正式發布版。詳情請參閱 Kubernetes cgroups v2 說明文件。

節點系統設定可讓您自訂節點集區的 cgroup 設定。您可以使用 cgroupv1 或 cgroupv2。GKE 會針對執行 1.26 以上版本的新 Standard 節點集區使用 cgroupv2，並針對執行 1.26 以下版本的節點集區使用 cgroupv1。如果節點集區是透過自動佈建節點功能建立，cgroup 設定會取決於初始叢集版本，而非節點集區版本。Arm 機器不支援 cgroupv1。

您可以使用節點系統設定，明確變更節點集區的設定，改用 cgroupv1 或 cgroupv2。如果現有節點集區使用 cgroupv1，升級至 1.26 版後，設定不會變更為 cgroupv2。如果現有節點集區執行的版本早於 1.26，且不含自訂 cgroup 設定，則會繼續使用 cgroupv1。如要變更設定，您必須為現有節點集區明確指定 cgroupv2。

舉例來說，如要將節點集區設為使用 cgroupv2，請使用節點系統設定檔，例如：

linuxConfig:
  cgroupMode: 'CGROUP_MODE_V2'

支援的 cgroupMode 選項如下：

• CGROUP_MODE_V1：在節點集區上使用 cgroupv1。
• CGROUP_MODE_V2：在節點集區上使用 cgroupv2。
• CGROUP_MODE_UNSPECIFIED：使用預設的 GKE cgroup 設定。

如要使用 cgroupv2，請務必遵守下列規定和限制：

• 如果節點集區執行的版本低於 1.26，則必須使用 gcloud CLI 408.0.0 以上版本。或者，您也可以使用 gcloud beta 395.0.0 以上版本。
• 叢集和節點集區必須執行 GKE 1.24.2-gke.300 以上版本。
• 您必須使用搭載 containerd 的 Container-Optimized OS，或搭載 containerd 的 Ubuntu 節點映像檔。
• 如果您的工作負載需要讀取 cgroup 檔案系統 (/sys/fs/cgroup/...)，請確保這些工作負載與 cgroupv2 API 相容。
• 如果您使用任何監控或第三方工具，請確認這些工具與 cgroupv2 相容。
• 如果您使用 Java 工作負載 (JDK)，建議使用完全支援 cgroupv2 的版本，包括 JDK 8u372、JDK 11.0.16 以上版本，或 JDK 15 以上版本。

驗證 cgroup 設定

新增節點系統設定時，GKE 必須重新建立節點，才能套用變更。將設定新增至節點集區並重新建立節點後，即可驗證新設定。

您可以使用 gcloud CLI 或 kubectl 指令列工具，驗證節點集區中節點的 cgroup 設定：

gcloud container node-pools describe POOL_NAME \
  --format='value(Config.effectiveCgroupMode)'

Linux hugepages 設定選項

您可以使用手動預先分配的巨型頁面，或自動指派的透明巨型頁面。

預先分配的巨型頁面

您可以使用節點系統設定檔預先分配巨型分頁。Kubernetes 支援預先分配的巨型頁面做為資源類型，類似於 CPU 或記憶體。

如要使用巨型分頁，請遵守下列限制和規定：

• 為確保節點不會完全被巨型分頁占用，分配的巨型分頁整體大小不得超過下列任一項：
  • 記憶體小於 30 GB 的機器：總記憶體的 60%。舉例來說，在記憶體為 8 GB 的 e2-standard-2 機器上，您無法為 hugepages 分配超過 4.8 GB 的記憶體。
  • 記憶體超過 30 GB 的機器：總記憶體的 80%。舉例來說，在記憶體為 32 GB 的 c4a-standard-8 機器上，hugepages 不得超過 25.6 GB。
• 1 GB 巨型分頁僅適用於 A3、C2D、C3、C3D、C4、C4A、C4D、C4N、CT5E、CT5LP、CT6E、H3、M2、M3、M4、Z3 或 Z4D 機型。

下表說明 Linux 巨型頁面的可修改設定。

透明巨型頁面 (THP)

您可以使用節點系統設定檔，啟用 Linux 核心的透明巨型頁面支援。有了 THP，核心會自動將 hugepage 指派給程序，不需手動預先分配。

下表說明 THP 的可修改參數。

THP 適用於 GKE 1.33.2-gke.4655000 以上版本。在 GKE 1.33.2-gke.4655000 以上版本中，新的 TPU 節點集區預設也會啟用這項功能。將現有節點集區升級至支援的版本或更新版本時，系統不會啟用 THP。

Linux 精確時間同步處理選項

如果工作負載需要準確的時間同步，以及監控時間同步的準確度，您可以設定準確時間，使用 chrony 和 ptp_kvm 將 VM 的時鐘與主機時鐘同步。GKE 1.36.0-gke.3241000 以上版本支援精確時間同步功能。這項設定旨在讓支援的設定達到 1 毫秒內的準確度。如要進一步瞭解支援的機型、作業系統和可用區，請參閱「為 Compute Engine VM 設定準確時間」。

下表說明如何設定參數，以便與 GKE 準確同步時間：

啟用精確時間同步功能後，GKE 會收集並匯出下列資訊：

• compute.googleapis.com/instance/clock_accuracy/ptp_kvm/nanosecond_accuracy 指標，表示 VM 主機時鐘與世界標準時間的準確度。
• projects/PROJECT_ID/logs/chrony.tracking 記錄，其中包含 chrony 的追蹤記錄。這些記錄會提供系統時鐘的增益或損失率等資訊。

您可以使用這項資訊，在 Cloud Monitoring 中建立記錄指標和資訊主頁，分析時間同步處理的效能和可靠性。

舉例來說，下列 gke-clock-metric.json 設定定義了主機時鐘最大誤差的記錄指標：

{
  "name": "phc-clock-max-error",
  "description": "Maximum error of the VM clock from the host clock exposed by ptp_kvm",
  "filter": "resource.type=\"k8s_node\" AND log_id(\"chrony.tracking\")",
  "metricDescriptor": {
    "metricKind": "DELTA",
    "valueType": "DISTRIBUTION",
    "unit": "s",
    "labels": []
  },
  "valueExtractor": "REGEXP_EXTRACT(textPayload, \"^.*PHC0.* ([-\\\\d\\\\.eE]+)$\")",
  "bucketOptions": {
    "explicitBuckets": {
      "bounds": [
        0.0, 5.0E-7, 1.0E-6, 2.0E-6, 4.0E-6, 5.0E-6, 8.0E-6, 1.0E-5, 2.0E-5,
        1.0E-4, 0.001, 0.01, 0.1, 1.0
      ]
    }
  }
}

下列 gke-metrics-dashboard.json 設定定義了 Monitoring 資訊主頁，可匯總記錄指標和世界標準時間準確度指標的錯誤資料：

{
  "displayName": "Overall Clock Accuracy",
  "dashboardFilters": [],
  "labels": {},
  "mosaicLayout": {
    "columns": 48,
    "tiles": [
      {
        "width": 28,
        "height": 28,
        "widget": {
          "xyChart": {
            "dataSets": [
              {
                "plotType": "LINE",
                "targetAxis": "Y1",
                "timeSeriesQuery": {
                  "prometheusQuery": "(\n  histogram_quantile(1, sum by (le, node_name) (\n    increase(logging_googleapis_com:user_phc_clock_max_error_bucket{monitored_resource=\"k8s_node\"}[1m])\n  )) * 1000000000\n)\n+ on(node_name) group_left()\nlabel_replace(\n  compute_googleapis_com:instance_clock_accuracy_ptp_kvm_nanosecond_accuracy{monitored_resource=\"gce_instance\"},\n  \"node_name\", \"$1\", \"instance_name\", \"(.*)\"\n)\n",
                  "unitOverride": "ns"
                }
              }
            ],
            "chartOptions": {
              "displayHorizontal": false,
              "mode": "COLOR"
            },
            "thresholds": [],
            "yAxis": {
              "label": "Clock Accuracy",
              "scale": "LINEAR"
            }
          }
        }
      }
    ]
  }
}

Linux VFIO 設定選項

下表說明在節點上設定 VFIO (虛擬函式 I/O) 的參數。VFIO 可讓安全、無特殊權限的使用者空間驅動程式存取 I/O 裝置。

Linux 磁碟 I/O 排程器設定選項

下表說明為節點集區設定磁碟 I/O 排程器的參數。

後續步驟

• 瞭解如何將節點遷移至 Linux cgroupv2。
• 瞭解如何新增及管理節點集區。
• 瞭解如何自訂 GKE 節點中的 containerd 設定。
• 瞭解如何使用 DaemonSet 自動啟動 GKE 節點。