如要進一步瞭解排程,請參閱 Kubernetes 說明文件中的排程、先占和淘汰。
本頁面說明如何在 Kubernetes 資訊清單中,為主要和讀取集區執行個體指定容許、節點相似度和拓撲分散限制排程設定。
如要瞭解如何在節點上定義污點,請參閱 Kubernetes 說明文件中的「污點和容許條件」。
指定容許度
如要將 AlloyDB Omni Pod 排程至沒有其他應用程式 Pod 的節點,或符合節點上定義的特定汙染,請對節點套用一或多個容許度,如下所示:
- 修改 AlloyDB Omni Kubernetes 運算子叢集的資訊清單,在下列任一區段的
schedulingConfig區段中加入tolerations區段:- 主要執行個體:
primarySpec spec讀取集區執行個體
tolerations: - key: "TAINT_KEY" operator: "OPERATOR_VALUE" value: "VALUE" effect: "TAINT_EFFECT"更改下列內容:
TAINT_KEY:現有的汙點鍵專屬名稱,例如節點的主機名稱,或是容許度適用的其他本機推斷值。節點上已定義污點鍵。如果欄位留空,且OPERATOR_VALUE設為exists,表示容忍度必須與所有值和所有鍵相符。OPERATOR_VALUE:代表鍵與一組值的關係。將參數設為下列其中一個值:exists:如果定義了汙點,Kubernetes 會比對任何值,無論汙點的值為何。equal:如果值不同,Kubernetes 就不會將 Pod 排定至節點。運算子需要 tainttrue值。
VALUE:容忍度比對的污點值。如果運算子為 Exists,值會是空白,否則會是一般字串。例如:true。TAINT_EFFECT:指出要比對的汙染效果。如果欄位留空,表示所有污點影響都必須相符。將參數設為下列其中一項:NoSchedule:Kubernetes 不會在受汙染的節點上排程新的 Pod。PreferNoSchedule:除非必要,否則 Kubernetes 不會將新的 Pod 放在有污點的節點上。NoExecute:Kubernetes 會逐一淘汰無法容許 taint 的現有 Pod。
- 主要執行個體:
- 重新套用資訊清單。
定義節點相依性
Kubernetes 排程器會使用節點親和性做為一組規則,決定要將 Pod 放置在何處。節點相依性是節點選取器的彈性較高且用途多元的版本。
如要指定必須排定哪些節點來執行資料庫,請按照下列步驟操作:
- 修改資料庫叢集資訊清單,在主要執行個體的
primarySpec或讀取集區執行個體的spec中,於schedulingConfig區段的tolerations區段後加入nodeaffinity區段:nodeaffinity: NODE_AFFINITY_TYPE: - weight: WAIT_VALUE preference: matchExpressions: - key: LABEL_KEY operator: OPERATOR_VALUE values: - LABEL_KEY_VALUE更改下列內容:
-
NODE_AFFINITY_TYPE:將參數設為下列其中一個值:requiredDuringSchedulingIgnoredDuringExecution:Kubernetes 會嚴格按照定義的規則排定 Pod。preferredDuringSchedulingIgnoredDuringExecution:Kubernetes 排程器會嘗試尋找符合排程定義規則的節點。不過,如果沒有這類節點,Kubernetes 會排定叢集中的其他節點。
WAIT_VALUE:表示指定節點的偏好權重。值越大,表示偏好程度越高。有效值介於1到100之間。LABEL_KEY:節點的標籤,用於做為位置指標,並協助在叢集中平均分配 Pod。例如:disktype=ssd。OPERATOR_VALUE:代表鍵與一組值的關係。將參數設為下列其中一項:-
In:值陣列不得空白。 -
NotIn:值陣列不得為空。 -
Exists:值陣列必須空白。 -
DoesNotExist:值陣列必須空白。 -
Gt:值陣列必須包含單一元素,系統會將其解讀為整數。 -
Lt:值陣列必須包含單一元素,系統會將其解讀為整數。
-
LABEL_KEY_VALUE:標籤鍵的值。將參數設為字串值陣列,如下所示:- 如果運算子為
In或NotIn,值陣列不得為空。 - 如果運算子為
Exists或DoesNotExist,值陣列必須為空白。 - 如果運算子是
Gt或Lt,值陣列必須包含單一元素,且該元素會解讀為整數。
- 如果運算子為
-
- 重新套用資訊清單。
定義 Pod 反親和性
Pod 反親和性可防止 Kubernetes 排程器在同一個節點或拓撲網域 (例如可用區或區域) 排定 Pod。這可確保服務副本會分散部署,避免出現單一故障點。
如果是正式環境,建議您使用這項反親和性規則,透過下列標籤,在與運算子 Pod 不同的節點上排定資料庫 Pod:
schedulingconfig:
podAntiAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
- labelSelector:
matchLabels:
app.kubernetes.io/component: controller
app.kubernetes.io/name: alloydb-omni-operator
namespaces:
- alloydb-omni-system
topologyKey: kubernetes.io/hostname
如要在資料庫中新增 Pod 反親和性規則,請按照下列步驟操作:
修改資料庫叢集的資訊清單檔案,加入
podAntiAffinity欄位。您必須在主要執行個體的primarySpec欄位或讀取集區執行個體的spec欄位中,將podAntiAffinity新增至schedulingConfig欄位。podAntiAffinity: POD_ANTI_AFFINITY_TYPE: - weight: WEIGHT_VALUE podAffinityTerm: labelSelector: matchExpressions: - key: LABEL_KEY operator: OPERATOR_VALUE values: - LABEL_VALUE topologyKey: "TOPOLOGY_KEY"請替換下列變數:
POD_ANTI_AFFINITY_TYPE:請使用下列其中一個值:requiredDuringSchedulingIgnoredDuringExecution:Kubernetes 只會根據定義的規則排定 Pod。preferredDuringSchedulingIgnoredDuringExecution:Kubernetes 排程器會嘗試尋找符合定義規則的節點。如果找不到這類節點,Kubernetes 會將 Pod 排程至叢集中的另一個節點。
WEIGHT_VALUE:當POD_ANTI_AFFINITY_TYPE設為preferredDuringSchedulingIgnoredDuringExecution時使用。指出指定節點的偏好程度。值介於1到100之間。LABEL_KEY:做為位置指標,有助於在叢集中平均分配 Pod。OPERATOR_VALUE:用於比對指定 Pod 的運算子。請使用下列其中一個值:In:values陣列不得為空。NotIn:values陣列不得留空。Exists:values陣列必須空白。DoesNotExist:values陣列必須為空白。
LABEL_VALUE:要與LABEL_KEY比對的零個、一個或多個 Pod 值。TOPOLOGY_KEY:定義拓撲網域。例如,kubernetes.io/hostname可防止 Pod 位於相同節點,topology.kubernetes.io/zone則可將 Pod 分散至不同可用區。
重新套用資訊清單檔案。
定義拓撲擴散限制
topologySpreadConstraintsKubernetes Pod API 的 spec 欄位 (因此也位於 AlloyDB Omni 資料庫叢集資訊清單的 schedulingConfig 中),可控制 Pod 在叢集內不同拓撲網域 (例如可用區、節點或區域) 的分布方式。這有助於提升高可用性,並平衡資源使用率,避免過多 AlloyDB Omni 資料庫叢集 Pod 落在單點故障。
如要指定 AlloyDB Omni 資料庫叢集在叢集拓撲中的分布方式,請在主要執行個體的 primarySpec 或讀取集區執行個體的 spec 中,加入 topologySpreadConstraints 區段:schedulingConfig
schedulingconfig:
# Other scheduling configs like tolerations, nodeaffinity
topologySpreadConstraints:
- maxSkew: MAXSKEW_VALUE
topologyKey: "TOPOLOGY_KEY"
whenUnsatisfiable: WHEN_UNSATISFIABLE_VALUE
# labelSelector: <object> # optional
# minDomains: <integer> # optional
# matchLabelKeys: <list> # optional
# nodeAffinityPolicy: [Honor|Ignore] # optional
# nodeTaintsPolicy: [Honor|Ignore] # optional
更改下列內容:
-
MAXSKEW_VALUE:定義任意兩個拓撲網域之間,相符 Pod 數量允許的最大差異。這個參數必須大於0。 TOPOLOGY_KEY:定義拓撲網域的節點標籤鍵,例如區域的topology.kubernetes.io/zone。排程器會嘗試平衡這些網域中的 Pod。WHEN_UNSATISFIABLE_VALUE:指出排程器在 Pod 不符合分散限制時的處理方式。將參數設為下列其中一項:DoNotSchedule:如果未滿足分散限制,排程器就不會將 Pod 排程至節點。這是預設值。ScheduleAnyway:排程器仍會排定 Pod,但會優先選擇可將偏斜程度降至最低的節點。
如要進一步瞭解 Pod 拓撲分散限制,請參閱 Kubernetes 官方說明文件。
範例
以下範例說明如何在 AlloyDB Omni Kubernetes 運算子主要和讀取集區執行個體中排定 Pod。這類排程設定可確保資料庫叢集的主要執行個體排定在適當的節點上,同時允許節點選取作業具有彈性。這項彈性功能有助於平衡負載、充分運用資源,或遵循特定節點角色和特性。
schedulingconfig:
tolerations:
- key: "node-role.kubernetes.io/control-plane"
operator: "Exists"
effect: "NoSchedule"
nodeaffinity:
preferredDuringSchedulingIgnoredDuringExecution:
- weight: 1
preference:
matchExpressions:
- key: another-node-label-key
operator: In
values:
- another-node-label-value
podAntiAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
- labelSelector:
matchExpressions:
- key: app
operator: In
values:
- my-app
topologyKey: "kubernetes.io/hostname"
topologySpreadConstraints:
- maxSkew: 1
topologyKey: "topology.kubernetes.io/zone"
whenUnsatisfiable: DoNotSchedule
範例容忍度允許將 Pod 排定在標示為控制層節點的節點上,原因如下:
node-role.kubernetes.io/control-plane汙點鍵表示節點有控制層節點。Exists運算子表示容許項目符合任何具有指定汙點鍵的汙點,無論值為何。NoSchedule效果表示 Pod 不會排定在控制層節點上,除非 Pod 具有相符的容許條件。
preferredDuringSchedulingIgnoredDuringExecution 節點親和性類型指定節點親和性定義的規則是排程期間的首選規則,但並非必要規則。如果偏好的節點無法使用,Pod 仍可能會排程到其他節點。1 權重值表示偏好程度較低。節點選取條件定義於 preference 區段。matchExpressions 區段包含用於比對節點的運算式陣列。another-node-label-key 鍵代表要比對的節點標籤鍵。In 運算子表示節點必須具有索引鍵,且該索引鍵的值為指定值之一。another-node-label-key 鍵必須具有 another-node-label-value 值。
範例節點相似度規則指出,偏好在具有 another-node-label-key 標籤和 another-node-label-value 值的節點上排定 Pod。偏好設定的強度較弱,因此並非強制要求。
在本例中,podAntiAffinity 規則會禁止在相同主機名稱上排程標籤為 app: my-app 的 Pod。這可確保 my-app 的副本分散在不同節點,進而提升容錯能力。
本例中的 topologySpreadConstraints 會將 Pod 分散到不同的 Kubernetes 區域。1 的 maxSkew 值表示,任何指定可用區中的 Pod 數量,最多只能比任何其他可用區中的 Pod 數量下限多一個。whenUnsatisfiable 設定的值為 DoNotSchedule,表示如果無法滿足這項限制,Pod 就不會排程。
這個範例結合了下列項目:
- 容許條件:容許
NoScheduletaint,讓 Pod 可排定在控制層節點上。 - 偏好具有特定標籤的節點,但並非必要條件,因此在排程上更具彈性。
- Pod 反相依性規則,可防止具有
app: my-app標籤的 Pod 排定在相同的主機名稱上。 - 拓撲分布限制:強制將 Pod 平均分布在各可用區,提升韌性和資源使用率。