使用 Grafana 資訊主頁監控 Spanner Omni

使用 Grafana 資訊主頁,監控 Spanner Omni 部署作業的健康狀態與效能。這些資訊主頁會將擷取到 Prometheus 的 Spanner Omni 指標視覺化,全面深入瞭解部署作業狀態。掌握系統整體健康狀態、資源耗用情形和重要內部程序。

資訊主頁清單

下表提供可用資訊主頁的概略摘要:

資訊主頁 重要指標 主要目的
總覽 QPS、延遲、處理量 監控高階部署效能,包括每秒查詢次數 (QPS)、要求延遲時間和資料輸送量。
系統深入分析 CPU、記憶體、鎖定等待時間 專注於所選資料庫的資料庫層級資源耗用量和健康狀態 (例如 CPU、記憶體和鎖定等待時間)。
部署深入分析 CPU、記憶體和網路使用率 詳細瞭解整體部署資源消耗量和網路統計資料。
Spanner Omni 檔案系統 檔案作業、延遲和輸送量 監控基礎檔案系統的運作、效能、延遲時間和處理量。
gRPC RPC 數量、狀態和延遲時間 追蹤伺服器端和用戶端通訊的詳細 RPC 統計資料。
壓縮 壓縮成功和失敗率、壓縮延遲 以視覺化方式呈現背景資料維護成效,重點在於壓縮成功和失敗率,以及壓縮延遲。
分割、合併及移動 分割、合併及移動計數;群組大小 監控資料的動態分配情形,包括目錄作業 (分割、合併及移動)、資料群組大小和潛在熱點。
平板電腦 平板電腦數量、負載分配 深入瞭解平板電腦統計資料、作業和負載分配情形,並找出潛在熱點。
TrueTime 偏離、不確定性、違反服務水準協議 監控 Spanner Omni TrueTime 服務的健康狀態和穩定性,包括漂移、不確定性和 SLA 違規事項。
共用記錄 寫入率、排序錯誤率 監控共用記錄檔效能,特別是寫入率和排序錯誤率。

資訊主頁中可用的圖表包括:

  • 運算容量 (vCPU):部署作業佈建的 vCPUs 總數。

  • 記憶體容量:部署作業佈建的實體記憶體總量。

  • 儲存空間容量:檔案系統的總儲存空間容量和可用容量。

  • 節點狀態:追蹤部署作業中伺服器的總數和狀態不良的伺服器數量。

  • 運算使用率:已使用的 vCPU 總容量百分比。

  • 記憶體使用率:部署項目的記憶體總用量。Spanner Omni 會將閒置記憶體用於快取,因此預期用量會偏高。

  • 儲存空間使用率:已使用的總儲存空間容量百分比。

  • 每個 vCPU 的儲存空間用量:總儲存空間用量與總 vCPU 數量的比率。

  • 伺服器:詳細表格,顯示每個伺服器和每個區域的指標,包括CPU使用率、記憶體使用率、正常運作時間、vCPU總數、記憶體總量、已用儲存空間和儲存空間容量。

系統洞察資訊主頁

系統洞察資訊主頁著重於部署作業中資料庫的健康狀態和效能。這個資訊主頁包含下列圖表:

  • CPU 使用率總覽:所選伺服器彙整的資料庫整體 CPU 使用率。

  • 使用者和系統的 CPU 使用率:所選資料庫中的 CPU 使用率,以使用者和系統工作和優先順序分組。

  • CPU 使用率 (按作業類型顯示):所選伺服器中,所選資料庫的 CPU 使用率 (以作業類型分組)。

  • CPU 使用率 (以作業類型分組) - 高優先順序:所選伺服器匯總的所選資料庫中,CPU的使用率 (以作業類型分組,並依高優先順序篩選)。

  • CPU 使用率 (以作業類型分組) - 中優先順序:所選資料庫的 CPU 使用率CPU (以作業類型分組),並依中優先順序篩選,匯總所選伺服器的資料。

  • CPU 使用率 (以作業類型分組) - 低優先順序:所選伺服器中,所選資料庫的 CPU 使用率,以作業類型分組並依低優先順序篩選。

  • 要求延遲時間 (P50、P90、P99):所選資料庫內的延遲時間,依所選伺服器的讀取和寫入方法分組。

  • 依方法劃分的要求延遲時間 (P50、P90、P99):所選資料庫內的延遲時間,依所選伺服器中的 API 方法分組。

  • 交易延遲時間 (P50、P90、P99):所選資料庫中的要求延遲時間,依交易類型和所選伺服器間的領導者參與程度分組。

  • 處理量:所選伺服器中,所選資料庫的讀取和寫入處理量。

  • 處理量 (以方法分組):所選資料庫的處理量 (以所選伺服器的方法分組)。

  • 每秒作業數:所選伺服器中,以讀取和寫入方法分組的所選資料庫每秒作業數。

  • 每秒作業數 (按方法顯示):所選資料庫的每秒作業數,依所選伺服器的方法分組。

  • 資料庫的儲存空間使用率:每個資料庫使用的非複製實際位元組數。每個群組的領導者平板電腦會提供這項指標。視每個平板電腦的壓縮狀態而定,群組中所有平板電腦的實際複製實體位元組可能較高或較低,但這項指標可大致瞭解每個資料庫使用的非複製實體儲存空間大小。

  • 鎖定等待時間:所選資料庫在 5 分鐘間隔內,因鎖定衝突而等待的總時間。

  • 交易中止率:交易中止或取消的比率。交易之間發生衝突時,取消率會提高。

  • 結構定義物件數量:所選資料庫的結構定義物件數量。

  • 交易參與者:資料庫每次嘗試提交時的交易參與者人數分布。

部署深入分析資訊主頁

部署洞察資訊主頁提供部署資源消耗量的進一步洞察資料。這個資訊主頁包含下列圖表:

  • CPU 使用率:所選伺服器的匯總 CPU 使用率。

  • 伺服器 CPU 使用率:每個所選伺服器的 CPU 使用率。

  • 程序 CPU 使用率:CPU針對所選伺服器匯總的每個程序使用率。

  • 記憶體使用率:所選伺服器的匯總記憶體使用率。由於 Spanner Omni 會將資料快取在記憶體中,因此預期會出現高值,但 Spanner Omni 可視需要釋放記憶體。

  • 伺服器記憶體使用率:所選伺服器的記憶體使用率。由於 Spanner Omni 會將資料快取在記憶體中,因此預期會出現高值,但 Spanner Omni 可視需要釋放記憶體。

  • 程序常駐記憶體大小:所選伺服器中每個程序的常駐記憶體大小。

  • 程序虛擬記憶體大小:所選伺服器中每個程序的虛擬記憶體大小。

  • 伺服器記憶體細目:所選伺服器上各類別的記憶體使用率 (快取、片段、memtable_pinned、系統、更新、其他)。這項記憶體資料僅供 span_server 程序使用。

  • 網路傳送的位元組數:所有伺服器介面傳送的位元組數總和。

  • 網路接收的位元組:所有伺服器匯總的每個介面接收位元組數。

  • 網路傳送位元組數前 10 名的伺服器:網路傳送位元組數前 10 名的伺服器 (表格檢視畫面)。

  • 網路接收位元組數前 10 名的伺服器:網路接收位元組數前 10 名的伺服器 (表格檢視畫面)。

Spanner Omni 檔案系統資訊主頁

Spanner Omni 檔案系統資訊主頁會監控對效能至關重要的基礎檔案系統作業,包括作業率、延遲時間和處理量。這個資訊主頁包含下列圖表:

  • 檔案作業圖表:

    • 每秒作業數:追蹤檔案作業的總速率,並依作業分組。

    • 每秒的本機和遠端作業數:追蹤檔案作業的速率,並依本機與遠端存取權分開顯示。

    • 每秒作業錯誤數:顯示檔案系統作業的失敗率,並依作業和狀態分組。

  • 延遲圖表:包含 P50、P90 和 P99 延遲圖表,顯示本機和遠端檔案作業的延遲時間,並依作業分組。

  • 處理量圖表:

    • 本機和遠端讀取/寫入處理量:追蹤讀取和寫入處理量的速率,並依本機和遠端存取權分開顯示。

    • 每次作業的位元組數:包括每次作業傳輸的 P50 和 P90 位元組數,適用於本機和遠端存取。

  • 檔案系統統計資料:

    • 依區域劃分的檔案系統總大小:顯示依 Spanner Omni 區域分組的檔案系統總大小。

    • 依區域劃分的檔案系統用量:顯示目前使用的檔案系統大小,並依 Spanner Omni 區域分組。

gRPC 資訊主頁

gRPC 資訊主頁會追蹤部署作業中所有伺服器的詳細 RPC 統計資料。這個資訊主頁包含下列圖表:

  • 伺服器端指標:從伺服器的角度監控 RPC 效能。

    • 每個方法的 RPC 延遲時間 (P50、P90、P99):伺服器端每個RPC方法的延遲時間。

    • 每個方法的伺服器傳送處理量:所選伺服器每個方法每秒傳送的位元組數。

    • 每個程序的伺服器傳送處理量:所選伺服器中每個程序每秒傳送的位元組數。

    • 每個方法的伺服器接收處理量:所選伺服器每個方法每秒接收的位元組數。

    • 每個程序的伺服器接收處理量:所選伺服器每個程序每秒接收的位元組數。

    • 每個方法的伺服器標準狀態計數:所選伺服器中,每個方法出現標準狀態碼的頻率。

    • 每個方法的伺服器完成 RPC 數:所選伺服器每個方法完成 RPCs 的比率。

    • 伺服器有效管道:自應用程式啟動以來建立的伺服器端gRPC管道總數,且這些管道仍處於有效狀態。

  • 用戶端指標:從用戶端的角度監控 RPC 效能。

    • 每個方法的用戶端來回延遲時間 (P50、P90、P99):每個方法的來回延遲時間,包括伺服器延遲時間、網路和佇列時間。RPC

    • 每個方法的用戶端傳送處理量:所選伺服器每個方法每秒傳送的位元組數。

    • 每個程序的用戶端傳送處理量:所選伺服器每個程序每秒傳送的位元組數。

    • 每個方法的用戶端接收處理量:所選伺服器每個方法每秒接收的位元組數。

    • 每個程序的用戶端接收處理量:所選伺服器每個程序每秒接收的位元組數。

    • 每個方法的用戶端標準狀態計數:每個方法出現標準狀態碼的頻率,以所選伺服器的 gRPC 用戶端為準。

    • 每個方法的用戶端完成 RPC 數:所選伺服器每個方法的用戶端完成 RPC 數。RPCs

壓縮作業資訊主頁

壓縮作業資訊主頁會顯示背景壓縮作業的成效。這個資訊主頁包含下列圖表:

  • 成功和失敗的壓縮作業 (過去 1 小時):追蹤依壓縮類型和伺服器分組的成功和失敗壓縮作業次數。

  • 壓縮輸出位元組速率:追蹤壓縮作業在 2 分鐘間隔內的輸出位元組速率,並依壓縮類型和伺服器分組。

  • 壓縮輸入大小分布:熱視圖會顯示壓縮輸入大小的分布情形。

  • 壓縮輸入大小 (平均):顯示依壓縮類型和伺服器分組的平均壓縮輸入大小。

  • 壓縮輸入大小 (百分位數估計值):提供壓縮輸入大小的百分位數估計值 (P50、P95、P99),並依壓縮類型和伺服器分組。

  • 主要壓縮延遲分布:熱視圖會顯示所有伺服器匯總的主要壓縮延遲分布。

  • 每個伺服器的主要壓縮延遲 (平均值):顯示每個伺服器的主要壓縮延遲平均值。

  • 每個伺服器的主要壓縮延遲 (百分位數估計值):提供每個伺服器的主要壓縮延遲百分位數估計值 (P50、P90、P99)。

分割、合併及移動資訊主頁

分割、合併和移動資訊主頁會追蹤叢集中的動態資料分配情形,包括目錄作業和群組大小。這個資訊主頁包含下列圖表:

  • 分割大小分布:目錄分割的大小,包括 P50、P90、P99 和 P100 百分位數,匯總所選伺服器。

  • 群組大小分布:為群組分配的所有位元組 (持續性和記憶體內),包括 P50、P90、P99 和 P100 百分位數,並在所選伺服器中匯總。

  • 記憶體內資料結構的群組大小分布:為記憶體內資料結構的群組分配的所有位元組,包括第 P50、P90、P99 和 P100 百分位數,並匯總所選伺服器。

  • 依可用區分組的大小:群組所有已分配位元組 (持續性和記憶體內) 的 P50、P90、P99 和 P100 大小,依 Spanner Omni 可用區分組。

  • 成功移動內部資料的次數:在 1 小時內,目錄和群組移動、分割及合併的次數,並依發起者、動作和移動類型分組。

  • 內部資料移動失敗次數:在 1 小時內嘗試移動、分割及合併目錄和群組時發生的錯誤次數。

  • 依原因和類型劃分的無法分割錯誤:無法分割的錯誤率,其中會忽略過度負載的分割,因為範圍無法分割。

  • 分割 CPU 用量分數上限:每個資料庫所有分割的最高 CPU 用量負載。

平板電腦資訊主頁

平板電腦資訊主頁可深入瞭解平板電腦的統計資料、作業和潛在熱點。這個資訊主頁包含下列圖表:

  • 平板電腦總數:部署作業中的 Paxos 平板電腦總數。

  • 依區域劃分的平板電腦數量:依 Spanner Omni 區域劃分的平板電腦數量。

  • 依伺服器計算的平板電腦數量:所選伺服器上的平板電腦數量。

  • 依可用區劃分的領導者數量:領導者平板電腦的數量,依 Spanner Omni 可用區分組。

  • Leader Count By Server:所選伺服器上的領導者平板電腦數量。

  • 每個區域未指派的平板電腦數量:每個區域未指派的平板電腦數量。

  • 依區域劃分的平板電腦載入次數:依區域劃分的平板電腦載入次數比率。

  • 平板電腦卸載 (依區域和原因):依區域劃分的平板電腦卸載率,並依卸載原因分類。

  • 每個伺服器的平板電腦負載上限:表格檢視畫面會顯示每個伺服器上平板電腦的運算負載上限。

  • 資源使用率不均的子表數量:資源使用率不均的子表總數 (超過運算負載門檻的子表)。

  • 平板電腦負載分布:顯示每部平板電腦的運算負載分布情形,以及 P50 和 P90 百分位估計值,以及確切的 MAX 值。

TrueTime 資訊主頁

TrueTime 資訊主頁可顯示 Spanner Omni TrueTime 服務的健康狀態和可靠性。這個資訊主頁包含下列圖表:

  • TrueTime 可用性:監控 TrueTime 服務的整體可用性。

  • P99 TrueTime 漂移:追蹤第 99 個百分位數的 TrueTime 漂移。

  • P99 TrueTime 不確定度:追蹤第 99 個百分位數的 TrueTime 不確定度。

  • 時鐘服務水準協議 (SLA) 違規:顯示時鐘服務水準協議 (SLA) 的違規次數。

  • VM 遷移次數:追蹤虛擬機器的遷移次數。

  • 領導者節點的 TrueTime 偏移:監控領導者節點的 TrueTime 偏移。

  • TrueTime 期望和實際轉向 ppm:比較期望和實際的百萬分率 (ppm) 轉向值。

  • TrueTime 轉向錯誤:追蹤 TrueTime 轉向機制中的錯誤。

共用記錄資訊主頁

共用記錄資訊主頁是專用的資訊主頁,可監控共用記錄的效能和復原狀態。這個資訊主頁包含下列圖表:

  • 共用記錄寫入率:每秒的共用記錄項目數,依資料庫匯總及細分。

  • 共用記錄寫入位元組數:每秒寫入的共用記錄位元組數 (處理量),依資料庫匯總及細分。

  • 共用記錄批次寫入率:每秒寫入的共用記錄批次數,是所選伺服器的匯總資料。

  • 共用記錄批次寫入延遲分布:共用記錄批次寫入的 P50、P90 和 P99 延遲分布。

  • 共用記錄批次項目計數分布:共用記錄批次中項目計數的 P50、P90 和 P99 分布。

  • LogSort 要求率:所選伺服器匯總的 LogSort 要求率。

  • LogSort 排序錯誤率:所選伺服器匯總的 LogSort 排序錯誤率。

  • 進行中的共用記錄讀取器:參與平板電腦復原作業的共用記錄讀取器總數。

後續步驟