擷取指標總覽

支援語言：

Google SecOps 提供詳細的擷取指標，讓您掌握安全資料管道的健全狀態、資料量和處理狀態。監控這些指標至關重要，可確保資料正確流動、找出潛在問題，並最佳化 Google SecOps 部署作業。

擷取指標的重要性

  • 健康狀態監控：追蹤資料動態饋給和收集代理程式的狀態。
  • 疑難排解：快速診斷資料遺失、剖析錯誤或連線問題等狀況。
  • 用量追蹤：瞭解從各種來源擷取的資料量，有助於規劃容量和管理成本。
  • 正規化洞察：監控記錄剖析成統一資料模型 (UDM) 的成功率。
  • 警報：設定資料流程異常、錯誤或量變通知。

如何存取擷取指標

  • Google Cloud Monitoring：

    • 將 Google SecOps 指標整合至 Cloud Monitoring，根據擷取的記錄計數、大小和正規化事件等指標的門檻，建立資訊主頁及設定快訊政策。
    • 指標會顯示在 Chronicle Collector 和 Chronicle Log Type 等前置字元下方。
    • 參考資料：使用 Cloud Monitoring 取得擷取洞察資料

  • Google SecOps Health Hub：

    • 您可以在 Google SecOps 平台中集中查看健康中心，監控資料來源狀態、擷取量和剖析健康狀態。並醒目顯示錯誤，提供連結供您深入瞭解。
    • 參考資料：使用健康中心

  • BigQuery Export：

主要指標類別和欄位

擷取指標會依擷取管道的不同元件 (例如 Forwarder、Ingestion API、Normalizer、Feeds) 細分。以下是您會遇到的一些重要欄位：

  • 數量指標：

    • log_count：收到或處理的原始記錄項目數。
    • log_volume：接收或處理的記錄總大小 (以位元組為單位)。
    • event_count：剖析後產生的 UDM 事件數。

  • 正規化指標：

    • state：記錄的正規化程序結果 (例如 parsed、failed_parsing、failed_validation)。
    • total_events：成功驗證的 UDM 事件數量。
    • total_error_events：剖析或驗證失敗的事件數量。
    • drop_reason_code：記錄或事件遭到捨棄的原因。

  • 健康與效能：

    • last_heartbeat_time：指出收集器或動態饋給上次處於啟用狀態的時間。
    • drop_count：元件捨棄的記錄數量。
    • cpu_used、memory_used、disk_used：適用於地端元件的資源用量，例如 Bindplane 代理程式或舊版轉送器。
    • latency_count：與擷取和正規化之間所花時間相關的指標。

  • 配額指標 (Ingestion API)：

    • quota_rejected_long_term_log_volume：因超出配額限制而遭拒的記錄檔量。

瞭解維度

指標通常會依維度細分，方便您篩選及分組資料：

  • component：指標參照的擷取管線部分 (例如 Forwarder、Ingestion API、Normalizer、Out-of-Band Processor)。
  • log_type：記錄來源類型 (例如 WINDOWS_DNS、CS_EDR)。
  • collector_id / feed_id：特定收集器執行個體或資料動態饋給的專屬 ID。
  • namespace：用於整理記錄，通常用於 API 擷取。

注意：如擷取指標結構定義所述，匯總擷取指標應視為特定時間範圍的約略量指標，而非確切計數。

使用擷取指標

  • 疑難排解：依 log_type 和 state 篩選 (例如 failed_parsing) 標準化工具指標，找出剖析問題。檢查 drop_count 和 drop_reason_code 是否有資料遺失。
  • 快訊：針對重要記錄來源的 log_count 突然下降，或 total_error_events 偏高，在 Cloud Monitoring 中設定快訊。
  • 容量規劃：分析 BigQuery 中的 log_volume 趨勢，預測未來的需求。
  • 驗證設定：設定新的資料來源後，請檢查指標，確認資料是否正常傳輸及剖析。

定期監控及瞭解這些擷取指標，有助於確保 Google SecOps 執行個體的資料管道可靠且有效率。

還有其他問題嗎？向社群成員和 Google SecOps 專業人員尋求解答。