擷取及剖析記錄檔資料

支援語言:

本指南可協助安全工程師使用 Google Security Operations,有效擷取及剖析記錄資料。本文說明如何整合各種來源的記錄檔,包括多雲端、地端部署和 SaaS 環境,並將記錄檔正規化為統一資料模型 (UDM),供您即時偵測及分析威脅。遵循這些方法可提升環境的能見度、減少作業延遲,並確保資料格式一致,方便搜尋和檢查,最終提升安全狀態。

常見用途

以下使用案例說明 Google SecOps 的記錄檔擷取和剖析功能如何提升資安營運成效。

整合分散的資料

  • 目標:將所有安全工具和環境 (多雲端、地端部署、SaaS) 的記錄匯入單一平台。
  • 價值:集中分析及顯示資料,打破資料孤島。

確保結構定義一致性

  • 目標:自動將各種記錄格式正規化為 UDM。
  • :在所有資料來源中,啟用一致的搜尋和規則套用功能。舉例來說,來自 AWS 的登入失敗事件,與來自地端部署 Windows 伺服器的事件,具有相同的 UDM 結構。

減少作業延遲

  • 目標:運用直接擷取方法,實現即時資料流程。
  • 價值:盡量縮短從事件發生到偵測和回應的時間。

重要術語

  • UDM:Google SecOps 用於正規化各種來源記錄資料的標準化結構定義。這樣就能針對不同記錄類型和供應商,進行一致的分析和威脅偵測。

事前準備

  • 權限:請確認您具備必要的 Identity and Access Management (IAM) 角色:

    • roles/chroniclesm.admin:通常在機構層級需要此權限,才能擷取多個專案的資料。
    • roles/securitycenter.adminEditor:適用於使用 SCC-E 的設定。

    詳情請參閱「授予單一 IAM 角色」。

  • Google SecOps 必須使用 Security Command Center (Standard 或 Premium) 擷取資產中繼資料。

設定記錄擷取和剖析功能

  1. 請根據記錄檔來源選擇擷取方法。主要方法包括直接擷取 Google Cloud、適用於地端部署或前處理需求的 Bindplane 代理程式,以及適用於雲端對雲端或 API 整合的資料動態饋給。詳情請參閱「選取擷取方法」。
  2. 套用排除篩選器,減少記錄量和費用。舉例來說,您可以排除大量低價值作業。
  3. 在 Google SecOps 控制台使用健康中心資訊主頁,追蹤擷取率、檢查錯誤 (Anomalous Sources) 及找出剖析器問題。

選取擷取方法

  • 直接擷取 (Google Cloud):這是最常見的Google Cloud 遙測資料擷取方法。並使用 Cloud Logging 篩選器,將記錄直接轉寄至 Google SecOps。

    • 支援的類型:Cloud 稽核記錄、Cloud DNS、Cloud NAT、Cloud Next Generation Firewall、Cloud IDS、Cloud Load Balancing 等。詳情請參閱「將資料擷取至 Google Security Operations Google Cloud 」。
    • 啟用:
      • 前往 Google Cloud 控制台的「Google SecOps Ingestion Settings」(Google SecOps 擷取設定)
      • 按一下「將資料傳送至 Google Secops」切換按鈕。
      • 視需要設定記錄接收器和篩選器。
  • Bindplane 代理程式:使用 Bindplane 處理地端部署伺服器 (Windows 或 Linux),或在雲端資料傳送至 Google SecOps 前進行篩選或轉換。

    • 版本:
      • Google 版本:所有客戶都會收到這個版本。
      • Enterprise 版:提供進階篩選、PII 遮蓋等功能。
    • 架構:可以閘道模式執行,多個收集器會將記錄轉送至中央 Bindplane 閘道,簡化防火牆規則並卸載處理作業。
    • 啟用:使用 Google SecOps 控制台提供的 Shell 或 PowerShell 指令碼安裝代理程式。詳情請參閱「搭配 Google SecOps 使用 Bindplane」一文。
  • 資料動態饋給:使用資料動態饋給,從物件儲存空間或第三方 API 進行雲端對雲端擷取。

    • 支援的來源:包括 Azure Event Hub、Amazon S3、Azure Blob Storage、 Google Cloud Storage、Microsoft 365、CrowdStrike Falcon 和約 50 個其他來源。詳情請參閱「來源類型
    • 安全性: Google Cloud Secret Manager 會安全地儲存資料動態饋給的憑證。
    • 啟用:透過 Google SecOps 控制台設定動態饋給,並提供必要憑證和來源詳細資料。詳情請參閱動態饋給管理說明文件
  • 其他方法

    如要瞭解這些方法,請參閱各項整合的專屬說明文件。

疑難排解

本節說明如何診斷及解決記錄檔擷取和剖析的常見問題。

延遲時間、服務配額和限制

  • 延遲擷取:如果檔案過大 (超過 5 到 10 GB),可能會導致擷取延遲。請分割這些檔案,以免延遲。
  • 編碼:Google SecOps 僅支援以 UTF-8 編碼的擷取記錄。
  • 直接擷取 Google Cloud 資料:擷取資料時,Google SecOps 不支援指派自訂命名空間或標籤。
  • 資料動態饋給記錄行大小:Google SecOps 將資料動態饋給中的個別記錄行限制為 4 MB。
  • 爆量限制:如果擷取率超過租戶爆量限制,您可能會看到「已達門檻」狀態。如果發生這種情況,請調整匯出篩選條件,或與 Google SecOps 支援團隊聯絡,瞭解是否能提高配額。
  • UDM 事件:如果批次 UDM 事件超過 8.2 MB,系統會捨棄所有 UDM 事件。如果單一 UDM 事件超過 500 KB,系統會捨棄該事件。

錯誤修正

問題 可能原因 修正
缺少身分關係 內容擷取作業已不同步。 如要強制重新整理內容,請停用再重新啟用直接擷取 Google Cloud 功能。
已達到款項起付額度 擷取率超過租戶爆量限制。 調整匯出篩選器,排除較不重要的記錄。如有需要,請與 Google SecOps 支援團隊聯絡,要求提高配額。
Bindplane 代理程式無法連線 防火牆封鎖了必要通訊埠或端點。 確認防火牆規則允許輸出至 malachiteingestion-pa.googleapis.com443 連接埠。如果使用閘道模式,請確認防火牆允許通訊埠 3001 (預設) 的內部流量。
剖析器錯誤 記錄格式已變更,或您套用了不正確的剖析器。 健康中心查看記錄。檢查預設剖析器是否適用,或是否需要自訂剖析器。確認記錄檔格式符合剖析器預期。

驗證和測試

  • 在 Google SecOps 控制台使用健康中心資訊主頁監控擷取率、檢查錯誤 (「異常來源」),以及找出剖析器問題。Health Hub 是主要工具,可驗證資料是否正常流動,以及 Google SecOps 是否如預期剖析資料。
  • 在 Google SecOps 中使用 UDM 搜尋查詢擷取的記錄,確保記錄存在且 Google SecOps 會正確正規化。

支援

還有其他問題嗎?向社群成員和 Google SecOps 專業人員尋求解答。