最佳化擷取量

本指南說明如何著重於設定 Google Security Operations 資料處理管道，進而最佳化擷取量。這項功能提供統一的方式，讓您在資料完全擷取前，無論來源為何，都能篩選、轉換及遮蓋資料。這個方法可提升資料品質和威脅偵測效率。

本指南適用於負責管理記錄檔擷取至 Google SecOps 的安全工程師、Google SecOps 分析師和雲端管理員。

擷取大量未經過濾的記錄檔可能會超出預算，並耗用大量資源。這會導致成本增加、搜尋和分析功能變慢，而且安全分析師更有可能在大量無關資料中錯過重要警報。有效篩選是部署 Google SecOps 的關鍵，有助於提升成本效益和效率。

事前準備

請確認你已具備或完成下列事項：

  • Identity and Access Management (IAM) 角色：預先定義的 Chronicle API Admin 角色 (roles/chronicle.admin)，或包含下列任一權限的自訂角色：
    • chronicle.logProcessingPipelines.*
    • chronicle.logTypes.get
    • chronicle.logTypes.list
    • chronicle.feeds.get
    • chronicle.feeds.list
    • chronicle.logs.list
  • Bindplane 版本：您必須使用 Bindplane Server 控制台 1.96.4 以上版本。
  • Bindplane Cloud 支援 Workload Identity Federation (WIF) 驗證。自行代管的 Bindplane 部署作業需要服務帳戶 JSON 金鑰憑證。
  • 存取 Bindplane 管理控制台或 Google SecOps Data Pipeline API，設定處理器節點。
  • 找出設定「篩選」、「轉換」和「遮蓋」處理器所需的確切欄位、記錄類型和條件，以減少資料量。
  • 比對與擷取方法相關聯的特定記錄類型、收集器 ID (適用於 Bindplane 來源) 或動態饋給名稱 (適用於資料動態饋給)，定義管道串流輸入內容。
  • 如果您要擷取 Google Cloud 記錄，請定義必要的 Logging 匯出篩選器，在資料送達 SecOps 管道前實作上游篩選，盡可能節省費用。
  • 瞭解記錄資料：
    • 找出資料量大或價值低的記錄：分析目前的擷取指標，找出對資料量和費用影響最大的記錄類型和來源。詳情請參閱「擷取指標總覽」。
    • 判斷篩選條件：判斷可確實識別要捨棄、轉換或遮蓋記錄的特定欄位、值、模式 (規則運算式) 或條件。
    • 瞭解擷取方法：瞭解如何擷取每個目標記錄來源 (直接、Bindplane、Feed、API)，因為這會影響管道串流的設定方式。

重要術語

  • 資料處理管道：這項功能可用於在記錄資料抵達時進行篩選、轉換及遮蓋處理，然後再儲存及建立索引。
  • 篩選：這是主要的功能，可進行容量最佳化，並定義條件來選擇性捨棄安全分析不需要的事件。
  • 轉換：這項功能可用於修改記錄格式，提升可用性，例如移除完整網域名稱 (FQDN)，或刪除事件中的詳細欄位。
  • Redact：這項功能可在儲存記錄前遮蓋或完全移除敏感資訊，有助於確保法規遵循和隱私權。
  • Bindplane 代理程式：從地端部署系統或其他雲端系統收集記錄的擷取方法。
  • 動態饋給：從 Cloud Storage、Amazon S3 或第三方 API 等來源擷取資料的擷取方法。
  • 擷取 API：傳送自訂記錄資料的方法，可使用資料處理管道進行伺服器端篩選。
  • 上游篩選：建議您使用 Logging 匯出篩選器，在來源篩選 Google Cloud 記錄，以達到最佳成本效益。
  • 串流：特定資料流，由記錄類型和擷取來源 (例如動態饋給或 API) 定義，做為資料處理管道的輸入內容。
  • 處理器節點：管道中的元件，內含一或多個處理器 (篩選、轉換或遮蓋動作)，可依序處理資料。
  • 目的地：資料處理管道的端點，通常是 Google SecOps 執行個體，處理後的資料會傳送至該處，以利最終擷取和分析。

使用資料處理管道進行最佳化

Google SecOps 中的資料處理管道可對資料擷取程序提供強大的預先剖析控制功能。您可以定義規則和動作，在記錄檔抵達時套用，然後再儲存及建立索引。詳情請參閱「設定及管理資料處理管道」。

主要功能

  • 篩選條件：這是盡量提高量的主要重點。您可以定義條件 (使用原始記錄內容、屬性或規則運算式)，有選擇性地捨棄安全性分析不需要的事件。這有助於減少干擾和成本。
  • 轉換：修改記錄格式，提升可用性，或移除事件中不必要的資料。例如從主機名稱中移除 FQDN、剖析及重組 JSON 酬載，或刪除冗長但不相關的欄位。
  • 遮蓋：在儲存記錄檔前，遮蓋或完全移除其中的個人識別資訊 (PII) 等私密資訊，協助您符合法規和隱私權規定。

普遍適用性

資料處理管道的主要優點在於，可套用至任何擷取方法取得的資料。這可為下列項目提供一致的篩選層：

  • Google Cloud 內建記錄
  • 使用 Bindplane 代理程式收集的記錄
  • 透過動態饋給匯入的資料
  • 透過 Ingestion API 傳送的自訂記錄檔

詳情請參閱本指南的「方法專屬的篩選策略」一節。

使用資料處理管道實作篩選功能

步驟 1：設定管道

您可以透過 Bindplane 管理控制台，或使用公開的 Google SecOps Data Pipeline API，設定及管理資料處理管道。您可以使用這些檔案定義串流 (輸入)、設定處理器節點 (篩選、轉換、遮蓋)，以及管理管道部署作業。

如需完整設定操作說明，請參閱「設定及管理資料處理管道」。

步驟 2：設定用於篩選的處理器

在管道中，您可以將處理器新增至節點。如要減少音量，主要應使用 Filter 處理器。您可以設定這些處理器，根據條件或規則運算式捨棄記錄。您可以使用 OTTL (OpenTelemetry Transformation Language) 語法，設定自訂管道條件和陳述式。

  • 條件：評估記錄資料中的欄位或屬性。
  • 規則運算式：比對原始記錄訊息中的模式。
  • OTTL 範例：範例陳述式為 set(attributes["labels.myLabel.value"], "myValue")。

篩選是關鍵，但您也可以考慮使用轉換處理器，從保留的記錄中移除大型的不必要欄位，並使用遮蓋處理器將敏感資料設為空值。

步驟 3：方法專屬的篩選策略

以下各節說明如何針對每種主要擷取類型，使用資料處理管道進行篩選。

Google Cloud 記錄

  • 上游篩選 (建議的最佳做法)：為盡量節省費用，Google 建議使用 Cloud Logging 匯出篩選器，在來源端篩選記錄。 Google Cloud 這樣一來，系統就不會將不必要的記錄檔傳送給 Google SecOps。如有需要，您可以使用資料處理管道進行額外篩選。詳情請參閱「擷取 Google Cloud 資料指南」，尤其是「自訂匯出篩選器設定」一節。

  • 管道應用程式：設定資料處理管道，選取適當的 Google Cloud 記錄類型和擷取方法 (「直接」或「雲端原生」)。定義篩選器處理器，根據內容捨棄不想要的記錄。

Bindplane 代理程式

您可以透過資料處理管道，篩選 Bindplane 代理程式從地端部署系統或其他雲端系統收集的記錄。設定串流，使其與 Bindplane 來源相關聯的記錄類型和收集器 ID 相符。詳情請參閱「搭配 Google SecOps 使用 Bindplane」。

資料動態饋給

如要處理透過 Feeds 擷取的資料 (例如來自 Cloud Storage、Amazon S3 或第三方 API)，請在設定管道串流時選取動態饋給名稱和記錄類型，套用資料處理管道篩選器。詳情請參閱「使用動態消息」指南。

Chronicle API 擷取方式

如果您使用 Chronicle API 擷取方法傳送資料，仍可運用資料處理管道。設定管道串流，使其與 API 呼叫中使用的記錄類型相符。這樣一來，您就能在伺服器端篩選自訂記錄串流。詳情請參閱「Chronicle API 擷取方法」指南。

最佳做法

  • 盡可能篩選上游：如 Google Cloud所述，請盡可能在最接近來源的位置篩選記錄。這是最符合成本效益的做法，因為可減少資料移轉和處理負擔。
  • 具體明確：先使用明確定義的篩選器，排除已知的高用量低價值記錄。請避免使用過於廣泛的篩選條件，以免誤刪實用資料。
  • 疊代與修正：定期檢查篩選器成效，他們是否會收到正確的事件？是否有需要過濾的新噪音？
  • 記錄篩選器：記錄已設定的篩選器及其用途，尤其是複雜的規則運算式或條件式邏輯。

驗證與測試

  • 測試：請先在非正式環境中測試篩選條件，或使用少量資料進行測試。
  • 驗證篩選器：使用 Bindplane 控制台管道編輯器中的測試功能。您可以輸入記錄檔樣本，查看套用處理器後的輸出內容，確認篩選器是否正常運作。
  • 監控擷取作業：部署管道後，請在 Google SecOps 中監控擷取資訊主頁，觀察對資料量和費用的影響。詳情請參閱「擷取指標總覽」。
  • 查看設定：您可以在 Google SecOps UI 中，依序前往「SIEM Settings」>「Data Processing」，查看所有設定。
  • 外部管理：您可以搜尋設定，然後按一下「在 Bindplane 中開啟」，直接前往 Bindplane 控制台進行進階管理。

限制

  • 服務限制：過於複雜的規則運算式，或每個管道有大量處理器，都可能影響效能或受到限制。請參閱「服務限制」一文，瞭解 Google SecOps 的限制。
  • Google SecOps 套裝組合：請務必瞭解 Google SecOps 套裝組合中的功能。詳情請參閱「Google SecOps 套件」。
  • 重複使用：雖然功能強大，但如果沒有經過調整，一個記錄類型或來源的管道設定可能無法直接用於其他類型或來源。
  • 處理器數量上限：每個管道最多可定義 10 個處理器。
  • 規則運算式效能：避免過度比對規則運算式，以免因逾時而導致管線建立或部署失敗。建議將資料剖析為 JSON，並依特定欄位篩選。
  • 串流關聯限制：雖然可以為相同記錄類型的不同動態饋給建立不同管道，但無法將完全相同的串流定義 (例如相同動態饋給或相同記錄類型全包) 關聯至多個有效管道。將記錄類型設為「所有擷取方法」，可做為全面性的設定，並防止為該記錄類型的特定動態饋給設定其他管道。

還有其他問題嗎？向社群成員和 Google SecOps 專業人員尋求解答。