監控回應和應對手冊的健康狀態

支援：

本指南適用於資安工程師、SOAR 工程師和資安營運中心 (SOC) 經理，協助他們監控 Google Security Operations 中，playbook 和整合項目的健康狀態、效能和自動化效率。說明如何使用 Response Health Hub 找出、診斷及修正影響應對手冊執行作業、動作延遲和第三方整合服務的問題。

Google SecOps 的應變健康狀態中心可集中監控各環境中自動應變工作流程的運作狀態和成效。這項功能可讓您全面掌握各項指標，包括：教戰手冊執行量、待處理佇列、附件和重新執行率、動作層級延遲時間，以及失敗診斷。

「回覆健康度中心」包含下列資訊：

  • 應對手冊執行量、佇列積壓量和完成成功率
  • 案件和警告的應對手冊附加和重新執行 (重新執行) 率
  • 端對端應對手冊和動作執行延遲時間指標，包括最慢的個別應對手冊和動作執行
  • 應對手冊和整合健康指標，包括失敗的應對手冊摘要、終止的應對手冊、一段時間內的失敗趨勢，以及動作失敗原因
  • 整合和動作使用率排名、自動與手動關閉率，以及平均解決時間 (MTTR) 比較

重要術語

  • 應變健康狀態中心：Google SecOps 的中央介面，用於監控應對手冊和整合項目的狀態、執行延遲時間、自動化成效和健康狀態。
  • 應對手冊執行時間：應對手冊執行的總時間，從應對手冊首次觸發並附加至警告或案件，直到所有步驟完成為止。這段時間包括動作執行、步驟轉換、佇列延遲，以及等待使用者手動操作的時間。
  • 動作執行時間：應對手冊中個別動作的有效執行時間長度，從動作開始執行到結果儲存為止。
  • 附加的應對手冊：在系統擷取或建立快訊時，觸發並連結至案件或快訊的應對手冊。
  • 重新執行應對手冊：在已附加應對手冊的案件或警告，重新觸發應對手冊執行作業。
  • Faulted：說明在執行期間發生錯誤或逾時的自動化動作 (例如 FAULTED、FAULTED_AND_SKIPPED、UNHANDLED_TIMEDOUT 或 PENDING_ACTION_TIMEOUT)。
  • 已終止：表示應對手冊執行作業 (TERMINATED) 已由分析師手動停止，或相關聯的警告或案件在應對手冊執行完畢前已關閉。
  • 平均解決時間 (MTTR)：從案件建立到結案的平均時間 (以分鐘為單位)。應變健康狀態中心會比較應對手冊自動結案案件的 MTTR (AUTOMATIC)，以及分析師手動結案案件的 MTTR。

事前準備

使用 Response Health Hub 前，請確認您獲派的角色具備必要的 Identity and Access Management (IAM) 和 SOAR 權限，可查看資訊主頁和應對手冊資料。如果無法存取「回應健康狀態中心」，請與管理員聯絡。

標準預先定義角色

下列預先定義的 IAM 角色可存取 Response Health Hub 功能：

  • Chronicle API 管理員 (roles/chronicle.admin)
  • Chronicle API 編輯者 (roles/chronicle.editor)
  • Chronicle API 檢視者 (roles/chronicle.viewer)

特定權限和 SOAR 角色

如要查看 Response Health Hub，您必須具備下列 IAM 權限和 SOAR 角色存取權：

  • 必要 IAM 權限：
    • chronicle.nativeDashboards.get 和 chronicle.nativeDashboards.list，查看精選資訊主頁
    • chronicle.playbooks.read，查看教戰手冊執行情況和健全程度指標
    • chronicle.nativeDashboards.create 和 chronicle.nativeDashboards.duplicate 複製及自訂資訊主頁
  • SOAR 角色：使用者也需要具備可查看工作手冊和資訊主頁的 SOAR 角色，例如 ChronicleSOAR 管理員、ChronicleSOAR 威脅管理員、ChronicleSOAR 安全漏洞管理員或 ChronicleSOAR 觀察者。詳情請參閱「管理應對手冊權限」。

存取回應健康度中樞

  • 在導覽選單中，依序點選「資訊主頁和報表」>「資訊主頁」，然後在預先定義的精選資訊主頁清單中，選取「回應健康狀態中心」。

回應健康中心是唯讀的精選資訊主頁，無法直接修改。如要自訂圖表或查詢，請複製 Response Health Hub，並根據特定用途修改複製的資訊主頁。

篩選回應健康狀態中心

您可以使用頁面頂端的下列資訊主頁層級篩選器，調整「回覆健康中心」顯示的資料：

  • 全域時間篩選器：依選取的日期範圍篩選資訊主頁小工具 (預設：Past 7 days)。

  • 模擬應對手冊：根據執行作業是否在應對手冊模擬工具 (playbook.simulated) 中執行，篩選應對手冊指標。根據預設，這個篩選器會設為 false，因此資訊主頁只會顯示實際執行的應對手冊。將這個篩選器設為 true，即可檢查模擬測試執行作業。

  • 執行範圍篩選器：依據應對手冊執行範圍 (playbook.metadata.execution_scope) 篩選指標。

  • 環境篩選器：依一或多個 Google SecOps 環境 (playbook.metadata.environments 和 case.environment) 篩選資訊主頁小工具。根據預設，這個篩選器會設為 Default Environment，並支援同時選取多個環境。

瞭解並使用 Response Health Hub 介面

本節將說明「回應健康狀態中心」的各個部分和工具，協助您監控應變手冊成效，並診斷 SOAR 工作流程中的問題。

「回應健康度中心」分為以下幾個部分：

數量和採用率

「Volume & Adoption」部分提供 Playbook 執行量、佇列深度和整體完成率的高階指標：

  • 應對手冊執行總數：這個大型數字小工具會顯示所選時間範圍內，應對手冊執行的總次數。
  • 執行次數前 30 名的應對手冊：以橫向長條圖呈現指定時間範圍內，執行總次數前 30 名的應對手冊。
  • Playbooks Pending in Queue：這個大數字小工具會顯示目前狀態為 PENDING_IN_QUEUE、已排入佇列並等待執行的應對手冊執行作業數量。
  • 應對手冊執行成功率：圓餅圖，顯示依狀態分類的已完成應對手冊執行作業明細 (COMPLETED 與 FAILED)。
  • 每日劇本執行量：折線圖，顯示一段時間內劇本執行總數的每日趨勢，並依劇本顯示名稱分組。

應對手冊附加率

「應對手冊附加率」部分會追蹤應對手冊附加至案件或警示的頻率，以及重新執行的頻率：

  • 每個案件 / 警告附加的平均應對手冊數量：這個大型數字小工具會顯示每個案件或警告附加的平均應對手冊執行數量。
  • 每個案件 / 快訊附加的應對手冊數量上限：顯示附加至任一案件或快訊的不重複應對手冊數量上限。
  • 熱門應對手冊附件 / 重新執行：根據附件數量和重新執行頻率，列出應對手冊排名。

回應執行時間

「Response Execution Time」部分會評估應對手冊和動作延遲時間，協助您區分有效整合執行時間和整體工作流程等待時間：

  • 平均應對手冊執行時間：這個大型數字小工具會顯示已完成應對手冊執行的平均端對端時間長度 (Xh Ym Zs)，從初始觸發和附加到所有步驟完成。包括動作執行時間、步驟轉換、佇列延遲和使用者手動等待時間。
  • Avg Execution Time by Playbook：長條圖，顯示每個應對手冊的平均執行時間 (以秒為單位)。
  • 平均動作執行時間：這個大型數字小工具會顯示個別應對手冊動作的平均執行時間 (Xh Ym Zs)，從動作開始執行到結果儲存為止。
  • Avg Execution Time by Action：長條圖，顯示每項動作的平均執行時間 (以秒為單位)，不含內部迴圈標記 ForEachStartLoop 和 ForEachEndLoop。
  • 前 30 個執行時間最長的應對手冊：列出執行時間最長的 30 個應對手冊。
  • 執行速度最慢的 30 項動作：列出執行時間最長的 30 項個別動作。

應對手冊健康狀態

「Playbook Health」(應對手冊健康狀態) 專區提供失敗應對手冊、終止執行和整合動作錯誤的診斷和趨勢圖表：

  • Latest 30 Failed Playbook Summary：列出最近 30 次失敗的應對手冊執行作業 (FAILED)，以及具體的錯誤動作 (FAULTED) 和錯誤訊息。
  • 失敗率最高的前 30 個應對手冊：列出失敗執行次數最多的前 30 個應對手冊，以及失敗百分比。
  • 終止的前 30 個應對手冊：追蹤 TERMINATED 執行百分比最高的應對手冊。
  • 應對手冊失敗百分比趨勢：折線圖，顯示應對手冊失敗百分比的每日趨勢，並依應對手冊名稱分組。
  • 整合失敗百分比 (隨時間變化)：折線圖，顯示每日動作失敗百分比 (FAULTED 動作) 的趨勢，並依整合分組。
  • 動作失敗率：詳細列出各項整合和動作的動作失敗次數、失敗率、失敗狀態和最新錯誤訊息。

整合功能使用率和自動化成效

「整合項目使用情形」和「自動化成效」部分會醒目顯示應對手冊最常使用的工具，並量化自動化功能對案件結案和解決時間的營運影響：

  • 前 30 個最常用的整合項目：長條圖，依所有應對手冊 (不含內部 Loop 步驟) 的動作執行總數，列出前 30 個整合項目。
  • 前 30 名最常使用的動作：長條圖，依所有應對手冊的執行次數 (不含 ForEachStartLoop 和 ForEachEndLoop)，列出前 30 名個別動作。
  • 案件 / 快訊結案方法 (自動與手動)：圓環圖，顯示由應對手冊自動解決 (AUTOMATIC) 與由 SOC 分析師手動解決 (CLOSED) 的結案案件比例。
  • 案件 MTTR：自動與手動關閉：這張長條圖比較應對手冊自動關閉與手動關閉的平均解決時間 (MTTR，以分鐘為單位，採用對數刻度)。

找出並調查應對手冊和整合問題

本節說明如何使用「回應健康狀態中心」找出、調查及排解常見的劇本和整合問題。

調查失敗的應對手冊執行作業和發生錯誤的動作

如果「應對手冊執行成功率」或「隨時間變化的應對手冊失敗率」圖表顯示應對手冊失敗次數增加，請執行下列操作：

  1. 前往「前 30 大失敗率應對手冊」，找出失敗次數和失敗百分比最高的應對手冊。
  2. 查看「Failed Playbooks % Over Time」(一段時間內失敗的 Playbook 百分比) 折線圖，判斷失敗是否突然發生 (例如在編輯 Playbook 或憑證過期後)，或是否為持續性問題。
  3. 在「Latest 30 Failed Playbook Summary」中，找出失敗應對手冊最近的執行記錄，並查看「Action」、「Action Status」和「Action Message」欄位，找出導致應對手冊失敗的確切步驟和錯誤訊息。
  4. 按一下「Latest 30 Failed Playbook Summary」(最近 30 個失敗的劇本摘要) 中的「Case ID」(案件 ID) 連結，在新分頁中開啟受影響的案件。
  5. 在「案件」頁面選取警告，開啟「教戰手冊」分頁，然後點選教戰手冊名稱，開啟教戰手冊摘要側邊導覽匣。在導覽匣的「錯誤」部分，您可以檢查完整的步驟記錄，並在解決根本原因後，重新執行失敗的動作或整個劇本。

診斷整合和動作失敗或逾時

如果多個工作手冊同時失敗，根本原因通常是共用的第三方整合服務發生問題 (例如 API 憑證過期、網路連線問題或頻率限制)。如要找出整合層級問題，請按照下列步驟操作：

  1. 查看「一段時間內的整合失敗百分比」圖表，瞭解失敗次數是否與劇本中的特定整合項目有關。
  2. 在「動作失敗率」檢視畫面中，找出受影響的整合項目，並查看「失敗率」、「失敗狀態」和「最近失敗原因」：
    • FAULTED 或 FAULTED_AND_SKIPPED：表示動作傳回執行錯誤。查看「Latest Failure Reasons」(最近失敗原因)，瞭解 401 Unauthorized、403 Forbidden 或輸入參數無效等詳細資料。
    • UNHANDLED_TIMEDOUT：表示動作或遠端代理程式在完成執行前逾時。
    • PENDING_ACTION_TIMEOUT：表示非同步或手動待處理動作在收到回應前，已超過設定的等待逾時時間。
  3. 依序前往「Response」>「IDE」或「Settings」>「SOAR Settings」>「Environments」，驗證並測試受影響環境的整合執行個體設定和憑證。

調查應對手冊執行延遲和佇列積壓情形

回應時間緩慢可能是因為第三方整合動作緩慢，或是應對手冊等待狀態和佇列積壓。如要找出執行延遲的原因，請按照下列步驟操作：

  1. 檢查佇列積壓工作：在「數量和採用率」部分中，查看「佇列中待處理的劇本」小工具。如果排入佇列的應對手冊數量偏高，表示傳入的警告觸發應對手冊的速度，快於應對手冊的執行速度。
  2. 比較應對手冊執行時間與動作執行時間：
    • 在「Response Execution Time」(回應執行時間) 部分，比較「Avg Playbook Execution Time」(平均教戰手冊執行時間) 和「Avg Action Execution Time」(平均動作執行時間)。
    • 整合動作執行緩慢：如果「平均動作執行時間」較長，請查看「平均動作執行時間」圖表和「前 30 個執行最慢的動作」，找出執行時間最長的特定整合動作。按一下「案件 ID」連結，檢查執行緩慢動作的特定案件和快訊。
    • 工作流程等待時間或輪詢延遲：如果平均應對手冊執行時間偏高，但平均動作執行時間偏低，表示延遲發生在執行動作之間，最常見的原因是應對手冊正在等待分析師手動確認步驟、待處理非同步動作，或佇列延遲。查看「Avg Execution Time by Playbook」(各應對手冊的平均執行時間) 和「Top 30 Slowest Playbook Executions」(執行速度最慢的前 30 個應對手冊)，找出受影響的應對手冊執行作業。

最佳化應對手冊觸發條件、重新執行和終止執行

如果觸發條件效率不彰，或 playbook 設計過於廣泛，可能會導致不必要的執行、頻繁重新執行，或 playbook 提前終止。如要最佳化應對手冊工作流程，請執行下列操作：

  1. 稽核附件和重新執行次數：
    • 在「Playbook Attachment Rates」部分，查看「Avg Playbooks Attached per Case / Alert」和「Max Playbooks Attached per Case / Alert」小工具。
    • 查看「Top Playbook Attachments / Reruns」(熱門應對手冊附件/重播) 。如果「重新執行次數」相較於「附加次數」的值偏高，可能表示分析師因暫時性動作失敗或擴充資料不完整，而重複重新觸發劇本。
  2. 調查已終止的劇本：
    • 在「Playbook Health」部分，查看「Top 30 Playbooks Terminated」。
    • 如果分析師手動停止應對手冊，或是在應對手冊完成執行前關閉基礎警告或案件，應對手冊就會標示為「TERMINATED」。如果應對手冊的「終止百分比」偏高，請確認是否有自動關閉規則或其他應對手冊，在長時間執行的擴充或遏制步驟完成前，就關閉警告。

評估 SOC 自動化成效和 MTTR

如要評估應對手冊是否有效減輕分析師的工作負載，並加快事件應變速度，請按照下列步驟操作：

  1. 在「自動化成效」部分，查看「案件 / 警告結案方式 (自動與手動)」圓環圖，追蹤自動解決 (AUTOMATIC) 與手動解決的結案比例。
  2. 查看「Case MTTR: Automated vs. Manual Closure」長條圖，比較自動結案和手動結案的平均解決時間 (以分鐘為單位)。
  3. 使用「環境篩選器」，比較不同環境或租戶的自動化結案率和 MTTR，並找出哪些環境可透過額外的自動分類或自動結案應對手冊，縮短分析師手動處理時間。

自行修復應對手冊和整合健康狀態問題

如要修復「回應健康狀態中心」中發現的常見教戰手冊和整合問題，請查看下列症狀、原因和建議修復方式：

  • 動作狀態為 FAULTED 或 FAULTED_AND_SKIPPED，且發生驗證錯誤 (401 / 403)：
    • 原因：為整合執行個體設定的 API 金鑰、權杖或服務帳戶已過期，或缺少必要權限。
    • 建議修復方式：查看「動作失敗率」小工具中的「最近失敗原因」，找出整合項目，在受影響環境的整合設定中更新憑證，然後測試連線。
  • 動作狀態為 UNHANDLED_TIMEDOUT：
    • 原因：第三方端點的回應時間過長，或是執行動作的遠端代理程式發生連線或資源問題。
    • 建議的修正方式：檢查目標服務的健康狀態，如果整合作業是遠端執行，請排解遠端代理程式的問題。建議您延長動作逾時時間，或縮減傳遞至動作的查詢範圍。
  • 動作狀態為 PENDING_ACTION_TIMEOUT：
    • 原因：等待使用者輸入內容或外部非同步回呼的 Playbook 步驟，未在步驟逾時前完成。
    • 建議的修復方式：在「Latest 30 Failed Playbook Summary」小工具中，按一下「案件 ID」，檢查待處理的步驟。請在應對手冊設計工具中調整步驟的逾時設定，或為逾時的待處理動作設定備用分支。
  • 終止率偏高 (TERMINATED) 的前 30 個終止 Playbook：
    • 原因：應對手冊仍在執行時，案件或快訊已關閉 (手動或由其他自動化規則關閉)，或分析人員手動停止應對手冊。
    • 建議的補救措施：在「應對手冊的平均執行時間」中查看應對手冊的執行時間，並確保案件自動結案步驟只會在所有必要的擴充和回應動作完成後執行。
  • 佇列中待處理的高優先順序應對手冊 (PENDING_IN_QUEUE)：
    • 原因：警告數量激增或應對手冊觸發條件過於廣泛，導致排隊等待執行的應對手冊數量，超過執行管道可同時處理的數量。
    • 建議修復方式：調整應對手冊觸發條件，提高篩選精確度、使用可重複使用的模塊整合多餘的應對手冊，並查看應對手冊中的大量操作和篩選器。
  • 平均應對手冊執行時間遠高於平均動作執行時間：
    • 原因：Playbook 的生命週期大部分時間都在等待使用者手動操作或外部回呼，而非主動執行整合動作。
    • 建議修復措施：檢查「執行速度最慢的前 30 個應對手冊」，找出哪些應對手冊正在等待人工介入，並在適當情況下自動執行例行核准或分類決策。

變更劇本或整合設定後，請監控「回應健康中心」中的「劇本失敗率隨時間變化」和「整合失敗率隨時間變化」圖表，確認失敗率是否回到預期水準。

疑難排解

以下說明分析資料時，回應健康度中心介面可能出現的行為：

  • 調整全域時間篩選器時，「Playbooks Pending in Queue」不會變更：「Playbooks Pending in Queue」小工具會測量固定 7 天時間範圍內目前有效的待處理項目 (PENDING_IN_QUEUE)，並刻意忽略「全域時間篩選器」，以便您隨時查看即時佇列狀態。
  • 系統預設不會顯示模擬的應對手冊執行作業：「應對手冊模擬」篩選器預設為 false，因此應對手冊模擬工具的測試執行作業不會影響生產環境健康指標。如要排解模擬執行的問題，請將「Playbook Simulated」(模擬應對手冊) 變更為 true。
  • 迴圈動作和 Loop 整合不會顯示在熱門動作或整合圖表中：系統會自動從「動作的平均執行時間」、「最常使用的前 30 項整合」和「最常使用的前 30 項動作」中排除內部迴圈控制步驟 (ForEachStartLoop、ForEachEndLoop 和 Loop 整合)，讓排名反映實際的安全整合和動作。
  • 應對手冊平均執行時間與動作平均執行時間的差異：應對手冊平均執行時間會測量應對手冊從開始到結束的整個實際時間長度 (playbook.end_time 減去 playbook.start_time)，而動作平均執行時間只會計算個別動作的平均實際執行時間 (playbook.action.execution_time_ms)。如果應對手冊需要等待分析師核准待處理動作數小時，即使自動化動作在幾秒內完成，應對手冊的執行時間也會很長。

後續步驟

還有其他問題嗎？向社群成員和 Google SecOps 專家尋求解答。