使用 Cloud Logging 分析動態消息活動
本指南可協助安全工程師和管理員監控、偵錯及排解 Google SecOps SIEM 中的擷取管道和動態消息問題。如要全面瞭解如何監控資料擷取作業,請參閱「檢查資料擷取健康狀態」和「排解資料擷取問題」。本指南說明如何在 Cloud Logging 中傳送、查看及查詢擷取和動態消息活動記錄。使用 Cloud Logging,您可以診斷記錄檔傳送問題 (例如記錄檔遺失、延遲或失敗),並縮短解決擷取異常問題所需的時間。掌握這項資訊後,您也可以使用 Gemini Cloud Assist 調查記錄和指標遙測資料。
事前準備
如要取得查看記錄的必要權限,請要求管理員在專案中授予您下列其中一個 Identity and Access Management (IAM) 角色:
- 記錄檢視者 (
roles/logging.viewer) - 私人記錄檢視者 (
roles/logging.privateLogViewer)
如要進一步瞭解如何授予角色,請參閱「管理存取權」。
- 記錄檢視者 (
瞭解費用影響。Cloud Logging 是一項收費服務。免費方案是 Google Cloud 免費計畫的一部分。詳情請參閱「Google Cloud 可觀測性定價」。
重要術語
chronicle-siem:與 Google SecOps 生態系統相關聯的記錄命名空間標籤。chronicle.googleapis.com/ingestion_activity:與 Google SecOps 資料擷取管道相關的記錄串流記錄 ID。storage_transfer_job:使用 Storage 移轉服務 (STS) 的靜態動態饋給記錄資源類型。storagetransfer.googleapis.com/transfer_activity:STS 活動記錄的記錄 ID。
動態饋給活動分析總覽
在 Cloud Logging 中分析動態消息活動時,需要完成多項重要步驟:
- 存取記錄檔探索工具:前往 Google Cloud 控制台的「記錄檔探索工具」,然後選取正確的 Google Cloud 專案。詳情請參閱「記錄檔總管介面」說明文件。
- 查詢記錄:建構查詢,根據各種參數 (例如時間範圍、命名空間、記錄 ID、擷取機制、動態消息 ID 或收集器 ID) 篩選記錄。如需語法規則,請參閱「Logging 查詢語言」。本指南提供常見篩選情境的範例。
- 調查特定動態饋給類型:瞭解如何使用不同的擷取方法查詢動態饋給的記錄,包括使用 Storage 移轉服務 (STS) 的方法,這些方法具有獨特的記錄格式。
- 使用控制台工具:善用 Google SecOps 控制台的內建功能,例如「使用記錄檔偵錯」和 Gemini Cloud Assist,簡化分析和偵錯程序。
- 瞭解記錄結構定義:請參閱結構定義參考資料,瞭解記錄酬載中的欄位和資料類型,以便進行深入分析和疑難排解。
以下各節提供詳細資訊,協助您有效監控資料擷取管道的健康狀態、偵錯問題及排解錯誤。
查看及查詢動態消息活動記錄
如要查看及查詢動態消息活動記錄,請按照下列步驟操作:
- 前往 Google Cloud 控制台的「Logs Explorer」頁面。
- 選取與 Google SecOps 執行個體相關聯的 Google Cloud 專案。
- 在「Query」(查詢) 窗格中輸入查詢運算式,篩選記錄。
- 點選「執行查詢」。
接下來幾節會顯示常見情境的查詢範例。
依 Google SecOps 命名空間篩選
如要擷取與 Google SecOps 生態系統相關的所有記錄,請使用下列查詢:
labels.namespace="chronicle-siem"
依擷取活動記錄串流篩選
如要隔離與資料擷取管道相關的記錄,請使用下列查詢:
log_id("chronicle.googleapis.com/ingestion_activity")
依擷取機制篩選
如要指定特定擷取機制 (例如第三方 API) 的記錄,請在查詢中使用 labels.ingestion_mechanism 欄位:
labels.ingestion_mechanism="Third Party API"
依動態饋給 ID 或收集器 ID 篩選
如要查看特定擷取動態饋給或收集器的記錄,請使用 labels.feed_id 或 labels.collector_id 欄位。如要瞭解如何設定動態饋給,請參閱「管理資料動態饋給」和「資料動態饋給總覽」。如要瞭解收集器,請參閱「記錄檔擷取和剖析」:
labels.feed_id="FEED_ID"
將 FEED_ID 替換為動態饋給的專屬 ID。
labels.collector_id="COLLECTOR_ID"
將 COLLECTOR_ID 替換為收集器的專屬 ID。
查看 Storage 移轉服務記錄
使用 Storage 移轉服務 (STS) 的靜態動態饋給記錄檔會從租戶環境轉送至您的 Google Cloud 專案,並使用不同的資源類型和記錄檔名稱。如需 STS 的一般資訊,請參閱 Storage 移轉服務說明文件。
目標:查看 STS 記錄活動。
動作:執行下列查詢:none resource.type="storage_transfer_job" AND log_id("storagetransfer.googleapis.com/transfer_activity")預期會失敗:使用
log_id("chronicle.googleapis.com/ingestion_activity")搜尋時,不會顯示這些靜態動態饋給的記錄。修正步驟:使用
resource.type="storage_transfer_job"和特定 STSlog_id。
使用控制台工具偵錯動態消息
Google SecOps 提供控制台整合功能,可存取活動記錄:
- 詢問 Gemini Cloud Assist:在「動態消息」頁面中,選取「詢問 Gemini Cloud Assist」即可開啟對話窗格。你可以詢問有關動態饋給量和錯誤的問題。詳情請參閱「Gemini in Google SecOps 總覽」一文。
- 使用記錄檔進行偵錯:在「動態饋給管理」頁面中,開啟特定動態饋給的動作選單,然後選取「使用記錄檔進行偵錯」。您也可以在「查看動態消息」頁面中找到這個選項。系統會在新的分頁中開啟 Logs Explorer,並預先篩選所選動態消息 ID。
記錄結構定義參照
動態消息活動記錄採用統一的 JSON 酬載結構。
擷取活動記錄欄位
| 欄位 | 資料類型 | 說明 |
|---|---|---|
request_start_time |
string |
活動開始時間的時間戳記 (RFC 3339)。 |
activity_duration |
string |
活動的總經過時間長度 (例如「1.500 秒」)。 |
transfer_id |
string |
特定檔案或資料移轉作業的專屬 ID。 |
feed_id |
string |
Google SecOps 擷取動態饋給的專屬 ID。 |
collector_id |
string |
執行擷取的收集器的專屬 ID。 |
log_type |
string |
要擷取的記錄格式 (例如 DUO、OFFICE_365)。如需格式字串清單,請參閱「支援的預設剖析器」。 |
file |
string |
處理過的檔案或 Blob 容器名稱 (適用於以檔案為基礎的來源)。 |
request_urls |
array of strings |
用於提取或轉移資料的目標網址 (適用於以 API 為基礎的來源)。 |
http_status_code |
integer |
從 API 擷取作業收到的 HTTP 狀態碼。 |
bytes_transferred |
integer |
活動期間成功傳輸的原始位元組數。 |
record_count |
integer |
處理、擷取或剖析的個別記錄項目數量。 |
activity |
string |
正在執行的工作名稱 (例如 File Processing、File Transfer)。 |
details |
string |
擷取活動的其他中繼資料或詳細資料。 |
error_details |
object |
如果活動發生失敗,則提供詳細錯誤資訊。請參閱「錯誤詳細資料欄位」。 |
錯誤詳細資料欄位
| 欄位 | 資料類型 | 說明 |
|---|---|---|
error_message |
string |
使用者可理解的錯誤說明。 |
error_code |
string |
錯誤代碼或 ID (支援數字和說明字串代碼)。 |
error_type |
string |
錯誤的分類或類別。 |
is_retriable |
boolean |
指出是否可以重試導致錯誤的作業。 |
記錄酬載範例
成功擷取活動記錄的範例
{
"request_start_time": "2026-06-30T19:00:00Z",
"activity_duration": "0.500s",
"transfer_id": "transfer-12345",
"feed_id": "feed-998877",
"collector_id": "collector-abcd",
"log_type": "WORKDAY_AUDIT",
"file": "audit_log_2026_06_30.json",
"request_urls": [
"https://api.workday.com/ccx/v1/tenant/logs"
],
"http_status_code": 200,
"bytes_transferred": 4512000,
"record_count": 12500,
"activity": "File Processing",
"details": "Successfully processed and validated 12500 records from Workday."
}
擷取失敗活動記錄範例
{
"request_start_time": "2026-06-30T19:05:00Z",
"activity_duration": "1.200s",
"transfer_id": "transfer-12346",
"feed_id": "feed-998877",
"collector_id": "collector-abcd",
"log_type": "WORKDAY_AUDIT",
"request_urls": [
"https://api.workday.com/ccx/v1/tenant/logs"
],
"http_status_code": 401,
"bytes_transferred": 0,
"record_count": 0,
"activity": "File Transfer",
"details": "Authorization failure during API request.",
"error_details": {
"error_message": "Invalid API token or credential expired.",
"error_code": "401",
"error_type": "AUTHORIZATION_ERROR",
"is_retriable": true
}
}
疑難排解
本節說明限制和常見問題。
限制
- Storage 移轉服務 (STS) 欄位:從 STS 路由的靜態動態消息記錄會使用
storage_transfer_job資源類型和storagetransfer.googleapis.com/transfer_activity記錄名稱,而非chronicle.googleapis.com/ingestion_activity。 - 遙測關聯:高基數欄位 (例如
feed_id) 會以中繼資料標籤的形式納入記錄檔,而不是受監控資源定義中的資源標籤。使用中繼資料標籤的 Gemini Cloud Assist 關聯性功能仍在評估中。
錯誤修正
| 問題說明 | 修正 |
|---|---|
| 標準查詢中缺少靜態動態饋給的記錄 | 請務必使用 STS 專屬資源類型 storage_transfer_job 和記錄 ID storagetransfer.googleapis.com/transfer_activity 進行查詢。請參閱「查看 Storage 移轉服務記錄」。 |
還有其他問題嗎?向社群成員和 Google SecOps 專業人員尋求解答。