注入和解析日志数据

本指南可帮助安全工程师使用 Google Security Operations 高效注入和解析日志数据。它介绍了如何整合来自各种来源（包括多云、本地和 SaaS 环境）的日志，将这些日志规范化为统一数据模型 (UDM)，并使其可用于实时威胁检测和分析。通过遵循这些方法，您可以提高整个环境的可见性，缩短运营延迟时间，并确保数据格式一致，以便进行搜索和检查，最终提升您的安全态势。

常见使用场景

以下应用场景重点介绍了 Google SecOps 日志注入和解析功能如何提升您的安全运维水平。

整合分散的数据

• 目标：将来自所有安全工具和环境 （多云、本地、SaaS）的日志整合到一个平台中。
• 价值：实现集中分析和可见性，打破数据孤岛。

确保架构一致性

• 目标：自动将各种日志格式规范化为 UDM。
• 价值：支持在所有数据 源中进行一致的搜索和规则应用。例如，来自 AWS 的登录失败事件将具有与来自本地 Windows 服务器的登录失败事件相同的 UDM 结构。

缩短运营延迟时间

• 目标：利用直接注入方法实现实时数据传输。
• 价值：最大限度地缩短从事件发生到检测和 响应的时间。

主要术语

• UDM：Google SecOps 用于规范化来自各种来源的日志数据的标准化架构。这样，您就可以针对不同的日志类型和供应商进行一致的分析和威胁检测。

准备工作

• 权限：确保您拥有必要的 Identity and Access Management (IAM) 角色：

  • roles/chroniclesm.admin：通常在组织级层需要此角色，用于多项目注入。
  • roles/securitycenter.adminEditor：用于使用 SCC-E 的配置。

  如需了解详情，请参阅授予单个 IAM 角色。

• Google SecOps 需要 Security Command Center（标准版或专业版）才能注入资产元数据。

配置日志注入和解析

1. 根据您的日志来源选择注入方法。主要方法 包括：用于 Google Cloud 的直接注入 Google Cloud、用于本地或 预处理需求的 Bindplane 代理，以及用于云到云或 API 集成的 数据 Feed。如需了解详情，请参阅选择注入方法。
2. 应用排除项过滤条件，以减少日志量和费用。 例如，排除高容量、低价值的运算。
3. 使用 Google SecOps 控制台中的 Health Hub 信息中心跟踪 注入速率、检查错误 (Anomalous Sources) 并识别 解析器问题。

选择注入方法

• 直接注入 (Google Cloud)： 这是最常见的 Google Cloud 遥测注入方法。它使用 Cloud Logging 过滤条件将日志直接转发到 Google SecOps。

  • 支持的类型： Cloud Audit Logs、Cloud DNS、Cloud NAT、Cloud Next Generation Firewall、Cloud IDS、Cloud Load Balancing 等。如需了解详情，请参阅 将数据注入到 Google Security Operations。 Google Cloud
  • 启用：
    • 前往Google SecOps 注入设置在 Google Cloud 控制台。
    • 点击将数据发送到 Google SecOps 开关。
    • 根据需要配置 Logging 接收器和过滤条件。

• Bindplane 代理： 使用 Bindplane 处理本地服务器（Windows 或 Linux），或在云数据到达 Google SecOps 之前对其进行过滤或转换。

  • 版本：
    • Google 版： 所有客户都会收到此版本。
    • 企业版： 提供高级过滤、PII 遮盖等功能。
  • 架构： 可以在 网关模式下运行，在这种模式下，多个收集器 将日志转发到中央 Bindplane 网关，从而简化防火墙规则 并卸载处理。
  • 启用： 使用 Google SecOps 控制台提供的 Shell 或 PowerShell 脚本安装代理。如需了解详情，请参阅 将 Bindplane 与 Google SecOps 搭配使用。

• 数据 Feed： 使用数据 Feed 从对象存储区或第三方 API 进行云到云注入。

  • 支持的来源： 包括 Azure Event Hub、Amazon S3、Azure Blob Storage、 Google Cloud Storage、Microsoft 365、CrowdStrike Falcon 等 约 50 个来源。如需了解详情，请参阅来源类型
  • 安全性： Google Cloud Secret Manager 安全地存储数据 Feed 的凭据。
  • 启用： 通过 Google SecOps 控制台配置 Feed，提供必要的凭据和来源详细信息。如需了解详情，请参阅 Feed 管理文档。

• 其他方法

  • 直接注入 Google Workspace 事件。
  • Chrome 浏览器云管理遥测。
  • 使用 Chronicle API 注入方法直接集成 API（例如 Nozomi）。如需了解如何从旧版 Ingestion API 迁移，请参阅从旧版 SIEM API 迁移到 Chronicle API。

  如需详细了解这些方法，请参阅每个集成的具体文档。

问题排查

本部分可帮助您诊断和解决日志注入和解析方面的常见问题。

延迟时间、服务配额和限制

• 注入延迟： 大型文件（超过 5-10 GB）可能会导致注入延迟。请拆分这些文件以避免延迟。
• 编码： Google SecOps 仅支持注入日志的 UTF-8 编码。
• Google Cloud 直接注入： Google SecOps 在注入期间不支持自定义命名空间或标签分配。
• 数据 Feed 日志行大小： Google SecOps 将数据 Feed 中的单个日志行限制为 4 MB。
• 突发限制： 如果注入速率超出租户突发限制，您可能会看到已达到阈值 状态。如果出现这种情况，请优化导出过滤条件，或与 Google SecOps 支持团队 联系，以请求增加配额。
• UDM 事件： 如果批量 UDM 事件超过 8.2 MB，则所有 UDM 事件都会被舍弃。如果单个 UDM 事件超过 500 KB，则该 UDM 事件会被舍弃。

错误修复

症状	可能的原因	修复
缺少身份关系	上下文注入已取消同步。	如需强制刷新上下文，请先停用直接 Google Cloud 注入，然后再重新启用。
已达到阈值状态	注入速率超出租户突发限制。	优化导出过滤条件，以排除不太重要的日志。如有必要，请与 Google SecOps 支持团队 联系，以请求增加配额。
Bindplane 代理无法连接	您的防火墙正在屏蔽所需的端口或端点。	确保防火墙规则允许出站流量流向端口 443 上的 malachiteingestion-pa.googleapis.com。如果您使用网关模式，请确保防火墙允许端口 3001（默认）上的内部流量。
解析器错误	日志格式已更改，或者您应用了不正确的解析器。	在 Health Hub 中查看日志。检查默认解析器是否合适，或者您是否需要自定义解析器。验证日志格式是否符合解析器预期。

验证和测试

• 使用 Google SecOps 控制台中的 Health Hub 信息中心监控注入速率、 检查错误（“异常来源”）并识别解析器问题。Health Hub 是验证数据是否正确流动以及 Google SecOps 是否按预期解析数据的主要工具。
• 在 Google SecOps 中使用 UDM 搜索来查询注入的日志，并确保这些日志 存在且 Google SecOps 会正确规范化这些日志。

支持

• 如需解决 Bindplane 本地服务器问题，请与 Google SecOps 支持团队联系。
• 如需解决 Bindplane Cloud 问题，请直接与 Bindplane 支持团队 联系。

需要更多帮助？获得社区成员和 Google SecOps 专业人士的解答。