注入和解析日志数据

支持的平台：

本指南可帮助安全工程师使用 Google Security Operations 高效地注入和解析日志数据。本文介绍了如何整合来自各种来源（包括多云、本地和 SaaS 环境）的日志，将这些日志标准化为统一数据模型 (UDM)，并使其可用于实时威胁检测和分析。通过采用这些方法，您可以提高环境的可见性，缩短运营延迟时间，并确保数据格式一致，以便进行搜索和检查，最终提升您的安全态势。

常见使用场景

以下使用情形重点介绍了 Google SecOps 日志注入和解析功能如何增强您的安全运维。

整合碎片化数据

  • 目标：将所有安全工具和环境（多云、本地、SaaS）中的日志整合到一个平台中。
  • 价值：实现集中式分析和可视化，打破数据孤岛。

确保架构一致性

  • 目标：自动将各种日志格式标准化为 UDM。
  • 价值：可在所有数据源中实现一致的搜索和规则应用。例如，来自 AWS 的登录失败事件与来自本地 Windows 服务器的登录失败事件具有相同的 UDM 结构。

缩短运营延迟时间

  • 目标：利用直接注入方法实现实时数据传输。
  • 价值：尽可能缩短从事件发生到检测和响应的时间。

主要术语

  • UDM：Google SecOps 用于对来自各种来源的日志数据进行标准化的标准化架构。这样一来，无论日志类型和供应商如何，都可以进行一致的分析和威胁检测。

准备工作

  • 权限：确保您拥有必要的 Identity and Access Management (IAM) 角色：

    • roles/chroniclesm.admin：通常在组织级层需要此权限，以便进行多项目提取。
    • roles/securitycenter.adminEditor：适用于使用 SCC-E 的配置。

    如需了解详情，请参阅授予单个 IAM 角色。

  • Google SecOps 需要 Security Command Center（标准版或高级版）才能注入资产元数据。

  • 许可名单：如果您使用数据 Feed（拉取入站流量）或提取 API 方法（推送出站流量），请设置许可名单：

配置日志注入和解析

  1. 根据您的日志来源选择提取方法。主要方法包括： Google Cloud的直接注入、用于满足本地或预处理需求的 Bindplane 代理，以及用于实现云到云或 API 集成的数据 Feed。如需了解详情，请参阅选择提取方法。
  2. 应用排除项过滤条件，以减少日志量和费用。 例如，排除交易量大但价值低的交易。
  3. 使用 Google SecOps 控制台中的健康中心信息中心来跟踪提取速率、检查错误 (Anomalous Sources) 并识别解析器问题。

选择注入方法

  • 直接提取（Google Cloud）：这是最常见的Google Cloud 遥测数据提取方法。它使用 Cloud Logging 过滤条件将日志直接转发到 Google SecOps。

    • 支持的类型：Cloud Audit Logs、Cloud DNS、Cloud NAT、Cloud Next Generation Firewall、Cloud IDS、Cloud Load Balancing 等。如需了解详情，请参阅将 Google Cloud 数据注入到 Google Security Operations。
    • 启用：
      • 前往 Google Cloud 控制台中的 Google SecOps 提取设置。
      • 点击向 Google Secops 发送数据切换开关。
      • 根据需要配置日志记录接收器和过滤条件。

  • Bindplane 代理：使用 Bindplane 收集本地服务器（Windows 或 Linux）的数据，或在云数据到达 Google SecOps 之前对其进行过滤或转换。

    • 版本：
      • Google 版：所有客户均可获享此版本。
      • 企业版：提供高级过滤、PII 遮盖等功能。
    • 架构：可以在网关模式下运行，其中多个收集器将日志转发到中央 Bindplane 网关，从而简化防火墙规则并分流处理。
    • 启用：使用 Google SecOps 控制台提供的 shell 或 PowerShell 脚本安装代理。如需了解详情，请参阅将 Bindplane 与 Google SecOps 搭配使用。

  • 数据 Feed：使用数据 Feed 从对象存储区或第三方 API 进行云到云注入。

    • 支持的来源：包括 Azure Event Hub、Amazon S3、Azure Blob Storage、 Google Cloud Storage、Microsoft 365、CrowdStrike Falcon 和大约 50 个其他来源。如需了解详情，请参阅来源类型
    • 安全性： Google Cloud Secret Manager 可安全地存储数据 Feed 的凭据。
    • 启用：通过 Google SecOps 控制台配置 Feed，提供必要的凭据和来源详细信息。如需了解详情，请参阅Feed 管理文档。

  • 其他方法

    如需详细了解这些方法，请参阅各个集成的具体文档。

问题排查

本部分可帮助您诊断和解决日志提取和解析方面的常见问题。

延迟时间、服务配额和限制

  • 提取延迟：大型文件（超过 5-10 GB）可能会导致提取延迟。请拆分这些文件，以免延误。
  • 编码：Google SecOps 仅支持 UTF-8 编码的提取日志。
  • Google Cloud 直接提取：Google SecOps 不支持在提取期间分配自定义命名空间或标签。
  • 数据 Feed 日志行大小：Google SecOps 将数据 Feed 中的单个日志行限制为 4 MB。
  • 突发限制：如果提取速率超过租户突发限制，您可能会看到“已达到阈值”状态。如果发生这种情况，请优化导出过滤器，或与 Google SecOps 支持团队联系，以申请提高配额。
  • UDM 事件：如果批量 UDM 事件超过 8.2 MB，则所有 UDM 事件都会被舍弃。如果单个 UDM 事件超过 500 KB，则会舍弃该 UDM 事件。

错误修正

症状 可能的原因 修复
缺少身份关系 上下文提取已不同步。 如需强制刷新上下文，请停用并重新启用直接 Google Cloud 提取。
达到付款最低限额状态 提取速率超出租户突发限制。 优化导出过滤条件，以排除不太重要的日志。如有必要，请与 Google SecOps 支持团队联系，申请增加配额。
Bindplane 代理无法连接 您的防火墙正在屏蔽必需的端口或端点。 确保防火墙规则允许出站流量流向端口 443 上的 malachiteingestion-pa.googleapis.com。如果您使用网关模式，请确保防火墙允许端口 3001（默认）上的内部流量。
解析器错误 日志格式已更改，或者您应用了错误的解析器。 在健康数据中心内查看日志。检查默认解析器是否合适，或者是否需要自定义解析器。验证日志格式是否符合解析器的预期。

验证和测试

  • 使用 Google SecOps 控制台中的健康状况中心信息中心监控提取速率、检查错误（“异常来源”）并识别解析器问题。健康中心是验证数据是否正确流动以及 Google SecOps 是否按预期解析数据的主要工具。
  • 在 Google SecOps 中使用 UDM 搜索功能查询已注入的日志，确保这些日志存在且 Google SecOps 可以正确地对其进行标准化处理。

支持

需要更多帮助？获得社区成员和 Google SecOps 专业人士的解答。