收集 OPNsense 防火墙日志

本文档介绍了如何使用 Bindplane 代理将 OPNsense 防火墙日志注入 Google Security Operations。

OPNsense 是一个开源防火墙和路由平台，可为防火墙规则匹配、网络连接和系统事件生成 syslog 消息。解析器使用 grok 和 CSV 解析从 CSV 格式的 filterlog 消息中提取字段，并将这些字段映射到统一数据模型 (UDM)。

准备工作

请确保满足以下前提条件：

• Google SecOps 实例
• Windows Server 2016 或更高版本，或者具有 systemd 的 Linux 主机
• Bindplane 代理与 OPNsense 防火墙之间的网络连接
• 如果通过代理运行，请确保防火墙端口符合 Bindplane 代理的要求
• 对 OPNsense 网页界面的管理员权限

获取 Bindplane 代理的 Google SecOps 凭据

如需向 Google SecOps 验证 Bindplane 代理的身份，请选择以下方法之一：

• 新部署：使用 Chronicle API（方法 1）。
• 旧版部署：继续使用注入身份验证文件（方法 2），直到注入 API 于 2027 年 7 月 20 日停用为止。

方法 1：为 Chronicle API 创建服务帐号（推荐）

1. 登录 Google Cloud 控制台，然后选择与您的 Google SecOps 实例关联的 Google Cloud 项目。
2. 依次前往 IAM 和管理 > 服务账号。
3. 点击创建服务账号 。
4. 提供以下配置详细信息：
   • 服务账号名称：输入账号的名称（例如 bindplane-ingest）。
   • 服务账号说明：输入说明（例如 Bindplane agent log ingestion）。
5. 点击创建并继续 。
6. 在向此服务帐号授予对项目的访问权限 部分，点击选择角色 ，然后选择 Chronicle Editor 。
7. 点击继续 ，然后点击完成 。
8. 点击您创建的服务帐号，然后前往密钥 标签页。
9. 依次点击添加密钥 > 创建新密钥。
10. 选择 JSON ，然后点击创建 。密钥文件会下载到您的计算机上。
11. 将密钥文件另存为 Bindplane 收集器目录中的 ingestion-auth.json（在 Linux 上为 /opt/observiq-otel-collector/ingestion-auth.json，在 Windows 上为 C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json），或者更新 creds_file_path 在 config.yaml 中以与您保存该文件的路径匹配。
12. 依次前往 IAM 和管理 > 设置 ，然后复制项目编号 。您需要此编号进行导出器配置。

方法 2：下载注入身份验证文件（旧版）

1. 登录 Google SecOps 控制台。
2. 依次前往 SIEM 设置 > 收集代理。
3. 下载注入身份验证文件 。
4. 将该文件安全地保存在将安装 Bindplane 代理的系统上。

获取 Google SecOps 客户 ID

1. 登录 Google SecOps 控制台。
2. 依次前往 SIEM 设置 > 个人资料。

3. 从组织详细信息 部分复制并保存客户 ID 。

安装 Bindplane 代理

按照以下说明在 Windows 或 Linux 操作系统上安装 Bindplane 代理。

Windows 安装

1. 以管理员身份打开命令提示符 或 PowerShell 。

2. 运行以下命令：

   msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet
   

3. 等待安装完成。

4. 运行以下命令，验证安装是否成功：

   sc query observiq-otel-collector
   

   该服务应显示为正在运行 。

Linux 安装

1. 打开具有根权限或 sudo 权限的终端。

2. 运行以下命令：

   sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh
   

3. 等待安装完成。

4. 运行以下命令，验证安装是否成功：

   sudo systemctl status observiq-otel-collector
   

   该服务应显示为活跃 (正在运行) 。

其他安装资源

如需了解其他安装选项和问题排查信息，请参阅 Bindplane 代理安装指南。

配置 Bindplane 代理以注入 syslog 并发送到 Google SecOps

找到配置文件

• Linux：

  sudo nano /opt/observiq-otel-collector/config.yaml
  

• Windows：

  notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
  

修改配置文件

• 将 config.yaml 的全部内容替换为以下配置：

  receivers:
    udplog:
      listen_address: "0.0.0.0:514"
  
  exporters:
    chronicle/opnsense:
      protocol: https
      # Region of your instance, for example us, europe, asia-southeast1
      location: <LOCATION>
      # Project number of the Google Cloud project linked to the instance
      project: '<PROJECT_NUMBER>'
      compression: gzip
      creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
      customer_id: '<customer_id>'
      endpoint: chronicle.googleapis.com
      log_type: OPNSENSE
      raw_log_field: body
  
  service:
    pipelines:
      logs/opnsense_to_chronicle:
        receivers:
          - udplog
        exporters:
          - chronicle/opnsense
  

配置参数

替换以下占位符：

• 接收器配置：

  • listen_address：要监听的 IP 地址和端口：
    • 0.0.0.0 以监听所有接口（推荐）
    • 端口 514 是标准 syslog 端口（在 Linux 上需要根权限；对于非根用户，请使用 1514）

• 导出器配置：

  • creds_file_path：服务帐号 JSON 密钥文件的完整路径（方法 1）：
    • Linux: /opt/observiq-otel-collector/ingestion-auth.json
    • Windows: C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
  • customer_id：从 Google SecOps 控制台复制的客户 ID
  • location：将 <LOCATION> 替换为 Google SecOps 实例的区域（例如 us、europe 或 asia-southeast1）。导出器会使用此值为 chronicle.googleapis.com 添加前缀。如需查看完整列表，请参阅区域级端点。
  • project：将 <PROJECT_NUMBER> 替换为 IAM 和管理 > 设置 中的项目编号。
  • endpoint：保持设置为 chronicle.googleapis.com。

旧版注入 API 导出器

• 如果您使用方法 2 中的注入身份验证文件，请将 exporters 代码块替换为以下内容。将 creds_file_path 设置为注入身份验证文件的路径，并且如果您的实例位于美国境外，请将 malachiteingestion-pa.googleapis.com 替换为您的 区域级端点（例如 europe-malachiteingestion-pa.googleapis.com）。

  exporters:
    chronicle/opnsense:
      compression: gzip
      creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
      customer_id: '<customer_id>'
      endpoint: malachiteingestion-pa.googleapis.com
      log_type: OPNSENSE
      raw_log_field: body
  

保存配置文件

• 修改后，保存文件：
  • Linux：按 Ctrl+O，然后按 Enter，再按 Ctrl+X
  • Windows：依次点击文件 > 保存

重启 Bindplane 代理以应用更改

• 如需在 Linux 中重启 Bindplane 代理，请运行以下命令：

  sudo systemctl restart observiq-otel-collector
  

  1. 验证服务是否正在运行：

     sudo systemctl status observiq-otel-collector
     

  2. 检查日志中是否存在错误：

     sudo journalctl -u observiq-otel-collector -f
     

• 如需在 Windows 中重启 Bindplane 代理，请选择以下选项之一：

  • 以管理员身份运行命令提示符或 PowerShell：

    net stop observiq-otel-collector && net start observiq-otel-collector
    

  • 服务控制台：

    1. 按 Win+R，输入 services.msc，然后按 Enter 键。
    2. 找到 observIQ OpenTelemetry Collector 。
    3. 右键点击并选择重启 。

    4. 验证服务是否正在运行：

       sc query observiq-otel-collector
       

    5. 检查日志中是否存在错误：

       type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
       

向 OPNsense 添加 syslog 服务器配置

1. 登录 OPNsense 网页界面。
2. 依次前往系统 > 设置 > 日志记录。
3. 在远程日志记录 部分，选中相应复选框以启用将日志发送到远程 syslog 服务器 。
4. 在远程 Syslog 服务器 字段中，输入 syslog 服务器的 IP 地址，包括端口（例如 10.10.10.10:514）。
5. 选择 Local0 作为 syslog 工具。
6. 将 syslog 级别设置为提醒 。
7. 点击保存 应用更改。

UDM 映射表

日志字段	UDM 映射	逻辑
column1	security_result.rule_id	直接从 column1 映射。
column10	additional.fields[].key：“tos” additional.fields[].value.string_value：column10 的值	直接从 column10 映射，嵌套在 additional.fields 下，键为“tos”。
column12	additional.fields[].key：“ttl” additional.fields[].value.string_value：column12 的值	直接从 column12 映射，嵌套在 additional.fields 下，键为“ttl”。
column13	additional.fields[].key：“Id” additional.fields[].value.string_value：column13 的值	直接从 column13 映射，嵌套在 additional.fields 下，键为“Id”。
column14	additional.fields[].key：“offset” additional.fields[].value.string_value：column14 的值	直接从 column14 映射，嵌套在 additional.fields 下，键为“offset”。
column15	additional.fields[].key："flags" additional.fields[].value.string_value：column15 的值	直接从 column15 映射，嵌套在 additional.fields 下，键为“flags”。
column17	network.ip_protocol	转换为大写后直接从 column17 映射。
column18	network.received_bytes	转换为无符号整数后直接从 column18 映射。
column19	principal.ip	直接从 column19 映射。
column20	target.ip	直接从 column20 映射。
column21	principal.port（如果 column17 是 TCP 或 UDP） additional.fields[].key："data_length" additional.fields[].value.string_value：提取的值（如果 column17 是 ICMP、GRE、ESP 或 IGMP）	如果 column17 是 TCP/UDP，则直接从 column21 映射并转换为整数。否则，使用 grok 提取“datalength”值，并将其放置在 additional.fields 中，键为“data_length”。
column22	target.port	如果 column17 是 TCP 或 UDP，则直接从 column22 映射并转换为整数。
column24	additional.fields[].key："tcp_flags" additional.fields[].value.string_value：column24 的值	如果 column17 是 TCP，则直接从 column24 映射，嵌套在 additional.fields 下，键为“tcp_flags”。
column29	additional.fields[].key：“tcp_options” additional.fields[].value.string_value：column29 的值	如果 column17 是 TCP，则直接从 column29 映射，嵌套在 additional.fields 下，键为“tcp_options”。
column4	additional.fields[].key：“tracker” additional.fields[].value.string_value：column4 的值	直接从 column4 映射，嵌套在 additional.fields 下，键为“tracker”。
column5	additional.fields[].key："interface" additional.fields[].value.string_value：column5 的值	直接从 column5 映射，嵌套在 additional.fields 下，键为“interface”。
column6	security_result.rule_type	直接从 column6 映射。
column7	security_result.action	从 column7 映射。如果为“block”，则转换为大写“BLOCK”。如果为“pass”，则设置为“ALLOW”。
column8	network.direction	从 column8 映射。如果为“in”，则设置为“INBOUND”。如果为“out”，则设置为“OUTBOUND”。
domain	principal.administrative_domain	直接从 grok 提取的 domain 映射。如果同时存在主体 IP 地址和目标 IP 地址，则设置为“NETWORK_CONNECTION”，否则设置为“GENERIC_EVENT”。 硬编码为“OPNSENSE”。硬编码为“OPNSENSE”。
message	各种字段	使用 grok 和 CSV 过滤条件进行解析，以提取各种字段。如需了解具体映射，请参阅其他行。
ts	metadata.event_timestamp.seconds、timestamp.seconds	使用 grok 从消息字段解析，然后转换为时间戳。秒值用于填充 metadata.event_timestamp.seconds 和 timestamp.seconds。
application	principal.application	直接从 grok 提取的 application 映射。
column27	event.idm.read_only_udm.additional.fields	从变更日志映射
column2	event.idm.read_only_udm.additional.fields	从变更日志映射
column3	event.idm.read_only_udm.additional.fields	从变更日志映射
column11	event.idm.read_only_udm.additional.fields	从变更日志映射
column26	event.idm.read_only_udm.additional.fields	从变更日志映射
column28	event.idm.read_only_udm.additional.fields	从变更日志映射
column25	event.idm.read_only_udm.additional.fields	从变更日志映射
column16	event.idm.read_only_udm.additional.fields	从变更日志映射
column9	event.idm.read_only_udm.additional.fields	从变更日志映射

更新日志

查看此解析器的更新日志

需要更多帮助？获得社区成员和 Google SecOps 专业人士的解答。