收集 pfSense 日志

本文档介绍了如何使用 Bindplane 将 pfSense 日志注入 Google Security Operations。

pfSense 是基于 FreeBSD 的开源防火墙和路由器软件发行版。它提供有状态数据包过滤、VPN、流量整形、NAT、DHCP 服务器、DNS 转发器和入侵检测功能，所有这些功能都通过基于 Web 的界面进行管理。该解析器会从 pfSense syslog 格式的日志中提取字段。它使用 grok 解析日志消息，然后将这些值映射到统一数据模型 (UDM)。它还会为事件来源和类型设置默认元数据值。

准备工作

请确保满足以下前提条件：

• Google SecOps 实例
• Windows Server 2016 或更高版本，或者具有 systemd 的 Linux 主机
• 如果在代理后面运行，请确保按照 Bindplane 代理要求打开防火墙端口
• 对 pfSense 网页界面的特权访问权限

获取 Bindplane 代理的 Google SecOps 凭证

如需向 Google SecOps 验证 Bindplane 代理，请选择以下方法之一：

• 新部署：使用 Chronicle API（选项 1）。
• 旧版部署：继续使用数据注入身份验证文件（方法 2），直到 Ingestion API 于 2027 年 7 月 20 日停用。

方法 1：为 Chronicle API 创建服务账号（推荐）

1. 登录 Google Cloud 控制台，然后选择与您的 Google SecOps 实例关联的 Google Cloud 项目。
2. 前往 IAM 和管理 > 服务账号。
3. 点击创建服务账号。
4. 提供以下配置详细信息：
   • 服务账号名称：输入账号的名称（例如 bindplane-ingest）。
   • 服务账号说明：输入说明（例如 Bindplane agent log ingestion）。
5. 点击创建并继续。
6. 在向此服务账号授予对项目的访问权限部分，点击选择角色，然后选择 Chronicle Editor。
7. 点击继续，然后点击完成。
8. 点击您创建的服务账号，然后前往密钥标签页。
9. 依次点击添加密钥> 创建新密钥。
10. 选择 JSON，然后点击创建。密钥文件会下载到您的计算机上。
11. 将密钥文件另存为 Bindplane 收集器目录（Linux 上的 /opt/observiq-otel-collector/ingestion-auth.json 或 Windows 上的 C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json）中的 ingestion-auth.json，或更新 config.yaml 中的 creds_file_path 以匹配您保存该文件的路径。
12. 前往 IAM 和管理 > 设置，然后复制项目编号。您需要此信息才能配置导出器。

方法 2：下载数据注入身份验证文件（旧版）

1. 登录 Google SecOps 控制台。
2. 依次前往 SIEM 设置 > 收集代理。
3. 下载数据注入身份验证文件。
4. 将文件安全地保存在将安装 Bindplane 代理的系统上。

获取 Google SecOps 客户 ID

1. 登录 Google SecOps 控制台。
2. 依次前往 SIEM 设置 > 配置文件。
3. 从组织详细信息部分复制并保存客户 ID。

安装 Bindplane 代理

根据以下说明，在 Windows 或 Linux 操作系统上安装 Bindplane 代理。

Windows 安装

1. 以管理员身份打开命令提示符或 PowerShell。

2. 运行以下命令：

   msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet
   

3. 等待安装完成。

4. 运行以下命令，验证安装是否成功：

   sc query observiq-otel-collector
   

该服务应显示为 RUNNING。

Linux 安装

1. 打开具有 root 或 sudo 权限的终端。

2. 运行以下命令：

   sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh
   

3. 等待安装完成。

4. 运行以下命令，验证安装是否成功：

   sudo systemctl status observiq-otel-collector
   

该服务应显示为 active (running)。

其他安装资源

如需了解其他安装选项和问题排查信息，请参阅 Bindplane 代理安装指南。

配置 Bindplane 代理以注入 syslog 并发送到 Google SecOps

找到配置文件

• Linux：

  sudo nano /opt/observiq-otel-collector/config.yaml
  

• Windows：

  notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
  

修改配置文件

• 将 config.yaml 的全部内容替换为以下配置：

  receivers:
    udplog:
      listen_address: "0.0.0.0:514"
  
  exporters:
    chronicle/chronicle_w_labels:
      protocol: https
      # Region of your instance, for example us, europe, asia-southeast1
      location: <LOCATION>
      # Project number of the Google Cloud project linked to the instance
      project: '<PROJECT_NUMBER>'
      compression: gzip
      creds_file_path: '/path/to/ingestion-authentication-file.json'
      customer_id: 'YOUR_CUSTOMER_ID'
      endpoint: chronicle.googleapis.com
      log_type: 'PFSENSE'
      raw_log_field: body
      ingestion_labels:
  
  service:
    pipelines:
      logs/source0__chronicle_w_labels-0:
        receivers:
          - udplog
        exporters:
          - chronicle/chronicle_w_labels
  

配置参数

• 替换以下占位符：

  • 接收器配置：

    • udplog：使用 udplog 表示 UDP syslog，使用 tcplog 表示 TCP syslog
    • 0.0.0.0：要监听的 IP 地址（0.0.0.0 表示监听所有接口）
    • 514：要监听的端口号（标准 syslog 端口）

  • 导出器配置：

    • creds_file_path：服务账号 JSON 密钥文件的完整路径（选项 1）：
      • Linux：/opt/observiq-otel-collector/ingestion-auth.json
      • Windows：C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
    • YOUR_CUSTOMER_ID：从“获取客户 ID”部分获取的客户 ID
    • location：将 <LOCATION> 替换为 Google SecOps 实例所在的区域（例如 us、europe 或 asia-southeast1）。导出工具会在此值前面加上 chronicle.googleapis.com。如需查看完整列表，请参阅区域级端点。
    • project：将 <PROJECT_NUMBER> 替换为 IAM 和管理 > 设置中的项目编号。
    • endpoint：保持设置为 chronicle.googleapis.com。
    • log_type：日志类型，与 Chronicle (PFSENSE) 中显示的完全一致

旧版提取 API 导出工具

• 如果您使用选项 2 中的提取身份验证文件，请将 exporters 代码块替换为以下内容。将 creds_file_path 设置为数据注入身份验证文件的路径，如果您的实例位于美国境外，请将 malachiteingestion-pa.googleapis.com 替换为您的区域端点（例如 europe-malachiteingestion-pa.googleapis.com）。

  exporters:
    chronicle/chronicle_w_labels:
      compression: gzip
      creds_file_path: '/path/to/ingestion-authentication-file.json'
      customer_id: 'YOUR_CUSTOMER_ID'
      endpoint: malachiteingestion-pa.googleapis.com
      log_type: 'PFSENSE'
      raw_log_field: body
      ingestion_labels:
  

保存配置文件

• 修改后，保存文件：
  • Linux：依次按 Ctrl+O、Enter 和 Ctrl+X
  • Windows：依次点击文件 > 保存

重启 Bindplane 代理以应用更改

• 如需在 Linux 中重启 Bindplane 代理，请运行以下命令：

  sudo systemctl restart observiq-otel-collector
  

  1. 验证服务是否正在运行：

       sudo systemctl status observiq-otel-collector
     

  2. 检查日志中的错误：

       sudo journalctl -u observiq-otel-collector -f
     

• 如需在 Windows 中重启 Bindplane 代理，请选择以下选项之一：

  • 以管理员身份运行命令提示符或 PowerShell：

    net stop observiq-otel-collector && net start observiq-otel-collector
    

  • 服务控制台：

    1. 按 Win+R，输入 services.msc，然后按 Enter。
    2. 找到 observIQ OpenTelemetry 收集器。

    3. 右键点击，然后选择重新启动。

    4. 验证服务是否正在运行：

       sc query observiq-otel-collector
       

    5. 检查日志中的错误：

       type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
       

在 pfSense 上配置 Syslog 转发

pfSense 在 FreeBSD 上运行，并为所有配置任务（包括远程 syslog 转发）提供基于 Web 的界面。

1. 登录 pfSense 网页界面。
2. 依次前往状态 > 系统日志 > 设置。
3. 前往远程日志记录选项部分。
4. 选择启用远程日志记录。
5. 提供以下配置详细信息：
   • Source Address（来源地址）：选择 Any（任意）（或特定接口）。
   • IP 协议：选择 IPv4。
   • 远程日志服务器：在第一个可用字段中输入 BINDPLANE_IP:514。 将 BINDPLANE_IP 替换为 Bindplane 代理主机的 IP 地址。
6. 在远程 Syslog 内容部分，选择要转发的日志类别：
   • 系统事件
   • 防火墙事件
   • DNS 事件（解析器/未绑定、转发器/dnsmasq）
   • DHCP 事件（DHCP 服务）
   • PPP 活动
   • 身份验证事件（门户身份验证、RADIUS）
   • VPN 事件（IPsec、OpenVPN、L2TP）
   • 网关事件（网关监控器）
   • 路由事件（路由守护程序）
   • NTP 事件
   • 软件包（已安装的软件包）
7. 点击保存。
8. 通过检查 Bindplane 代理日志，验证 syslog 消息是否正在发送。

UDM 映射表

日志字段	UDM 映射	逻辑
应用	principal.application	该值是使用 grok 模式从日志消息中提取的。对于 syslog 消息，应用名称通常位于主机名和时间戳之后。
命令	principal.process.command_line	当日志指示命令执行时，从说明字段中提取。
说明	metadata.description	说明字段会映射到 UDM 元数据说明，但 syslog-ng 应用日志除外，该日志会映射到 metadata.description。对于 DHCP 事件，dhcp_type 会附加到说明前面。
dhcp_type	metadata.product_event_type	提取并映射 DHCP 消息类型（例如 DHCPDISCOVER、DHCPOFFER）。
主机	intermediary.hostname 或 intermediary.ip	如果主机值是有效的 IP 地址，则会映射到 intermediary.ip。否则，它会映射到 intermediary.hostname。
主机	principal.hostname、principal.asset.hostname	如果不存在主账号 IP，则主机将被视为主账号主机名。
mac	principal.mac, network.dhcp.chaddr	系统会提取并映射与 DHCP 请求关联的 MAC 地址。
src_ip	principal.ip、principal.asset.ip	使用 Grok 模式从特定日志格式中提取。
src_mac	principal.mac	使用 Grok 模式从特定日志格式中提取。
dst_mac	target.mac	使用 grok 模式从特定日志格式中提取。
时间戳	metadata.event_timestamp	时间戳会从日志消息中提取，并转换为 UDM 时间戳格式。时区信息 (tz) 会在转换前附加到时间戳（如果有）。
timestamp_no_year	metadata.event_timestamp	如果存在不含年份的时间戳，系统会对其进行解析，并在解析过程中添加当前年份。
用户	principal.user.userid	系统会提取并映射与事件关联的用户名。
第 1 列	security_result.rule_id	如果说明采用 CSV 格式，则从第一个 CSV 列映射。
column6	security_result.rule_type	如果说明采用 CSV 格式，则从第六个 CSV 列映射。
column7	security_result.action	如果说明采用 CSV 格式，则从第七个 CSV 列映射。已转换为“BLOCK”或“ALLOW”。
column8	network.direction	如果说明采用 CSV 格式，则从第 8 个 CSV 列映射。转换为“INBOUND”或“OUTBOUND”。
column13	network.ip_protocol（如果为 UDP 或 ICMP）	如果说明采用 CSV 格式且协议为 UDP 或 ICMP，则从第 13 个 CSV 列映射。对于 TCP/UDP 事件，它用于创建键为“Id”的附加字段。
column16	principal.ip、principal.asset.ip（如果为 IPv6 且 column9 为 6）	如果说明采用 CSV 格式且 column9 为 6，则从第 16 个 CSV 列映射。对于 TCP/UDP 事件，如果 column9 为 4，则用于协议标识。
column17	target.ip、target.asset.ip（如果为 IPv6 且不是 ip_failure）	如果说明采用 CSV 格式，则从第 17 个 CSV 列映射；如果 column9 为 6，且相应值为有效 IP，则从第 17 个 CSV 列映射。对于 TCP/UDP 事件，它用于协议标识。
column18	principal.port（如果是 UDP）	如果说明采用 CSV 格式且协议为 UDP，则从第 18 个 CSV 列映射。对于 TCP/UDP 事件，它会映射到 network.received_bytes。
column19	target.port（如果是 UDP）	如果说明采用 CSV 格式且协议为 UDP，则从第 19 个 CSV 列映射。对于 DHCP 事件，它会映射到 network.dhcp.yiaddr。对于其他事件，它会映射到 principal.ip、principal.asset.ip。
column20	additional.fields（键：“data_length”）（如果为 UDP）	如果说明采用 CSV 格式且协议为 UDP，则从第 20 个 CSV 列映射。对于其他事件，它会映射到 target.ip、target.asset.ip。
column21	principal.port（如果是 TCP/UDP）	如果说明采用 CSV 格式且协议为 TCP 或 UDP，则从第二十一列 CSV 列映射。
column22	target.port（如果为 TCP/UDP）	如果说明采用 CSV 格式且协议为 TCP 或 UDP，则从第 22 个 CSV 列映射。
column23	additional.fields（键：“data_length”）（如果为 TCP/UDP）	如果说明采用 CSV 格式且协议为 TCP 或 UDP，则从第 23 个 CSV 列映射。
column24	additional.fields（键：“tcp_flags”）（如果是 TCP）	如果说明采用 CSV 格式且协议为 TCP，则从第 24 个 CSV 列映射。
column25	additional.fields（键：“sequence_number”）（如果是 TCP/UDP）	如果说明采用 CSV 格式且协议为 TCP 或 UDP，则从第 25 个 CSV 列映射。
column29	additional.fields（键：“tcp_options”）（如果是 TCP）	如果说明采用 CSV 格式且协议为 TCP，则从第 29 个 CSV 列映射。
compression_algo	additional.fields（键：“Compression Algorithm”）	从说明字段中提取并添加为附加字段。
降序	metadata.description	从消息字段中提取并用作说明。
principal_ip	principal.ip、principal.asset.ip	从说明字段中提取，表示主 IP 地址。
principal_username	principal.user.userid	从说明字段中提取，表示主账号用户名。
状态	security_result.detection_fields（键：“status”）	从说明字段中提取，并作为检测字段添加到安全结果中。
target_host	target.hostname、target.asset.hostname	从说明字段中提取，表示目标主机名。
src_port	principal.port	从说明字段中提取，表示来源端口。根据各种日志字段和解析器逻辑确定。可以是 NETWORK_CONNECTION、NETWORK_DHCP、STATUS_UPDATE 或 GENERIC_EVENT。硬编码为“PFSENSE”。硬编码为“PFSENSE”。硬编码为“PFSENSE”。对于 DHCP 事件，请设置为“DHCP”。对于 DHCPDISCOVER 和 DHCPREQUEST，设置为“BOOTREQUEST”；对于 DHCPOFFER 和 DHCPACK，设置为“BOOTREPLY”。根据 dhcp_type 字段设置为“DISCOVER”“REQUEST”“OFFER”或“ACK”。
pid	intermediary.process.pid	从更新日志映射
application	intermediary.application	从更新日志映射
ipv4" and "ipv6	principal.ip	从更新日志映射
security_result.category	AUTH_VIOLATION	从更新日志映射
method	network.http.method	从更新日志映射
referer	network.http.referral_url	从更新日志映射
response_code	network.http.response_code	从更新日志映射
user_agent	network.http.user_agent	从更新日志映射
sent_bytes	network.sent_bytes	从更新日志映射
url	target.url	从更新日志映射
http_version	additional.fields	从更新日志映射
column19" which is "source-address	network.dhcp.yiaddr	从更新日志映射
column17" which is "destination-address	target.ip	从更新日志映射
column16" which is "source-address	principal.ip	从更新日志映射
column12" which is "hop_limit	additional.fields	从更新日志映射
column13" which is "ip_protocol	network.ip_protocol	从更新日志映射
ttl	additional.fields	从更新日志映射
Offset	additional.fields	从更新日志映射
Data length	additional.fields	从更新日志映射
Length	additional.fields	从更新日志映射
Sequence-number	additional.fields	从更新日志映射

更新日志

查看相应解析器的更新日志

需要更多帮助？获得社区成员和 Google SecOps 专业人士的解答。