收集 pfSense 記錄

支援：

本文說明如何使用 Bindplane，將 pfSense 記錄檔擷取至 Google Security Operations。

pfSense 是以 FreeBSD 為基礎的開放原始碼防火牆和路由器軟體發行版本。提供有狀態封包篩選、VPN、流量控管、NAT、DHCP 伺服器、DNS 轉送站和入侵偵測功能，所有功能都透過網頁介面管理。剖析器會從 pfSense syslog 格式的記錄檔中擷取欄位。它會使用 grok 剖析記錄訊息，然後將這些值對應至統合式資料模型 (UDM)。並設定事件來源和類型的預設中繼資料值。

事前準備

請確認您符合下列必要條件：

  • Google SecOps 執行個體
  • Windows Server 2016 以上版本，或搭載 systemd 的 Linux 主機
  • 如果是在 Proxy 後方執行，請確認防火牆通訊埠已按照 Bindplane 代理程式規定開啟
  • pfSense 網頁介面的特殊存取權

取得 Bindplane 代理程式的 Google SecOps 憑證

如要向 Google SecOps 驗證 Bindplane 代理程式，請選擇下列其中一種方法：

  • 新部署作業：使用 Chronicle API (選項 1)。
  • 舊版部署作業：繼續使用擷取驗證檔案 (選項 2)，直到 Ingestion API 於 2027 年 7 月 20 日停用。
  1. 登入 Google Cloud 控制台，然後選取連結至 Google SecOps 執行個體的 Google Cloud 專案。
  2. 依序前往「IAM & Admin」(IAM 與管理) >「Service Accounts」(服務帳戶)。
  3. 按一下「建立服務帳戶」。
  4. 請提供下列設定詳細資料：
    • 「Service account name」(服務帳戶名稱)：輸入帳戶名稱 (例如 bindplane-ingest)。
    • 服務帳戶說明：輸入說明 (例如 Bindplane agent log ingestion)。
  5. 點按「Create and continue」(建立並繼續)。
  6. 在「將專案存取權授予這個服務帳戶」部分，按一下「選取角色」，然後選取「Chronicle 編輯者」。
  7. 依序點選「繼續」和「完成」。
  8. 按一下您建立的服務帳戶，然後前往「金鑰」分頁。
  9. 依序點選「新增金鑰」>「建立新的金鑰」。
  10. 選取「JSON」，然後點選「建立」。金鑰檔案會下載到電腦。
  11. 將金鑰檔案儲存為 Bindplane 收集器目錄中的 ingestion-auth.json (Linux 為 /opt/observiq-otel-collector/ingestion-auth.json，Windows 為 C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json)，或更新 config.yaml 中的 creds_file_path，使其與儲存檔案的路徑相符。
  12. 依序前往「IAM & Admin」(IAM 與管理) >「Settings」(設定)，然後複製「Project number」(專案編號)。匯出工具設定時會用到。

方法 2：下載擷取驗證檔案 (舊版)

  1. 登入 Google SecOps 控制台。
  2. 依序前往「SIEM Settings」 > 「Collection Agents」。
  3. 下載擷取驗證檔案。
  4. 將檔案安全地儲存在要安裝 Bindplane 代理程式的系統中。

取得 Google SecOps 客戶 ID

  1. 登入 Google SecOps 控制台。
  2. 依序前往「SIEM 設定」>「設定檔」。
  3. 複製並儲存「機構詳細資料」部分的客戶 ID。

安裝 Bindplane 代理程式

請按照下列操作說明，在 Windows 或 Linux 作業系統上安裝 Bindplane 代理程式。

Windows 安裝

  1. 以管理員身分開啟「命令提示字元」或「PowerShell」。

  2. 執行下列指令：

    msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet

  3. 等待安裝完成。

  4. 執行下列指令，確認安裝成功：

    sc query observiq-otel-collector

服務應顯示為「RUNNING」。

安裝 Linux

  1. 開啟具有 root 或 sudo 權限的終端機。

  2. 執行下列指令：

    sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh

  3. 等待安裝完成。

  4. 執行下列指令，確認安裝成功：

    sudo systemctl status observiq-otel-collector

服務應顯示為「active (running)」。

其他安裝資源

如需其他安裝選項和疑難排解資訊，請參閱 Bindplane 代理程式安裝指南。

設定 Bindplane 代理程式，擷取系統記錄檔並傳送至 Google SecOps

找出設定檔

  • Linux：

    sudo nano /opt/observiq-otel-collector/config.yaml

  • Windows：

    notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"

編輯設定檔

  • 將 config.yaml 的全部內容替換為下列設定：

    receivers:
  udplog:
    listen_address: "0.0.0.0:514"

exporters:
  chronicle/chronicle_w_labels:
    protocol: https
    # Region of your instance, for example us, europe, asia-southeast1
    location: <LOCATION>
    # Project number of the Google Cloud project linked to the instance
    project: '<PROJECT_NUMBER>'
    compression: gzip
    creds_file_path: '/path/to/ingestion-authentication-file.json'
    customer_id: 'YOUR_CUSTOMER_ID'
    endpoint: chronicle.googleapis.com
    log_type: 'PFSENSE'
    raw_log_field: body
    ingestion_labels:

service:
  pipelines:
    logs/source0__chronicle_w_labels-0:
      receivers:
        - udplog
      exporters:
        - chronicle/chronicle_w_labels

設定參數

  • 請替換下列預留位置：

    • 接收器設定：

      • udplog：使用 udplog 進行 UDP 系統記錄，或使用 tcplog 進行 TCP 系統記錄
      • 0.0.0.0：要接聽的 IP 位址 (0.0.0.0 可接聽所有介面)
      • 514：要監聽的通訊埠編號 (標準 syslog 通訊埠)

    • 匯出工具設定：

      • creds_file_path：服務帳戶 JSON 金鑰檔案的完整路徑 (選項 1)：
        • Linux：/opt/observiq-otel-collector/ingestion-auth.json
        • Windows：C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
      • YOUR_CUSTOMER_ID：「取得客戶 ID」部分的客戶 ID
      • location：將 <LOCATION> 替換為 Google SecOps 執行個體的區域 (例如 us、europe 或 asia-southeast1)。匯出工具會在這個值前面加上 chronicle.googleapis.com。如需完整清單，請參閱「區域性端點」。
      • project：將 <PROJECT_NUMBER> 替換為「IAM 與管理」>「設定」中的專案編號。
      • endpoint：維持設為 chronicle.googleapis.com。
      • log_type：記錄類型，與 Chronicle 中顯示的完全相同 (PFSENSE)

舊版 Ingestion API 匯出工具

  • 如果您使用選項 2 的擷取驗證檔案，請將 exporters 區塊替換為下列內容。將 creds_file_path 設為擷取驗證檔案的路徑。如果執行個體位於美國境外，請將 malachiteingestion-pa.googleapis.com 替換為區域端點 (例如 europe-malachiteingestion-pa.googleapis.com)。

    exporters:
  chronicle/chronicle_w_labels:
    compression: gzip
    creds_file_path: '/path/to/ingestion-authentication-file.json'
    customer_id: 'YOUR_CUSTOMER_ID'
    endpoint: malachiteingestion-pa.googleapis.com
    log_type: 'PFSENSE'
    raw_log_field: body
    ingestion_labels:

儲存設定檔

  • 編輯完成後，請儲存檔案：
    • Linux：依序按下 Ctrl+O、Enter 和 Ctrl+X
    • Windows：依序點選「檔案」>「儲存」

重新啟動 Bindplane 代理程式，套用變更

  • 如要在 Linux 中重新啟動 Bindplane 代理程式，請執行下列指令：

    sudo systemctl restart observiq-otel-collector

    1. 確認服務是否正在執行：

        sudo systemctl status observiq-otel-collector

    2. 查看記錄檔是否有錯誤：

        sudo journalctl -u observiq-otel-collector -f

  • 如要在 Windows 中重新啟動 Bindplane 代理程式，請選擇下列其中一個選項：

    • 以管理員身分開啟命令提示字元或 PowerShell：

      net stop observiq-otel-collector && net start observiq-otel-collector

    • 服務控制台：

      1. 按下 Win+R 鍵，輸入 services.msc，然後按下 Enter 鍵。
      2. 找出「observIQ OpenTelemetry Collector」。

      3. 按一下滑鼠右鍵，然後選取「重新啟動」。

      4. 確認服務是否正在執行：

        sc query observiq-otel-collector

      5. 檢查記錄是否有錯誤：

        type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"

在 pfSense 上設定 Syslog 轉送

pfSense 在 FreeBSD 上執行，並提供網頁式介面，可用於所有設定工作，包括遠端 syslog 轉送。

  1. 登入 pfSense 網頁介面。
  2. 依序前往「狀態」>「系統記錄」>「設定」。
  3. 前往「遠端記錄選項」部分。
  4. 選取「啟用遠端記錄功能」。
  5. 提供下列設定詳細資料：
    • 來源地址：選取「Any」(任何) (或特定介面)。
    • IP 協定：選取「IPv4」。
    • 遠端記錄伺服器：在第一個可用欄位中輸入 BINDPLANE_IP:514。將 BINDPLANE_IP 替換為 Bindplane 代理程式主機的 IP 位址。
  6. 在「Remote Syslog Contents」(遠端系統記錄內容) 部分，選取要轉送的記錄類別：
    • 系統事件
    • 防火牆事件
    • DNS 事件 (解析器/未繫結、轉寄站/dnsmasq)
    • DHCP 事件 (DHCP 服務)
    • PPP 事件
    • 驗證事件 (入口網站驗證、RADIUS)
    • VPN 事件 (IPsec、OpenVPN、L2TP)
    • 閘道事件 (閘道監控器)
    • 路由事件 (路由常駐程式)
    • NTP 事件
    • 套件 (已安裝的套件)
  7. 按一下 [儲存]。
  8. 檢查 Bindplane 代理程式記錄，確認系統記錄訊息是否已傳送。

UDM 對應表

記錄欄位 UDM 對應 邏輯
調度應用程式資源 principal.application 系統會使用 grok 模式從記錄訊息中擷取值。如果是系統記錄訊息，應用程式名稱通常位於主機名稱和時間戳記之後。
指令 principal.process.command_line 當記錄指出指令執行作業時，系統會從說明欄位擷取這項資訊。
說明 metadata.description 說明欄位會對應至 UDM 中繼資料說明，但 syslog-ng 應用程式記錄會對應至 metadata.description。如果是 DHCP 事件，說明會加上 dhcp_type 前置字元。
dhcp_type metadata.product_event_type 系統會擷取並對應 DHCP 訊息類型 (例如 DHCPDISCOVER、DHCPOFFER)。
主機 intermediary.hostname OR intermediary.ip 如果主機值是有效的 IP 位址，則會對應至 intermediary.ip。否則會對應至 intermediary.hostname。
主機 principal.hostname、principal.asset.hostname 如果沒有主要 IP，主機就會視為主要主機名稱。
mac principal.mac、network.dhcp.chaddr 系統會擷取與 DHCP 要求相關聯的 MAC 位址，並進行對應。
src_ip principal.ip、principal.asset.ip 使用 grok 模式從特定記錄格式擷取。
src_mac principal.mac 使用 grok 模式從特定記錄格式擷取。
dst_mac target.mac 使用 grok 模式從特定記錄格式擷取。
時間戳記 metadata.event_timestamp 系統會從記錄訊息擷取時間戳記，並轉換為 UDM 時間戳記格式。如有時區資訊 (tz)，系統會在轉換前將其附加至時間戳記。
timestamp_no_year metadata.event_timestamp 如果時間戳記不含年份，系統會剖析時間戳記，並在剖析過程中加入當前年份。
使用者 principal.user.userid 系統會擷取與事件相關聯的使用者名稱並進行對應。
第 1 欄 security_result.rule_id 如果說明為 CSV 格式，則從第一個 CSV 欄對應。
column6 security_result.rule_type 如果說明採用 CSV 格式，則會從第六個 CSV 欄位對應。
column7 security_result.action 如果說明採用 CSV 格式，則會從第七個 CSV 欄位對應。轉換為「BLOCK」或「ALLOW」。
column8 network.direction 如果說明為 CSV 格式，則從第八個 CSV 資料欄對應。轉換為「INBOUND」或「OUTBOUND」。
column13 network.ip_protocol (如果是 UDP 或 ICMP) 如果說明採用 CSV 格式，且通訊協定為 UDP 或 ICMP，則從第十三個 CSV 欄對應。如果是 TCP/UDP 事件，則會用於建立鍵為「Id」的額外欄位。
column16 principal.ip、principal.asset.ip (如果 IPv6 且 column9 為 6) 如果說明採用 CSV 格式，且 column9 為 6，則會從第十六個 CSV 欄位對應。如果是 TCP/UDP 事件，且第 9 欄為 4，則會用於通訊協定識別。
column17 target.ip、target.asset.ip (如果是 IPv6 且不是 ip_failure) 如果說明採用 CSV 格式，且第 9 欄為 6，值為有效 IP，則會從第 17 個 CSV 欄位對應。如果是 TCP/UDP 事件，則用於識別通訊協定。
column18 principal.port (如果是 UDP) 如果說明採用 CSV 格式，且通訊協定為 UDP，則從第 18 個 CSV 資料欄對應。如果是 TCP/UDP 事件，則會對應至 network.received_bytes。
column19 target.port (如果是 UDP) 如果說明採用 CSV 格式且通訊協定為 UDP，則會從第十九個 CSV 資料欄對應。如果是 DHCP 事件，則會對應至 network.dhcp.yiaddr。如果是其他事件，則會對應至 principal.ip、principal.asset.ip。
column20 additional.fields (鍵："data_length") (如果是 UDP) 如果說明為 CSV 格式，且通訊協定為 UDP，則從第 20 個 CSV 資料欄對應。如果是其他事件，則會對應至 target.ip、target.asset.ip。
column21 principal.port (如果是 TCP/UDP) 如果說明採用 CSV 格式，且通訊協定為 TCP 或 UDP，則會從第二十一個 CSV 欄位對應。
column22 target.port (如果是 TCP/UDP) 如果說明採用 CSV 格式，且通訊協定為 TCP 或 UDP，則會從第二十二個 CSV 欄位對應。
column23 additional.fields (鍵："data_length") (如果是 TCP/UDP) 如果說明採用 CSV 格式，且通訊協定為 TCP 或 UDP，則會從第二十三個 CSV 欄位對應。
column24 additional.fields (鍵：「tcp_flags」) (如果是 TCP) 如果說明為 CSV 格式，且通訊協定為 TCP，則從第二十四個 CSV 資料欄對應。
column25 additional.fields (key: "sequence_number") (if TCP/UDP) 如果說明採用 CSV 格式，且通訊協定為 TCP 或 UDP，則從第二十五個 CSV 欄對應。
column29 additional.fields (key: "tcp_options") (if TCP) 如果說明為 CSV 格式，且通訊協定為 TCP，則從第 29 個 CSV 資料欄對應。
compression_algo additional.fields (鍵：「Compression Algorithm」) 從說明欄位擷取，並新增為額外欄位。
遞減 metadata.description 從訊息欄位擷取，並做為說明。
principal_ip principal.ip、principal.asset.ip 從說明欄位擷取，代表主要 IP 位址。
principal_username principal.user.userid 從說明欄位擷取，代表主體使用者名稱。
狀態 security_result.detection_fields (key: "status") 從說明欄位擷取，並新增為安全性結果中的偵測欄位。
target_host target.hostname、target.asset.hostname 從說明欄位擷取，代表目標主機名稱。
src_port principal.port 從說明欄位擷取，代表來源埠。根據各種記錄欄位和剖析器邏輯判斷。可以是 NETWORK_CONNECTION、NETWORK_DHCP、STATUS_UPDATE 或 GENERIC_EVENT。硬式編碼為「PFSENSE」。硬式編碼為「PFSENSE」。硬式編碼為「PFSENSE」。如果是 DHCP 事件，請設為「DHCP」。DHCPDISCOVER 和 DHCPREQUEST 設為「BOOTREQUEST」，DHCPOFFER 和 DHCPACK 則設為「BOOTREPLY」。根據 dhcp_type 欄位，設為「DISCOVER」、「REQUEST」、「OFFER」或「ACK」。
pid intermediary.process.pid 從變更記錄對應
application intermediary.application 從變更記錄對應
ipv4" and "ipv6 principal.ip 從變更記錄對應
security_result.category AUTH_VIOLATION 從變更記錄對應
method network.http.method 從變更記錄對應
referer network.http.referral_url 從變更記錄對應
response_code network.http.response_code 從變更記錄對應
user_agent network.http.user_agent 從變更記錄對應
sent_bytes network.sent_bytes 從變更記錄對應
url target.url 從變更記錄對應
http_version additional.fields 從變更記錄對應
column19" which is "source-address network.dhcp.yiaddr 從變更記錄對應
column17" which is "destination-address target.ip 從變更記錄對應
column16" which is "source-address principal.ip 從變更記錄對應
column12" which is "hop_limit additional.fields 從變更記錄對應
column13" which is "ip_protocol network.ip_protocol 從變更記錄對應
ttl additional.fields 從變更記錄對應
Offset additional.fields 從變更記錄對應
Data length additional.fields 從變更記錄對應
Length additional.fields 從變更記錄對應
Sequence-number additional.fields 從變更記錄對應

變更記錄

查看這個剖析器的變更記錄

還有其他問題嗎？向社群成員和 Google SecOps 專家尋求解答。