收集 Fortinet FortiWeb 日志

解析器版本:28.0

支持的语言:

本文档介绍了如何使用 Bindplane 将 Fortinet FortiWeb 日志注入到 Google Security Operations。

该解析器从 Fortinet FortiWeb KV 格式的日志中提取字段。它使用 grok 和/或 kv 来解析日志消息,然后将这些值映射到统一数据模型 (UDM)。它还会为事件来源和类型设置默认元数据值。

准备工作

请确保满足以下前提条件:

  • Google SecOps 实例
  • Windows Server 2016 或更高版本,或者具有 systemd 的 Linux 主机
  • 如果在代理后面运行,请确保按照 Bindplane 代理要求打开防火墙端口
  • 对 Fortinet FortiWeb 网页界面的特权访问权限

获取 Bindplane 代理的 Google SecOps 凭证

如需向 Google SecOps 验证 Bindplane 代理,请选择以下方法之一:

  • 新部署:使用 Chronicle API(选项 1)。
  • 旧版部署:继续使用数据注入身份验证文件(方法 2),直到 Ingestion API 于 2027 年 7 月 20 日停用。
  1. 登录 Google Cloud 控制台,然后选择与您的 Google SecOps 实例关联的 Google Cloud 项目。
  2. 前往 IAM 和管理 > 服务账号。
  3. 点击创建服务账号。
  4. 提供以下配置详细信息:
    • 服务账号名称:输入账号的名称(例如 bindplane-ingest)。
    • 服务账号说明:输入说明(例如 Bindplane agent log ingestion)。
  5. 点击创建并继续。
  6. 在向此服务账号授予对项目的访问权限部分,点击选择角色,然后选择 Chronicle Editor。
  7. 点击继续,然后点击完成。
  8. 点击您创建的服务账号,然后前往密钥标签页。
  9. 依次点击添加密钥> 创建新密钥。
  10. 选择 JSON,然后点击创建。密钥文件会下载到您的计算机上。
  11. 将密钥文件另存为 Bindplane 收集器目录(Linux 上的 /opt/observiq-otel-collector/ingestion-auth.json 或 Windows 上的 C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json)中的 ingestion-auth.json,或更新 config.yaml 中的 creds_file_path 以匹配您保存该文件的路径。
  12. 前往 IAM 和管理 > 设置,然后复制项目编号。您需要此信息才能配置导出器。

方法 2:下载数据注入身份验证文件(旧版)

  1. 登录 Google SecOps 控制台。
  2. 前往 SIEM 设置> 收集代理。
  3. 下载数据注入身份验证文件。
  4. 将文件安全地保存在将安装 Bindplane 代理的系统上。

获取 Google SecOps 客户 ID

  1. 登录 Google SecOps 控制台。
  2. 依次前往 SIEM 设置 > 配置文件。
  3. 复制并保存组织详细信息部分中的客户 ID。

安装 Bindplane 代理

根据以下说明,在 Windows 或 Linux 操作系统上安装 Bindplane 代理。

Windows 安装

  1. 以管理员身份打开命令提示符或 PowerShell。
  2. 运行以下命令:

    msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet
    
  3. 等待安装完成。

  4. 运行以下命令,验证安装是否成功:

    sc query observiq-otel-collector
    

该服务应显示为正在运行。

Linux 安装

  1. 打开具有 root 或 sudo 权限的终端。
  2. 运行以下命令:

    sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh
    
  3. 等待安装完成。

  4. 运行以下命令,验证安装是否成功:

    sudo systemctl status observiq-otel-collector
    

该服务应显示为 active (running)。

其他安装资源

如需了解其他安装选项和问题排查,请参阅 Bindplane 代理安装指南。

配置 Bindplane 代理以注入 syslog 并将其发送到 Google SecOps

找到配置文件

  • Linux:

    sudo nano /opt/observiq-otel-collector/config.yaml
    
  • Windows:

    notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
    

修改配置文件

  • 将 config.yaml 的全部内容替换为以下配置:

    receivers:
      udplog:
        listen_address: "0.0.0.0:514"
    
    exporters:
      chronicle/chronicle_w_labels:
        protocol: https
        # Region of your instance, for example us, europe, asia-southeast1
        location: <LOCATION>
        # Project number of the Google Cloud project linked to the instance
        project: '<PROJECT_NUMBER>'
        compression: gzip
        creds_file_path: '/path/to/ingestion-authentication-file.json'
        customer_id: 'YOUR_CUSTOMER_ID'
        endpoint: chronicle.googleapis.com
        log_type: 'FORTINET_FORTIWEB'
        raw_log_field: body
        ingestion_labels:
    
    service:
      pipelines:
        logs/source0__chronicle_w_labels-0:
          receivers:
            - udplog
          exporters:
            - chronicle/chronicle_w_labels
    

配置参数

  • 替换以下占位符:

    • 接收器配置:

      • udplog:使用 udplog 表示 UDP syslog,使用 tcplog 表示 TCP syslog
      • 0.0.0.0:要监听的 IP 地址(0.0.0.0 表示监听所有接口)
      • 514:要监听的端口号(标准 syslog 端口)
    • 导出器配置:

      • creds_file_path:服务账号 JSON 密钥文件的完整路径(选项 1):
        • Linux:/opt/observiq-otel-collector/ingestion-auth.json
        • Windows:C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
      • YOUR_CUSTOMER_ID:“获取客户 ID”部分中的客户 ID
      • location:将 <LOCATION> 替换为 Google SecOps 实例的区域(例如 us、europe 或 asia-southeast1)。导出器会使用此值作为 chronicle.googleapis.com 的前缀。如需查看完整列表,请参阅区域级端点。
      • project:将 <PROJECT_NUMBER> 替换为“IAM 和管理”>“设置”中的项目编号。
      • endpoint:保持设置为 chronicle.googleapis.com。
      • log_type:日志类型,与 Chronicle (FORTINET_FORTIWEB) 中显示的完全一致

旧版提取 API 导出工具

  • 如果您使用选项 2 中的数据注入身份验证文件,请将 exporters 代码块替换为以下内容。将 creds_file_path 设置为数据注入身份验证文件的路径,如果您的实例位于美国境外,请将 malachiteingestion-pa.googleapis.com 替换为您的区域端点(例如 europe-malachiteingestion-pa.googleapis.com)。

    exporters:
      chronicle/chronicle_w_labels:
        compression: gzip
        creds_file_path: '/path/to/ingestion-authentication-file.json'
        customer_id: 'YOUR_CUSTOMER_ID'
        endpoint: malachiteingestion-pa.googleapis.com
        log_type: 'FORTINET_FORTIWEB'
        raw_log_field: body
        ingestion_labels:
    

保存配置文件

  • 修改后,保存文件:
    • Linux:依次按 Ctrl+O、Enter 和 Ctrl+X
    • Windows:依次点击文件 > 保存

重启 Bindplane 代理以应用更改

  • 如需在 Linux 中重启 Bindplane 代理,请运行以下命令:

    sudo systemctl restart observiq-otel-collector
    
    1. 验证服务是否正在运行:

        sudo systemctl status observiq-otel-collector
      
    2. 检查日志中的错误:

        sudo journalctl -u observiq-otel-collector -f
      
  • 如需在 Windows 中重启 Bindplane 代理,请选择以下选项之一:

    • 以管理员身份运行命令提示符或 PowerShell:

      net stop observiq-otel-collector && net start observiq-otel-collector
      
    • “服务”控制台:

      1. 按 Win+R,输入 services.msc,然后按 Enter。
      2. 找到 observIQ OpenTelemetry 收集器。
      3. 右键点击,然后选择重新启动。

      4. 验证服务是否正在运行:

        sc query observiq-otel-collector
        
      5. 检查日志中的错误:

        type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
        

配置 Fortinet FortiWeb syslog 转发

  1. 登录 FortiWeb 网页界面。
  2. 依次前往 Log & Report> Log Config > Other Log Settings(日志和报告 > 日志配置 > 其他日志设置)。
  3. 在 Syslog Policy(Syslog 政策)下,点击 Create New(新建)以添加新的 Syslog 政策。
  4. 提供以下配置详细信息:
    • 政策名称:输入一个描述性名称(例如 Google-SecOps-Bindplane)。
    • IP 地址:输入 Bindplane 代理主机 IP 地址。
    • 端口:输入 514。
    • 启用:选择启用。
    • Facility:选择 local0(或您首选的设施)。
    • Log Level:选择 information(或您偏好的级别)。
  5. 在日志类型部分,启用以下选项:
    • 攻击日志
    • 事件日志
    • 流量日志
  6. 点击确定以保存。
  7. 通过检查 Bindplane 代理日志,验证是否正在发送 syslog 消息。

UDM 映射表

日志字段 UDM 映射 逻辑
操作 additional.fields[].value.string_value 值直接映射。
操作 security_result.action_details 如果操作为“允许”或“接受”,则将 security_result.action_details 设置为“ALLOW”。如果操作为“拒绝”“拒绝”“屏蔽”或“屏蔽”,则 security_result.action_details 会设置为“BLOCK”。
应用 network.application_protocol 值在转换为大写后直接映射。仅当值为 HTTPS、HTTP、DNS、DHCP、SMB 之一时。
app_name additional.fields[].key 键设置为“appName”。
app_name additional.fields[].value.string_value 值直接映射。
backend_service additional.fields[].key 键设置为“backend_service”。
backend_service additional.fields[].value.string_value 值直接映射。
猫 security_result.category_details 值直接映射。
client_level security_result.category 如果 client_level 为“Malicious”,则 security_result.category 设置为“NETWORK_MALICIOUS”。
cn1 additional.fields[].value.string_value 映射到 threatWeight 字段。
cn1Label additional.fields[].key 键设置为 cn1Label 值。
cn2 additional.fields[].value.string_value 已映射到长度字段。
cn2Label additional.fields[].key 键设置为 cn2Label 值。
cn3 additional.fields[].value.string_value 已映射到 signatureID 字段。
cn3Label additional.fields[].key 键设置为 cn3Label 值。
cs1 additional.fields[].value.string_value 值直接映射。
cs1Label additional.fields[].key 键设置为 cs1Label 值。
cs1 principal.user.product_object_id 当 cs1Label 与“userID”(不区分大小写)匹配时,值会直接映射。
cs2 additional.fields[].value.string_value 值直接映射。
cs2Label additional.fields[].key 键设置为 cs2Label 值。
cs2 principal.user.userid 当 cs2Label 与“userName”(不区分大小写)匹配且 suid 为空时,值会直接映射。
cs3 additional.fields[].value.string_value 值直接映射。
cs3Label additional.fields[].key 键设置为 cs3Label 值。
cs3 metadata.severity 如果 cs3Label 为“level”且 cs3 不为空,则直接映射值。
cs4 additional.fields[].value.string_value 已映射到 subType 字段。
cs4Label additional.fields[].key 键设置为 cs4Label 值。
cs5 additional.fields[].value.string_value 映射到 threatLevel 字段。
cs5Label additional.fields[].key 键设置为 cs5Label 值。
cs6 additional.fields[].value.string_value 映射到 owaspTop10 字段。
cs6Label additional.fields[].key 键设置为 cs6Label 值。
日期 metadata.event_timestamp.seconds 与时间结合并解析,以生成自公元纪年开始的秒数。
dev_id principal.resource.id 值直接映射。
devname principal.resource.name 值直接映射。
device_event_class_id metadata.product_event_type 用于 CEF 解析。
device_product metadata.product_name 用于 CEF 解析。
device_vendor metadata.vendor_name 用于 CEF 解析。
device_version metadata.product_version 用于 CEF 解析。
dhost target.hostname 值直接映射。
dpt target.port 值会直接映射并转换为整数。
dst target.ip 值直接映射。
dst_port target.port 值会直接映射并转换为整数。
dstepid target.process.pid 值直接映射。
dsteuid target.user.userid 值直接映射。
event_name metadata.product_event_type 用于 CEF 解析。
http_agent network.http.parsed_user_agent 值会被解析为用户代理字符串。
http_method network.http.method 值直接映射。
http_refer network.http.referral_url 值直接映射。
http_session_id network.session_id 值直接映射。
http_url target.url 值直接映射。
http_version metadata.product_version 值直接映射。
length additional.fields[].key 键设置为“length”。
length additional.fields[].value.string_value 值直接映射。
log_type metadata.log_type 硬编码为“FORTINET_FORTIWEB”。
main_type additional.fields[].key 键设置为“mainType”。
main_type additional.fields[].value.string_value 值直接映射。
消息 各种字段 使用 grok 和 kv 过滤器进行解析,以提取不同的字段。
ml_allow_method additional.fields[].key 键设置为“ml_allow_method”。
ml_allow_method additional.fields[].value.string_value 值直接映射。
ml_arg_dbid additional.fields[].key 键设置为“ml_arg_dbid”。
ml_arg_dbid additional.fields[].value.string_value 值直接映射。
ml_domain_index additional.fields[].key 键设置为“ml_domain_index”。
ml_domain_index additional.fields[].value.string_value 值直接映射。
ml_log_arglen additional.fields[].key 键设置为“ml_log_arglen”。
ml_log_arglen additional.fields[].value.string_value 值直接映射。
ml_log_hmm_probability additional.fields[].key 键设置为“ml_log_hmm_probability”。
ml_log_hmm_probability additional.fields[].value.string_value 值直接映射。
ml_log_sample_arglen_mean additional.fields[].key 键设置为“ml_log_sample_arglen_mean”。
ml_log_sample_arglen_mean additional.fields[].value.string_value 值直接映射。
ml_log_sample_prob_mean additional.fields[].key 键设置为“ml_log_sample_prob_mean”。
ml_log_sample_prob_mean additional.fields[].value.string_value 值直接映射。
ml_svm_accuracy additional.fields[].key 键设置为“ml_svm_accuracy”。
ml_svm_accuracy additional.fields[].value.string_value 值直接映射。
ml_svm_log_main_types additional.fields[].key 键设置为“ml_svm_log_main_types”。
ml_svm_log_main_types additional.fields[].value.string_value 值直接映射。
ml_svm_log_match_types additional.fields[].key 键设置为“ml_svm_log_match_types”。
ml_svm_log_match_types additional.fields[].value.string_value 值直接映射。
ml_url_dbid additional.fields[].key 键设置为“ml_url_dbid”。
ml_url_dbid additional.fields[].value.string_value 值直接映射。
monitor_status additional.fields[].key 键设置为“monitor_status”。
monitor_status additional.fields[].value.string_value 值直接映射。
msg metadata.description 值直接映射。
owasp_top10 additional.fields[].key 键设置为“owaspTop10”。
owasp_top10 additional.fields[].value.string_value 值直接映射。
principal_app principal.application 值直接映射。
principal_host principal.hostname 值直接映射。
proto network.ip_protocol 值在转换为大写后直接映射。
请求 target.url 值直接映射。
requestMethod network.http.method 值直接映射。
rt metadata.event_timestamp.seconds 解析为自纪元以来的毫秒数,并转换为秒。
security_result.severity security_result.severity 派生自 severity_level。根据原始日志值映射到不同的 UDM 严重程度值。如果未找到匹配项,则默认为 UNKNOWN_SEVERITY。
server_pool_name additional.fields[].key 键设置为“server_pool_name”。
server_pool_name additional.fields[].value.string_value 值直接映射。
服务 network.application_protocol 值在转换为大写后直接映射。
服务 target.application 如果值不是 HTTPS、HTTP、DNS、DHCP 或 SMB,则在转换为大写后直接映射。
和程度上减少 security_result.severity 如果严重级别为空且 cs3Label 为“level”,则使用 cs3 的值。然后映射到 UDM 严重级别值(LOW、HIGH 等)。
signature_id security_result.rule_id 值直接映射。
signature_subclass security_result.detection_fields[].key 键设置为“signature_subclass”。
signature_subclass security_result.detection_fields[].value 值直接映射。
src principal.ip 值直接映射。
src_country principal.location.country_or_region 值直接映射。
src_ip principal.ip 值直接映射。
src_port principal.port 值会直接映射并转换为整数。
srccountry principal.location.country_or_region 值直接映射。
sub_type additional.fields[].key 键设置为“subType”。
sub_type additional.fields[].value.string_value 值直接映射。
subtype target.resource.resource_subtype 值直接映射。
suid principal.user.userid 值直接映射。
threat_level additional.fields[].key 键设置为“threatLevel”。
threat_level additional.fields[].value.string_value 值直接映射。
threat_weight security_result.detection_fields[].key 键设置为“threat_weight”。
threat_weight security_result.detection_fields[].value 值直接映射。
时间 metadata.event_timestamp.seconds 与日期结合并解析以生成纪元秒数。
user_id principal.user.product_object_id 值直接映射。
user_name additional.fields[].key 键设置为“userName”。
user_name additional.fields[].value.string_value 值直接映射。
user_name principal.user.userid 值直接映射。
不适用 metadata.event_type 如果 principal.ip 和 target.ip 都存在,则设置为“NETWORK_CONNECTION”。如果 principal.ip 和 principal.user 存在,则设置为“USER_UNCATEGORIZED”。如果仅存在 principal.ip,则设置为“STATUS_UPDATE”。否则,请设置为“GENERIC_EVENT”。
不适用 metadata.log_type 硬编码为“FORTINET_FORTIWEB”。
不适用 metadata.product_name 根据日志格式硬编码为“FORTINET FORTIWEB”或“FortiWEB Cloud”。
不适用 metadata.vendor_name 根据日志格式,硬编码为“FORTINET”或“Fortinet”。
不适用 principal.resource.resource_type 如果存在 dev_id,则硬编码为“DEVICE”。
http_url event.idm.read_only_udm.target.url 从更新日志映射
timezone event.idm.read_only_udm.security_result.detection_fields 从更新日志映射
eventtime event1.idm.read_only_udm.metadata.event_timestamp 从更新日志映射
http_request_time event1.idm.read_only_udm.additional.fields 从更新日志映射
http_response_time event1.idm.read_only_udm.additional.fields 从更新日志映射
subtype event1.idm.read_only_udm.additional.fields 从更新日志映射
original_src event1.idm.read_only_udm.principal.ip和event1.idm.read_only_udm.principal.asset.ip之间 从更新日志映射
action event.idm.read_only_udm.security_result.action_details 从更新日志映射
user event.idm.read_only_udm.principal.user.userid 从更新日志映射
attack_type event.idm.read_only_udm.security_result.threat_name 从更新日志映射
matched_pattern event.idm.read_only_udm.additional.fields 从更新日志映射
principal_hostnamne principal.hostname 从更新日志映射

更新日志

查看相应解析器的更新日志

需要更多帮助?获得社区成员和 Google SecOps 专业人士的解答。