收集 Netscout Arbor Sightline 日志

支持:

本文档介绍了如何使用 Bindplane 代理将 Netscout Arbor Sightline 日志注入到 Google Security Operations 中。

Netscout Arbor Sightline(以前称为 Peakflow SP)是一个 DDoS 攻击检测和网络可见性平台,可提供从全网络容量规划到识别和管理 DDoS 攻击缓解以及网络其他威胁的强大功能。Sightline 收集并分析流量数据、BGP 路由信息和 SNMP 数据,以检测异常、生成提醒并协调缓解响应。

准备工作

请确保满足以下前提条件:

  • Google SecOps 实例
  • Windows Server 2016 或更高版本,或者具有 systemd 的 Linux 主机
  • Bindplane 代理与 Netscout Arbor Sightline 设备之间的网络连接
  • 如果通过代理运行,请确保防火墙端口根据 Bindplane 代理要求处于开放状态
  • 对 Netscout Arbor Sightline 网页界面的管理员访问权限
  • 对 Netscout Arbor Sightline 命令行界面 (CLI) 的管理员权限,以便进行系统提醒配置

获取 Bindplane 代理的 Google SecOps 凭证

如需向 Google SecOps 验证 Bindplane 代理,请选择以下方法之一:

  • 新部署:使用 Chronicle API(选项 1)。
  • 旧版部署:继续使用提取身份验证文件(方法 2),直到提取 API 于 2027 年 7 月 20 日停用。
  1. 登录 Google Cloud 控制台,然后选择与您的 Google SecOps 实例关联的 Google Cloud 项目。
  2. 前往 IAM 和管理 > 服务账号。
  3. 点击创建服务账号。
  4. 提供以下配置详细信息:
    • 服务账号名称:输入账号的名称(例如 bindplane-ingest)。
    • 服务账号说明:输入说明(例如 Bindplane agent log ingestion)。
  5. 点击创建并继续。
  6. 在向此服务账号授予对项目的访问权限部分,点击选择角色,然后选择 Chronicle Editor。
  7. 点击继续,然后点击完成。
  8. 点击您创建的服务账号,然后前往密钥标签页。
  9. 依次点击添加密钥 > 创建新密钥。
  10. 选择 JSON,然后点击创建。密钥文件会下载到您的计算机上。
  11. 将密钥文件另存为 Bindplane 收集器目录(Linux 上的 /opt/observiq-otel-collector/ingestion-auth.json 或 Windows 上的 C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json)中的 ingestion-auth.json,或更新 config.yaml 中的 creds_file_path 以匹配您保存该文件的路径。
  12. 前往 IAM 和管理 > 设置,然后复制项目编号。您需要此信息才能配置导出器。

方法 2:下载数据注入身份验证文件(旧版)

  1. 登录 Google SecOps 控制台。
  2. 前往 SIEM 设置> 收集代理。
  3. 下载数据注入身份验证文件。
  4. 将文件安全地保存在将安装 Bindplane 代理的系统上。

获取 Google SecOps 客户 ID

  1. 登录 Google SecOps 控制台。
  2. 前往 SIEM 设置 > 个人资料。
  3. 复制并保存组织详细信息部分中的客户 ID。

安装 Bindplane 代理

根据以下说明,在 Windows 或 Linux 操作系统上安装 Bindplane 代理。

Windows 安装

  1. 以管理员身份打开命令提示符或 PowerShell。
  2. 运行以下命令:

    msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet
    
  3. 等待安装完成。

  4. 运行以下命令,验证安装是否成功:

    sc query observiq-otel-collector
    

    该服务应显示为正在运行。

Linux 安装

  1. 打开具有 root 或 sudo 权限的终端。
  2. 运行以下命令:

    sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh
    
  3. 等待安装完成。

  4. 运行以下命令,验证安装是否成功:

    sudo systemctl status observiq-otel-collector
    

    该服务应显示为有效(正在运行)。

其他安装资源

如需了解其他安装选项和问题排查,请参阅 Bindplane 代理安装指南。

配置 Bindplane 代理以注入 syslog 并发送到 Google SecOps

找到配置文件

  • Linux:

    sudo nano /opt/observiq-otel-collector/config.yaml
    
  • Windows:

    notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
    

修改配置文件

  1. 将 config.yaml 的全部内容替换为以下配置:

    receivers:
      udplog:
        listen_address: "0.0.0.0:514"
    
    exporters:
      chronicle/arbor_sightline:
        protocol: https
        # Region of your instance, for example us, europe, asia-southeast1
        location: <LOCATION>
        # Project number of the Google Cloud project linked to the instance
        project: '<PROJECT_NUMBER>'
        compression: gzip
        creds_file_path: '<CREDS_FILE_PATH>'
        customer_id: '<CUSTOMER_ID>'
        endpoint: chronicle.googleapis.com
        log_type: ARBOR_SIGHTLINE
        raw_log_field: body
        ingestion_labels:
          env: production
    
    service:
      pipelines:
        logs/arbor_to_chronicle:
          receivers:
            - udplog
          exporters:
            - chronicle/arbor_sightline
    
  2. 替换以下占位符:

    • 接收器配置:

      • 接收器配置为在所有接口 (0.0.0.0:514) 上监听 UDP 端口 514
      • 如果您需要使用其他端口(例如,对于非根 Linux 安装,使用 1514),请修改 listen_address 值
      • 如果您更喜欢 TCP syslog,请在接收器部分和流水线中将 udplog 替换为 tcplog
    • 导出器配置:

      • <CREDS_FILE_PATH>:服务账号 JSON 密钥文件的完整路径(选项 1):

        • Linux:/opt/observiq-otel-collector/ingestion-auth.json
        • Windows:C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
      • <CUSTOMER_ID>:上一步中的客户 ID

      • location:将 <LOCATION> 替换为 Google SecOps 实例的区域(例如 us、europe 或 asia-southeast1)。导出器会使用此值作为 chronicle.googleapis.com 的前缀。如需查看完整列表,请参阅区域级端点。

      • project:将 <PROJECT_NUMBER> 替换为“IAM 和管理”>“设置”中的项目编号。

      • endpoint:保持设置为 chronicle.googleapis.com。

      • log_type:设置为 ARBOR_SIGHTLINE(必须完全匹配)

      • ingestion_labels:YAML 格式的可选标签(根据您的环境需要进行修改)

配置示例

receivers:
  udplog:
    listen_address: "0.0.0.0:514"

exporters:
  chronicle/arbor_sightline:
    protocol: https
    # Region of your instance, for example us, europe, asia-southeast1
    location: <LOCATION>
    # Project number of the Google Cloud project linked to the instance
    project: '<PROJECT_NUMBER>'
    compression: gzip
    creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
    customer_id: 'a1b2c3d4-e5f6-g7h8-i9j0-k1l2m3n4o5p6'
    endpoint: chronicle.googleapis.com
    log_type: ARBOR_SIGHTLINE
    raw_log_field: body
    ingestion_labels:
      env: production
      source: sightline

service:
  pipelines:
    logs/arbor_to_chronicle:
      receivers:
        - udplog
      exporters:
        - chronicle/arbor_sightline

旧版提取 API 导出工具

  • 如果您使用选项 2 中的数据注入身份验证文件,请将 exporters 代码块替换为以下内容。将 creds_file_path 设置为提取身份验证文件的路径,如果您的实例位于美国境外,请将 malachiteingestion-pa.googleapis.com 替换为您的区域端点(例如 europe-malachiteingestion-pa.googleapis.com)。

    exporters:
      chronicle/arbor_sightline:
        compression: gzip
        creds_file_path: '<CREDS_FILE_PATH>'
        customer_id: '<CUSTOMER_ID>'
        endpoint: malachiteingestion-pa.googleapis.com
        log_type: ARBOR_SIGHTLINE
        raw_log_field: body
        ingestion_labels:
          env: production
    

保存配置文件

修改后,保存文件:

  • Linux:依次按 Ctrl+O、Enter 和 Ctrl+X
  • Windows:依次点击文件 > 保存

重启 Bindplane 代理以应用更改

  • 如需在 Linux 中重启 Bindplane 代理,请执行以下操作:

    1. 运行以下命令:

      sudo systemctl restart observiq-otel-collector
      
    2. 验证服务是否正在运行:

      sudo systemctl status observiq-otel-collector
      
    3. 检查日志中的错误:

      sudo journalctl -u observiq-otel-collector -f
      
  • 如需在 Windows 中重启 Bindplane 代理,请执行以下操作:

    1. 请从下列选项中选择一项:

      • 以管理员身份运行命令提示符或 PowerShell:

        net stop observiq-otel-collector && net start observiq-otel-collector
        
      • “服务”控制台:

        1. 按 Win+R,输入 services.msc,然后按 Enter 键。
        2. 找到 observIQ OpenTelemetry 收集器。
        3. 右键点击并选择重启。
    2. 验证服务是否正在运行:

      sc query observiq-otel-collector
      
    3. 检查日志中的错误:

      type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
      

配置 Netscout Arbor Sightline syslog 转发

如需将日志发送到 Google SecOps,您必须配置 Netscout Arbor Sightline,以将 syslog 事件转发到 Bindplane 代理。这包括创建通知组、配置全局通知设置和设置提醒通知规则。

创建通知组

  1. 以管理员身份登录 Netscout Arbor Sightline 网页界面。
  2. 依次前往管理 > 通知 > 群组。
  3. 点击添加通知组。
  4. 提供以下配置详细信息:
    • 目标:输入 Bindplane 代理主机的 IP 地址(例如 192.168.1.100)。
    • 端口:输入 514(或在 Bindplane 代理中配置的端口,例如 1514)。
    • Facility(设施):选择 syslog 设施(例如 local0 或 user)。
    • 严重程度:选择 info。信息严重程度会收集信息事件级别及更高级别的所有事件消息。
  5. 点击保存。
  6. 点击 Configuration Commit(配置提交)以应用配置更改。

配置全局通知设置

Netscout Arbor Sightline 中的全局通知提供与特定提醒规则无关的系统通知。

  1. 在 Netscout Arbor Sightline 网页界面中,依次前往 Administration(管理)> Notification(通知)> Global Settings(全局设置)。
  2. 在默认通知组字段中,选择您为 Google SecOps 创建的通知组。
  3. 点击保存。
  4. 点击 Configuration Commit(配置提交)以应用配置更改。

启用系统提醒通知

系统提醒需要通过命令行界面 (CLI) 进行额外配置。

  1. 以管理员身份登录 Netscout Arbor Sightline 命令行界面。
  2. 列出当前系统提醒配置:

    services sp alerts system_errors show
    
  3. 如需列出可配置的可用系统提醒字段名称,请运行以下命令:

    services sp alerts system_errors ?
    
  4. 为系统提醒启用通知。对于要启用的每种提醒类型,请运行:

    services sp alerts system_errors <alert_name> notifications enable
    

    将 <alert_name> 替换为具体的系统提醒字段名称(例如 disk_full、flow_collector_down、license_expiring)。

  5. 提交配置更改:

    config write
    

配置提醒通知规则

提醒通知规则决定了哪些提醒会触发向 Google SecOps 发送 syslog 通知。

  1. 在 Netscout Arbor Sightline 网页界面中,依次前往 Administration(管理)> Notification(通知)> Rules(规则)。
  2. 请从下列选项中选择一项:
    • 点击现有规则即可进行修改。
    • 点击添加规则以创建新的通知规则。
  3. 配置以下值:
    • 名称:输入规则的描述性名称(例如 Chronicle-DDoS-Alerts)。
    • 资源:输入 CIDR 地址,或从 Sightline 资源列表中选择一个受管理的对象。如需将规则应用于所有资源,请将此字段留空或选择全部。
    • 重要性:选择提醒的最低重要性级别(例如 Low、Medium、High 或 Critical)。达到或高于此级别的提醒会触发通知。
    • 通知组:选择您为 Google SecOps 创建的通知组。
  4. 根据需要重复上述步骤,为不同的资源或重要程度配置其他规则。
  5. 点击保存。
  6. 点击 Configuration Commit(配置提交)以应用配置更改。

测试 syslog 连接

配置通知组和规则后,请验证 syslog 消息是否已发送到 Bindplane 代理。

  1. 在 Netscout Arbor Sightline CLI 中,测试 syslog 连接:

    services sp notification test syslog group <notification_group_name>
    

    将 <notification_group_name> 替换为您创建的通知群组的名称。

  2. 该命令应返回以下内容:

    Server returned: Success
    
  3. 检查 Bindplane 代理日志,验证是否正在接收测试消息:

    Linux:

    sudo journalctl -u observiq-otel-collector -f
    

    Windows:

    type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
    
  4. 在 Google SecOps 控制台中,前往搜索,并验证 Netscout Arbor Sightline 日志是否显示了提取标签 ARBOR_SIGHTLINE。

转发到 Google SecOps 的事件类型

  • Netscout Arbor Sightline 通过 syslog 转发以下事件类别:

    • 拒绝服务攻击 (DoS) 事件:DDoS 攻击检测提醒,包括容量耗尽攻击、协议攻击和应用层攻击
    • 身份验证事件:用户登录成功和失败、身份验证尝试
    • 漏洞利用事件:检测到的漏洞利用尝试和可疑流量模式
    • 可疑活动事件:异常流量行为和潜在的安全威胁
    • 系统事件:设备运行状况、服务状态、配置更改和操作提醒
    • 缓解事件:DDoS 攻击的缓解开始、停止和状态更新

UDM 映射表

日志字段 UDM 映射 逻辑
msg1 additional.fields 如果不是空的,则与每个字段中的标签合并,并使用特定键,例如 msg1 的“message_description”、config_version 的“config_version”等。
config_version additional.fields
prin_user additional.fields
old_bgp_attributes additional.fields
new_bgp_attributes additional.fields
reason additional.fields
sample_rate additional.fields
proto additional.fields
流程 additional.fields
identifier additional.fields
expected_bps additional.fields
actual_bps additional.fields
服务器 additional.fields
状态 additional.fields
百分比 additional.fields
率 additional.fields
rateunit additional.fields
flags additional.fields
路由器 additional.fields
接口 additional.fields
ip_ver additional.fields
protocol_id additional.fields
router_name additional.fields
interface_id additional.fields
interface_name additional.fields
优先级 additional.fields
log_level additional.fields
水塘 additional.fields
thread_id additional.fields
timeout additional.fields
尝试 additional.fields
漏洞 extensions.vulns.vulnerabilities 如果漏洞不为空,则合并
降序 metadata.description 如果 desc 和 desc2 均不为空,则设置为“%{desc}: %{desc2}”,否则设置为 desc;如果 message_desc 不为空,则会被其覆盖
desc2 metadata.description
message_desc metadata.description
event_time metadata.event_timestamp 使用日期过滤条件转换,格式为 MMM dd HH:mm:ss 或 MMM d HH:mm:ss,时区为 Europe/London
desc2 metadata.event_type 如果 desc2 与“(DNS Amplification
消息 metadata.event_type
src_ip metadata.event_type
has_target_ip metadata.event_type
has_network_protocol metadata.event_type
host_name metadata.event_type
消息 metadata.product_event_type 如果消息与“Host Detection”匹配,则设置为“Host Detection”;如果消息与“started”匹配,则设置为“TMS Mitigation started”;如果消息与“stopped”匹配,则设置为“TMS Mitigation stopped”
metadata.product_name metadata.product_name 设置为“ARBOR_SIGHTLINE”
metadata.vendor_name metadata.vendor_name 设置为“NETSCOUT”
方向 network.direction 如果方向为“传入”,则设置为“INBOUND”
proto network.ip_protocol 如果 proto 为“6”,则设置为“TCP”;否则,如果与“(?i)(TCP
network_protocol network.ip_protocol
字节 network.sent_bytes 直接复制值,转换为 uinteger
数据包 network.sent_packets 直接复制值,转换为整数
时长 network.session_duration.seconds 如果值不为空且不为“0”,则直接复制并转换为整数
host_name principal.hostname 直接复制值
src_ip principal.ip 从 src_ip 和 nameserver_ip 合并
nameserver_ip principal.ip
命名空间 principal.namespace 直接复制值
filename principal.process.file.full_path 直接复制的值
alert_id principal.process.pid 直接复制值
prin_url principal.url 直接复制的值
prin_user principal.user.userid 直接复制的值
影响 security_result.detection_fields 与以下键合并:“Impact”(来自 impact)、“Importance”(来自 importance)、“Signature”(来自 signature)、“Leader”(来自 leader)、“parent_managed_object”(来自 parent_managed_object)、“Alert ID”(来自 alert_id)
importance security_result.detection_fields
signature security_result.detection_fields
Leader security_result.detection_fields
parent_managed_object security_result.detection_fields
alert_id security_result.detection_fields
和程度上减少 security_result.severity 如果严重级别为 ["10","9"],则设置为“INFORMATIONAL”;如果严重级别为 ["8","7"],则设置为“LOW”;如果严重级别为“6”,则设置为“MEDIUM”;如果严重级别为 ["5","4"],则设置为“HIGH”;如果严重级别为 ["3","2","1"],则设置为“CRITICAL”
desc2 security_result.threat_status 如果 desc 匹配“Host Detection alert”且 message 匹配“start”而非“stop”,则设置为“ACTIVE”;如果 desc 匹配“Host Detection alert”且 message 匹配“stop”,则设置为“CLEARED”
消息 security_result.threat_status
intem_host target.group.product_object_id 直接复制值
dst_ip target.ip 直接复制值
dst_port target.port 直接复制值,转换为整数
file_path target.process.file.full_path 直接复制的值
stop_time vulns.vulnerabilities.scan_end_time 使用日期过滤器(格式为 yyyy-MM-dd HH:mm:ss)转换
start_time vulns.vulnerabilities.scan_start_time 使用日期过滤器(格式为 yyyy-MM-dd HH:mm:ss 或 yyyy-MM-dd)进行转换
msg1 event.idm.read_only_udm.additional.fields 从更新日志映射
prin_user event.idm.read_only_udm.principal.user.userid 从更新日志映射
config_version event.idm.read_only_udm.additional.fields 从更新日志映射
old_bgp_attributes event.idm.read_only_udm.additional.fields 从更新日志映射
new_bgp_attributes event.idm.read_only_udm.additional.fields 从更新日志映射
reason event.idm.read_only_udm.additional.fields 从更新日志映射
sample_rate event.idm.read_only_udm.additional.fields 从更新日志映射
proto event.idm.read_only_udm.network.ip_protocol 从更新日志映射
proto event.idm.read_only_udm.additional.fields 从更新日志映射
bytes event.idm.read_only_udm.network.sent_bytes 从更新日志映射
packets event.idm.read_only_udm.network.sent_packets 从更新日志映射
flows event.idm.read_only_udm.additional.fields 从更新日志映射
identifier event.idm.read_only_udm.additional.fields 从更新日志映射
expected_bps event.idm.read_only_udm.additional.fields 从更新日志映射
actual_bps event.idm.read_only_udm.additional.fields 从更新日志映射
server event.idm.read_only_udm.additional.fields 从更新日志映射
status event.idm.read_only_udm.additional.fields 从更新日志映射
percent event.idm.read_only_udm.additional.fields 从更新日志映射
rate event.idm.read_only_udm.additional.fields 从更新日志映射
rateunit event.idm.read_only_udm.additional.fields 从更新日志映射
flags event.idm.read_only_udm.additional.fields 从更新日志映射
router event.idm.read_only_udm.additional.fields 从更新日志映射
interface event.idm.read_only_udm.additional.fields 从更新日志映射
ip_ver event.idm.read_only_udm.additional.fields 从更新日志映射
protocol_id event.idm.read_only_udm.additional.fields 从更新日志映射
router_name event.idm.read_only_udm.additional.fields 从更新日志映射
interface_id event.idm.read_only_udm.additional.fields 从更新日志映射
interface_name event.idm.read_only_udm.additional.fields 从更新日志映射
network_protocol event.idm.read_only_udm.network.ip_protocol 从更新日志映射
prin_url event.idm.read_only_udm.principal.url 从更新日志映射
src_port event.idm.read_only_udm.principal.port 从更新日志映射
dst_port event.idm.read_only_udm.target.port 从更新日志映射
dst_ip event.idm.read_only_udm.target.ip 从更新日志映射
severity event.idm.read_only_udm.security_result.severity 从更新日志映射
Active/Cleared security_result.threat_status 从更新日志映射
alert_id","parent_managed_object security_result.detection_fields 从更新日志映射

更新日志

查看此解析器的更新日志

需要更多帮助?获得社区成员和 Google SecOps 专业人士的解答。