收集 JFrog Artifactory 日志

支持范围:

本文档介绍了如何使用 Bindplane 代理将 JFrog Artifactory 日志注入 Google Security Operations。

JFrog Artifactory 是一种通用制品库管理器,可为库访问事件、身份验证、配置更改和制品操作生成 syslog 消息。解析器使用 grok 模式从 syslog 和 JSON 格式的日志中提取字段,并将这些字段映射到统一数据模型 (UDM)。

准备工作

请确保满足以下前提条件:

  • Google SecOps 实例
  • Windows Server 2016 或更高版本,或者具有 systemd 的 Linux 主机
  • Bindplane 代理与 JFrog Artifactory 服务器之间的网络连接
  • 如果通过代理运行,请确保防火墙端口根据 Bindplane 代理要求处于打开状态
  • 对 JFrog Artifactory 实例的 SSH 访问权限

获取 Bindplane 代理的 Google SecOps 凭据

如需对 Bindplane 代理进行 Google SecOps 身份验证,请选择以下方法之一:

  • 新部署:使用 Chronicle API(方法 1)。
  • 旧版部署:继续使用注入身份验证文件(方法 2),直到注入 API 于 2027 年 7 月 20 日停用为止。
  1. 登录 Google Cloud 控制台,然后选择与您的 Google SecOps 实例关联的 Google Cloud 项目。
  2. 依次前往 IAM 和管理 > 服务账号。
  3. 点击创建服务账号 。
  4. 提供以下配置详细信息:
    • 服务账号名称:输入账号的名称(例如 bindplane-ingest)。
    • 服务账号说明:输入说明(例如 Bindplane agent log ingestion)。
  5. 点击创建并继续 。
  6. 在向此服务帐号授予对项目的访问权限 部分,点击选择角色 ,然后选择 Chronicle Editor 。
  7. 点击继续 ,然后点击完成 。
  8. 点击您创建的服务帐号,然后前往密钥 标签页。
  9. 依次点击添加密钥 > 创建新密钥。
  10. 选择 JSON ,然后点击创建 。密钥文件会下载到您的计算机上。
  11. 将密钥文件另存为 Bindplane 收集器目录中的 ingestion-auth.json(在 Linux 上为 /opt/observiq-otel-collector/ingestion-auth.json,在 Windows 上为 C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json),或者更新 creds_file_path 在 config.yaml 中以与您保存该文件的路径匹配。
  12. 依次前往 IAM 和管理 > 设置 ,然后复制项目编号 。您需要此编号进行导出器配置。

方法 2:下载注入身份验证文件(旧版)

  1. 登录 Google SecOps 控制台。
  2. 依次前往 SIEM 设置 > 收集代理。
  3. 下载注入身份验证文件 。
  4. 将该文件安全地保存在将安装 Bindplane 代理的系统上。

获取 Google SecOps 客户 ID

  1. 登录 Google SecOps 控制台。
  2. 依次前往 SIEM 设置 > 个人资料。
  3. 从组织详细信息 部分复制并保存客户 ID 。

安装 Bindplane 代理

按照以下说明在 Windows 或 Linux 操作系统上安装 Bindplane 代理。

Windows 安装

  1. 以管理员身份打开命令提示符 或 PowerShell 。
  2. 运行以下命令:

    msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet
    
  3. 等待安装完成。

  4. 运行以下命令,验证安装是否成功:

    sc query observiq-otel-collector
    

    该服务应显示为 RUNNING 。

Linux 安装

  1. 使用 root 或 sudo 权限打开终端。
  2. 运行以下命令:

    sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh
    
  3. 等待安装完成。

  4. 运行以下命令,验证安装是否成功:

    sudo systemctl status observiq-otel-collector
    

    该服务应显示为 active (running) 。

其他安装资源

如需了解其他安装选项和问题排查信息,请参阅 Bindplane 代理安装指南。

配置 Bindplane 代理以注入 syslog 并将其发送到 Google SecOps

找到配置文件

  • Linux:

    sudo nano /opt/observiq-otel-collector/config.yaml
    
  • Windows:

    notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
    

修改配置文件

  • 将 config.yaml 的全部内容替换为以下配置:

    receivers:
      udplog:
        listen_address: "0.0.0.0:514"
    
    exporters:
      chronicle/jfrog_artifactory:
        protocol: https
        # Region of your instance, for example us, europe, asia-southeast1
        location: <LOCATION>
        # Project number of the Google Cloud project linked to the instance
        project: '<PROJECT_NUMBER>'
        compression: gzip
        creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
        customer_id: '<customer_id>'
        endpoint: chronicle.googleapis.com
        log_type: JFROG_ARTIFACTORY
        raw_log_field: body
    
    service:
      pipelines:
        logs/jfrog_artifactory_to_chronicle:
          receivers:
            - udplog
          exporters:
            - chronicle/jfrog_artifactory
    

配置参数

替换以下占位符:

  • 接收器配置:

    • listen_address:要监听的 IP 地址和端口:
      • 0.0.0.0 以监听所有接口(推荐)
      • 端口 514 是标准 syslog 端口(在 Linux 上需要 root;对于非 root 用户,请使用 1514)
  • 导出器配置:

    • creds_file_path:服务帐号 JSON 密钥文件的完整路径(方法 1):
      • Linux: /opt/observiq-otel-collector/ingestion-auth.json
      • Windows: C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
    • customer_id:从 Google SecOps 控制台复制的客户 ID
    • location:将 <LOCATION> 替换为 Google SecOps 实例的区域(例如 us、europe 或 asia-southeast1)。导出器会使用此值为 chronicle.googleapis.com 添加前缀。如需查看完整列表,请参阅区域级端点。
    • project:将 <PROJECT_NUMBER> 替换为 IAM 和管理 > 设置 中的项目编号。
    • endpoint:保持设置为 chronicle.googleapis.com。

旧版注入 API 导出器

  • 如果您使用方法 2 中的注入身份验证文件,请将 exporters 块替换为以下内容。将 creds_file_path 设置为注入身份验证文件的路径,并且如果您的实例位于美国境外,请将 malachiteingestion-pa.googleapis.com 替换为您的 区域级端点(例如 europe-malachiteingestion-pa.googleapis.com)。

    exporters:
      chronicle/jfrog_artifactory:
        compression: gzip
        creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
        customer_id: '<customer_id>'
        endpoint: malachiteingestion-pa.googleapis.com
        log_type: JFROG_ARTIFACTORY
        raw_log_field: body
    

保存配置文件

  • 修改后,请保存该文件:
    • Linux:按 Ctrl+O,然后按 Enter,再按 Ctrl+X
    • Windows:依次点击文件 > 保存

重启 Bindplane 代理以应用更改

  • 如需在 Linux 中重启 Bindplane 代理,请运行以下命令:

    sudo systemctl restart observiq-otel-collector
    
    1. 验证服务是否正在运行:

      sudo systemctl status observiq-otel-collector
      
    2. 检查日志中是否存在错误:

      sudo journalctl -u observiq-otel-collector -f
      
  • 如需在 Windows 中重启 Bindplane 代理,请选择以下选项之一:

    • 以管理员身份运行命令提示符或 PowerShell:

      net stop observiq-otel-collector && net start observiq-otel-collector
      
    • “服务”控制台:

      1. 按 Win+R,输入 services.msc,然后按 Enter 键。
      2. 找到 observIQ OpenTelemetry Collector 。
      3. 右键点击并选择重启 。
      4. 验证服务是否正在运行:

        sc query observiq-otel-collector
        
      5. 检查日志中是否存在错误:

        type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
        

配置 JFrog Artifactory syslog

  1. 连接到 JFrog Artifactory 实例。
  2. 修改文件 $JFROG_HOME/artifactory/var/etc/artifactory/logback.xml:

    vi $JFROG_HOME/artifactory/var/etc/artifactory/logback.xml
    
  3. 将以下 syslog 附加程序添加到文件中:

    <appender name="SYSLOG" class="ch.qos.logback.classic.net.SyslogAppender">
        <syslogHost><BINDPLANE_IP></syslogHost>
        <facility>SYSLOG</facility>
        <suffixPattern>[%thread] %logger %msg</suffixPattern>
    </appender>
    
    • 将 <BINDPLANE_IP> 替换为实际的 Bindplane 代理 IP 地址。
  4. 将 syslog 附加程序引用添加到根记录器:

    <root>
        <level value="debug"/>
        <appender-ref ref="CONSOLE"/>
        <appender-ref ref="FILE"/>
        <appender-ref ref="SYSLOG"/>
    </root>
    
  5. 按 ESC 并输入 :wq 以保存文件。

UDM 映射表

日志字段 UDM 映射 逻辑
action read_only_udm.metadata.product_event_type 原始日志中的 action 值会转换为小写并进行映射。
datetime read_only_udm.metadata.event_timestamp 原始日志的 datetime 字段会经过解析并转换为时间戳。
hostname read_only_udm.principal.hostname 直接从原始日志的 hostname 字段映射。
id read_only_udm.metadata.product_log_id 直接从原始日志的 id 字段(来自 JSON 载荷)映射。
ip read_only_udm.principal.ip 直接从原始日志的 ip 字段映射。硬编码为“USER_RESOURCE_ACCESS”。硬编码为“JFROG_ARTIFACTORY”。硬编码为“Artifactory”。硬编码为“JFROG”。
owner read_only_udm.principal.user.userid 如果原始日志(来自 JSON 载荷)中不存在 username ,则进行映射。
repo_name read_only_udm.target.resource.name 直接从原始日志的 repo_name 字段映射。
repo_type read_only_udm.target.resource.resource_subtype 直接从原始日志的 repo_type 字段映射。
scope read_only_udm.target.resource.name 直接从原始日志的 scope 字段(来自 JSON 载荷)映射。
scope read_only_udm.target.resource.resource_subtype 如果原始日志中存在 scope ,则硬编码为“scope”。
sequenceId read_only_udm.metadata.product_log_id 引号会从 sequenceId 字段中移除,然后进行映射。
subject read_only_udm.about.labels.key 如果原始日志中存在 subject ,则硬编码为“subject”。
subject read_only_udm.about.labels.value 直接从原始日志的 subject 字段(来自 JSON 载荷)映射。
type read_only_udm.metadata.product_event_type 直接从原始日志的 type 字段(来自 JSON 载荷)映射。
user read_only_udm.principal.user.userid 直接从原始日志的 user 字段映射。
username read_only_udm.principal.user.userid 直接从原始日志的 username 字段(来自 JSON 载荷)映射。
data.repository_key", "data.release_bundle_name", "data.release_bundle_version", "data.property_key", "data.property_values", "data.platforms.architecture", and "data.platforms.os additional.fields 从更改日志映射
data.repo_key" ,"subscription_key","source","image_name", "data.platforms additional.fields 从更改日志映射
domain principal.administrative_domain 从更改日志映射
data.path target.file.full_path 从更改日志映射
data.name target.user.user_display_name 从更改日志映射
data.size target.file.size 从更改日志映射
SHA256 target.process.file.sha256 从更改日志映射
target_ip target.ip 从更改日志映射
desc metadata.description 从更改日志映射
method network.http.method 从更改日志映射
url target.url 从更改日志映射
prin_url principal.url 从更改日志映射
response_code network.http.response_code 从更改日志映射
RequestMethod network.http.method 从更改日志映射
RequestPath target.url 从更改日志映射
DownstreamContentSize" and "DownstreamStatus Additional.Fields 从更改日志映射
ServiceAddr principal.hostname 从更改日志映射
ClientAddr target.ip 从更改日志映射
user_agent network.http.user_agent 从更改日志映射
level security_result.severity 从更改日志映射
msg security_result.description 从更改日志映射
protocol network.application_protocol 从更改日志映射

更新日志

查看此解析器的更新日志

需要更多帮助?获得社区成员和 Google SecOps 专业人士的解答。