收集 JFrog Artifactory 日志
本文档介绍了如何使用 Bindplane 代理将 JFrog Artifactory 日志注入 Google Security Operations。
JFrog Artifactory 是一种通用制品库管理器,可为库访问事件、身份验证、配置更改和制品操作生成 syslog 消息。解析器使用 grok 模式从 syslog 和 JSON 格式的日志中提取字段,并将这些字段映射到统一数据模型 (UDM)。
准备工作
请确保满足以下前提条件:
- Google SecOps 实例
- Windows Server 2016 或更高版本,或者具有
systemd的 Linux 主机 - Bindplane 代理与 JFrog Artifactory 服务器之间的网络连接
- 如果通过代理运行,请确保防火墙端口根据 Bindplane 代理要求处于打开状态
- 对 JFrog Artifactory 实例的 SSH 访问权限
获取 Bindplane 代理的 Google SecOps 凭据
如需对 Bindplane 代理进行 Google SecOps 身份验证,请选择以下方法之一:
- 新部署:使用 Chronicle API(方法 1)。
- 旧版部署:继续使用注入身份验证文件(方法 2),直到注入 API 于 2027 年 7 月 20 日停用为止。
方法 1:为 Chronicle API 创建服务帐号(推荐)
- 登录 Google Cloud 控制台,然后选择与您的 Google SecOps 实例关联的 Google Cloud 项目。
- 依次前往 IAM 和管理 > 服务账号。
- 点击创建服务账号 。
- 提供以下配置详细信息:
- 服务账号名称:输入账号的名称(例如
bindplane-ingest)。 - 服务账号说明:输入说明(例如
Bindplane agent log ingestion)。
- 服务账号名称:输入账号的名称(例如
- 点击创建并继续 。
- 在向此服务帐号授予对项目的访问权限 部分,点击选择角色 ,然后选择 Chronicle Editor 。
- 点击继续 ,然后点击完成 。
- 点击您创建的服务帐号,然后前往密钥 标签页。
- 依次点击添加密钥 > 创建新密钥。
- 选择 JSON ,然后点击创建 。密钥文件会下载到您的计算机上。
- 将密钥文件另存为 Bindplane 收集器目录中的
ingestion-auth.json(在 Linux 上为/opt/observiq-otel-collector/ingestion-auth.json,在 Windows 上为C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json),或者更新creds_file_path在config.yaml中以与您保存该文件的路径匹配。 - 依次前往 IAM 和管理 > 设置 ,然后复制项目编号 。您需要此编号进行导出器配置。
方法 2:下载注入身份验证文件(旧版)
- 登录 Google SecOps 控制台。
- 依次前往 SIEM 设置 > 收集代理。
- 下载注入身份验证文件 。
- 将该文件安全地保存在将安装 Bindplane 代理的系统上。
获取 Google SecOps 客户 ID
- 登录 Google SecOps 控制台。
- 依次前往 SIEM 设置 > 个人资料。
从组织详细信息 部分复制并保存客户 ID 。
安装 Bindplane 代理
按照以下说明在 Windows 或 Linux 操作系统上安装 Bindplane 代理。
Windows 安装
- 以管理员身份打开命令提示符 或 PowerShell 。
运行以下命令:
msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet等待安装完成。
运行以下命令,验证安装是否成功:
sc query observiq-otel-collector该服务应显示为 RUNNING 。
Linux 安装
- 使用 root 或 sudo 权限打开终端。
运行以下命令:
sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh等待安装完成。
运行以下命令,验证安装是否成功:
sudo systemctl status observiq-otel-collector该服务应显示为 active (running) 。
其他安装资源
如需了解其他安装选项和问题排查信息,请参阅 Bindplane 代理安装指南。
配置 Bindplane 代理以注入 syslog 并将其发送到 Google SecOps
找到配置文件
Linux:
sudo nano /opt/observiq-otel-collector/config.yamlWindows:
notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
修改配置文件
将
config.yaml的全部内容替换为以下配置:receivers: udplog: listen_address: "0.0.0.0:514" exporters: chronicle/jfrog_artifactory: protocol: https # Region of your instance, for example us, europe, asia-southeast1 location: <LOCATION> # Project number of the Google Cloud project linked to the instance project: '<PROJECT_NUMBER>' compression: gzip creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json' customer_id: '<customer_id>' endpoint: chronicle.googleapis.com log_type: JFROG_ARTIFACTORY raw_log_field: body service: pipelines: logs/jfrog_artifactory_to_chronicle: receivers: - udplog exporters: - chronicle/jfrog_artifactory
配置参数
替换以下占位符:
接收器配置:
listen_address:要监听的 IP 地址和端口:0.0.0.0以监听所有接口(推荐)- 端口
514是标准 syslog 端口(在 Linux 上需要 root;对于非 root 用户,请使用1514)
导出器配置:
creds_file_path:服务帐号 JSON 密钥文件的完整路径(方法 1):- Linux:
/opt/observiq-otel-collector/ingestion-auth.json - Windows:
C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
- Linux:
customer_id:从 Google SecOps 控制台复制的客户 IDlocation:将<LOCATION>替换为 Google SecOps 实例的区域(例如us、europe或asia-southeast1)。导出器会使用此值为chronicle.googleapis.com添加前缀。如需查看完整列表,请参阅区域级端点。project:将<PROJECT_NUMBER>替换为 IAM 和管理 > 设置 中的项目编号。endpoint:保持设置为chronicle.googleapis.com。
旧版注入 API 导出器
如果您使用方法 2 中的注入身份验证文件,请将
exporters块替换为以下内容。将creds_file_path设置为注入身份验证文件的路径,并且如果您的实例位于美国境外,请将malachiteingestion-pa.googleapis.com替换为您的 区域级端点(例如europe-malachiteingestion-pa.googleapis.com)。exporters: chronicle/jfrog_artifactory: compression: gzip creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json' customer_id: '<customer_id>' endpoint: malachiteingestion-pa.googleapis.com log_type: JFROG_ARTIFACTORY raw_log_field: body
保存配置文件
- 修改后,请保存该文件:
- Linux:按
Ctrl+O,然后按Enter,再按Ctrl+X - Windows:依次点击文件 > 保存
- Linux:按
重启 Bindplane 代理以应用更改
如需在 Linux 中重启 Bindplane 代理,请运行以下命令:
sudo systemctl restart observiq-otel-collector验证服务是否正在运行:
sudo systemctl status observiq-otel-collector检查日志中是否存在错误:
sudo journalctl -u observiq-otel-collector -f
如需在 Windows 中重启 Bindplane 代理,请选择以下选项之一:
以管理员身份运行命令提示符或 PowerShell:
net stop observiq-otel-collector && net start observiq-otel-collector“服务”控制台:
- 按
Win+R,输入services.msc,然后按 Enter 键。 - 找到 observIQ OpenTelemetry Collector 。
- 右键点击并选择重启 。
验证服务是否正在运行:
sc query observiq-otel-collector检查日志中是否存在错误:
type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
- 按
配置 JFrog Artifactory syslog
- 连接到 JFrog Artifactory 实例。
修改文件
$JFROG_HOME/artifactory/var/etc/artifactory/logback.xml:vi $JFROG_HOME/artifactory/var/etc/artifactory/logback.xml将以下 syslog 附加程序添加到文件中:
<appender name="SYSLOG" class="ch.qos.logback.classic.net.SyslogAppender"> <syslogHost><BINDPLANE_IP></syslogHost> <facility>SYSLOG</facility> <suffixPattern>[%thread] %logger %msg</suffixPattern> </appender>- 将
<BINDPLANE_IP>替换为实际的 Bindplane 代理 IP 地址。
- 将
将 syslog 附加程序引用添加到根记录器:
<root> <level value="debug"/> <appender-ref ref="CONSOLE"/> <appender-ref ref="FILE"/> <appender-ref ref="SYSLOG"/> </root>按
ESC并输入:wq以保存文件。
UDM 映射表
| 日志字段 | UDM 映射 | 逻辑 |
|---|---|---|
| action | read_only_udm.metadata.product_event_type |
原始日志中的 action 值会转换为小写并进行映射。 |
| datetime | read_only_udm.metadata.event_timestamp |
原始日志的 datetime 字段会经过解析并转换为时间戳。 |
| hostname | read_only_udm.principal.hostname |
直接从原始日志的 hostname 字段映射。 |
| id | read_only_udm.metadata.product_log_id |
直接从原始日志的 id 字段(来自 JSON 载荷)映射。 |
| ip | read_only_udm.principal.ip |
直接从原始日志的 ip 字段映射。硬编码为“USER_RESOURCE_ACCESS”。硬编码为“JFROG_ARTIFACTORY”。硬编码为“Artifactory”。硬编码为“JFROG”。 |
| owner | read_only_udm.principal.user.userid |
如果原始日志(来自 JSON 载荷)中不存在 username ,则进行映射。 |
| repo_name | read_only_udm.target.resource.name |
直接从原始日志的 repo_name 字段映射。 |
| repo_type | read_only_udm.target.resource.resource_subtype |
直接从原始日志的 repo_type 字段映射。 |
| scope | read_only_udm.target.resource.name |
直接从原始日志的 scope 字段(来自 JSON 载荷)映射。 |
| scope | read_only_udm.target.resource.resource_subtype |
如果原始日志中存在 scope ,则硬编码为“scope”。 |
| sequenceId | read_only_udm.metadata.product_log_id |
引号会从 sequenceId 字段中移除,然后进行映射。 |
| subject | read_only_udm.about.labels.key |
如果原始日志中存在 subject ,则硬编码为“subject”。 |
| subject | read_only_udm.about.labels.value |
直接从原始日志的 subject 字段(来自 JSON 载荷)映射。 |
| type | read_only_udm.metadata.product_event_type |
直接从原始日志的 type 字段(来自 JSON 载荷)映射。 |
| user | read_only_udm.principal.user.userid |
直接从原始日志的 user 字段映射。 |
| username | read_only_udm.principal.user.userid |
直接从原始日志的 username 字段(来自 JSON 载荷)映射。 |
data.repository_key", "data.release_bundle_name", "data.release_bundle_version", "data.property_key", "data.property_values", "data.platforms.architecture", and "data.platforms.os |
additional.fields |
从更改日志映射 |
data.repo_key" ,"subscription_key","source","image_name", "data.platforms |
additional.fields |
从更改日志映射 |
domain |
principal.administrative_domain |
从更改日志映射 |
data.path |
target.file.full_path |
从更改日志映射 |
data.name |
target.user.user_display_name |
从更改日志映射 |
data.size |
target.file.size |
从更改日志映射 |
SHA256 |
target.process.file.sha256 |
从更改日志映射 |
target_ip |
target.ip |
从更改日志映射 |
desc |
metadata.description |
从更改日志映射 |
method |
network.http.method |
从更改日志映射 |
url |
target.url |
从更改日志映射 |
prin_url |
principal.url |
从更改日志映射 |
response_code |
network.http.response_code |
从更改日志映射 |
RequestMethod |
network.http.method |
从更改日志映射 |
RequestPath |
target.url |
从更改日志映射 |
DownstreamContentSize" and "DownstreamStatus |
Additional.Fields |
从更改日志映射 |
ServiceAddr |
principal.hostname |
从更改日志映射 |
ClientAddr |
target.ip |
从更改日志映射 |
user_agent |
network.http.user_agent |
从更改日志映射 |
level |
security_result.severity |
从更改日志映射 |
msg |
security_result.description |
从更改日志映射 |
protocol |
network.application_protocol |
从更改日志映射 |
更新日志
需要更多帮助?获得社区成员和 Google SecOps 专业人士的解答。