收集 Cisco Secure Email Gateway（以前称为 Email Security Appliance）日志

解析器版本：12.0

支持：

本文档介绍了如何使用 Bindplane 将 Cisco Secure Email Gateway（以前称为 Email Security Appliance）日志注入到 Google Security Operations。

解析器可从 Cisco Secure Email Gateway syslog、键值对和 JSON 格式的日志中提取字段。它使用 grok 和/或 kv 来解析日志消息，然后将这些值映射到统一数据模型 (UDM)。它还会为事件来源和类型设置默认元数据值。

准备工作

请确保满足以下前提条件：

  • Google SecOps 实例
  • Windows Server 2016 或更高版本，或者具有 systemd 的 Linux 主机
  • 如果通过代理运行，请确保防火墙端口根据 Bindplane 代理要求处于开放状态
  • 对 Cisco Secure Email Gateway 网页界面的特权访问权限

获取 Bindplane 代理的 Google SecOps 凭证

如需向 Google SecOps 验证 Bindplane 代理，请选择以下方法之一：

  • 新部署：使用 Chronicle API（选项 1）。
  • 旧版部署：继续使用数据注入身份验证文件（方法 2），直到 Ingestion API 于 2027 年 7 月 20 日停用。
  1. 登录 Google Cloud 控制台，然后选择与您的 Google SecOps 实例关联的 Google Cloud 项目。
  2. 前往 IAM 和管理 > 服务账号。
  3. 点击创建服务账号。
  4. 提供以下配置详细信息：
    • 服务账号名称：输入账号的名称（例如 bindplane-ingest）。
    • 服务账号说明：输入说明（例如 Bindplane agent log ingestion）。
  5. 点击创建并继续。
  6. 在向此服务账号授予对项目的访问权限部分，点击选择角色，然后选择 Chronicle Editor。
  7. 点击继续，然后点击完成。
  8. 点击您创建的服务账号，然后前往密钥标签页。
  9. 依次点击添加密钥 > 创建新密钥。
  10. 选择 JSON，然后点击创建。密钥文件会下载到您的计算机上。
  11. 将密钥文件另存为 Bindplane 收集器目录（在 Linux 上为 /opt/observiq-otel-collector/ingestion-auth.json，在 Windows 上为 C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json）中的 ingestion-auth.json，或更新 config.yaml 中的 creds_file_path 以与您保存密钥文件的路径相匹配。
  12. 前往 IAM 和管理 > 设置，然后复制项目编号。您需要此信息才能配置导出器。

方法 2：下载数据注入身份验证文件（旧版）

  1. 登录 Google SecOps 控制台。
  2. 前往 SIEM 设置> 收集代理。
  3. 下载数据注入身份验证文件。
  4. 将文件安全地保存在将要安装 Bindplane 代理的系统上。

获取 Google SecOps 客户 ID

  1. 登录 Google SecOps 控制台。
  2. 前往 SIEM 设置 > 个人资料。
  3. 复制并保存组织详细信息部分中的客户 ID。

安装 Bindplane 代理

按照以下说明在 Windows 或 Linux 操作系统上安装 Bindplane 代理。

Windows 安装

  1. 以管理员身份打开命令提示符或 PowerShell。

  2. 运行以下命令：

    msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet

  3. 等待安装完成。

  4. 运行以下命令，验证安装是否成功：

    sc query observiq-otel-collector

该服务应显示为 RUNNING。

Linux 安装

  1. 打开具有 root 或 sudo 权限的终端。

  2. 运行以下命令：

    sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh

  3. 等待安装完成。

  4. 运行以下命令，验证安装是否成功：

    sudo systemctl status observiq-otel-collector

该服务应显示为有效（正在运行）。

其他安装资源

如需了解其他安装选项和问题排查信息，请参阅 Bindplane 代理安装指南。

配置 Bindplane 代理以注入 Syslog 并发送到 Google SecOps

找到配置文件

  • 在您的操作系统上找到配置文件，如下所示：

    • Linux：
    sudo nano /opt/observiq-otel-collector/config.yaml
    • Windows：
    notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"

修改配置文件

  • 将 config.yaml 的全部内容替换为以下配置：

    receivers:
  tcplog:
    listen_address: "0.0.0.0:514"

exporters:
  chronicle/chronicle_w_labels:
    protocol: https
    # Region of your instance, for example us, europe, asia-southeast1
    location: <LOCATION>
    # Project number of the Google Cloud project linked to the instance
    project: '<PROJECT_NUMBER>'
    compression: gzip
    creds_file_path: '/path/to/ingestion-authentication-file.json'
    customer_id: 'YOUR_CUSTOMER_ID'
    endpoint: chronicle.googleapis.com
    log_type: 'CISCO_EMAIL_SECURITY'
    raw_log_field: body
    ingestion_labels:

service:
  pipelines:
    logs/source0__chronicle_w_labels-0:
      receivers:
        - tcplog
      exporters:
        - chronicle/chronicle_w_labels

配置参数

替换以下占位符：

  • 接收器配置：

    • tcplog：对于 UDP syslog，请使用 udplog；对于 TCP syslog，请使用 tcplog
    • 0.0.0.0：要监听的 IP 地址（0.0.0.0 表示监听所有接口）
    • 514：要监听的端口号（标准 syslog 端口）

  • 导出器配置：

    • creds_file_path：服务账号 JSON 密钥文件的完整路径（选项 1）：
      • Linux：/opt/observiq-otel-collector/ingestion-auth.json
      • Windows：C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
    • YOUR_CUSTOMER_ID：从“获取客户 ID”部分获取的客户 ID
    • location：将 <LOCATION> 替换为 Google SecOps 实例所在的区域（例如 us、europe 或 asia-southeast1）。导出工具会在此值前面加上 chronicle.googleapis.com。如需查看完整列表，请参阅区域级端点。
    • project：将 <PROJECT_NUMBER> 替换为 IAM 和管理 > 设置中的项目编号。
    • endpoint：保持设置为 chronicle.googleapis.com。
    • log_type：日志类型，与 Google SecOps (CISCO_EMAIL_SECURITY) 中显示的完全一致

旧版提取 API 导出工具

  • 如果您使用选项 2 中的数据注入身份验证文件，请将 exporters 代码块替换为以下内容。将 creds_file_path 设置为提取身份验证文件的路径，如果您的实例位于美国境外，请将 malachiteingestion-pa.googleapis.com 替换为您的区域端点（例如 europe-malachiteingestion-pa.googleapis.com）。

    exporters:
  chronicle/chronicle_w_labels:
    compression: gzip
    creds_file_path: '/path/to/ingestion-authentication-file.json'
    customer_id: 'YOUR_CUSTOMER_ID'
    endpoint: malachiteingestion-pa.googleapis.com
    log_type: 'CISCO_EMAIL_SECURITY'
    raw_log_field: body
    ingestion_labels:

保存配置文件

  • 修改后，保存文件：
    • Linux：依次按 Ctrl+O、Enter 和 Ctrl+X
    • Windows：依次点击文件 > 保存

重启 Bindplane 代理以应用更改

如需在 Linux 中重启 Bindplane 代理，请运行以下命令：

  1. 运行以下命令：

    sudo systemctl restart observiq-otel-collector

  2. 验证服务是否正在运行：

    sudo systemctl status observiq-otel-collector

  3. 检查日志中的错误：

    sudo journalctl -u observiq-otel-collector -f

如需在 Windows 中重启 Bindplane 代理，请执行以下操作：

  1. 请从下列选项中选择一项：

    • 以管理员身份运行命令提示符或 PowerShell：
    net stop observiq-otel-collector && net start observiq-otel-collector
    • “服务”控制台：
      1. 按 Win+R，输入 services.msc，然后按 Enter 键。
      2. 找到 observIQ OpenTelemetry 收集器。
      3. 右键点击并选择重启。

  2. 验证服务是否正在运行：

    sc query observiq-otel-collector

  3. 检查日志中的错误：

    type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"

在 Cisco Secure Email Gateway 上配置 syslog 转发

  1. 登录 Cisco Secure Email Gateway 网页界面。
  2. 依次前往 System Administration（系统管理）> Log Subscriptions（日志订阅）。
  3. 点击添加日志订阅。
  4. 提供以下配置详细信息：
    • 日志类型：选择要转发的日志类型（例如整合的事件日志、邮件日志、文本邮件日志）。
    • 名称：输入一个描述性名称（例如 Google-SecOps-Syslog）。
    • Retrieval Method（检索方法）：选择 Syslog Push（Syslog 推送）。
    • 主机名：输入 Bindplane 代理主机的 IP 地址。
    • 协议：选择 TCP。
    • 端口：输入 514。
    • Facility（设施）：选择 LOG_MAIL（或您偏好的设施）。
  5. 点击提交。
  6. 针对要转发的每种其他日志类型重复执行第 3-5 步。推荐的日志类型：
    • 合并事件日志
    • Text Mail Logs
    • 反垃圾邮件日志
    • 杀毒软件日志
    • AMP Engine 日志
    • 内容过滤器日志
  7. 点击 Commit Changes（提交更改）以应用配置。
  8. 通过检查 Bindplane 代理日志，验证是否正在发送 syslog 消息。

UDM 映射表

日志字段 UDM 映射 逻辑
acl_decision_tag read_only_udm.security_result.detection_fields.value 如果不是空值、“-”或“NONE”，则直接映射。键为“ACL Decision Tag”。
access_or_decryption_policy_group read_only_udm.security_result.detection_fields.value 如果不是空值、“-”或“NONE”，则直接映射。键为“AccessOrDecryptionPolicyGroup”。
act read_only_udm.security_result.action_details 直接映射。
authenticated_user read_only_udm.principal.user.userid 如果不是空值、“-”或“NONE”，则直接映射。
cache_hierarchy_retrieval read_only_udm.security_result.detection_fields.value 如果不为空，则直接映射；否则，映射为“-”或“NONE”。键为“Cache Hierarchy Retrieval”。
cipher read_only_udm.network.tls.cipher 直接映射。
国家/地区 read_only_udm.principal.location.country_or_region 直接映射。
data_security_policy_group read_only_udm.security_result.detection_fields.value 如果不是空值、“-”或“NONE”，则直接映射。键为“DataSecurityPolicyGroup”。
说明 read_only_udm.metadata.description 直接映射到 syslog 消息。对于 CEF 消息，它会成为整体产品说明。各种 grok 模式会根据 product_event 提取特定说明。某些说明已通过 gsub 修改，以移除开头/结尾处的空格和英文冒号。
deviceDirection read_only_udm.network.direction 如果为“0”，则映射到“INBOUND”。如果为“1”，则映射到“OUTBOUND”。用于确定要直接映射哪些 TLS 加密和协议，以及要作为标签映射哪些 TLS 加密和协议。
deviceExternalId read_only_udm.principal.asset.asset_id 映射为“设备 ID：”。
网域 read_only_udm.target.administrative_domain 直接从 JSON 日志映射。
domain_age read_only_udm.security_result.about.labels.value 直接映射。键为“YoungestDomainAge”。
duser read_only_udm.target.user.email_addresses, read_only_udm.network.email.to 如果包含“;”，则拆分为多个电子邮件地址，并将每个地址映射到两个 UDM 字段。否则，如果电子邮件地址有效，则直接映射到这两个 UDM 字段。如果 network_to 为空，则还用于填充 network_to。
dvc read_only_udm.target.ip 直接映射。
entries.collection_time.nanos, entries.collection_time.seconds read_only_udm.metadata.event_timestamp.nanos, read_only_udm.metadata.event_timestamp.seconds 用于构造事件时间戳。
env-from read_only_udm.additional.fields.value.string_value 直接映射。键为“Env-From”。
ESAAttachmentDetails read_only_udm.security_result.about.file.full_path, read_only_udm.security_result.about.file.sha256 经过解析以提取文件名和 SHA256 哈希值。可以提取多个文件和哈希。
ESADCID read_only_udm.security_result.about.labels.value 直接映射。键为“ESADCID”。
ESAFriendlyFrom read_only_udm.principal.user.user_display_name, read_only_udm.network.email.from 经过解析，可提取显示名称和邮箱。
ESAHeloDomain read_only_udm.intermediary.administrative_domain 直接映射。
ESAHeloIP read_only_udm.intermediary.ip 直接映射。
ESAICID read_only_udm.security_result.about.labels.value 直接映射。键为“ESAICID”。
ESAMailFlowPolicy read_only_udm.security_result.rule_name 直接映射。
ESAMID read_only_udm.security_result.about.labels.value 直接映射。键为“ESAMID”。
ESAReplyTo read_only_udm.network.email.reply_to 如果电子邮件地址有效，则直接映射。还用于填充 network_to。
ESASDRDomainAge read_only_udm.security_result.about.labels.value 直接映射。键为“ESASDRDomainAge”。
ESASenderGroup read_only_udm.principal.group.group_display_name 直接映射。
ESAStatus read_only_udm.security_result.about.labels.value 直接映射。键为“ESAStatus”。
ESATLSInCipher read_only_udm.network.tls.cipher 或 read_only_udm.security_result.about.labels.value 如果 deviceDirection 为“0”，则直接映射到密码。否则，映射为键为“ESATLSInCipher”的标签。
ESATLSInProtocol read_only_udm.network.tls.version 或 read_only_udm.security_result.about.labels.value 如果 deviceDirection 为“0”，则直接提取并映射 TLS 版本。否则，映射为键为“ESATLSInProtocol”的标签。
ESATLSOutCipher read_only_udm.network.tls.cipher 或 read_only_udm.security_result.about.labels.value 如果 deviceDirection 为“1”，则直接映射到密码。否则，映射为键为“ESATLSOutCipher”的标签。
ESATLSOutProtocol read_only_udm.network.tls.version 或 read_only_udm.security_result.about.labels.value 如果 deviceDirection 为“1”，则直接提取并映射 TLS 版本。否则，映射为键为“ESATLSOutProtocol”的标签。
ESAURLDetails read_only_udm.target.url 已解析以提取网址。由于该字段未重复，因此仅映射第一个网址。
external_dlp_policy_group read_only_udm.security_result.detection_fields.value 如果不是空值、“-”或“NONE”，则直接映射。键为“ExternalDlpPolicyGroup”。
ExternalMsgID read_only_udm.security_result.about.labels.value 在移除单引号和尖括号后直接映射。键为“ExternalMsgID”。
来自 read_only_udm.network.email.from 如果电子邮件地址有效，则直接映射。也用于填充 network_from。
host.hostname read_only_udm.principal.hostname 或 read_only_udm.intermediary.hostname 如果主机字段无效，则映射到主主机名。还映射到中间主机名。
host.ip read_only_udm.principal.ip 或 read_only_udm.intermediary.ip 如果 JSON 日志中未设置 IP 字段，则映射到主 IP。还映射到中介 IP。
主机名 read_only_udm.target.hostname 直接映射。
http_method read_only_udm.network.http.method 直接映射。
http_response_code read_only_udm.network.http.response_code 直接映射并转换为整数。
identity_policy_group read_only_udm.security_result.detection_fields.value 如果不为空，则直接映射；否则，映射为“-”或“NONE”。键为“IdentityPolicyGroup”。
ip read_only_udm.principal.ip 直接映射。如果存在 source_ip，则会被 source_ip 覆盖。
kv_msg 多项 使用 kv 过滤器解析。预处理包括将键前面的空格替换为“#”，以及交换 csLabel 值。
log_type read_only_udm.metadata.log_type 硬编码为“CISCO_EMAIL_SECURITY”。
loglevel read_only_udm.security_result.severity、read_only_udm.security_result.action 用于确定严重程度和采取的措施。“Info”“”“Debug”“Trace”映射到“INFORMATIONAL”和“ALLOW”。“警告”会映射到“中”和“允许”。“高”映射到“HIGH”和“BLOCK”。“Critical”和“Alert”映射到“CRITICAL”“BLOCK”。
mail_id read_only_udm.network.email.mail_id 直接从 JSON 日志映射。
mailto read_only_udm.target.user.email_addresses, read_only_udm.network.email.to 如果电子邮件地址有效，则直接映射到两个 UDM 字段。
MailPolicy read_only_udm.security_result.about.labels.value 直接映射。键为“MailPolicy”。
消息 多项 如果可能，则解析为 JSON。否则，将作为 syslog 消息进行处理。
message_id read_only_udm.network.email.mail_id 直接映射。还用于填充 network_data。
msg read_only_udm.network.email.subject 在 UTF-8 解码并移除回车符、换行符和多余引号后直接映射。还用于填充 network_data。
msg1 多项 使用 kv 过滤器解析。用于提取主机名、helo、env-from 和 reply-to。
outbound_malware_scanning_policy_group read_only_udm.security_result.detection_fields.value 如果不是空值、“-”或“NONE”，则直接映射。键为“DataSecurityPolicyGroup”。
端口 read_only_udm.target.port 直接映射并转换为整数。
principalMail read_only_udm.principal.user.email_addresses 直接映射。
principalUrl read_only_udm.principal.url 直接映射。
product_event read_only_udm.metadata.product_event_type 直接映射。用于确定要应用哪些 grok 模式。开头的“%”字符会被移除。“amp”替换为“SIEM_AMPenginelogs”。
product_version read_only_udm.metadata.product_version 直接映射。
协议 read_only_udm.network.tls.version 直接映射。
received_bytes read_only_udm.network.received_bytes 直接映射并转换为无符号整数。
回复地址 read_only_udm.additional.fields.value.string_value 直接映射。键为“Reply-To”。
声誉 read_only_udm.security_result.confidence_details 直接映射。
request_method_uri read_only_udm.target.url 直接映射。
result_code read_only_udm.security_result.detection_fields.value 直接映射。键为“结果代码”。
routing_policy_group read_only_udm.security_result.detection_fields.value 如果不是空值、“-”或“NONE”，则直接映射。键为“RoutingPolicyGroup”。
规则 read_only_udm.security_result.detection_fields.value 直接映射。键为“匹配的条件”。
SDRThreatCategory read_only_udm.security_result.threat_name 如果不为空或为“不适用”，则直接映射。
SenderCountry read_only_udm.principal.location.country_or_region 直接映射。
senderGroup read_only_udm.principal.group.group_display_name 直接映射。
security_description read_only_udm.security_result.description 直接映射。
security_email read_only_udm.security_result.about.email or read_only_udm.principal.hostname 如果电子邮件地址有效，则映射到电子邮件。否则，在使用 grok 提取后映射到主机名。
来源 read_only_udm.network.ip_protocol 如果包含“tcp”，则映射到“TCP”。
sourceAddress read_only_udm.principal.ip 直接映射。
sourceHostName read_only_udm.principal.administrative_domain 如果不是“未知”，则直接映射。
source_ip read_only_udm.principal.ip 直接映射。如果存在，则覆盖 IP。
主题 read_only_udm.network.email.subject 移除尾随句点后直接映射。还用于填充 network_data。
suser read_only_udm.principal.user.email_addresses, read_only_udm.network.email.bounce_address 如果电子邮件地址有效，则直接映射到两个 UDM 字段。
target_ip read_only_udm.target.ip 直接映射。
至 read_only_udm.network.email.to 如果邮箱有效，则直接映射。还用于填充 network_to。
total_bytes read_only_udm.network.sent_bytes 直接映射并转换为无符号整数。
trackerHeader read_only_udm.additional.fields.value.string_value 直接映射。键为“Tracker Header”。
ts、ts1、year read_only_udm.metadata.event_timestamp.seconds 用于构建事件时间戳。如果 ts1 存在，则 ts1 和 year 会组合在一起。支持多种格式，无论是否包含年份。如果未提供年份，则使用当前年份。硬编码为“Cisco”。硬编码为“Cisco Email Security”。默认值为“ALLOW”。根据日志级别或说明设置为“BLOCK”。如果存在 application_protocol，则默认为“INBOUND”。根据 CEF 消息的 deviceDirection 设置。根据多个字段的组合确定，包括 network_from、network_to、target_ip、ip、description、event_type、principal_host、Hostname、user_id 和 sourceAddress。默认值为“GENERIC_EVENT”。如果 application_protocol 为“SMTP”或“smtp”，或者 target_ip 和 ip 存在，则设置为“SMTP”。如果 sshd 日志中存在 login_status 和 user_id，则设置为“AUTHTYPE_UNSPECIFIED”。如果 loglevel 为“Critical”或“Alert”，则设置为 true。
deviceInboundInterface event.idm.read_only_udm.additional.fields 从更新日志映射
dvc event.idm.read_only_udm.intermediary.ip和event.idm.read_only_udm.intermediary.asset.ip之间 从更新日志映射
ESAHeloIP event.idm.read_only_udm.principal.ip和event.idm.read_only_udm.principal.asset.ip之间 从更新日志映射
startTime event.idm.read_only_udm.metadata.collected_timestamp 从更新日志映射
endTime event.idm.read_only_udm.additional.fields 从更新日志映射
deviceDirection event.idm.read_only_udm.additional.fields 从更新日志映射
ESAOFVerdict event.idm.read_only_udm.security_result.detection_fields 从更新日志映射
ESADLPVerdict event.idm.read_only_udm.security_result.detection_fields 从更新日志映射
ESAMFVerdict event.idm.read_only_udm.security_result.detection_fields 从更新日志映射
ESATLSOutConnStatus event.idm.read_only_udm.security_result.detection_fields 从更新日志映射
host event.idm.read_only_udm.principal.hostname 从更新日志映射
host event.idm.read_only_udm.principal.asset.hostname 从更新日志映射
ts_year event.idm.read_only_udm.metadata.event_timestamp 从更新日志映射
start event.idm.read_only_udm.metadata.event_timestamp 从更新日志映射
src event.idm.read_only_udm.principal.ip 从更新日志映射
src event.idm.read_only_udm.principal.asset.ip 从更新日志映射
shost event.idm.read_only_udm.principal.hostname 从更新日志映射
shost event.idm.read_only_udm.principal.asset.hostname 从更新日志映射
ESAMailFlowPolicy event.idm.read_only_udm.security_result.rule_name 从更新日志映射
ESAAMPVerdict event.idm.read_only_udm.metadata.additional.fields 从更新日志映射
ESAASVerdict event.idm.read_only_udm.metadata.additional.fields 从更新日志映射
ESAAVVerdict event.idm.read_only_udm.metadata.additional.fields 从更新日志映射
ESACFVerdict event.idm.read_only_udm.metadata.additional.fields 从更新日志映射
ESAGMVerdict event.idm.read_only_udm.metadata.additional.fields 从更新日志映射
deviceOutboundInterface event.idm.read_only_udm.metadata.additional.fields 从更新日志映射
end event.idm.read_only_udm.metadata.additional.fields 从更新日志映射
ESAMsgSize event.idm.read_only_udm.metadata.additional.fields 从更新日志映射
cfp1Label event.idm.read_only_udm.metadata.additional.fields 从更新日志映射
cfp1 event.idm.read_only_udm.metadata.additional.fields 从更新日志映射
urls" and "WbrsScore security_result.detection_fields 从更新日志映射
message_id2 network.email.mail_id 从更新日志映射
injection_connection_id network.session_id 从更新日志映射
address_clean network.email.to 从更新日志映射
receiver network.email.to 从更新日志映射
inner_message metadata.description 从更新日志映射
host_msg intermediary.ip 从更新日志映射
host_msg principal.hostname 从更新日志映射
attack security_result.category_details 从更新日志映射
from_user principal.user.user_display_name 从更新日志映射

更新日志

查看此解析器的更新日志

需要更多帮助？获得社区成员和 Google SecOps 专业人士的解答。