Google 會運用 AI 技術將內容翻譯成你偏好的語言，但可能會出錯。

收集 Apache Hadoop 記錄

剖析器版本：3.0

支援：

Google SecOps SIEM

本文說明如何使用 Bindplane 代理程式，將 Apache Hadoop 記錄檔擷取至 Google Security Operations。剖析器會先根據常見的 Hadoop 記錄格式，使用 Grok 模式從原始 Hadoop 記錄中擷取欄位。接著，系統會將擷取的欄位對應至 Unified Data Model (UDM) 結構定義中的對應欄位、執行資料類型轉換，並以其他內容擴充資料。

事前準備

請確認您符合下列必要條件：

Google SecOps 執行個體
搭載 systemd 的 Windows 2016 以上版本或 Linux 主機
如果是在 Proxy 後方執行，請確認防火牆通訊埠已按照 Bindplane 代理程式規定開啟
Apache Hadoop 叢集設定檔的特殊存取權

取得 Bindplane 代理程式的 Google SecOps 憑證

如要向 Google SecOps 驗證 Bindplane 代理程式，請選擇下列其中一種方法：

新部署作業：使用 Chronicle API (選項 1)。
舊版部署作業：在 2027 年 7 月 20 日停用 Ingestion API 前，請繼續使用擷取驗證檔案 (選項 2)。

方法 1：為 Chronicle API 建立服務帳戶 (建議)

登入 Google Cloud 控制台，選取連結至 Google SecOps 執行個體的 Google Cloud 專案。
依序前往「IAM & Admin」(IAM 與管理) >「Service Accounts」(服務帳戶)。
按一下「建立服務帳戶」。
提供下列設定詳細資料：
- 「Service account name」(服務帳戶名稱)：輸入帳戶名稱 (例如 bindplane-ingest)。
- 「服務帳戶說明」：輸入說明 (例如 Bindplane agent log ingestion)。
點按「Create and continue」(建立並繼續)。
在「將專案存取權授予這個服務帳戶」部分，按一下「選取角色」，然後選取「Chronicle 編輯者」。
依序點選「繼續」和「完成」。
按一下您建立的服務帳戶，然後前往「金鑰」分頁。
依序點選「新增金鑰」>「建立新的金鑰」。
選取「JSON」，然後點選「建立」。金鑰檔案會下載到電腦。
將金鑰檔案儲存為 Bindplane 收集器目錄中的 ingestion-auth.json (Linux 上的 /opt/observiq-otel-collector/ingestion-auth.json 或 Windows 上的 C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json)，或更新 config.yaml 中的 creds_file_path，使其與儲存路徑相符。
依序前往「IAM 與管理」>「設定」，然後複製「專案編號」。設定匯出工具時會用到。

方法 2：下載擷取驗證檔案 (舊版)

登入 Google SecOps 控制台。
依序前往「SIEM 設定」>「收集代理程式」。
下載擷取驗證檔案。
將檔案安全地儲存在要安裝 Bindplane 代理程式的系統上。

取得 Google SecOps 客戶 ID

登入 Google SecOps 控制台。
依序前往「SIEM Settings」(SIEM 設定) >「Profile」(設定檔)。
複製並儲存「機構詳細資料」專區中的「客戶 ID」。

安裝 Bindplane 代理程式

請按照下列操作說明，在 Windows 或 Linux 作業系統上安裝 Bindplane 代理程式。

Windows 安裝

以管理員身分開啟命令提示字元或 PowerShell。

執行下列指令：

msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet

Linux 安裝

開啟具有根層級或 sudo 權限的終端機。

執行下列指令：

sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh

其他安裝資源

如需其他安裝選項，請參閱 Bindplane 代理程式安裝指南。

設定 Bindplane 代理程式，擷取系統記錄並傳送至 Google SecOps

存取設定檔：
- 找出 config.yaml 檔案。通常位於 Linux 的 /opt/observiq-otel-collector/ 目錄，或 Windows 的安裝目錄。
- 使用文字編輯器 (例如 nano、vi 或記事本) 開啟檔案。

按照下列方式編輯 config.yaml 檔案：

receivers:
  udplog:
    # Replace the port and IP address as required
    listen_address: "0.0.0.0:514"

exporters:
  chronicle/chronicle_w_labels:
    protocol: https
    # Region of your instance, for example us, europe, asia-southeast1
    location: <LOCATION>
    # Project number of the Google Cloud project linked to the instance
    project: '<PROJECT_NUMBER>'
    compression: gzip
    # Adjust the path to the credentials file you downloaded in Step 1
    creds_file_path: '/path/to/ingestion-authentication-file.json'
    # Replace with your actual customer ID from Step 2
    customer_id: <CUSTOMER_ID>
    endpoint: chronicle.googleapis.com
    # Add optional ingestion labels for better organization
    log_type: 'HADOOP'
    raw_log_field: body
    ingestion_labels:

service:
  pipelines:
    logs/source0__chronicle_w_labels-0:
      receivers:
        - udplog
      exporters:
        - chronicle/chronicle_w_labels

請根據基礎架構需求，替換通訊埠和 IP 位址。
將 <LOCATION> 替換為 Google SecOps 執行個體的區域 (例如 us、europe 或 asia-southeast1)。匯出工具會以這個值做為 chronicle.googleapis.com 的前置字元。
將 <PROJECT_NUMBER> 替換為「IAM 與管理」>「設定」中的專案編號。
將 <CUSTOMER_ID> 替換為實際的客戶 ID。
將 /path/to/ingestion-authentication-file.json 更新為步驟 1 中儲存服務帳戶金鑰檔案 (選項 1) 的檔案路徑。

舊版 Ingestion API 匯出工具

如果您使用方式 2 的擷取驗證檔案，請將 exporters 區塊替換成下列內容。將 creds_file_path 設為擷取驗證檔案的路徑，如果您的執行個體位於美國境外，請將 malachiteingestion-pa.googleapis.com 替換為區域端點 (例如 europe-malachiteingestion-pa.googleapis.com)。

exporters:
  chronicle/chronicle_w_labels:
    compression: gzip
    # Adjust the path to the credentials file you downloaded in Step 1
    creds_file_path: '/path/to/ingestion-authentication-file.json'
    # Replace with your actual customer ID from Step 2
    customer_id: <CUSTOMER_ID>
    endpoint: malachiteingestion-pa.googleapis.com
    # Add optional ingestion labels for better organization
    log_type: 'HADOOP'
    raw_log_field: body
    ingestion_labels:

重新啟動 Bindplane 代理程式，套用變更

如要在 Linux 中重新啟動 Bindplane 代理程式，請執行下列指令：
```
sudo systemctl restart observiq-otel-collector
```
如要在 Windows 重新啟動 Bindplane 代理程式，可以使用「服務」控制台，或輸入下列指令：
```
net stop observiq-otel-collector && net start observiq-otel-collector
```

在 Apache Hadoop 上設定 Syslog 轉送

Apache Hadoop 使用 Log4j 記錄。根據 Log4j 版本設定適當的系統記錄附加程式，讓 Hadoop 守護程序 (NameNode、DataNode、ResourceManager、NodeManager 等) 將記錄直接轉送至系統記錄接收器 (Bindplane 主機)。Log4j 是透過檔案設定 (沒有網頁 UI)。

選項 1：Log4j 1.x 設定

找出 log4j.properties 檔案 (通常位於 $HADOOP_CONF_DIR/log4j.properties)。

在檔案中新增下列 SyslogAppender 設定：

# Syslog appender (UDP example)
log4j.appender.SYSLOG=org.apache.log4j.net.SyslogAppender
log4j.appender.SYSLOG.SyslogHost=<BINDPLANE_HOST_IP>:514
log4j.appender.SYSLOG.Facility=LOCAL0
log4j.appender.SYSLOG.FacilityPrinting=true
log4j.appender.SYSLOG.layout=org.apache.log4j.PatternLayout
log4j.appender.SYSLOG.layout.ConversionPattern=%d{ISO8601} level=%p logger=%c thread=%t msg=%m%n

# Example: send NameNode logs to syslog
log4j.logger.org.apache.hadoop.hdfs.server.namenode=INFO,SYSLOG
log4j.additivity.org.apache.hadoop.hdfs.server.namenode=false

# Or attach to root logger to send all Hadoop logs
# log4j.rootLogger=INFO, SYSLOG

將 <BINDPLANE_HOST_IP> 替換為 Bindplane 主機的 IP 位址。
儲存檔案。
重新啟動 Hadoop Daemon，套用設定變更。

方法 2：Log4j 2.x 設定

找出 log4j2.xml 檔案 (通常位於 $HADOOP_CONF_DIR/log4j2.xml 中)。

在檔案中新增下列 Syslog 附加器設定：

<Configuration status="WARN">
  <Appenders>
    <!-- UDP example; for TCP use protocol="TCP" -->
    <Syslog name="SYSLOG" format="RFC 5424"
            host="<BINDPLANE_HOST_IP>"
            port="514"
            protocol="UDP"
            facility="LOCAL0"
            appName="hadoop"
            enterpriseNumber="18060"
            mdcId="mdc">
      <PatternLayout pattern="%d{ISO8601} level=%p logger=%c thread=%t msg=%m %X%n"/>
    </Syslog>
  </Appenders>

  <Loggers>
    <!-- Send NameNode logs to syslog -->
    <Logger name="org.apache.hadoop.hdfs.server.namenode" level="info" additivity="false">
      <AppenderRef ref="SYSLOG"/>
    </Logger>

    <!-- Or send all Hadoop logs -->
    <Root level="info">
      <AppenderRef ref="SYSLOG"/>
    </Root>
  </Loggers>
</Configuration>

將 <BINDPLANE_HOST_IP> 替換為 Bindplane 主機的 IP 位址。
儲存檔案。
重新啟動 Hadoop Daemon，套用設定變更。

UDM 對應表

記錄欄位	UDM 對應	邏輯
allowed	security_result.action	如果為「false」，動作為「BLOCK」。如果為「true」，動作就是「ALLOW」。
auth_type	additional.fields.key = "auth_type", additional.fields.value.string_value	使用 grok 模式「%{DATA:suser}@.*auth:%{WORD:auth_type}」從「ugi」欄位擷取。括號和「auth:」會移除。
呼叫	additional.fields.key = "Call#", additional.fields.value.string_value	直接對應。
call_context	additional.fields.key = "callerContext", additional.fields.value.string_value	直接對應。
cliIP	principal.ip	只有在「json_data」欄位存在，且成功剖析為 JSON 時，才會對應。
cmd	principal.process.command_line	直接對應。
cluster_name	target.hostname	如果存在，則會做為目標主機名稱。
天	metadata.event_timestamp.seconds	與月、年、時、分和秒搭配使用，可建構 event_timestamp。
說明	metadata.description	直接對應。
駕駛	additional.fields.key = "driver", additional.fields.value.string_value	直接對應。
dst	target.ip 或 target.hostname 或 target.file.full_path	如果成功剖析為 IP，則會對應至目標 IP。如果值開頭為「/user」，則會對應至目標檔案路徑。否則，對應至目標主機名稱。
dstport	target.port	直接對應並轉換為整數。
enforcer	security_result.rule_name	直接對應。
event_count	additional.fields.key = "event_count", additional.fields.value.string_value	直接對應並轉換為字串。
fname	src.file.full_path	直接對應。
小時	metadata.event_timestamp.seconds	與月、日、年、分和秒搭配使用，建構 event_timestamp。
id	additional.fields.key = "id", additional.fields.value.string_value	直接對應。
ip	principal.ip	移除任何開頭的「/」字元後，對應至主體 IP。
json_data		剖析為 JSON。擷取的欄位會對應至相應的 UDM 欄位。
logType	additional.fields.key = "logType", additional.fields.value.string_value	直接對應。
訊息		用於使用 grok 模式擷取各種欄位。
方法	network.http.method	直接對應。
分鐘	metadata.event_timestamp.seconds	與月、日、年、時和秒搭配使用，可建構 event_timestamp。
月	metadata.event_timestamp.seconds	與日、年、時、分和秒搭配使用，可建構 event_timestamp。
觀察者	observer.hostname OR observer.ip	如果成功剖析為 IP，則會對應至觀察者 IP。否則會對應至觀察者主機名稱。
perm	additional.fields.key = "perm", additional.fields.value.string_value	直接對應。
政策	security_result.rule_id	直接對應並轉換為字串。
產品	metadata.product_name	直接對應。
product_event	metadata.product_event_type	直接對應。如果是「rename」，「dst」欄位會對應至「target.file.full_path」。
proto	network.application_protocol	如果不是「webhdfs」，則會直接對應並轉換為大寫。
reason	security_result.summary	直接對應。
存放區	additional.fields.key = "repo", additional.fields.value.string_value	直接對應。
resType	additional.fields.key = "resType", additional.fields.value.string_value	直接對應。
結果	additional.fields.key = "result", additional.fields.value.string_value	直接對應並轉換為字串。
重試	additional.fields.key = "Retry#", additional.fields.value.string_value	直接對應。
秒	metadata.event_timestamp.seconds	與月、日、年、時和分搭配使用，可建構 event_timestamp。
seq_num	additional.fields.key = "seq_num", additional.fields.value.string_value	直接對應並轉換為字串。
嚴重性	security_result.severity	根據值對應至不同的嚴重性等級：「INFO」、「Info」、「info」->「INFORMATIONAL」；「Low」、「low」、「LOW」->「LOW」；「error」、「Error」、「WARN」、「Warn」->「MEDIUM」；「High」、「high」、「HIGH」->「HIGH」；「Critical」、「critical」、「CRITICAL」->「CRITICAL」。
shost	principal.hostname	如果與「src」不同，則做為主要主機名稱。
src	principal.ip OR principal.hostname OR observer.ip	如果成功剖析為 IP，則會對應至主體和觀察者 IP。否則會對應至主體主機名稱。
srcport	principal.port	直接對應並轉換為整數。
摘要	security_result.summary	直接對應。
suser	principal.user.userid	直接對應。
標記	additional.fields.key = "tags", additional.fields.value.string_value	直接對應。
討論串	additional.fields.key = "thread", additional.fields.value.string_value	直接對應。
提示	target.ip	直接對應。
ugi	target.hostname	如果「log_data」欄位不含「·」，則做為目標主機名稱。
網址	target.url	直接對應。
vendor	metadata.vendor_name	直接對應。
版本	metadata.product_version	直接對應。
年	metadata.event_timestamp.seconds	與月、日、時、分和秒搭配使用，建構 event_timestamp。
不適用	metadata.event_type	預設為「NETWORK_CONNECTION」。如果未找到目標，則會變更為「STATUS_UPDATE」。
不適用	metadata.log_type	設為「HADOOP」。
不適用	security_result.alert_state	如果嚴重性為「HIGH」或「CRITICAL」，請設為「ALERTING」。
不適用	is_alert	如果嚴重程度為「HIGH」或「CRITICAL」，請設為「true」。
不適用	is_significant	如果嚴重程度為「HIGH」或「CRITICAL」，請設為「true」。

變更記錄

查看這個剖析器的變更記錄

還有其他問題嗎？向社群成員和 Google SecOps 專業人員尋求解答。