收集 Fastly 新一代 WAF (舊稱 Signal Sciences) 記錄

支援：

本文說明如何使用 Google Cloud Storage V2，將 Fastly 新一代 WAF (舊稱 Signal Sciences) 記錄擷取至 Google Security Operations。

Fastly 新一代 WAF 是雲端式網頁應用程式防火牆，可即時偵測及封鎖網頁應用程式、API 和微服務的威脅。這項服務會使用訊號式方法，識別並減輕 SQL 注入、跨網站指令碼攻擊、帳戶入侵和濫用應用程式等攻擊。Signal Sciences REST API 可讓您透過程式輔助方式存取要求動態饋給資料，其中包含已標記和已封鎖要求的詳細資訊。

事前準備

請確認您已完成下列事前準備事項：

  • Google SecOps 執行個體
  • 已啟用 Cloud Storage API 的 GCP 專案
  • 建立及管理 GCS bucket 的權限
  • 管理 GCS bucket IAM 政策的權限
  • 建立 Cloud Run 服務、Pub/Sub 主題和 Cloud Scheduler 工作所需的權限
  • 具備 API 存取權限，可存取 Fastly Next-Gen WAF 資訊主頁
  • Fastly 新一代 WAF 帳戶，其中包含公司名稱和至少一個已設定的網站

建立 Google Cloud Storage bucket

  1. 前往 Google Cloud 控制台。
  2. 選取專案或建立新專案。
  3. 在導覽選單中，依序前往「Cloud Storage」>「Bucket」。
  4. 按一下「建立值區」。

  5. 提供下列設定詳細資料：

    設定 值
    為 bucket 命名 輸入全域不重複的名稱 (例如 sigsci-waf-logs)
    位置類型 請根據需求選擇 (單一區域、雙區域、多區域)
    位置 選取位置 (例如 us-central1)
    儲存空間級別 標準 (建議用於經常存取的記錄)
    存取控管 統一 (建議)
    保護工具 選用：啟用物件版本管理或保留政策

  6. 點選「建立」。

收集 Fastly Next-Gen WAF API 憑證

取得 API 存取權杖

  1. 登入 Fastly Next-Gen WAF 資訊主頁。
  2. 按一下右上角的帳號名稱，然後選取「我的個人資料」。
  3. 前往「API Access Tokens」(API 存取權杖)。
  4. 按一下「新增 API 存取權杖」。
  5. 輸入權杖的描述性名稱 (例如 Google SecOps Integration)。
  6. 按一下「建立 API 存取權杖」。

  7. 複製下列詳細資料並存放在安全位置：

    • API 權杖：產生的權杖值 (只會顯示一次)
    • 電子郵件地址：用於驗證的帳戶電子郵件地址

取得公司和網站名稱

  1. 登入 Fastly Next-Gen WAF 資訊主頁。
  2. 依序點選「管理」「公司」「公司總覽」。
  3. 記下頁面顯示的「公司簡短名稱」 (例如 my_corp)。
  4. 依序前往「管理」> 網站。
  5. 請記下要收集記錄檔的網站網站簡稱 (例如 my_site)。

驗證權限

如要確認帳戶是否具備必要權限，請按照下列步驟操作：

  1. 登入 Fastly Next-Gen WAF 資訊主頁。
  2. 依序前往「管理」>「公司」>「公司使用者」。
  3. 在清單中找出您的使用者帳戶。
  4. 確認您的角色是「管理員」、「擁有者」或「觀察員」。這些角色具備必要的 API 存取權，可擷取要求動態饋給資料。
  5. 如果您的角色沒有 API 存取權，請與 Fastly Next-Gen WAF 管理員聯絡，請對方授予適當的角色。

測試 API 存取權

  • 請先測試憑證，再繼續進行整合：

    # Replace with your actual credentials
SIGSCI_EMAIL="your-email@example.com"
SIGSCI_TOKEN="your-api-token"
SIGSCI_CORP="your-corp-name"
SIGSCI_SITE="your-site-name"

# Test API access - get site overview
curl -v \
  -H "x-api-user:${SIGSCI_EMAIL}" \
  -H "x-api-token:${SIGSCI_TOKEN}" \
  "[https://dashboard.signalsciences.net/api/v0/corps/$](https://dashboard.signalsciences.net/api/v0/corps/$){SIGSCI_CORP}/sites/${SIGSCI_SITE}"

為 Cloud Run 函式建立服務帳戶

Cloud Run 函式需要服務帳戶，並具備寫入 GCS bucket 的權限，且可由 Pub/Sub 叫用。

建立服務帳戶

  1. 在 GCP 控制台中，依序前往「IAM & Admin」(IAM 與管理) >「Service Accounts」(服務帳戶)。
  2. 按一下「Create Service Account」(建立服務帳戶)。

  3. 提供下列設定詳細資料：

    • 服務帳戶名稱：輸入 sigsci-waf-collector-sa
    • 服務帳戶說明：輸入 Service account for Cloud Run function to collect Fastly Next-Gen WAF logs

  4. 按一下「建立並繼續」。

  5. 在「將專案存取權授予這個服務帳戶」部分，新增下列角色：

    1. 按一下「請選擇角色」。
    2. 搜尋並選取「Storage 物件管理員」。
    3. 點選「+ 新增其他角色」。
    4. 搜尋並選取「Cloud Run Invoker」。
    5. 點選「+ 新增其他角色」。
    6. 搜尋並選取「Cloud Functions Invoker」(Cloud Functions 叫用者)。

  6. 按一下「繼續」。

  7. 按一下「完成」。

這些角色適用於：

  • Storage 物件管理員：將記錄檔寫入 GCS bucket 並管理狀態檔案
  • Cloud Run 叫用者：允許 Pub/Sub 叫用函式
  • Cloud Functions 叫用者：允許叫用函式

授予 GCS bucket 的 IAM 權限

將 GCS bucket 的寫入權限授予服務帳戶：

  1. 依序前往「Cloud Storage」>「Buckets」。
  2. 點按 bucket 名稱 (例如 sigsci-waf-logs)。
  3. 前往「權限」分頁。
  4. 按一下「授予存取權」。

  5. 提供下列設定詳細資料：

    • 新增主體：輸入服務帳戶電子郵件地址 (例如 sigsci-waf-collector-sa@PROJECT_ID.iam.gserviceaccount.com)
    • 指派角色：選取「Storage 物件管理員」

  6. 按一下 [儲存]。

建立 Pub/Sub 主題

建立 Pub/Sub 主題，供 Cloud Scheduler 發布訊息，以及 Cloud Run 函式訂閱訊息。

  1. 在 GCP 控制台中，前往「Pub/Sub」>「主題」。
  2. 按一下「建立主題」。

  3. 提供下列設定詳細資料：

    • 主題 ID：輸入 sigsci-waf-logs-trigger
    • 其他設定保留預設值

  4. 點選「建立」。

建立 Cloud Run 函式來收集記錄

Cloud Scheduler 的 Pub/Sub 訊息會觸發 Cloud Run 函式，從 Fastly 新一代 WAF API 擷取要求動態饋給資料，並將記錄寫入 GCS。

  1. 前往 GCP 控制台的「Cloud Run」。
  2. 按一下「Create service」(建立服務)。
  3. 選取「函式」 (使用內嵌編輯器建立函式)。

  4. 在「設定」部分，提供下列設定詳細資料：

    設定 值
    服務名稱 sigsci-waf-collector
    區域 選取與 GCS bucket 相符的區域 (例如 us-central1)
    執行階段 選取 Python 3.12 以上版本

  5. 在「觸發條件 (選用)」部分：

    1. 按一下「+ 新增觸發條件」。
    2. 選取「Cloud Pub/Sub」。
    3. 在「Select a Cloud Pub/Sub topic」(選取 Cloud Pub/Sub 主題) 中，選擇主題 sigsci-waf-logs-trigger。
    4. 按一下 [儲存]。

  6. 在「Authentication」(驗證) 部分：

    1. 選取「需要驗證」。
    2. 檢查 Identity and Access Management (IAM)。

  7. 向下捲動並展開「容器、網路、安全性」。

  8. 前往「安全性」分頁標籤：

    • 服務帳戶：選取服務帳戶 sigsci-waf-collector-sa。

  9. 前往「容器」分頁：

    1. 按一下「變數與密鑰」。
    2. 針對每個環境變數，按一下「+ 新增變數」：
    變數名稱 範例值 說明
    GCS_BUCKET sigsci-waf-logs GCS bucket 名稱
    GCS_PREFIX sigsci-waf 記錄檔的前置字串
    STATE_KEY sigsci-waf/state.json 狀態檔案路徑
    SIGSCI_EMAIL your-email@example.com Signal Sciences API 電子郵件地址
    SIGSCI_TOKEN your-api-token Signal Sciences API 權杖
    SIGSCI_CORP your-corp-name Signal Sciences 公司簡稱
    SIGSCI_SITE your-site-name Signal Sciences 網站簡稱
    MAX_RECORDS 10000 每次執行的記錄數上限
    PAGE_SIZE 1000 每頁記錄數 (最多 1000 筆)
    LOOKBACK_HOURS 24 初始回溯期

  10. 在「變數與密鑰」部分，向下捲動至「要求」：

    • 要求逾時：輸入 600 秒 (10 分鐘)

  11. 前往「設定」分頁：

    • 在「資源」部分：
      • 記憶體：選取 512 MiB 以上
      • CPU：選取 1

  12. 在「修訂版本資源調度」部分：

    • 執行個體數量下限：輸入 0
    • 「執行個體數量上限」：輸入 100 (或依預期負載調整)

  13. 點選「建立」。

  14. 等待服務建立完成 (1 到 2 分鐘)。

  15. 服務建立完成後，系統會自動開啟內嵌程式碼編輯器。

新增函式程式碼

  1. 在「進入點」欄位中輸入 main。

  2. 在內嵌程式碼編輯器中，建立兩個檔案：

    • main.py:
    import functions_framework
from google.cloud import storage
import json
import os
import urllib3
from datetime import datetime, timezone, timedelta
import time

# Initialize HTTP client with timeouts
http = urllib3.PoolManager(
  timeout=urllib3.Timeout(connect=5.0, read=30.0),
  retries=False,
)

# Initialize Storage client
storage_client = storage.Client()

# Environment variables
GCS_BUCKET = os.environ.get('GCS_BUCKET')
GCS_PREFIX = os.environ.get('GCS_PREFIX', 'sigsci-waf')
STATE_KEY = os.environ.get('STATE_KEY', 'sigsci-waf/state.json')
SIGSCI_EMAIL = os.environ.get('SIGSCI_EMAIL')
SIGSCI_TOKEN = os.environ.get('SIGSCI_TOKEN')
SIGSCI_CORP = os.environ.get('SIGSCI_CORP')
SIGSCI_SITE = os.environ.get('SIGSCI_SITE')
MAX_RECORDS = int(os.environ.get('MAX_RECORDS', '10000'))
PAGE_SIZE = int(os.environ.get('PAGE_SIZE', '1000'))
LOOKBACK_HOURS = int(os.environ.get('LOOKBACK_HOURS', '24'))

# Signal Sciences API base URL
API_BASE = '[https://dashboard.signalsciences.net/api/v0](https://dashboard.signalsciences.net/api/v0)'

@functions_framework.cloud_event
def main(cloud_event):
  """
  Cloud Run function triggered by Pub/Sub to fetch Fastly Next-Gen WAF
  request feed data and write to GCS.

  Args:
    cloud_event: CloudEvent object containing Pub/Sub message
  """

  if not all([GCS_BUCKET, SIGSCI_EMAIL, SIGSCI_TOKEN, SIGSCI_CORP, SIGSCI_SITE]):
    print('Error: Missing required environment variables')
    return

  try:
    bucket = storage_client.bucket(GCS_BUCKET)

    # Load state
    state = load_state(bucket, STATE_KEY)

    # Determine time window
    now = datetime.now(timezone.utc)
    last_time = None

    if isinstance(state, dict) and state.get("last_event_time"):
      try:
        last_time = datetime.fromisoformat(state["last_event_time"])
        # Overlap by 2 minutes to catch any delayed events
        last_time = last_time - timedelta(minutes=2)
      except Exception as e:
        print(f"Warning: Could not parse last_event_time: {e}")

    if last_time is None:
      last_time = now - timedelta(hours=LOOKBACK_HOURS)

    # Convert to Unix epoch seconds (Signal Sciences API uses seconds)
    from_epoch = int(last_time.timestamp())
    until_epoch = int(now.timestamp())

    print(f"Fetching request feed from {last_time.isoformat()} to {now.isoformat()}")
    print(f"Corp: {SIGSCI_CORP}, Site: {SIGSCI_SITE}")

    # Fetch request feed
    records, newest_event_time = fetch_request_feed(
      corp=SIGSCI_CORP,
      site=SIGSCI_SITE,
      from_epoch=from_epoch,
      until_epoch=until_epoch,
      page_size=PAGE_SIZE,
      max_records=MAX_RECORDS,
    )

    if not records:
      print("No new request feed records found.")
      save_state(bucket, STATE_KEY, now.isoformat())
      return

    # Write to GCS as NDJSON
    timestamp = now.strftime('%Y%m%d_%H%M%S')
    object_key = f"{GCS_PREFIX}/logs_{timestamp}.ndjson"
    blob = bucket.blob(object_key)

    ndjson = '\n'.join([json.dumps(record, ensure_ascii=False) for record in records]) + '\n'
    blob.upload_from_string(ndjson, content_type='application/x-ndjson')

    print(f"Wrote {len(records)} records to gs://{GCS_BUCKET}/{object_key}")

    # Update state with newest event time
    if newest_event_time:
      save_state(bucket, STATE_KEY, newest_event_time)
    else:
      save_state(bucket, STATE_KEY, now.isoformat())

    print(f"Successfully processed {len(records)} records")

  except Exception as e:
    print(f'Error processing logs: {str(e)}')
    raise

def load_state(bucket, key):
  """Load state from GCS."""
  try:
    blob = bucket.blob(key)
    if blob.exists():
      state_data = blob.download_as_text()
      return json.loads(state_data)
  except Exception as e:
    print(f"Warning: Could not load state: {e}")

  return {}

def save_state(bucket, key, last_event_time_iso: str):
  """Save the last event timestamp to GCS state file."""
  try:
    state = {'last_event_time': last_event_time_iso}
    blob = bucket.blob(key)
    blob.upload_from_string(
      json.dumps(state, indent=2),
      content_type='application/json'
    )
    print(f"Saved state: last_event_time={last_event_time_iso}")
  except Exception as e:
    print(f"Warning: Could not save state: {e}")

def fetch_request_feed(corp: str, site: str, from_epoch: int, until_epoch: int, page_size: int, max_records: int):
  """
  Fetch request feed from Fastly Next-Gen WAF (Signal Sciences) API
  with cursor-based pagination and rate limiting.

  Args:
    corp: Signal Sciences corp short name
    site: Signal Sciences site short name
    from_epoch: Start time as Unix epoch seconds
    until_epoch: End time as Unix epoch seconds
    page_size: Number of records per page (max 1000)
    max_records: Maximum total records to fetch (max 10000)

  Returns:
    Tuple of (records list, newest_event_time ISO string)
  """
  headers = {
    'x-api-user': SIGSCI_EMAIL,
    'x-api-token': SIGSCI_TOKEN,
    'Accept': 'application/json',
    'User-Agent': 'GoogleSecOps-SignalSciencesWAFCollector/1.0'
  }

  records = []
  newest_time = None
  page_num = 0
  backoff = 1.0

  # Initial URL with time range parameters
  url = f"{API_BASE}/corps/{corp}/sites/{site}/feed/requests?from={from_epoch}&until={until_epoch}&limit={min(page_size, 1000)}"

  while url:
    page_num += 1

    if len(records) >= max_records:
      print(f"Reached max_records limit ({max_records})")
      break

    try:
      response = http.request('GET', url, headers=headers)

      # Handle rate limiting with exponential backoff
      if response.status == 429:
        retry_after = int(response.headers.get('Retry-After', str(int(backoff))))
        print(f"Rate limited (429). Retrying after {retry_after}s...")
        time.sleep(retry_after)
        backoff = min(backoff * 2, 30.0)
        continue

      backoff = 1.0

      if response.status != 200:
        print(f"HTTP Error: {response.status}")
        response_text = response.data.decode('utf-8')
        print(f"Response body: {response_text}")
        return [], None

      data = json.loads(response.data.decode('utf-8'))

      page_results = data.get('data', [])

      if not page_results:
        print(f"No more results (empty page)")
        break

      print(f"Page {page_num}: Retrieved {len(page_results)} events")
      records.extend(page_results)

      # Track newest event time
      for event in page_results:
        try:
          event_timestamp = event.get('timestamp')
          if event_timestamp:
            event_dt = datetime.fromtimestamp(event_timestamp, tz=timezone.utc)
            event_time = event_dt.isoformat()
            if newest_time is None or event_dt > datetime.fromisoformat(newest_time):
              newest_time = event_time
        except Exception as e:
          print(f"Warning: Could not parse event time: {e}")

      # Cursor-based pagination using next URI
      next_url = data.get('next', {}).get('uri', '')
      if next_url:
        url = f"[https://dashboard.signalsciences.net](https://dashboard.signalsciences.net){next_url}"
      else:
        print("No more pages (no next cursor)")
        break

    except Exception as e:
      print(f"Error fetching request feed: {e}")
      return [], None

  print(f"Retrieved {len(records)} total records from {page_num} pages")
  return records, newest_time
    • requirements.txt:
    functions-framework==3.*
google-cloud-storage==2.*
urllib3>=2.0.0

  3. 按一下「部署」，即可儲存並部署函式。

  4. 等待部署作業完成 (2 到 3 分鐘)。

建立 Cloud Scheduler 工作

Cloud Scheduler 會定期將訊息發布至 Pub/Sub 主題，觸發 Cloud Run 函式。

  1. 前往 GCP 控制台中的「Cloud Scheduler」。
  2. 點選「建立工作」。

  3. 提供下列設定詳細資料：

    設定 值
    名稱 sigsci-waf-collector-hourly
    區域 選取與 Cloud Run 函式相同的區域
    頻率 0 * * * * (每小時整點)
    時區 選取時區 (建議選取世界標準時間)
    目標類型 Pub/Sub
    主題 選取主題「sigsci-waf-logs-trigger」
    郵件內文 {} (空白 JSON 物件)

  4. 點選「建立」。

排程頻率選項

請根據記錄量和延遲時間需求選擇頻率：

頻率 Cron 運算式 用途
每 5 分鐘 */5 * * * * 高容量、低延遲
每 15 分鐘 */15 * * * * 中等音量
每小時 0 * * * * 標準 (建議)
每 6 小時 0 */6 * * * 低量、批次處理
每天 0 0 * * * 歷來資料集合

測試整合

  1. 在 Cloud Scheduler 控制台中找到工作。
  2. 按一下「強制執行」，手動觸發工作。
  3. 稍等幾秒鐘。
  4. 前往「Cloud Run」>「服務」。
  5. 按一下 sigsci-waf-collector。
  6. 點選「記錄」分頁標籤。

  7. 確認函式是否執行成功。尋找：

    Fetching request feed from YYYY-MM-DDTHH:MM:SS+00:00 to YYYY-MM-DDTHH:MM:SS+00:00
Corp: my_corp, Site: my_site
Page 1: Retrieved X events
Wrote X records to gs://sigsci-waf-logs/sigsci-waf/logs_YYYYMMDD_HHMMSS.ndjson
Successfully processed X records

  8. 依序前往「Cloud Storage」>「Buckets」。

  9. 點選 bucket 名稱 (sigsci-waf-logs)。

  10. 前往 sigsci-waf/ 資料夾。

  11. 確認是否已建立含有目前時間戳記的新 .ndjson 檔案。

如果記錄中顯示錯誤：

  • HTTP 401：檢查環境變數中的 API 電子郵件和權杖
  • HTTP 403：確認帳戶在 Fastly Next-Gen WAF 資訊主頁中具有管理員、擁有者或觀察員角色
  • HTTP 429：頻率限制 - 函式會自動重試並延遲
  • 缺少環境變數：檢查是否已設定所有必要變數

在 Google SecOps 中設定動態饋給，擷取 Fastly Next-Gen WAF 記錄

  1. 依序前往 「SIEM 設定」 > 「動態饋給」。
  2. 按一下「新增動態饋給」。
  3. 按一下「設定單一動態饋給」。
  4. 在「Feed name」(動態饋給名稱) 欄位中，輸入動態饋給名稱 (例如 Signal Sciences WAF Logs)。
  5. 選取「Google Cloud Storage V2」做為「來源類型」。
  6. 選取「Signal Sciences WAF」做為「記錄類型」。

  7. 按一下「取得服務帳戶」。系統會顯示專屬服務帳戶電子郵件地址，例如：

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com

  8. 複製這個電子郵件地址。

  9. 點選「下一步」。

  10. 指定下列輸入參數的值：

    • 儲存空間 bucket 網址：輸入 GCS bucket URI，並加上前置路徑：

      gs://sigsci-waf-logs/sigsci-waf/
      • 取代：
        • sigsci-waf-logs：您的 GCS bucket 名稱。
        • sigsci-waf：儲存記錄的選用前置字元/資料夾路徑 (如為根目錄，請留空)。

    • 來源刪除選項：根據偏好選取刪除選項：

      • Never：轉移後一律不刪除任何檔案 (建議用於測試)。
      • 刪除已轉移的檔案：成功轉移檔案後刪除檔案。

      • 刪除已轉移的檔案和空白目錄：成功轉移檔案後，刪除檔案和空白目錄。

    • 檔案存在時間上限：納入在過去天數內修改的檔案 (預設為 180 天)

    • 資產命名空間：資產命名空間

    • 擷取標籤：要套用至這個動態饋給事件的標籤

  11. 點選「下一步」。

  12. 在「Finalize」(完成) 畫面中檢查新的動態饋給設定，然後按一下「Submit」(提交)。

將 IAM 權限授予 Google SecOps 服務帳戶

Google SecOps 服務帳戶必須具備 GCS bucket 的 Storage 物件檢視者角色。

  1. 依序前往「Cloud Storage」>「Buckets」(值區)。
  2. 點按 bucket 名稱。
  3. 前往「權限」分頁標籤。
  4. 按一下「授予存取權」。

  5. 提供下列設定詳細資料：

    • 新增主體：貼上 Google SecOps 服務帳戶電子郵件地址
    • 指派角色：選取「Storage 物件檢視者」

  6. 按一下 [儲存]。

UDM 對應表

記錄欄位 UDM 對應 邏輯
metadata.event_type 設為「NETWORK_HTTP」
metadata.vendor_name 設為「Signal Sciences」
metadata.product_name 設為「WAF」
id metadata.product_log_id 直接複製值
時間戳記 metadata.event_timestamp 從 Unix Epoch 紀元時間 (以秒為單位) 轉換
remoteIP principal.ip 直接複製值
remoteHostname principal.hostname 直接複製值
remoteCountryCode principal.location.country_or_region 直接複製值
serverHostname target.hostname 直接複製值
serverName target.asset.hostname 直接複製值
方法 network.http.method 直接複製值
通訊協定 network.application_protocol 直接複製值
路徑 target.url 直接複製值
uri network.http.referral_url 直接複製值
userAgent network.http.user_agent 直接複製值
responseCode network.http.response_code 已轉換為整數
responseSize network.received_bytes 已轉換為不帶正負號的整數
responseMillis additional.fields 對應為 response_millis 標籤
標記 security_result.category_details 對應至類別的標記物件陣列
headersIn additional.fields 要求標頭會對應為鍵/值組合
headersOut additional.fields 以鍵/值組合形式對應的回應標頭
created metadata.timestamp 從變更記錄對應
eventType metadata.product_event_type 從變更記錄對應
message_data metadata.description 從變更記錄對應
username target.user.user_display_name 從變更記錄對應
userid target.user.userid 從變更記錄對應
attachments.Fields.Title" , "attachments.Fields.Value metadata.ingestion_labels 從變更記錄對應
msgData.detailLink network.http.referral_url 從變更記錄對應
msgData.name target.resource.name 從變更記錄對應
msgData.changes target.resource.attribute.labels 從變更記錄對應
msgData.reason security_result.summary 從變更記錄對應
msgData.conditions security_result.description 從變更記錄對應
msgData.sites network.http.user_agent 從變更記錄對應

變更記錄

查看這個剖析器的變更記錄

還有其他問題嗎？向社群成員和 Google SecOps 專家尋求解答。