收集 Akamai DataStream 2 日志

解析器版本:2.0

支持的平台:

本文档介绍了如何使用 Amazon S3 将 Akamai DataStream 2 日志注入到 Google Security Operations。

Akamai DataStream 2 可从 Akamai Intelligent Edge Platform 捕获性能和安全日志,并近乎实时地将其传送到您选择的目标位置。您可以使用 DataStream 2 监控、调试和分析 Akamai 媒体资源中的 CDN 和安全事件。

准备工作

请确保满足以下前提条件:

  • Google SecOps 实例。
  • Akamai Control Center 具有 DataStream 2 配置权限的特权访问权限。
  • AWS(S3、IAM)的特权访问权限。

为 Google SecOps 配置 AWS S3 存储桶和 IAM

  1. 按照以下用户指南创建 Amazon S3 存储桶创建存储桶
  2. 保存存储桶名称区域以供日后参考(例如 akamai-datastream2-logs)。
  3. 按照以下用户指南创建用户创建 IAM 用户
  4. 选择创建的用户
  5. 选择安全凭据标签页。
  6. 访问密钥部分中,点击创建访问密钥
  7. 选择第三方服务作为使用情形
  8. 点击下一步
  9. 可选:添加说明标记。
  10. 点击创建访问密钥
  11. 点击下载 .csv 文件以保存访问密钥密钥,供日后参考。
  12. 点击完成
  13. 选择权限标签页。
  14. 权限政策部分中,点击添加权限
  15. 选择添加权限
  16. 选择直接附加政策
  17. 搜索 AmazonS3FullAccess 政策。
  18. 选择相应政策。
  19. 点击下一步
  20. 点击添加权限

为 Akamai S3 上传配置 IAM 政策

  1. 在 AWS 控制台中,依次前往 IAM > 政策 > 创建政策 > JSON 标签页
  2. 复制并粘贴以下政策。
  3. 政策 JSON(如果您使用了其他存储桶名称,请替换 akamai-datastream2-logs):

    {
      "Version": "2012-10-17",
      "Statement": [
        {
          "Sid": "AllowAkamaiDataStreamWrite",
          "Effect": "Allow",
          "Action": [
            "s3:PutObject",
            "s3:GetObject",
            "s3:ListBucket"
          ],
          "Resource": [
            "arn:aws:s3:::akamai-datastream2-logs",
            "arn:aws:s3:::akamai-datastream2-logs/*"
          ]
        }
      ]
    }
    
  4. 点击下一步

  5. 输入政策名称(例如 AkamaiDataStreamS3Policy)。

  6. 点击创建政策

  7. 依次前往 IAM > 用户 > 创建用户

  8. 输入用户名(例如 akamai-datastream-writer)。

  9. 点击下一步

  10. 选择直接附加政策

  11. 搜索并选择上文中创建的政策。

  12. 依次点击下一步 > 创建用户

  13. 选择创建的用户,然后依次前往安全凭据 > 创建访问密钥

  14. 选择第三方服务作为用例,然后依次点击下一步 > 创建访问密钥

  15. 点击下载 .csv 文件,以保存 Akamai DataStream 2 配置的访问密钥 ID私有访问密钥

配置 Akamai DataStream 2 以将日志传送到 Amazon S3

  1. 登录 Akamai 控制中心
  2. 前往 DataStream 2
  3. 点击创建数据流
  4. 选择适合您媒体资源的日志类型(例如投放Edge DNSGTM)。
  5. 数据集中,选择所需的字段。除非有特殊需求,否则请保留默认值。
  6. 前往目标位置,然后选择 Amazon S3
  7. 填写 S3 目标详细信息:
    • 名称:为目的地输入一个描述性标签(例如 SIEM S3 Destination)。
    • 存储桶:输入您的 S3 存储桶名称(例如 akamai-datastream2-logs)。
    • 文件夹路径:输入文件夹路径(例如 datastream2/logs/)。支持时间戳等动态变量。
    • 区域:选择与您的 S3 存储桶匹配的 AWS 区域。
    • 访问密钥 ID:输入为 Akamai 创建的 IAM 用户的访问密钥 ID。
    • 私有访问密钥:输入为 Akamai 创建的 IAM 用户的私有访问密钥。
  8. 点击验证并保存

  9. 可选:在投放选项中,配置以下内容:

    • 推送频次:选择 30 秒60 秒
    • 文件名前缀后缀:根据需要自定义。避免在前缀中使用 .
  10. 依次点击下一步 > 激活

(可选)为 Google SecOps 创建只读 IAM 用户

如果您希望使用单独的拥有只读权限的用户供 Google SecOps 注入日志,请执行以下操作:

  1. 依次前往 AWS 控制台 > IAM > 政策 > 创建政策 > JSON 标签页
  2. 复制并粘贴以下政策(如果您使用了其他存储桶名称,请替换 akamai-datastream2-logs):

    {
      "Version": "2012-10-17",
      "Statement": [
        {
          "Effect": "Allow",
          "Action": [
            "s3:GetObject"
          ],
          "Resource": "arn:aws:s3:::akamai-datastream2-logs/*"
        },
        {
          "Effect": "Allow",
          "Action": [
            "s3:ListBucket"
          ],
          "Resource": "arn:aws:s3:::akamai-datastream2-logs"
        }
      ]
    }
    
  3. 点击下一步

  4. 输入政策名称(例如 secops-reader-policy)。

  5. 点击创建政策

  6. 依次前往 IAM > 用户 > 创建用户

  7. 输入用户名(例如 secops-reader)。

  8. 点击下一步

  9. 选择 Attach policies directly,然后选择上面创建的政策。

  10. 依次点击下一步 > 创建用户

  11. 选择创建的用户,然后依次前往安全凭据 > 创建访问密钥

  12. 选择第三方服务作为用例,然后依次点击下一步 > 创建访问密钥

  13. 点击下载 .csv 文件,以保存 Google SecOps Feed 配置的访问密钥 ID私有访问密钥

在 Google SecOps 中配置 Feed 以注入 Akamai DataStream 2 日志

  1. 依次前往 SIEM 设置 > Feed
  2. 点击添加新 Feed
  3. 在下一页上,点击配置单个 Feed
  4. Feed 名称输入一个唯一名称(例如 Akamai DataStream 2 Logs)。
  5. 选择 Amazon S3 V2 作为来源类型
  6. 选择 Akamai DataStream 2 作为日志类型
  7. 点击下一步,然后点击提交
  8. 为以下字段指定值:

    • S3 URIs3://akamai-datastream2-logs/datastream2/logs/
    • 源删除选项:根据您的偏好选择删除选项。
    • 文件存在时间上限:包含在过去指定天数内修改的文件(默认值为 180 天)。
    • 访问密钥 ID:有权访问 S3 存储桶的用户访问密钥。
    • 私有访问密钥:有权访问 S3 存储桶的用户私有密钥。
    • 资产命名空间资产命名空间
    • 注入标签:要应用于此 Feed 中事件的标签。
  9. 点击下一步,然后点击提交

UDM 映射表

日志字段 UDM 映射 逻辑
billingRegion_label additional.fields 已合并
bytes_label additional.fields 已合并
cache_status_label additional.fields 已合并
customfield_label additional.fields 已合并
errorCode_label additional.fields 已合并
error_code_label additional.fields 已合并
fileSizeBucket_label additional.fields 已合并
jsonPayload_cookie_label additional.fields 已合并
jsonPayload_cp_label additional.fields 已合并
jsonPayload_overheadbytes_label additional.fields 已合并
objSize_label additional.fields 已合并
objsize_label additional.fields 已合并
overheadBytes_label additional.fields 已合并
rspContentLen_label additional.fields 已合并
rspcontentlen_label additional.fields 已合并
trace_label additional.fields 已合并
transferTimeMSec_label additional.fields 已合并
turnAroundTimeMSec_label additional.fields 已合并
has_principal metadata.event_type 已映射:trueNETWORK_HTTPtrueNETWORK_CONNECTIONtrueSTATUS_UPDATE
has_user metadata.event_type 已映射:trueUSER_UNCATEGORIZED
insertId metadata.product_log_id 直接映射
proto_type network.application_protocol 直接映射
jsonPayload.reqmethod network.http.method 直接映射
reqMethod network.http.method 直接映射
jsonPayload_referer network.http.referral_url 直接映射
jsonPayload.statuscode network.http.response_code 直接映射
statusCode network.http.response_code 直接映射
UA network.http.user_agent 直接映射
jsonPayload.ua network.http.user_agent 直接映射
jsonPayload.reqid network.session_id 直接映射
reqId network.session_id 直接映射
jsonPayload.tlsversion network.tls.version 直接映射
tlsVersion network.tls.version 直接映射
version network.tls.version_protocol 直接映射
cliIP principal.asset.ip 已合并
jsonPayload.cliip principal.asset.ip 已合并
cliIP principal.ip 已合并
jsonPayload.cliip principal.ip 已合并
jsonPayload.city principal.location.city 直接映射
jsonPayload.country principal.location.country_or_region 直接映射
jsonPayload.totalbytes principal.network.received_bytes 已重命名/已映射
totalBytes principal.network.received_bytes 直接映射
logName security_result.category_details 已合并
asn_label security_result.detection_fields 已合并
querystr_label security_result.detection_fields 已合并
securityrules_label security_result.detection_fields 已合并
service_name_label security_result.detection_fields 已合并
jsonPayload.reqhost target.asset.hostname 直接映射
jsonPayload.reqpath target.file.full_path 直接映射
reqPath target.file.full_path 直接映射
jsonPayload.rspcontenttype target.file.mime_type 直接映射
rspContentType target.file.mime_type 直接映射
jsonPayload.reqhost target.hostname 直接映射
jsonPayload.reqport target.port 已重命名/已映射
reqPort target.port 已重命名/已映射
uncompressedsize target.process.file.size 直接映射
resource.type target.resource.resource_subtype 直接映射
不适用 metadata.event_type 常量:NETWORK_HTTP
不适用 metadata.product_name 常量:Akamai Datastream
不适用 metadata.vendor_name 常量:AkamaiDatastream

更新日志

查看相应解析器的更改日志

需要更多帮助?获得社区成员和 Google SecOps 专业人士的解答。