收集 AWS EC2 实例日志

解析器版本：1.0

本文档介绍了如何将 AWS EC2 实例日志配置到 Google Security Operations 中，以便进行监控和分析。该解析器从实例预留 JSON 日志中提取数据，重构和重命名字段以符合 UDM，处理各种数据类型和嵌套结构（包括网络接口、群组和标记），同时生成资产关系和元数据。它还可执行错误处理并舍弃格式错误的 JSON 消息。

准备工作

• 确保您拥有 Google SecOps 实例。
• 确保您拥有对 AWS 的特权访问权限。

配置 AWS IAM 和 S3

1. 按照以下用户指南创建 Amazon S3 存储桶：创建存储桶。
2. 保存存储桶名称和区域以备后用。
3. 按照以下用户指南创建用户：创建 IAM 用户。
4. 选择创建的用户。
5. 选择安全凭证标签页。
6. 在访问密钥部分中，点击创建访问密钥。
7. 选择第三方服务作为用例。
8. 点击下一步。
9. 可选：添加说明标记。
10. 点击创建访问密钥。
11. 点击下载 CSV 文件，保存访问密钥和私密访问密钥，以供日后使用。
12. 点击完成。
13. 选择权限标签页。
14. 在权限政策部分中，点击添加权限。
15. 选择添加权限。
16. 选择直接附加政策
17. 搜索并选择 AmazonS3FullAccess 政策。
18. 点击下一步。
19. 点击添加权限。

将 EC2 配置为向 CloudWatch Logs 发送日志

1. 使用 SSH 连接到 EC2 实例，并提供密钥对进行身份验证。

   ssh -i your-key.pem ec2-user@your-ec2-public-ip
   

2. 安装 CloudWatch Logs 代理：

   • 如需在 Amazon Linux 上安装 CloudWatch Logs 代理，请使用以下命令：

   sudo yum install -y awslogs
   

   • 如需在 Ubuntu 上安装 CloudWatch Logs 代理，请使用以下命令：

   sudo apt-get install -y awslogs
   

3. 打开 CloudWatch Logs 配置文件：

   sudo vi /etc/awslogs/awslogs.conf
   

4. 创建一个脚本，用于提取此日志实例元数据并将其写入文件：

   #!/bin/bash
   echo "Architecture: $(curl -s http://169.254.169.254/latest/meta-data/architecture)" >> /var/log/instance_metadata.log
   echo "AmiLaunchIndex: $(curl -s http://169.254.169.254/latest/meta-data/ami-launch-index)" >> /var/log/instance_metadata.log
   echo "BootMode: $(curl -s http://169.254.169.254/latest/meta-data/boot-mode)" >> /var/log/instance_metadata.log
   

5. 将脚本另存为 /etc/init.d/metadata_script.sh，并在实例启动时使用 crontab 或 rc.local 运行该脚本。

6. 打开 CloudWatch Logs 代理的配置文件：

   sudo vi /etc/awslogs/awslogs.conf
   

7. 将以下内容添加到配置文件中：

   [/var/log/messages]
   file = /var/log/messages
   log_group_name = /ec2/system/logs
   log_stream_name = {instance_id}
   
   [/var/log/secure]
   file = /var/log/secure
   log_group_name = /ec2/security/logs
   log_stream_name = {instance_id}
   
   [/var/log/auth.log]
   file = /var/log/auth.log
   log_group_name = /ec2/auth/logs
   log_stream_name = {instance_id}
   
   [/var/log/httpd/access_log]
   file = /var/log/httpd/access_log
   log_group_name = /ec2/application/apache/access_logs
   log_stream_name = {instance_id}
   
   [/var/log/httpd/error_log]
   file = /var/log/httpd/error_log
   log_group_name = /ec2/application/apache/error_logs
   log_stream_name = {instance_id}
   

8. 保存配置并退出编辑器。

9. 启动 CloudWatch Logs 代理：

   • 在 Amazon Linux 上：

   sudo service awslogs start
   

   • 在 Ubuntu 上：

   sudo service awslogs start
   

10. 验证代理是否正在运行：

    sudo service awslogs status
    

为 Lambda 和 S3 配置 IAM 权限

1. 在 AWS IAM 控制台中，创建一个新的 IAM 角色，并授予以下权限：

   • logs:PutSubscriptionFilter
   • logs:DescribeLogGroups
   • logs:GetLogEvents
   • s3:PutObject

2. 将此角色附加到将日志导出到 S3 的 Lambda 函数。

配置 Lambda 以将日志导出到 S3

1. 前往 Lambda 控制台，然后创建一个新函数。

   import boto3
   import gzip
   from io import BytesIO
   
   s3 = boto3.client('s3')
   logs = boto3.client('logs')
   
   def lambda_handler(event, context):
       log_group = event['logGroup']
       log_stream = event['logStream']
   
       log_events = logs.get_log_events(
           logGroupName=log_group,
           logStreamName=log_stream,
           startFromHead=True
       )
   
       log_data = "\n".join([event['message'] for event in log_events['events']])
   
       # Compress and upload to S3
       compressed_data = gzip.compress(log_data.encode('utf-8'))
       s3.put_object(
           Bucket='your-s3-bucket-name',
           Key='logs/ec2-log.gz',
           Body=compressed_data
       )
     ```
   

   • 将 your-s3-bucket-name 替换为 S3 存储桶的实际名称。

2. 将 IAM 角色附加到之前创建的 Lambda 函数。

3. 在 CloudWatch 控制台中，前往日志部分。

4. 选择日志组，例如 /ec2/system/logs。

5. 依次点击操作 > 创建订阅过滤条件。

6. 将目标设置为之前创建的 Lambda 函数。

在 Google SecOps 中配置 Feed 以注入 AWS EC2 实例日志

1. 前往 SIEM 设置 > Feed。
2. 点击添加新 Feed。
3. 在 Feed 名称字段中，输入 Feed 的名称，例如 AWS EC2 实例日志。
4. 选择 Amazon S3 V2 作为来源类型。
5. 选择 AWS EC2 实例作为日志类型。
6. 点击下一步。

7. 为以下输入参数指定值：

   • S3 URI：存储桶 URI。
     • s3://your-log-bucket-name/
       • 将 your-log-bucket-name 替换为存储桶的实际名称。

   • 源删除选项：根据您的偏好选择删除选项。

   • 文件存在时间上限：包含在过去指定天数内修改过的文件。默认值为 180 天。

   • 访问密钥 ID：有权访问 S3 存储桶的用户访问密钥。

   • 私有访问密钥：具有 s3 存储桶访问权限的用户私有密钥。

   • 资产命名空间：资产命名空间。

   • 注入标签：要应用于此 Feed 中事件的标签。

8. 点击下一步。

9. 在最终确定界面中查看新的新闻信息流配置，然后点击提交。

支持的 AWS EC2 实例日志格式

AWS EC2 实例解析器支持 JSON 格式的日志。

支持的 AWS EC2 实例示例日志

• JSON：

  {
    "GroupSet": null,
    "InstancesSet": [
      {
        "AmiLaunchIndex": 0,
        "Architecture": "x86_64",
        "BlockDeviceMapping": [
          {
            "DeviceName": "",
            "Ebs": null
          }
        ],
        "BootMode": "",
        "CapacityReservationID": "",
        "CapacityReservationSpecification": null,
        "ClientToken": "xMcwG14507example",
        "CPU": {
          "AmdSevSnp": "",
          "CoreCount": 1,
          "ThreadsPerCore": 1
        },
        "CurrentInstanceBootMode": "",
        "DNSName": "ec2-198-51-100-1.eu-west-1.compute.amazonaws.com",
        "EbsOptimized": false,
        "ElasticGpuAssociationSet": null,
        "ElasticInferenceAcceleratorAssociationSet": null,
        "EnaSupport": false,
        "EnclaveOption": false,
        "GroupSet": [
          {
            "GroupID": "sg-c1234567",
            "GroupName": "SecurityGroup1"
          }
        ],
        "HibernationOptions": false,
        "Hypervisor": "xen",
        "IamInstanceProfile": {
          "Arn": "arn:aws:iam::123456789012:instance-profile/AdminRole",
          "ID": "ABCDEFGHIJKLMNOP123AB"
        },
        "ImageID": "ami-abc32ddd",
        "InstanceID": "i-1234567890abcdef0",
        "InstanceLifecycle": "",
        "InstanceState": {
          "Code": 16,
          "Name": "running"
        },
        "InstanceType": "t2.micro",
        "IPAddress": "198.51.100.1",
        "Ipv6Address": "",
        "KernelID": "",
        "KeyName": "my_keypair",
        "LaunchTime": "2018-05-08T16:46:19.000Z",
        "LicenseSet": null,
        "MaintenanceOptions": "",
        "MetadataOptions": {
          "HTTPEndpoint": "",
          "HTTPProtocolIpv6": "",
          "HTTPPutResponseHopLimit": 0,
          "HTTPTokens": "",
          "InstanceMetadataTags": "",
          "State": ""
        },
        "Monitoring": {
          "State": "disabled"
        },
        "NetworkInterfaceSet": [
          {
            "Association": {
              "CarrierIP": "",
              "CustomerOwnedIP": "",
              "IPOwnerID": "amazon",
              "PublicDNSName": "ec2-198-51-100-1.eu-west-1.compute.amazonaws.com",
              "PublicIP": "198.51.100.1"
            },
            "Attachment": {
              "AttachmentID": "eni-attach-12345abc",
              "AttachTime": "2018-05-08T16:46:19.000Z",
              "DeleteOnTermination": true,
              "DeviceIndex": 0,
              "NetworkCardIndex": 0,
              "Status": "attached"
            },
            "Description": "Primary network interface",
            "GroupSet": [
              {
                "GroupID": "sg-a1234567",
                "GroupName": "SecurityGroup1"
              }
            ],
            "InterfaceType": "",
            "Ipv4PrefixSet": null,
            "Ipv6AddressesSet": [
              {
                "Ipv6Address": "d9a3:d3b1:03e0:0279:5196:3b5c:242b:10da",
                "IsPrimaryIpv6": false
              }
            ],
            "Ipv6PrefixSet": null,
            "MacAddress": "a2-d4-a6-24-12-f4",
            "NetworkInterfaceID": "eni-551ba033",
            "OwnerID": "123456789012",
            "PrivateDNSName": "ip-198-51-100-1.eu-west-1.compute.internal",
            "PrivateIPAddress": "198.51.100.1",
            "PrivateIPAddressesSet": [
              {
                "Association": {
                  "CarrierIP": "",
                  "CustomerOwnedIP": "",
                  "IPOwnerID": "amazon",
                  "PublicDNSName": "ec2-198-51-100-1.eu-west-1.compute.amazonaws.com",
                  "PublicIP": "198.51.100.1"
                },
                "Primary": true,
                "PrivateDNSName": "ip-198-51-100-1.eu-west-1.compute.internal",
                "PrivateIPAddress": "198.51.100.1"
              }
            ],
            "SourceDestCheck": true,
            "Status": "in-use",
            "SubnetID": "subnet-56f5f633",
            "VpcID": "vpc-11112222"
          }
        ],
        "OutpostArn": "",
        "Placement": {
          "Affinity": "",
          "AvailabilityZone": "eu-west-1c",
          "GroupID": "",
          "GroupName": "",
          "HostID": "",
          "HostResourceGroupArn": "",
          "PartitionNumber": 0,
          "SpreadDomain": "",
          "Tenancy": "default"
        },
        "Platform": "",
        "PlatformDetails": "",
        "PrivateDNSName": "ip-198-51-100-1.eu-west-1.compute.internal",
        "PrivateDNSNameOptions": null,
        "PrivateIPAddress": "198.51.100.1",
        "ProductCodes": null,
        "RamdiskID": "",
        "Reason": "",
        "RootDeviceName": "/dev/xvda",
        "RootDeviceType": "ebs",
        "SourceDestCheck": true,
        "SpotInstanceRequestID": "",
        "SriovNetSupport": "",
        "StateReason": "",
        "SubnetID": "subnet-56f5f633",
        "TagSet": [
          {
            "Key": "Name",
            "Value": "Server_1"
          }
        ],
        "TpmSupport": "",
        "UsageOperation": "",
        "UsageOperationUpdateTime": "",
        "VirtualizationType": "hvm",
        "VpcID": "vpc-11112222"
      }
    ],
    "OwnerID": "123456789012",
    "RequesterID": "",
    "ReservationID": "r-1234567890abcdef0"
  }
  

UDM 映射表

更新日志

查看此解析器的更新日志

需要更多帮助？获得社区成员和 Google SecOps 专业人士的解答。