收集 Microsoft Azure 资源日志

本文档介绍了如何使用 Microsoft Azure Blob Storage V2 设置 Google Security Operations Feed 来收集 Microsoft Azure 资源日志。

Azure 资源日志可提供对 Azure 资源中执行的操作的深入了解。这些日志会捕获有关资源操作、状态和性能指标的详细信息。内容因资源类型而异，包括身份验证事件、配置更改、访问尝试和运营指标等数据。

准备工作

确保您满足以下前提条件：

• Google SecOps 实例

• 对 Microsoft Azure 门户的特权访问权限，包括：

  • 创建存储账号
  • 为 Azure 资源配置诊断设置
  • 管理访问密钥

配置 Azure 存储账号

创建存储账号

1. 在 Azure 门户中，搜索存储账号。
2. 点击 + 创建。

3. 提供以下配置详细信息：

   设置	值
   订阅	选择您的 Azure 订阅
   资源组	选择现有组或创建新组
   存储账号名称	输入唯一名称（例如 azureresourcelogs）
   区域	选择区域（例如 East US）
   性能	标准（推荐）
   冗余	GRS（地理位置冗余存储）或 LRS（本地冗余存储）

4. 点击检查 + 创建。

5. 查看账号概览，然后点击创建。

6. 等待部署完成。

获取存储账号凭据

1. 前往您刚刚创建的存储账号。
2. 在左侧导航栏中，选择安全性 + 网络下的访问密钥。
3. 点击显示密钥。

4. 复制并保存以下内容以供日后使用：

   • 存储账号名称：azureresourcelogs
   • 密钥 1 或密钥 2：共享访问密钥（采用 base-64 编码的 512 位随机字符串）

获取 Blob 服务端点

1. 在同一存储账号中，从左侧导航栏中选择端点。
2. 复制并保存 Blob 服务端点网址。
   • 示例：https://azureresourcelogs.blob.core.windows.net/

配置 Azure 资源诊断设置

默认情况下，系统不会收集 Azure 资源日志。您必须为每个 Azure 资源创建诊断设置，以便将日志路由到存储账号。

1. 在 Azure 门户中，导航到要监控的 Azure 资源。
2. 在左侧导航栏中，选择监控下的诊断设置。
3. 点击 + 添加诊断设置。
4. 提供以下配置详细信息：
   • 诊断设置名称：输入一个描述性名称（例如 export-to-secops）。
   • 在日志部分，选择要收集的日志类别。可用类别因资源类型而异。常见类别包括：
     • 管理（适用于活动日志）
     • 安全性（针对活动日志）
     • AuditEvent（适用于 Key Vault）
     • ApplicationGatewayAccessLog（适用于 Application Gateway）
     • ApplicationGatewayFirewallLog（适用于 Application Gateway）
     • NetworkSecurityGroupEvent（适用于网络安全组）
   • 在指标部分（可选）中，选择 AllMetrics 以将平台指标发送到存储账号。
   • 在目标详细信息部分中，选中归档到存储账号复选框。
   • 订阅：选择包含您的存储空间的订阅。
   • 存储账号：选择您创建的存储账号（例如 azureresourcelogs）。
5. 点击保存。

配置完成后，日志会自动导出到存储账号中的容器。Azure 会使用 insights-logs-<log-category-name> 的命名模式创建容器。例如：

• Key Vault 审核日志：insights-logs-auditevent
• Application Gateway 访问日志：insights-logs-applicationgatewayaccesslog
• Application Gateway 防火墙日志：insights-logs-applicationgatewayfirewalllog

• 网络安全组事件：insights-logs-networksecuritygroupevent

在 Google SecOps 中配置 Feed 以注入 Azure 资源日志

1. 依次前往 SIEM 设置 > Feed。
2. 点击添加新 Feed。
3. 在下一页上，点击配置单个 Feed。
4. 在 Feed 名称字段中，输入 Feed 的名称（例如 Azure Resource Logs - Key Vault）。
5. 选择 Microsoft Azure Blob Storage V2 作为来源类型。
6. 选择 Microsoft Azure 资源作为日志类型。
7. 点击下一步。

8. 为以下输入参数指定值：

   • Azure URI：输入包含容器路径的 Blob 服务端点网址：

     https://azureresourcelogs.blob.core.windows.net/insights-logs-auditevent/
     

   • 替换以下内容：

     • azureresourcelogs：您的 Azure 存储账号名称。

     • insights-logs-auditevent：存储日志的 Blob 容器名称（因资源类型和日志类别而异）。

   • 来源删除选项：根据您的偏好选择删除选项：

     • 永不：转移后永不删除任何文件。
     • 删除已转移的文件：在成功转移后删除文件。

     • 删除已转移的文件和空目录：成功转移后删除文件和空目录。

   • 文件存在时间上限：包含在过去指定天数内修改的文件。默认值为 180 天。

   • 共享密钥：输入您在第 3 步中从存储账号捕获的共享密钥值（访问密钥）。

   • 资产命名空间：资产命名空间。

   • 提取标签：要应用于相应 Feed 中事件的标签。

9. 点击下一步。

10. 在最终确定界面中查看新的 Feed 配置，然后点击提交。

配置 Azure 存储防火墙（如果已启用）

如果您的 Azure 存储账号使用防火墙，则必须添加 Google SecOps IP 范围。

1. 在 Azure 门户中，前往您的存储账号（例如 azureresourcelogs）。
2. 在安全性 + 网络下，选择网络。
3. 在防火墙和虚拟网络下，选择从所选虚拟网络和 IP 地址启用。
4. 在防火墙部分的地址范围下，点击 + 添加 IP 范围。

5. 以 CIDR 表示法添加每个 Google SecOps IP 范围。

   • 如需获取当前的 IP 范围，请选择以下选项之一：
     • 请参阅 IP 许可名单文档
     • 使用 Feed Management API 以编程方式检索这些信息

6. 点击保存。

支持的 Microsoft Azure 活动日志示例

• 标准 Azure Active Directory

  {
    "time": "2023-11-23T11:27:52.4984929Z",
    "resourceId": "/tenants/00000000-0000-0000-0000-000000000000/providers/Microsoft.aadiam",
    "operationName": "Sign-in activity",
    "operationVersion": "1.0",
    "category": "NonInteractiveUserSignInLogs",
    "tenantId": "00000000-0000-0000-0000-000000000000",
    "resultType": "0",
    "resultSignature": "None",
    "durationMs": 0,
    "callerIpAddress": "0.0.0.0",
    "correlationId": "00000000-0000-0000-0000-000000000000",
    "identity": "Masked User",
    "Level": 4,
    "location": "OM",
    "properties": {
      "id": "00000000-0000-0000-0000-000000000000",
      "createdDateTime": "2023-11-23T11:26:02.4737491+00:00",
      "userDisplayName": "Masked User",
      "userPrincipalName": "user@example.com",
      "userId": "00000000-0000-0000-0000-000000000000",
      "appId": "00000000-0000-0000-0000-000000000000",
      "appDisplayName": "QuestProd",
      "ipAddress": "0.0.0.0",
      "status": {
        "errorCode": 0
      },
      "clientAppUsed": "Browser",
      "userAgent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36",
      "deviceDetail": {
        "deviceId": "00000000-0000-0000-0000-000000000000",
        "displayName": "MASKED-DEVICE",
        "operatingSystem": "Windows10",
        "browser": "Chrome 119.0.0",
        "isManaged": true,
        "trustType": "Hybrid Azure AD joined"
      },
      "location": {
        "city": "Masked City",
        "state": "Masked State",
        "countryOrRegion": "OM",
        "geoCoordinates": {
          "latitude": 0.0,
          "longitude": 0.0
        }
      },
      "correlationId": "00000000-0000-0000-0000-000000000000",
      "conditionalAccessStatus": "success"
    }
  }
  

• 包含嵌入式 JSON 的 Azure 诊断

  {
    "operationName": "Microsoft.ContainerService/managedClusters/diagnosticLogs/Read",
    "category": "kube-audit-admin",
    "ccpNamespace": "62608a387c46f70001a06545",
    "resourceId": "/SUBSCRIPTIONS/00000000-0000-0000-0000-000000000000/RESOURCEGROUPS/MASKED-RG/PROVIDERS/MICROSOFT.CONTAINERSERVICE/MANAGEDCLUSTERS/MASKED-CLUSTER",
    "properties": {
      "log": {
        "kind": "Event",
        "apiVersion": "audit.k8s.io/v1",
        "level": "Metadata",
        "auditID": "00000000-0000-0000-0000-000000000000",
        "stage": "ResponseComplete",
        "requestURI": "/api/v1/namespaces/external-secrets/configmaps/external-secrets-controller",
        "verb": "update",
        "user": {
          "username": "system:serviceaccount:external-secrets:external-secrets",
          "uid": "00000000-0000-0000-0000-000000000000",
          "groups": [
            "system:serviceaccounts",
            "system:serviceaccounts:external-secrets",
            "system:authenticated"
          ],
          "extra": {
            "authentication.kubernetes.io/pod-name": [
              "external-secrets-56f8d94c7b-mp66g"
            ],
            "authentication.kubernetes.io/pod-uid": [
              "00000000-0000-0000-0000-000000000000"
            ]
          }
        },
        "sourceIPs": [
          "0.0.0.0"
        ],
        "userAgent": "external-secrets/v0.0.0 (linux/amd64) kubernetes/$Format/leader-election",
        "objectRef": {
          "resource": "configmaps",
          "namespace": "external-secrets",
          "name": "external-secrets-controller",
          "uid": "00000000-0000-0000-0000-000000000000",
          "apiVersion": "v1",
          "resourceVersion": "11942456"
        },
        "responseStatus": {
          "metadata": {},
          "code": 200
        },
        "requestReceivedTimestamp": "2022-05-20T11:31:45.398328Z",
        "stageTimestamp": "2022-05-20T11:31:45.449142Z",
        "annotations": {
          "authorization.k8s.io/decision": "allow",
          "authorization.k8s.io/reason": "RBAC: allowed by RoleBinding \"external-secrets-leaderelection/external-secrets\" of Role \"external-secrets-leaderelection\" to ServiceAccount \"external-secrets/external-secrets\""
        }
      },
      "stream": "stdout",
      "pod": "kube-apiserver-776c8d479f-xgsg4"
    },
    "time": "2022-05-20T11:31:45.0000000Z",
    "Cloud": "AzureCloud",
    "Environment": "prod",
    "UnderlayClass": "hcp-underlay",
    "UnderlayName": "hcp-underlay-southcentralus-cx-75"
  }
  

• 第三方封装容器

  {
    "_time": 1722359281.368,
    "_raw": {
      "time": "2024-07-30T17:08:01.3688943Z",
      "resourceId": "/SUBSCRIPTIONS/00000000-0000-0000-0000-000000000000/RESOURCEGROUPS/MASKED-RG/PROVIDERS/"
        + "MICROSOFT.DOCUMENTDB/DATABASEACCOUNTS/MASKED-COSMOS-DB",
      "category": "DataPlaneRequests",
      "operationName": "Create",
      "properties": {
        "activityId": "8e78e651-e6da-4f09-b8bf-c5d605ae8161",
        "requestResourceType": "Document",
        "requestResourceId": "/dbs/cdb-main01-prod/colls/Notifications/docs",
        "collectionRid": "",
        "databaseRid": "",
        "statusCode": "200",
        "duration": "0.583700",
        "userAgent": "cosmos-netstandard-sdk/3.9.1|3.9.0|01|X86|Microsoft Windows 10.0.20348|"
          + ".NET Core 3.1.32|",
        "clientIpAddress": "0.0.0.0",
        "requestCharge": "0.000000",
        "requestLength": "803",
        "responseLength": "1163",
        "resourceTokenPermissionId": "",
        "resourceTokenPermissionMode": "",
        "resourceTokenUserRid": "",
        "region": "East US",
        "partitionId": "",
        "aadAppliedRoleAssignmentId": "",
        "aadPrincipalId": "",
        "authTokenType": "PrimaryMasterKey",
        "keyType": "PrimaryMasterKey",
        "connectionMode": "Gateway",
        "subscriptionId": "00000000-0000-0000-0000-000000000000",
        "databaseName": "cdb-main01-prod",
        "collectionName": "Notifications"
      }
    },
    "cribl_pipe": [
      "pfe_azure_resource_logs_pre_unroll",
      "passthru"
    ]
  }
  

• Azure Firewall

  {
    "category": "AzureFirewallNetworkRule",
    "time": "2023-10-01T12:00:00.000Z",
    "resourceId": "/SUBSCRIPTIONS/00000000-0000-0000-0000-000000000000/RESOURCEGROUPS/MASKED-RG/PROVIDERS/"
        + "MICROSOFT.NETWORK/AZUREFIREWALLS/MASKED-FW",
    "operationName": "AzureFirewallNetworkRuleLog",
    "properties": {
      "msg": "TCP request from 0.0.0.0:12345 to 0.0.0.0:443. Action: Deny. "
        + "Rule Collection: Block-Internet. Rule: Block-All",
      "Action": "Deny",
      "Protocol": "TCP",
      "SourceIp": "0.0.0.0",
      "SourcePort": "12345",
      "DestinationIp": "0.0.0.0",
      "DestinationPort": "443",
      "Policy": "Block-Internet"
    }
  }
  

UDM 映射表

更新日志

查看相应解析器的更改日志

需要更多帮助？获得社区成员和 Google SecOps 专业人士的解答。