Amazon S3

Amazon S3 连接器提供对 Amazon S3 存储分区和对象的 SQL 访问权限。

准备工作

在使用 Amazon S3 连接器之前,请先完成以下任务:

  • 在您的 Google Cloud 项目中:
    • 确保已设置网络连接。如需了解网络模式,请参阅网络连接。
    • 向配置连接器的用户授予 roles/connectors.admin IAM 角色。
    • 将以下 IAM 角色授予您要用其来使用连接器的服务账号:
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor

      服务账号是一种特殊类型的 Google 账号,用于表示需要验证身份并获得授权以访问 Google API 数据的非人类用户。如果您没有服务账号,则必须创建一个服务账号。连接器和服务账号必须属于同一项目。如需了解详情,请参阅创建服务账号。

    • 启用以下服务:
      • secretmanager.googleapis.com (Secret Manager API)
      • connectors.googleapis.com (Connectors API)

      如需了解如何启用服务,请参阅启用服务。

    如果之前没有为您的项目启用这些服务或权限,则在您配置连接器时,系统会提示您启用。

配置连接器

一个连接需专用于一个数据源。这意味着,如果您有许多数据源,则必须为每个数据源创建单独的连接。如需创建连接,请执行以下操作:

  1. 在 Cloud 控制台 中,进入 Integration Connectors > 连接页面,然后选择或创建一个 Google Cloud 项目。

    转到“连接”页面

  2. 点击 + 新建以打开创建连接页面。
  3. 在位置部分中,选择连接的位置。
    1. 区域:从下拉列表中选择一个位置。

      连接器支持的区域包括:

      如需查看所有受支持区域的列表,请参阅位置。

    2. 点击下一步。
  4. 在连接详情部分中,完成以下操作:
    1. 连接器:从可用连接器的下拉列表中选择 Amazon S3。
    2. 连接器版本:从可用版本的下拉列表中选择一个连接器版本。
    3. 在连接名称字段中,输入连接实例的名称。

      连接名称必须符合以下条件:

      • 连接名称可以使用字母、数字或连字符。
      • 字母必须小写。
      • 连接名称必须以字母开头,以字母或数字结尾。
      • 连接名称不能超过 49 个字符。
    4. (可选)输入连接实例的说明。
    5. 您可以选择启用 Cloud Logging,然后选择日志级别。默认情况下,日志级别设置为 Error。
    6. 服务账号:选择具有所需角色的服务账号。
    7. (可选)配置连接节点设置:

      • 节点数下限:输入连接节点数下限。
      • 节点数上限:输入连接节点数上限。

      节点是处理事务的连接单元(或副本)。 连接处理越多事务就需要越多节点,相反,处理越少事务需要越少节点。 如需了解节点如何影响连接器价格,请参阅连接节点的价格。如果未输入任何值,则默认情况下,节点数下限设置为 2(以便提高可用性),节点数上限设置为 50。

    8. AWS 区域:托管 Amazon S3 实例的区域
    9. (可选)点击 + 添加标签,以键值对的形式向连接添加标签。
    10. 点击下一步。
  5. 在目标部分中,输入要连接到的远程主机(后端系统)的详细信息。
    1. 目标类型:选择目标类型。
      • 如需指定目标主机名或 IP 地址,请选择主机地址,然后在主机 1 字段中输入相应地址。
      • 如需建立专用连接,请选择端点连接。在端点连接列表中,选择为后端系统创建的端点连接。

      如果要与后端系统建立公共连接以提高安全性,您可以考虑为连接配置静态出站 IP 地址,然后将防火墙规则配置为仅将特定静态 IP 地址列入许可名单。

      若要输入其他目标,请点击 + 添加目标。

    2. 点击下一步。
  6. 在身份验证部分中,输入身份验证详细信息。
    1. 选择身份验证类型,然后输入相关详细信息。

      Amazon S3 连接支持以下身份验证类型:

      • 根凭据
      • AWS IAM 角色
      • AWS 临时凭据
    2. 如需了解如何配置这些身份验证类型,请参阅配置身份验证。

    3. 点击下一步。
  7. 查看:查看您的连接和身份验证详细信息。
  8. 点击创建。

配置身份验证

根据您要使用的身份验证输入详细信息。

  • 根凭据

    使用账号根凭据进行身份验证。

    • AWS 访问密钥:根用户的访问密钥
    • AWS 访问密钥:根用户的密钥
  • AWS IAM 角色

    使用 AWS IAM 角色进行身份验证。

    • AWS 访问密钥:要代入角色的 IAM 用户的访问密钥
    • AWS 访问密钥:要代入角色的 IAM 用户的密钥
    • AWS 角色 ARN:指定您要用于身份验证的角色的 ARN。系统只会检索指定角色的凭据。
    • AWS 外部 ID:仅当您在其他账号中担任角色时需要提供。
  • AWS 临时凭据

    使用临时凭证进行身份验证

    • AWS 访问密钥:要代入角色的 IAM 用户的访问密钥
    • AWS 访问密钥:要代入角色的 IAM 用户的密钥
    • AWS 会话令牌:此令牌与临时凭证一起生成。
    • AWS 角色 ARN:指定您要用于身份验证的角色的 ARN。系统只会检索指定角色的凭据。
    • AWS 外部 ID:仅当您在其他账号中担任角色时需要提供。

如需了解如何设置 AWS 账号,请参阅设置 Amazon S3。 如需了解如何创建 S3 存储桶,请参阅创建 S3 存储桶。 请与您的 AWS 管理员联系,以便在 AWS 账号中创建 AWS IAM 角色凭据或 AWS 临时凭证。

连接配置示例

本部分列出了在创建 Amazon S3 连接时配置的各个字段的示例值。

根凭据连接类型

字段名称 详细信息
位置 europe-west1
连接器 Amazon S3
连接器版本 1
连接名称 aws-s3
说明 aws-s3
服务账号 SERVICE_ACCOUNT_NAME@serviceaccount
AWS 区域 北弗吉尼亚
节点数下限 2
节点数上限 50
根凭据 是
AWS 访问密钥 AWS_ACCESS_KEY
AWS Access Secret AWS_ACCESS_SECRET
Secret 版本 1

AWS IAM 角色连接类型

字段名称 详细信息
位置 europe-west1
连接器 Amazon S3
连接器版本 1
连接名称 aws-s3
说明 aws-s3
服务账号 SERVICE_ACCOUNT_NAME@serviceaccount
AWS 区域 北弗吉尼亚
节点数下限 2
节点数上限 50
AWS IAM 角色 是
AWS 访问密钥 AWS_ACCESS_KEY
AWS Access Secret AWS_ACCESS_SECRET
Secret 版本 1

AWS 临时凭证连接类型

字段名称 详细信息
位置 europe-west1
连接器 Amazon S3
连接器版本 1
连接名称 aws-s3
说明 aws-s3
服务账号 SERVICE_ACCOUNT_NAME@serviceaccount
AWS 区域 北弗吉尼亚
节点数下限 2
节点数上限 50
AWS 临时凭据 是
AWS 访问密钥 AWS_ACCESS_KEY
AWS Access Secret AWS_ACCESS_SECRET
Secret 版本 1
AWS 会话令牌 AWS_SESSION_TOKEN

实体、操作和动作

所有集成连接器都会为所连接应用的对象提供抽象层。您只能通过此抽象访问应用的对象。抽象作为实体、操作和动作向您展示。

  • 实体:实体可以被视为连接的应用或服务中的对象或属性集合。不同连接器的实体定义也会有所不同。例如,在数据库连接器中,表是实体;在文件服务器连接器中,文件夹是实体;在消息传递系统连接器中,队列是实体。

    但可能的情况是,连接器不支持或不具有任何实体,在这种情况下,Entities 列表将为空。

  • 操作:操作是指您可以对实体执行的操作。您可以对实体执行以下任一操作:

    从可用列表中选择一个实体,系统会生成该实体可用的操作列表。如需了解操作的详细说明,请参阅连接器任务的实体操作。不过,如果连接器不支持任何实体操作,则不支持的操作不会列在 Operations 列表中。

  • 动作:动作是可通过连接器接口提供给集成的头等函数。动作可让您对一个或多个实体进行更改,并且动作因连接器而异。通常,操作会包含一些输入参数和一个输出参数。但可能的情况是,连接器不支持任何动作,在这种情况下,Actions 列表将为空。

操作

本部分列出了连接器支持的部分操作。如需了解如何配置操作,请参阅操作示例。

CopyObject 操作

此操作可让您将对象从一个存储桶复制到另一个存储桶或同一存储分区内。

CopyObject 操作的输入参数

参数名称 数据类型 必需 说明
BucketSource 字符串 是 对象应复制自的存储分区名称。
ObjectSource 对象 是 应复制的对象的名称。
BucketDestination 字符串 是 对象应复制到的存储分区名称。
ObjectDestination 字符串 否 目标存储桶中对象的名称。如果未指定,则名称将与原始名称相同。

CopyObject 操作的输出参数

如果复制成功,此操作会返回状态 200 (OK)。

如需了解如何配置 CopyObject 操作,请参阅操作示例。

DownloadObjects 操作

此操作可从存储桶中获取一个或多个对象。

DownloadObjects 操作的输入参数

参数名称 数据类型 必需 说明
存储桶 字符串 是 存在要下载对象的存储桶名称。
对象 字符串 否 应下载的对象的名称。如果未指定,则会下载指定存储桶中的所有对象。
HasBytes 布尔值 是 指定内容是否应下载为 Base64 编码的字符串。
UpdatedStartDate 日期时间 否 下载对象的相应时间范围的开始日期。如果未指定,则从最早的对象开始下载,直到 UpdatedEndDate。
UpdatedEndDate 日期时间 否 下载对象的时间范围的结束日期。如果未指定,则会下载从指定的 UpdatedStartDate 到当前日期的对象。

DownloadObjects 操作的输出参数

如果下载成功,此操作会返回状态 200 (OK)。

如需了解如何配置 DownloadObjects 操作,请参阅操作示例。

UploadObject 操作

此操作可让您将对象上传到存储桶。

UploadObject 操作的输入参数

参数名称 数据类型 必需 说明
存储桶 字符串 是 对象应上传到的存储分区名称。
ContentBytes 字符串 否 要上传为文件的字节内容。
HasBytes 布尔值 是 指定内容是否应作为 Base64 编码的字符串上传。
AccessPolicy 字符串 否 相应对象的访问权限政策。允许的值包括 PRIVATE、ANONREAD、ANONREADWRITE 和 AUTHREAD。默认值为 PRIVATE。
内容 字符串 否 要上传的内容。
FileName 字符串 否 要上传的文件的名称。指定 FileContent 参数时,此值是必需的。

UploadObject 操作的输出参数

如果对象上传成功,此操作会返回状态 200 (OK)。

如需了解如何配置 UploadObject 操作,请参阅操作示例。

DeleteObject 操作

此操作可让您从存储桶中删除对象。

DeleteObject 操作的输入参数

参数名称 数据类型 必需 说明
存储桶 字符串 是 要删除的对象的存储桶名称。
对象 字符串 是 应删除的对象的名称。

DeleteObject 操作的输出参数

如果删除成功,此操作会返回状态 200 (OK)。

如需了解如何配置 DeleteObject 操作,请参阅操作示例。

MoveObject 操作

此操作可让用户将特定存储桶中的现有对象移动到另一个存储桶或同一存储桶中。

MoveObject 操作的输入参数

参数名称 数据类型 必需 说明
BucketSource 字符串 是 要移动的对象的源存储桶名称。
ObjectSource 字符串 是 应移动的对象的名称。
BucketDestination 字符串 是 对象应移动到的目标存储桶名称。
ObjectDestination 字符串 否 目标存储桶中对象的名称。如果未指定,则保留原始名称。

MoveObject 操作的输出参数

如果移动操作成功,此操作会返回状态 200 (OK)。

如需了解如何配置 MoveObject 操作,请参阅操作示例。

PutBucketAcl 操作

此操作可让您更新存储桶的访问控制列表 (ACL)。

PutBucketAcl 操作的输入参数

参数名称 数据类型 必需 说明
存储桶 字符串 是 应应用 ACL 的存储分区的名称。
ACL 字符串 是 要为存储桶应用的访问权限级别。

PutBucketAcl 操作的输出参数

如果存储桶 ACL 更新成功,此操作会返回状态 200 (OK)。

如需了解如何配置 PutBucketAcl 操作,请参阅操作示例。

PutObjectAcl 操作

此操作可让您更新存储桶中对象的访问控制列表 (ACL)。

PutObjectAcl 操作的输入参数

参数名称 数据类型 必需 说明
存储桶 字符串 是 对象所在的存储分区名称。
ACL 字符串 是 要为对象应用的访问权限级别。
键 字符串 是 应应用 ACL 的对象的名称。

PutObjectAcl 操作的输出参数

如果对象 ACL 更新成功,此操作会返回状态 200 (OK)。

如需了解如何配置 PutObjectAcl 操作,请参阅操作示例。

操作示例

本部分介绍如何在此连接器中执行一些操作。

示例 - 复制对象

此示例将对象从一个存储桶复制到另一个存储桶。

  1. 在 Configure connector task 对话框中,点击 Actions。
  2. 选择 CopyObject 操作,然后点击完成。
  3. 在连接器任务的任务输入部分中,点击 connectorInputPayload,然后在 Default Value 字段中输入类似于以下内容的值:
    {
    "BucketSource": "aws-s3-bucket-source",
    "ObjectSource": "pic.jpg",
    "BucketDestination": "aws-s3-bucket-destination",
    "ObjectDestination": "new_pic.jpg"
    }
  4. 如果操作成功,CopyObject 任务的 connectorOutputPayload 响应形参将具有类似于以下的值:

    [{
    "Status": "Success"
    }]

示例 - 下载对象

此示例从指定存储桶下载对象。

  1. 在 Configure connector task 对话框中,点击 Actions。
  2. 选择 DownloadObjects 操作,然后点击完成。
  3. 在连接器任务的任务输入部分中,点击 connectorInputPayload,然后在 Default Value 字段中输入类似于以下内容的值:
    {
    "Bucket": "aws-s3-bucket-source",
    "HasBytes": true
    }
  4. 如果操作成功,DownloadObjects 任务的 connectorOutputPayload 响应形参将具有类似于以下的值:

    [{
    "Success": "True",
    "RemoteFile": "prefix1%2Faws-s3-bucket-source%2Finventory-test-1%2F2023-09-10T01-00Z%2Fmanifest.json",
    "ContentBytes": "ewogICJzb3VyY2VCdWNrZXQiIDogImF3cy1zMy1idWNrZXQtYmNvbmUiLAogICJnOK"
    },
    {
    "Success": "True",
    "RemoteFile": "upload1.txt",
    "ContentBytes": "VGhpcyBpcyBhIHRlc3RpbmcgZmlsZQ=="
    }]

示例 - 上传对象

此示例将对象上传到指定的存储桶。

  1. 在 Configure connector task 对话框中,点击 Actions。
  2. 选择 UploadObject 操作,然后点击完成。
  3. 在连接器任务的任务输入部分中,点击 connectorInputPayload,然后在 Default Value 字段中输入类似于以下内容的值:
    {
    "Bucket": "aws-s3-bucket-source",
    "FileName": "upload_1.txt",
    "Content": "This is a testing file",
    "AccessPolicy": "PUBLIC"
    }
  4. 如果操作成功,UploadObject 任务的 connectorOutputPayload 响应形参将具有类似于以下的值:

    [{
    "Status": "success",
    "bucket": "aws-s3-bucket-source",
    "rss:title": "Object 'upload_1.txt' was created in the bucket: aws-s3-bucket-source",
    "object": "upload_1.txt"
    }]

示例 - 删除对象

此示例会从指定存储桶中删除对象。

  1. 在 Configure connector task 对话框中,点击 Actions。
  2. 选择 DeleteObject 操作,然后点击完成。
  3. 在连接器任务的任务输入部分中,点击 connectorInputPayload,然后在 Default Value 字段中输入类似于以下内容的值:
    {
    "Bucket": "aws-s3-bucket-source",
    "Object": "abc.png"
    }
  4. 如果操作成功,DeleteObject 任务的 connectorOutputPayload 响应形参将具有类似于以下的值:

    [{
    "Status": "Success"
    }]

示例 - 移动对象

此示例将对象从一个存储桶移至另一个存储桶。

  1. 在 Configure connector task 对话框中,点击 Actions。
  2. 选择 MoveObject 操作,然后点击完成。
  3. 在连接器任务的任务输入部分中,点击 connectorInputPayload,然后在 Default Value 字段中输入类似于以下内容的值:
    {
    "BucketSource": "aws-s3-bucket-source",
    "ObjectSource": "abc.png",
    "BucketDestination": "aws-s3-bucket-destination",
    "ObjectDestination": "moved.png"
    }
  4. 如果操作成功,MoveObject 任务的 connectorOutputPayload 响应形参将具有类似于以下的值:

    [{
    "Status": "Success"
    }]

示例 - 更新存储桶的 ACL

此示例更新了存储桶的访问权限控制权限。

  1. 在 Configure connector task 对话框中,点击 Actions。
  2. 选择 PutBucketAcl 操作,然后点击完成。
  3. 在连接器任务的任务输入部分中,点击 connectorInputPayload,然后在 Default Value 字段中输入类似于以下内容的值:
    {
    "BucketSource": "aws-s3-bucket-source",
    "ACL": "public-read"
    }
  4. 如果操作成功,PutBucketAcl 任务的 connectorOutputPayload 响应形参将具有类似于以下的值:

    [{
    "Status": "Success"
    }]

示例 - 更新对象的 ACL

此示例用于更新存储桶中某个对象的访问权限控制。

  1. 在 Configure connector task 对话框中,点击 Actions。
  2. 选择 PutObjectAcl 操作,然后点击完成。
  3. 在连接器任务的任务输入部分中,点击 connectorInputPayload,然后在 Default Value 字段中输入类似于以下内容的值:
    {
    "Bucket": "aws-s3-bucket-source",
    "ACL": "aws-exec-read",
    "Key": "AWS_S3_BusinessCase_V2.xlsx"
    }
  4. 如果操作成功,PutObjectAcl 任务的 connectorOutputPayload 响应形参将具有类似于以下的值:

    [{
    "Status": "Success"
    }]

实体操作示例

本部分介绍如何在此连接器中执行一些实体操作。

示例 - 列出所有对象的元数据

此示例会提取 Object 实体中所有对象的元数据。

  1. 在 Configure connector task 对话框中,点击 Entities。
  2. 从 Entity 列表中选择 Object。
  3. 选择 List 操作,然后点击完成。
  4. 或者,您可以在连接器任务的任务输入部分中,通过指定过滤条件子句来过滤结果集。 请始终使用英文单引号 (') 括起过滤条件子句值。例如,Bucket='test-bucket'。您还可以使用逻辑运算符指定多个过滤条件。例如,Bucket='test-bucket' and OwnerId='b1ecc809ad8467088afb'。

示例 - 获取存储桶的元数据

此示例从 Bucket 实体中获取具有指定 ID 的存储桶的元数据。

  1. 在 Configure connector task 对话框中,点击 Entities。
  2. 从 Entity 列表中选择 Bucket。
  3. 选择 Get 操作,然后点击完成。
  4. 在连接器任务的任务输入部分,点击 EntityId,然后在默认值字段中输入 demo_replication。

    其中,demo_replication 是 Bucket 实体中的唯一存储桶 ID。

示例 - 创建存储桶

此示例会在 Bucket 实体中创建一个存储桶。

  1. 在 Configure connector task 对话框中,点击 Entities。
  2. 从 Entity 列表中选择 Bucket。
  3. 选择 Create 操作,然后点击完成。
  4. 在连接器任务的任务输入部分中,点击 connectorInputPayload,然后在 Default Value 字段中输入类似于以下内容的值:
    {
    "Bucket": "Demo1697528098686"
    }

    如果集成成功,连接器任务的 connectorOutputPayload 字段将具有类似以下的值:

    [{
    "Bucket": "Demo1697528098686"
    }]

示例 - 删除存储桶

此示例会删除 Bucket 实体中具有指定 ID 的存储桶。

  1. 在 Configure connector task 对话框中,点击 Entities。
  2. 从 Entity 列表中选择 Bucket。
  3. 选择 Delete 操作,然后点击完成。
  4. 在连接器任务的任务输入部分,点击 entityId,然后在默认值字段中输入 demo1697528098686。

在集成中使用 Amazon S3 连接

创建连接后,该连接将在 Apigee Integration 和 Application Integration 中可用。您可以通过连接器任务在集成中使用该连接。

  • 如需了解如何在 Apigee Integration 中创建和使用连接器任务,请参阅连接器任务。
  • 如需了解如何在 Application Integration 中创建和使用连接器任务,请参阅连接器任务。

向 Google Cloud 社区寻求帮助

您可以在 Google Cloud 社区的 Cloud 论坛中发布您的问题以及讨论此连接器。

后续步骤