本文档介绍了如何设置跨云连接,以便直接在 Google Cloud中查询 Amazon Web Services (AWS)、Microsoft Azure 或 Google Cloud 上的 SAP Business Data Cloud (BDC) 中的数据。这会将外部数据源与您现有的 Google Cloud环境集成。
如需简要了解 Lakehouse 如何与 SAP BDC 集成,请参阅 SAP BDC 集成简介。
准备工作
- 查看 Lakehouse 概览,了解 Lakehouse 如何管理数据访问权限。
- 阅读访问跨云数据简介,了解其工作原理。
- 查看支持的目录以验证要求。
- 确保您的 SAP 管理员有权访问您的 SAP BDC 环境,以便配置 BDC Connect 应用。
- 确保您的目标 Google Cloud 项目在 BigQuery 企业 Plus 版上运行。
- 登录您的 Google Cloud 账号。如果您是 Google Cloud新手,请 创建一个账号来评估我们的产品在实际场景中的表现。新客户还可获享 $300 赠金,用于运行、测试和部署工作负载。
-
Verify that billing is enabled for your Google Cloud project.
Enable the BigLake API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
Verify that billing is enabled for your Google Cloud project.
Enable the BigLake API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.
所需的角色
如需获得设置跨云访问权限所需的权限,请让管理员向您授予项目的以下 IAM 角色:
-
管理 Lakehouse 目录:BigLake Admin (
roles/biglake.admin) 或 BigQuery Admin (roles/bigquery.admin)
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
限制和注意事项
本部分列出了访问跨云数据的限制和注意事项。
- SAP 增量共享表不支持精细访问权限控制 (FGAC)。
- 您可能需要进行特定的 VPC 配置或许可清单设置,具体取决于您的投放网络设置。如需了解 VPC Service Controls 配置,请参阅 SAP BDC 的 VPC Service Controls 配置。
- 不支持包含
/或-等特殊字符的数据产品,即使从 SAP BDC 共享到 BigQuery,也无法在 BigQuery 中使用。如果您分享的数据产品包含特殊字符,可能会导致 Google 端的刷新中断,并需要重新注册。已知生成这些数据产品的 SAP 系统包括 BW 来源和 SuccessFactors。 - 只读:Lakehouse 中的联合目录是远程目录的只读视图。不支持资源操作(例如创建、更新或删除资源),必须直接在远程目录中执行。
- 数据新鲜度:联合目录的
--refresh-interval标志决定了元数据的同步频率。该值必须为0s(停用)或至少为300s(5 分钟)。目录的后台元数据刷新可能需要更长时间,具体取决于命名空间和表资源的数量。如果上一次刷新超时,则系统会跳过当前刷新,但会按下一个间隔时间安排下一次刷新。 查询使用的是最近同步的目录元数据,因此在远程目录中所做的更改(例如新表、架构更新或新提交的数据)在下一次后台元数据刷新完成之前不会在 Lakehouse 中显示。 - Lakehouse 缓存:系统会自动为所有跨云查询启用 Lakehouse 缓存,通过将数据块存储在 Google Cloud本地来节省出站流量费用。缓存不支持客户管理的加密密钥 (CMEK);缓存的数据使用 Google-owned and Google-managed encryption keys进行加密。如果对查询中的任何表强制执行
constraints/gcp.restrictNonCmekServices组织政策限制条件,则系统会自动为该查询停用缓存。 如需了解详情,请参阅智能缓存。 - 数据驻留和合规性:在 Google Cloud 区域中创建联合目录或连接会将缓存的静态数据存储在该目标区域中。如果您的远程云数据位于其他管辖区,请确保跨区域缓存符合贵组织的数据驻留和监管合规要求。
常规工作流程
如需为 SAP BDC 设置跨云连接,请按以下步骤操作:
- 设置企业 Plus 版:在查询 SAP BDC 实例时启用 BigQuery 企业 Plus 版。
- 创建 Lakehouse 目录:BigQuery 管理员创建一个空的 Delta Sharing 目录,用于连接到 SAP BDC。
- 在 SAP for Me 中配置连接器:您的 SAP 管理员预配 BDC Connect 应用实例。
- 更新目录:将端点和邀请码添加到 Lakehouse 目录,完成握手。
- 安装 SAP BDC 数据产品:您的 SAP 数据监管员请求访问权限,并将数据产品安装到 BDC Connect for BigQuery 实例。
- 查询数据:使用 BigQuery 查询联合数据。 系统会自动为查询启用 Lakehouse 缓存,以节省出站流量费用。
- 配置权限:使用 Identity and Access Management (IAM) 管理访问权限。
设置 BigQuery 企业 Plus 版
通过此一次性设置,BigQuery 可以使用企业 Plus 版查询 SAP BDC 实例。
创建企业 Plus 版预留
转到 BigQuery。
在导航菜单中,依次前往管理 > 工作负载管理。
点击创建预留。
在预留名称部分,输入一个名称(例如
enterprise-plus-sap-res)。在位置部分,选择数据所在的区域。此区域必须与 Lakehouse 运行时目录使用的区域一致。
在版本部分,选择企业 Plus 版。
对于预留大小上限,选择 BigQuery 可以扩容到的槽数上限。
对于基准槽,请输入
0,以防止在不查询数据时产生费用。展开高级设置,然后对于如何使用空闲槽?,选择可预测的性能,让 BigQuery 使用空闲槽和自动扩缩槽,最多可达到预留大小上限。
点击保存。
将项目分配到预留
- 在容量管理页面中,点击分配标签页。
- 点击创建作业。
- 在选择资源部分,选择运行 BigQuery 作业的项目、文件夹或组织。
- 在预留部分,选择您创建的企业 Plus 版预留。
- 对于服务类型,选择查询。
- 点击创建。
如需进行验证,请在 BigQuery 作业历史记录中查看该项目中运行的任何作业的作业信息。
设置联合
如需查询数据,请设置一个连接到远程 SAP BDC 实例的 Lakehouse 联合目录。这会启动握手,建立信任关系,其中 BigQuery 服务账号充当 Google Cloud 项目的身份。
创建 Lakehouse Delta Sharing 目录
使用 Google Cloud 控制台或 gcloud CLI 创建一个空的 Delta Sharing 目录。
控制台
在 Google Cloud 控制台中,前往 Lakehouse 页面。
在导航菜单中,点击运行时目录。
点击创建目录,然后选择联合目录。
在目录配置部分中,输入以下内容:
- 对于联合目录来源,选择 SAP (Business Data Cloud)。
- 在目录名称(在 Lakehouse 中)部分,输入目录的名称。
- 在数据位置部分,选择 Lakehouse 区域。
为了最大限度地降低延迟时间和数据传输费用,请执行以下操作:
- 如果您的 SAP BDC 实例位于 AWS 上,请选择Google Cloud 最靠近 AWS 区域的区域。
- 如果您的 SAP BDC 实例位于 Azure 上,请选择Google Cloud 最靠近 Azure 区域的区域。
- 如果您的 SAP BDC 实例位于 Google Cloud上,请选择完全相同的区域。
点击继续。
检索页面上显示的 Google Cloud 服务账号 ID,并将此 ID 提供给您的 SAP 管理员。
gcloud
创建空的 Delta Sharing 目录:
gcloud biglake delta-sharing catalogs create CATALOG_ID \ --project="PROJECT_ID" \ --location="REGION" \ --refresh-interval="REFRESH_INTERVAL"
替换以下内容:
CATALOG_ID:目录的名称。PROJECT_ID:您的 Google Cloud 项目 ID。REGION:Lakehouse 区域。为了最大限度地减少延迟时间和数据传输费用,请执行以下操作:- 如果您的 SAP BDC 实例位于 AWS 上,请选择Google Cloud 最靠近 AWS 区域的区域。
- 如果您的 SAP BDC 实例位于 Azure 上,请选择Google Cloud 最靠近 Azure 区域的区域。
- 如果您的 SAP BDC 实例位于 Google Cloud上,请选择完全相同的区域。
REFRESH_INTERVAL:可选:从目录刷新元数据的间隔时间,指定为带有单位的时长字符串(例如,5m表示 5 分钟,300s表示 300 秒,1h表示 1 小时)。如果省略,刷新间隔默认为 5 分钟(5m或300s)。
检索 Google Cloud 服务账号 ID,以提供给您的 SAP 管理员:
gcloud biglake delta-sharing catalogs describe CATALOG_ID \ --project="PROJECT_ID"
在 SAP for Me 中配置连接器
您的 SAP 管理员必须登录 SAP for Me 并预配 BDC Connect 应用的新实例:
- 输入显示名。
- 选择或创建资源组。
- 分配 BDC 容量单位。
- 输入 Google Cloud 服务账号 ID 作为外部系统实例标识符。
- 选择区域。 此区域必须与 BDC Core 区域一致。
- 点击完成。
完成后,前往租户详情视图。将指针悬停在查看租户通知按钮上,以获取激活链接,其中包含 SAP 连接器端点和 SAP 邀请码。
将这些信息提供给您的 BigQuery 管理员。
如需了解详情,请参阅 SAP 文档中的预配 SAP Business Data Cloud Connect。
使用 SAP 注册详情更新目录
使用 Google Cloud 控制台或 gcloud CLI 更新目录以完成握手。
控制台
如果您尚未进入连接详情页面,请执行以下操作:
在 Google Cloud 控制台中,前往 Lakehouse 页面。
在导航菜单中,点击运行时目录。
选择您的 SAP Delta Sharing 目录,打开其目录详情页面。
在横幅中,点击注册目录。
在连接详情部分中,输入以下内容:
- 在连接器端点部分,输入 SAP 管理员提供的网址。
- 在邀请码部分,输入 SAP 管理员提供的代码。
点击保存。
gcloud
gcloud biglake delta-sharing catalogs update CATALOG_ID \ --project="PROJECT_ID" \ --connector-endpoint="CONNECTOR_ENDPOINT" \ --invitation-code="INVITATION_CODE" \ --refresh-interval="REFRESH_INTERVAL"
替换以下内容:
CATALOG_ID:您的目录的名称。PROJECT_ID:您的 Google Cloud 项目 ID。CONNECTOR_ENDPOINT:SAP 管理员提供的网址。INVITATION_CODE:SAP 管理员提供的代码。REFRESH_INTERVAL:可选:从目录刷新元数据的间隔时间,指定为带有单位的时长字符串(例如,5m表示 5 分钟,300s表示 300 秒,1h表示 1 小时)。如果省略,后台元数据刷新间隔默认为 5 分钟(5m或300s)。
在 SAP for Me 中将连接添加到 BDC 编队
您的 SAP 管理员必须登录 SAP for Me,并将连接添加到 BDC 编队:
- 在客户概况中,选择编队。
- 为 SAP BDC 实例选择或创建编队。
- 点击包含系统。
- 选择 SAP BDC Connect 系统,然后点击下一步。
- 确认所选系统,然后点击包含。
完成后,需要同步 BDC 编队。
安装 SAP BDC 数据产品
您的 SAP 数据监管员必须登录 SAP Business Data Cloud,并为与 BigQuery 关联的 BDC Connect 实例安装数据产品。 访问权限获批且数据产品安装在 SAP 中后,该产品便可在 Google BigQuery 中作为 Delta Sharing 共享内容被发现。
如需了解如何在 SAP 中请求访问权限和安装数据产品的分步说明,请参阅 SAP 文档中的通过 SAP Business Data Cloud Connect 获取对数据产品的访问权限。