为 Databricks Unity Catalog 设置跨云 Lakehouse

内部区域级代理网络负载平衡器

如需配置内部区域代理网络负载平衡器，以在多个 AWS ENI 之间分配请求，从而实现高可用性和负载均衡，请按以下步骤操作：

配置 AWS 网络

首先，创建 Amazon S3 VPC 接口端点 (AWS PrivateLink)：

1. 在 AWS VPC 控制台中，为 Amazon S3 创建接口端点。
2. 对于服务名称，请指定 com.amazonaws.<var>AWS_REGION</var>.s3。
3. 选择通过 Direct Connect 连接到 Google Cloud VPC 的 VPC 和子网。
4. 将安全组附加到端点以控制入站访问。
5. 此操作会在每个所选子网中预配弹性网络接口 (ENI)。记下这些 ENI 的私有 IP 地址。

接下来，配置安全组：

• 确保附加到 Amazon S3 端点 ENI 的安全组允许从 Google Cloud VPC 的相关 IP 范围在端口 443 上入站 TCP 流量。

配置 Google Cloud 网络

按照说明为混合端点设置内部区域级代理网络负载平衡器。

在按照说明操作时，请务必做到以下几点：

• 创建混合连接 NEG (NON_GCP_PRIVATE_IP_PORT)，并添加您之前创建的 AWS ENI 的私有 IP 地址。
• 为 NEG、健康检查和转发规则使用 TCP 端口 443。
• 在与联邦目录相同的 Google Cloud 区域中设置负载均衡器。

为负载均衡器创建转发规则后，请记下为其分配的内部 IP 地址。这是您的 ILB_IP_ADDRESS。

配置 Service Directory

在 Service Directory 中注册 ILB 的 IP 地址，以便 Lakehouse 可以发现它。

1. 为远程云创建命名空间：

   gcloud service-directory namespaces create NAMESPACE \
       --project=PROJECT_ID \
       --location=REGION

   替换以下内容：

   • NAMESPACE：命名空间的唯一标识符。
   • PROJECT_ID：您的 Google Cloud 项目 ID。
   • REGION： Google Cloud 区域。例如 us-east4。此值必须与联合目录所在的区域相同。

2. 在 Service Directory 命名空间中创建服务：

   gcloud service-directory services create SERVICE_NAME \
       --namespace=NAMESPACE \
       --project=PROJECT_ID \
       --location=REGION

   替换以下内容：

   • SERVICE_NAME：服务的唯一标识符。

3. 在服务中为 ILB 创建端点：

   gcloud service-directory endpoints create ENDPOINT_NAME \
       --project=PROJECT_ID \
       --namespace=NAMESPACE \
       --service=SERVICE_NAME \
       --location=REGION \
       --network=projects/PROJECT_NUMBER/global/networks/VPC_NETWORK \
       --address=ILB_IP_ADDRESS \
       --port=443

   替换以下内容：

   • ENDPOINT_NAME：端点的唯一标识符。
   • PROJECT_NUMBER：您的 Google Cloud项目编号。在 --network 标志中使用您的项目编号。
   • ILB_IP_ADDRESS：ILB 转发规则的内部 IP 地址。

直接端点

如需配置 Service Directory 以将流量直接路由到单个 AWS 接口 VPC 端点 IP 地址，请按照以下步骤操作：

1. 在 AWS VPC 内为 Amazon S3 创建接口 VPC 端点。记下此端点的 IP 地址和端口。

2. 为远程云创建命名空间：

   gcloud service-directory namespaces create NAMESPACE \
       --project=PROJECT_ID \
       --location=REGION

   替换以下内容：

   • NAMESPACE：命名空间的唯一标识符。
   • PROJECT_ID：您的 Google Cloud 项目 ID。
   • REGION： Google Cloud 区域。例如 us-east4。此值必须与联合目录所在的区域相同。

3. 在 Service Directory 命名空间中创建服务：

   gcloud service-directory services create SERVICE_NAME \
       --namespace=NAMESPACE \
       --project=PROJECT_ID \
       --location=REGION

   替换以下内容：

   • SERVICE_NAME：服务的唯一标识符。

4. 在包含 Amazon S3 接口 VPC 端点路由信息的服务中创建端点：

   gcloud service-directory endpoints create ENDPOINT_NAME \
       --service=SERVICE_NAME \
       --namespace=NAMESPACE \
       --project=PROJECT_ID \
       --location=REGION \
       --address=S3_VPCE_IP_ADDRESS \
       --port=S3_VPCE_PORT \
       --network=projects/PROJECT_NUMBER/global/networks/VPC_NETWORK

   替换以下内容：

   • ENDPOINT_NAME：端点的唯一标识符。
   • S3_VPCE_IP_ADDRESS：Amazon S3 接口 VPC 端点的 IP 地址。例如 10.0.1.45。
   • S3_VPCE_PORT：Amazon S3 接口 VPC 端点的端口号。例如 443。
   • PROJECT_NUMBER：您的 Google Cloud项目编号。在 --network 标志中使用您的项目编号。
   • VPC_NETWORK：与专用互连关联的 Google Cloud VPC 网络名称。

OIDC

OpenID Connect (OIDC) 可通过 Databricks OAuth 令牌联合实现无密钥身份验证。

1. 在您的 Databricks 账号中创建一个对目标 Unity Catalog 目录具有读取权限的服务正文。
2. 保存服务主账号的应用 ID (UUID)。您将在后续步骤中用到此名称。

基于 Secret 的

此选项使用通过区域性 Secret Manager Secret 安全存储的 OAuth 客户端 ID 和客户端密钥。

1. 创建一个名为 credentials.json 且包含您的载荷的 JSON 文件：

   {
   "client_id": "CLIENT_ID",
   "client_secret": "CLIENT_SECRET"
   }

   替换以下内容：

   • CLIENT_ID：Databricks 服务主账号的 OAuth 客户端 ID。
   • CLIENT_SECRET：Databricks 服务主账号的 OAuth 客户端密钥。

2. 为 Secret Manager 配置区域端点：

   默认情况下，Secret Manager 使用全球端点。不过，跨云 Lakehouse 要求您的 Secret 存储在与 Lakehouse 目录相同的区域中。如需使用 gcloud CLI 与区域级密文互动，您必须替换当前会话或配置文件的默认 API 端点。为避免连接问题，您的 Secret 和目录必须在同一区域中创建。例如 secretmanager.us-east4.rep.googleapis.com。

   gcloud config set api_endpoint_overrides/secretmanager https://secretmanager.REGION.rep.googleapis.com/

   替换以下内容：

   • REGION：存储 Secret Manager Secret 的 Google Cloud 区域。例如 us-east4。 为避免连接问题，您的密钥和目录必须在同一区域中创建。例如 secretmanager.us-east4.rep.googleapis.com。

3. 将载荷上传到 Secret Manager：

   gcloud secrets create DATABRICKS_SECRET_NAME \
   --location="REGION" \
   --project="PROJECT_ID" \
   --data-file=credentials.json

   替换以下内容：

   • DATABRICKS_SECRET_NAME：Databricks Secret 的名称。

控制台

如需使用基于 Secret 的身份验证创建联合目录，请执行以下操作：

1. 在 Google Cloud 控制台中，前往 Lakehouse。

   前往 Lakehouse

2. 点击 add_box 创建目录。

3. 点击联合目录。

   系统会显示目录配置详细信息。

4. 对于联合目录来源，选择 Unity (Databricks)。

5. 对于数据位置，选择要在其中创建联邦目录的 Lakehouse 区域。例如 us-east4。 为了尽可能缩短延迟时间（即使是通过公共互联网），请在选择区域时执行以下操作：

   • 如果您的 Unity Catalog 目录位于 AWS 上，请选择Google Cloud 距离您的 AWS 区域最近的区域。
   • 如果您的 Unity Catalog 目录处于 Google Cloud状态，请选择完全相同的区域。

6. 点击继续。

   系统会显示连接详细信息。

7. 在远程目录详细信息部分的 Unity 实例名称字段中，输入目标 Databricks 实例名称。例如：abcd.cloud.databricks.com。

8. 在 Unity Catalog 名称字段中，输入要联合的目标 Databricks Unity Catalog 目录的名称。

9. 选择身份验证方法：

   • 对于 OIDC，输入服务主账号的应用 ID。
   • 对于 Secret，请输入您的 Secret 的名称。请使用以下格式 projects/PROJECT_ID/locations/REGION/secrets/DATABRICKS_SECRET_NAME。

10. 可选：在服务目录名称字段中，输入您的 Service Directory 服务的路径。例如：projects/PROJECT_ID/locations/REGION/namespaces/NAMESPACE/services/SERVICE_NAME。只有在配置跨云互连时才需要执行此步骤。

11. 点击创建。

gcloud CLI

gcloud biglake iceberg catalogs create FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --primary-location="REGION" \
    --catalog-type="federated" \
    --federated-catalog-type="unity" \
    --unity-service-principal-application-id="UNITY_SERVICE_PRINCIPAL_APPLICATION_ID" \
    --unity-instance-name="UNITY_INSTANCE_NAME" \
    --unity-catalog-name="UNITY_CATALOG_NAME" \
    --refresh-interval="REFRESH_INTERVAL" \
    --namespace-filters="NAMESPACE_FILTERS"

gcloud biglake iceberg catalogs create FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --primary-location="REGION" \
    --catalog-type="federated" \
    --federated-catalog-type="unity" \
    --unity-service-principal-application-id="UNITY_SERVICE_PRINCIPAL_APPLICATION_ID" \
    --unity-instance-name="UNITY_INSTANCE_NAME" \
    --unity-catalog-name="UNITY_CATALOG_NAME" \
    --refresh-interval="REFRESH_INTERVAL" \
    --namespace-filters="NAMESPACE_FILTERS" \
    --service-directory-name="projects/PROJECT_ID/locations/REGION/namespaces/NAMESPACE/services/SERVICE_NAME"

gcloud biglake iceberg catalogs create FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --primary-location="REGION" \
    --catalog-type="federated" \
    --federated-catalog-type="unity" \
    --secret-name="projects/PROJECT_ID/locations/REGION/secrets/DATABRICKS_SECRET_NAME" \
    --unity-instance-name="UNITY_INSTANCE_NAME" \
    --unity-catalog-name="UNITY_CATALOG_NAME" \
    --refresh-interval="REFRESH_INTERVAL" \
    --namespace-filters="NAMESPACE_FILTERS"

gcloud biglake iceberg catalogs create FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --primary-location="REGION" \
    --catalog-type="federated" \
    --federated-catalog-type="unity" \
    --secret-name="projects/PROJECT_ID/locations/REGION/secrets/DATABRICKS_SECRET_NAME" \
    --unity-instance-name="UNITY_INSTANCE_NAME" \
    --unity-catalog-name="UNITY_CATALOG_NAME" \
    --refresh-interval="REFRESH_INTERVAL" \
    --namespace-filters="NAMESPACE_FILTERS" \
    --service-directory-name="projects/PROJECT_ID/locations/REGION/namespaces/NAMESPACE/services/SERVICE_NAME"

OIDC

创建目录时，Lakehouse 会为其预配一个唯一的服务账号。您必须检索服务账号的数字唯一 ID，并使用该 ID 为 Databricks 服务正文配置联合政策。

1. 检索 Lakehouse 目录服务账号的数字唯一 ID：

   gcloud biglake iceberg catalogs describe FEDERATED_CATALOG_NAME \
     --project="PROJECT_ID" \
     --location="REGION" \
     --format='value(biglake-service-account-id)'

2. 在 Databricks 账号中，为您之前创建的服务正文配置联合身份验证政策。请使用以下值：

   • 颁发者网址：https://accounts.google.com
   • 主题：在上一步中检索到的 Lakehouse 目录服务账号的数字唯一 ID。
   • 受众群体：https://accounts.cloud.databricks.com

   确保 Databricks 服务正文对目标目录和工作区具有读取权限。

基于 Secret 的

创建目录时，Lakehouse 会为其预配一个唯一的服务账号（在资源说明中以 biglake-service-account 形式返回）。

您必须向此服务账号授予访问您之前创建的 Secret 的权限。请注意，传播 IAM 政策可能需要几分钟时间。

向目录的服务账号授予访问 Secret 的权限。

gcloud config set api_endpoint_overrides/secretmanager https://secretmanager.REGION.rep.googleapis.com/
gcloud secrets add-iam-policy-binding DATABRICKS_SECRET_NAME \
--project="PROJECT_ID" \
--location="REGION" \
--member="serviceAccount:$(gcloud biglake iceberg catalogs describe FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --location="REGION" \
    --format='value(biglake-service-account)')" \
--role="roles/secretmanager.secretAccessor"

如需验证联合目录服务账号是否具有对相应 Secret 的访问权限，请运行以下命令：

gcloud config set api_endpoint_overrides/secretmanager https://secretmanager.REGION.rep.googleapis.com/
gcloud secrets get-iam-policy DATABRICKS_SECRET_NAME \
   --project="PROJECT_ID" \
   --location="REGION"

在输出中，验证 biglake-service-account 服务账号是否已分配 roles/secretmanager.secretAccessor 角色。