使用「端點用量限制」政策設定環境

Managed Airflow (第 3 代) | Managed Airflow (第 2 代) | Managed Airflow (舊版第 1 代)

本頁說明強制執行「端點用量限制」組織政策時，如何建立 Managed Airflow 環境。

constraints/gcp.restrictEndpointUsage 組織政策會限制可用於存取資源的 Google API 端點。這項功能可讓機構強制使用位置或區域端點，例如滿足資料必須保留在特定地理區域內的要求。

關於 Managed Airflow 中的「限制端點用量」政策

在「限制端點用量」政策禁止存取 Cloud Storage API、Cloud Logging API、Pub/Sub API 或 Data Lineage API 等服務的全域端點的專案中，建立 Managed Airflow 環境時，Managed Airflow 會將環境的內部元件設定為使用這些服務的對應區域端點 (REP)。

環境使用的特定端點是由「端點用量限制」政策在建立環境時決定。即使之後重新設定政策，這些端點也不會變更。

限制 Managed Airflow 環境所需的服務

如果「限制端點用量」政策限制了 Managed Airflow 要求的某些服務，則適用下列限制：

  • Airflow UI 中的 Airflow 工作記錄

    Airflow UI 會依賴全域 Cloud Logging 端點 (logging.googleapis.com) 顯示工作記錄。如果您在「限制端點使用」政策中拒絕 logging.googleapis.com，Airflow 使用者介面就不會顯示工作記錄。

    這項限制僅適用於 Airflow UI。您仍可在 Google Cloud 控制台和 Cloud Logging 中，查看 DAG UI 中的工作記錄和 Airflow 工作人員記錄。

  • 環境指標

    由於部分 Cloud Monitoring API 不完全支援區域端點，因此 Managed Airflow 會使用 Cloud Monitoring 的全域端點 (monitoring.googleapis.com)。限制 monitoring.googleapis.com 可能會影響部分環境指標。

  • DAG 中的 Airflow 運算子

    如果 Airflow 運算子連線至「限制端點用量」政策禁止的全域端點，就會失敗。請確認 DAG 中的所有 Airflow 運算子都已設定為使用區域端點 (如果運算子支援的話)。

事前準備

  • Managed Airflow (第 2 代) 2.16.7 以上版本支援「端點用量限制」政策。

設定「端點用量限制」政策

如要進一步瞭解如何設定「端點用量限制」政策，拒絕存取特定全域端點，請參閱「限制端點用量」一文。

建立具有「端點用量限制」政策的公開 IP 環境

公開 IP Managed Airflow 環境不需要任何額外設定。請執行下列步驟：

  1. 確認要區域化的服務在所選區域中提供區域端點。

  2. 確認「端點用量限制」政策已設定，並拒絕您要區域化的服務使用全域端點。

  3. 建立新的 Managed Airflow 環境。

    環境會根據「端點用量限制」政策使用區域端點。

使用「端點用量限制」政策建立私有 IP 環境

如要在私人 IP 設定中建立採用「限制端點用量」政策的環境，您必須設定虛擬私有雲網路，透過 Private Service Connect 和 Cloud DNS 解析流量並將流量路由至必要的區域端點 (REP)。

如要建立採用「端點用量限制」政策的私人 IP 環境，請按照下列步驟操作：

  1. 確認要區域化的服務在所選區域中提供區域端點。

  2. 確認「端點用量限制」政策已設定，並拒絕您要區域化的服務使用全域端點。

  3. 請確認您已擁有要用於私人 IP 環境的虛擬私有雲網路和子網路。

  4. 針對受「端點用量限制」政策限制的下列各項服務，重複執行網路設定步驟：

    • storage.googleapis.com
    • logging.googleapis.com
    • pubsub.googleapis.com
    • datalineage.googleapis.com
    • DAG 中使用的所有其他服務的 Google API 端點。

為受政策限制的服務設定私人 IP 網路

如果專案中任何 Google 服務的存取權受到限制，請對應區域端點 (REP) 執行下列步驟。

您必須建立 Private Service Connect 端點，才能指定這些服務的區域變體，並為 Managed Airflow 環境指定區域。舉例來說，如果您的環境位於 us-central1，請指定 Cloud Storage 的 storage.us-central1.rep.googleapis.com REP。

如要進一步瞭解如何使用 Private Service Connect 端點連線至支援的 Google API 區域端點，請參閱「透過端點存取區域性 Google API」。

建立 Private Service Connect 端點

  1. 前往 Google Cloud 控制台的「Private Service Connect」頁面。

    前往 Private Service Connect

  2. 按一下「連結端點」。

  3. 設定 Private Service Connect 端點，步驟如下：

    • 目標：選取「Google API」。

    • 目標詳細資料：

      1. 範圍：選取 Regional。
      2. 區域：選取 Managed Airflow 環境的區域。
      3. 目標服務：選取要設定的服務。這會選取所選區域的 REP。

      範例：

      如果您的環境位於 us-central1，且您要設定 Cloud Storage，請選取 Iowa (us-central1) 和 Cloud Storage (storage.us-central1.rep.googleapis.com)。

    • 端點詳細資料：

      1. 端點名稱：端點的名稱。

        範例：psc-storage-endpoint-us-central1。

      2. 網路和子網路：選取 Managed Airflow 環境的虛擬私有雲網路和子網路。

      3. IP 位址：選擇現有 IP 位址，或按一下「建立 IP 位址」，從所選子網路預留新的靜態內部 IP 位址。

        為這個 IP 位址指定描述性名稱。您稍後會使用這個 IP 位址設定 DNS 記錄。

        範例：psc-storage-us-central1。

  4. 按一下「新增端點」。

建立私人 DNS 區域

  1. 前往 Google Cloud 控制台的「Cloud DNS」頁面。

    前往 Cloud DNS

  2. 按一下「Create zone」(建立區域)。

  3. 在「可用區類型」中，選取「Private」。

  4. 指定下列設定：

    • 區域名稱：區域的名稱。

      範例：storage-us-central1

    • DNS 名稱：DNS 名稱，請加上尾隨點。

      範例：storage.us-central1.rep.googleapis.com.

    • 網路：選取 Managed Airflow 環境的虛擬私有雲網路。

  5. 點選「建立」。

在建立的 DNS 區域中新增 DNS 記錄

  1. 前往 Google Cloud 控制台的「Cloud DNS」頁面。

    前往 Cloud DNS

  2. 按一下您建立的區域名稱。

  3. 點選「Add Standard」(新增標準)。

  4. 請按照下列方式設定 DNS 記錄：

    • DNS 名稱：指定 DNS 區域的子網域。

      範例：storage.us-central1.rep.googleapis.com

    • 資源記錄類型：選取 A。

    • IPv4 位址：選取您指派給 Private Service Connect 端點的 IP 位址。

  5. 點選「建立」。

建立 Private IP Managed Airflow 環境

設定環境要使用的所有服務後，請在選取的虛擬私有雲網路和子網路中建立私人 IP 環境。

後續步驟