管理编排流水线

您可以使用 Google Cloud CLI 命令来管理部署到运行器环境的编排流水线。

部署环境简介

您的项目可以包含一个或多个 部署环境 。每个部署环境的配置都会定义如何部署属于此环境的流水线和资源。例如,您可以有一个用于开发的部署环境,另一个用于生产的部署环境。这些部署环境可以有单独的流水线集,并在不同的运行器环境中运行。

每个部署环境都必须有一个 运行器环境 。 Managed Airflow 是在流水线部署后运行流水线的编排引擎。运行器环境是您已分配给 部署环境的 Managed Airflow 环境。

流水线软件包简介

编排流水线部署在 流水线软件包 中。流水线软件包包含一个或多个流水线以及共享通用部署周期的流水线资产。

每个软件包都可以有 多个版本 。部署软件包时,特定版本的软件包中的所有流水线和随附脚本都会一起部署。如果触发了流水线运行,即使您在此期间部署了新版本,所有流水线和流水线资产仍将保留在用于启动运行的软件包版本中。

查看流水线列表

gcloud

如需查看部署环境中的编排流水线列表,请在 deployment.yaml 文件所在的目录中运行以下 Google Cloud CLI 命令:

gcloud beta orchestration-pipelines list \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --owner OWNER_NAME

替换以下内容:

  • DEPLOYMENT_ENVIRONMENT:列出指定部署环境中的流水线。

    或者,您可以针对特定 运行器环境运行此命令。在这种情况下,请将 --environment 实参替换为 --runner 实参,并指定运行器环境的完整资源 ID。示例://composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment。

  • (可选)BUNDLE_NAME:列出属于指定软件包的流水线。

  • (可选)OWNER_NAME:如果指定,则列出属于指定所有者的流水线。

示例:

gcloud beta orchestration-pipelines list \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --owner example-pipeline-owner

控制台

如需查看部署环境中的编排流水线列表,请执行以下操作:

  1. 在 Google Cloud 控制台中,前往 环境 页面。

    转到“环境”

  2. 在环境列表中,点击您的环境名称。环境详情 页面会打开。

  3. 前往Orchestration Pipelines 标签页。该标签页会显示部署在您的环境中的所有流水线的列表。

查看流水线的详细说明

gcloud

如需查看特定流水线的说明,请在 gcloud CLI 中运行以下命令:

gcloud beta orchestration-pipelines describe \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME

替换以下内容:

  • DEPLOYMENT_ENVIRONMENT:流水线的部署环境。

    或者,您可以针对特定 运行器环境运行此命令。在这种情况下,请将 --environment 实参替换为 --runner 实参,并指定运行器环境的完整资源 ID。示例://composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment。

  • BUNDLE_NAME:流水线所属的软件包。

  • PIPELINE_NAME:流水线的名称。

示例:

gcloud beta orchestration-pipelines list \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline \
  --environment example-deployment-environment

控制台

  1. 在 Google Cloud 控制台中,前往 环境 页面。

    转到“环境”

  2. 在环境列表中,点击您的环境名称。环境详情 页面会打开。

  3. 前往Orchestration Pipelines 标签页。该标签页会显示部署在您的环境中的所有流水线的列表。

  4. 点击流水线的名称。流水线详情 页面会打开:

    • 详情 标签页会显示流水线的详细信息,例如流水线 ID、状态和来源提交 SHA。
    • 图表 标签页会显示一个图表,其中概述了流水线的各个操作。点击图表节点可查看每个操作的详细信息。
    • YAML 来源 标签页会显示流水线定义。
    • 运行历史记录 标签页会显示流水线运行的历史记录和状态。

部署流水线软件包

此命令会根据 提供的部署配置部署流水线软件包和流水线资产。请确保在运行此命令之前已 配置流水线部署。

如需为部署环境部署流水线软件包,请执行以下操作:

  • 部署已提交的更改:在您向流水线资产、流水线定义和部署配置提交更改后,您可以将新版本的流水线软件包部署到运行器环境。新软件包的 ID 将链接到代码库中的提交。此部署类型通常旨在作为 CI/CD 的一部分运行。例如,通过 GitHub Actions 工作流。
  • 部署本地软件包版本:部署当前版本的流水线资产、流水线定义和部署配置。新软件包 ID 将标记为本地部署。此部署类型旨在用于开发目的。

如需部署已提交的更改,请在 gcloud CLI 中运行以下命令:

gcloud beta orchestration-pipelines deploy \
  --environment DEPLOYMENT_ENVIRONMENT \

如需部署本地版本,请使用 --local 实参:

gcloud beta orchestration-pipelines deploy \
  --environment DEPLOYMENT_ENVIRONMENT \
  --local

替换以下内容:

  • DEPLOYMENT_ENVIRONMENT:流水线的部署环境。

示例:

gcloud beta orchestration-pipelines deploy \
  --environment example-deployment-environment

输出示例包含部署状态。

--- Pipeline Deployment Status ---
Pipeline 'example-pipeline': [OK] (Status: HEALTHY)

--- Pipeline Deployment full details ---
...

触发流水线的手动运行

您可以触发特定编排流水线的手动运行:

  • 您必须先部署流水线软件包,然后才能触发它。

  • 您只能触发软件包中流水线的最新部署版本。触发运行后,流水线将始终使用启动时所用的软件包版本执行其所有任务,即使您在此期间上传了较新的代码软件包版本也是如此。

如需触发手动运行,请在 gcloud CLI 中执行以下命令:

gcloud beta orchestration-pipelines trigger \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME

替换以下内容:

  • DEPLOYMENT_ENVIRONMENT:流水线的部署环境。

    或者,您可以针对特定 运行器环境运行此命令。在这种情况下,请将 --environment 实参替换为 --runner 实参,并指定运行器环境的完整资源 ID。示例://composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment。

  • BUNDLE_NAME:流水线所属的软件包。

  • PIPELINE_NAME:流水线的名称。

示例:

gcloud beta orchestration-pipelines trigger \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline

列出流水线的运行历史记录

gcloud

如需查看单个编排流水线的运行历史记录,包括所有先前流水线版本的运行,请在 gcloud CLI 中运行以下命令:

gcloud beta orchestration-pipelines runs list \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME

替换以下内容:

  • DEPLOYMENT_ENVIRONMENT:流水线所在的部署环境。

    或者,您可以针对特定 运行器环境运行此命令。在这种情况下,请将 --environment 实参替换为 --runner 实参,并指定运行器环境的完整资源 ID。示例://composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment。

  • BUNDLE_NAME:流水线所属的软件包。

  • PIPELINE_NAME:流水线的名称。

示例:

gcloud beta orchestration-pipelines runs list \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline

控制台

  1. 在 Google Cloud 控制台中,前往 环境 页面。

    转到“环境”

  2. 在环境列表中,点击您的环境名称。环境详情 页面会打开。

  3. 前往Orchestration Pipelines 标签页。该标签页会显示部署在您的环境中的所有流水线的列表。

  4. 点击流水线的名称。流水线详情 页面会打开。

  5. 前往运行历史记录 标签页。该标签页会显示流水线运行的历史记录和状态。

  6. 点击 DAG 运行 ID 可前往 DAG 运行详情页面。

列出流水线运行详情

如需查看单个编排流水线运行的详情,请在 gcloud CLI 中运行以下命令:

gcloud beta orchestration-pipelines runs describe \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME \
  --run-id RUN_ID

替换以下内容:

  • DEPLOYMENT_ENVIRONMENT:流水线所在的部署环境。

    或者,您可以针对特定 运行器环境运行此命令。在这种情况下,请将 --environment 实参替换为 --runner 实参,并指定运行器环境的完整资源 ID。示例://composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment。

  • BUNDLE_NAME:流水线所属的软件包。

  • PIPELINE_NAME:流水线的名称。

  • RUN_ID:流水线运行的标识符。您可以从 运行列表中获取此 ID。

示例:

gcloud beta orchestration-pipelines runs describe \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline \
  --run-id scheduled__2026-04-20T02:00:00+00:00

输出示例:

pipelineRuns:
- actions:
  - end_date: '2026-04-21T02:02:31.947672Z'
    execution_date: '2026-04-20T02:00:00Z'
    max_retries: 1
    metadata:
      airflow_dag_id: example-pipeline-bundle__v__33816e2690e93d03ee7b67d16765d9825549636c__example-pipeline
      airflow_task_instances:
      - end_date: '2026-04-21T02:02:31.947672Z'
        execution_date: '2026-04-20T02:00:00Z'
        max_retries: 1
        name: new_pyspark_task_1775735209136
        start_date: '2026-04-21T02:00:17.256040Z'
        state: SUCCEEDED
        try_number: 1
    name: new_pyspark_task_1775735209136
    start_date: '2026-04-21T02:00:17.256040Z'
    state: SUCCEEDED
    try_number: 1
  bundle_id: example-pipeline-bundle
  end_date: '2026-04-21T02:02:32.455241Z'
  execution_date: '2026-04-20T02:00:00Z'
  metadata:
    airflow_dag_id: example-pipeline-bundle__v__33816e2690e93d03ee7b67d16765d9825549636c__example-pipeline
  pipeline_id: example-pipeline
  pipeline_run_id: scheduled__2026-04-20T02:00:00+00:00
  start_date: '2026-04-21T02:00:00.952825Z'
  state: SUCCEEDED
  type: SCHEDULED
  version: 33816e2690e93d03ee7b67d16765d9825549636c

暂停已安排的流水线运行

暂停后,流水线将不会按其时间表运行。您可以 为此类流水线触发手动流水线运行。这样做会使流水线保持暂停状态,并会在时间表之外创建手动流水线运行。取消暂停流水线以启用其时间表。

如需暂停所有已安排的流水线运行,请在 gcloud CLI 中运行以下命令:

gcloud beta orchestration-pipelines pause \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME \

替换以下内容:

  • DEPLOYMENT_ENVIRONMENT:流水线所在的部署环境。

    或者,您可以针对特定 运行器环境运行此命令。在这种情况下,请将 --environment 实参替换为 --runner 实参,并指定运行器环境的完整资源 ID。示例://composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment。

  • BUNDLE_NAME:流水线所属的软件包。

  • PIPELINE_NAME:流水线的名称。

示例:

gcloud beta orchestration-pipelines pause \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline

取消暂停已安排的流水线运行

如需取消暂停已安排的流水线运行,请在 gcloud CLI 中运行以下命令:

gcloud beta orchestration-pipelines unpause \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME \

替换以下内容:

  • DEPLOYMENT_ENVIRONMENT:流水线所在的部署环境。

    或者,您可以针对特定 运行器环境运行此命令。在这种情况下,请将 --environment 实参替换为 --runner 实参,并指定运行器环境的完整资源 ID。示例://composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment。

  • BUNDLE_NAME:流水线所属的软件包。

  • PIPELINE_NAME:流水线的名称。