使用 Lightning Engine 加速 Spark 批处理工作负载和会话

控制台

使用 Google Cloud 控制台在批处理工作负载上启用 Lightning Engine。

1. 在 Google Cloud 控制台中：

   1. 前往 Managed Service for Apache Spark 批处理。
   2. 点击创建，打开创建批处理页面。

2. 选择并填写以下字段：

   • 容器：
     • 运行时版本：选择 2.3。

   • 层级配置：

     • 选择 Premium。这会自动启用并勾选“启用 LIGHTNING ENGINE 以提升 Spark 性能”。

     选择高级层级后，驱动程序计算层级和执行器计算层级会设置为 Premium。对于使用 3.0 之前的运行时的批处理，这些自动设置的高级层级计算设置无法被覆盖。

     您可以将驱动程序磁盘层级和执行器磁盘层级配置为 Premium，也可以将其保留为默认的 Standard 层级值。如果您选择高级磁盘层级，则必须选择磁盘大小。如需了解详情，请参阅资源分配属性。

   • 属性：可选：如果您想选择原生查询执行运行时，请输入以下 Key（属性名称）和 Value 对：

     键	值
     spark.dataproc.lightningEngine.runtime	本国的/原生的/土著

3. 填写、选择或确认其他批处理工作负载设置。请参阅提交 Spark 批量工作负载。

4. 点击提交以运行 Spark 批处理工作负载。

gcloud

设置以下 gcloud CLI gcloud dataproc batches submit spark 命令标志，以在批处理工作负载上启用 Lightning Engine。

gcloud dataproc batches submit spark \
    --project=PROJECT_ID \
    --region=REGION \
    --version=2.3 \
    --properties=dataproc.tier=premium \
    OTHER_FLAGS_AS_NEEDED

注意：

• PROJECT_ID：您的 Google Cloud 项目 ID。 项目 ID 列在 Google Cloud 控制台信息中心的项目信息部分中。
• REGION：用于运行工作负载的可用 Compute Engine 区域。

• --properties=dataproc.tier=premium。设置高级层级会自动在批处理工作负载上设置以下属性：

  • spark.dataproc.engine=lightningEngine 为批处理工作负载选择 Lightning Engine。
  • spark.dataproc.driver.compute.tier 和 spark.dataproc.executor.compute.tier 设置为 premium（请参阅资源分配属性）。对于使用 3.0 之前版本的运行时的批处理，这些自动设置的高级层级计算设置无法被覆盖。

• 其他属性

  • 原生查询引擎：spark.dataproc.lightningEngine.runtime=native 如果您想选择原生查询执行运行时，请添加此属性。

  • 磁盘层级和大小：默认情况下，驱动程序和执行器磁盘大小设置为 standard 层级和大小。您可以添加属性来选择 premium 磁盘层级和大小（以 375 GiB 为倍数）。
    如需了解详情，请参阅资源分配属性。

• OTHER_FLAGS_AS_NEEDED：请参阅提交 Spark 批处理工作负载。

API

如需在批处理工作负载上启用 Lightning Engine，请在 batches.create 请求中执行以下操作：

• 将 RuntimeConfig.version 设置为 2.3。

• 将 "dataproc.tier":"premium" 添加到 RuntimeConfig.properties。设置高级层级会自动在批处理工作负载上设置以下属性：

  • spark.dataproc.engine=lightningEngine 为批处理工作负载选择 Lightning Engine。
  • spark.dataproc.driver.compute.tier 和 spark.dataproc.executor.compute.tier 设置为 premium（请参阅资源分配属性）。对于使用 3.0 之前的运行时的批处理，这些自动设置的高级层级计算设置无法被覆盖。

其他RuntimeConfig.properties：

• 原生查询引擎：spark.dataproc.lightningEngine.runtime:native。 如果您想选择原生查询执行运行时，请添加此属性。

• 磁盘层级和大小：默认情况下，驱动程序和执行器磁盘大小设置为 standard 层级和大小。您可以添加属性来选择 premium 层级和大小（以 375 GiB 的倍数表示）。
  如需了解详情，请参阅资源分配属性。

如需设置其他批量工作负载 API 字段，请参阅提交 Spark 批量工作负载。

控制台

使用 Google Cloud 控制台在运行时配置文件（会话模板）上启用 Lightning Engine：

1. 在 Google Cloud 控制台中，前往运行时配置文件页面：

   前往“运行时配置文件”

2. 点击创建，打开创建运行时配置文件页面。

3. 选择并填写以下字段：

   • 层级：确认已选择高级（默认），并确认已选择启用 Lightning Engine 以提升性能（默认处于选中状态，用于设置 spark.dataproc.engine=lightningEngine）。

   • 其他配置：配置以下运行时和 Spark 属性设置：

     • 运行时配置：点击修改，验证 Spark 运行时版本是否设置为 2.3，然后点击保存。

     • 其他自定义设置：（可选）如需选择原生查询执行运行时，请点击修改，点击 Spark 属性下的添加属性，输入以下键（属性名称）和值对，然后点击保存：

       键	值
       spark.dataproc.lightningEngine.runtime	native

4. 填写、选择或确认其他运行时配置文件设置。如需详细了解运行时配置文件设置，请参阅创建运行时配置文件。

5. 点击创建。

gcloud

您无法使用 gcloud CLI 直接创建 Managed Service for Apache Spark 会话模板（运行时配置文件）。您可以改用 gcloud beta dataproc session-templates import 命令导入现有会话模板，修改导入的模板以启用 Lightning Engine 和（可选）Native Query 运行时，然后使用 gcloud beta dataproc session-templates export 命令导出修改后的模板。

API

如需在会话模板（运行时配置文件）上启用 Lightning Engine，请在 sessionTemplates.create 请求中执行以下操作：

• 将 RuntimeConfig.version 设置为 2.3。
• 将 "dataproc.tier":"premium" 和 "spark.dataproc.engine":"lightningEngine" 添加到 RuntimeConfig.properties。

其他RuntimeConfig.properties：

• 原生查询引擎：spark.dataproc.lightningEngine.runtime:native：将此属性添加到 RuntimeConfig.properties，以选择原生查询执行运行时。

如需详细了解如何设置其他会话模板 API 字段，请参阅创建运行时配置文件（会话模板）。

gcloud

设置以下 gcloud CLI gcloud beta dataproc sessions create spark 命令标志，以便在交互式会话中启用 Lightning Engine。

gcloud beta dataproc sessions create spark \
    --project=PROJECT_ID \
    --location=REGION \
    --version=2.3 \
    --properties=dataproc.tier=premium,spark.dataproc.engine=lightningEngine \
    OTHER_FLAGS_AS_NEEDED

注意：

• PROJECT_ID：您的 Google Cloud 项目 ID。 项目 ID 列在 Google Cloud 控制台信息中心的项目信息部分中。
• REGION：用于运行工作负载的可用 Compute Engine 区域。

• --properties=dataproc.tier=premium,spark.dataproc.engine=lightningEngine。这些属性会在会话中启用 Lightning Engine。

• 其他属性：

  • 原生查询引擎：spark.dataproc.lightningEngine.runtime=native：添加此属性以选择原生查询执行运行时。

• OTHER_FLAGS_AS_NEEDED：请参阅创建交互式会话。

API

如需在会话中启用 Lightning Engine，请在 sessions.create 请求中执行以下操作：

• 将 RuntimeConfig.version 设置为 2.3。
• 将 "dataproc.tier":"premium" 和 "spark.dataproc.engine":"lightningEngine" 添加到 RuntimeConfig.properties。

其他 RuntimeConfig.properties：

• 原生查询引擎：spark.dataproc.lightningEngine.runtime:native：如果您想选择原生查询执行运行时，请将此属性添加到 RuntimeConfig.properties。

如需设置其他会话模板 API 字段，请参阅创建交互式会话。

BigQuery 笔记本

在 BigQuery Studio PySpark 笔记本中创建会话时，您可以启用 Lightning Engine。

from google.cloud.dataproc_spark_connect import DataprocSparkSession
from google.cloud.dataproc_v1 import Session
session = Session()

# Enable Lightning Engine.
session.runtime_config.properties["version"] = "2.3"
session.runtime_config.properties["dataproc.tier"] = "premium"
session.runtime_config.properties["spark.dataproc.engine"] = "lightningEngine"

# Enable THE Native Query Execution runtime.
session.runtime_config.properties["spark.dataproc.lightningEngine.runtime"] = "native"

# Create the Spark session.
spark = (
   DataprocSparkSession.builder
     .appName("APP_NAME")
     .dataprocSessionConfig(session)
     .getOrCreate())

# Add Spark application code here: