使用 Lightning Engine 加速處理 Spark 批次工作負載和工作階段

控制台

使用 Google Cloud 控制台，為批次工作負載啟用 Lightning Engine。

1. 在 Google Cloud 控制台中：

   1. 前往 Managed Service for Apache Spark 批次。
   2. 按一下「Create」(建立)，開啟「Create batch」(建立批次) 頁面。

2. 選取並填寫下列欄位：

   • 容器：
     • 執行階段版本：選取 2.3。

   • 層級設定：

     • 選取「Premium」。這項操作會自動啟用並勾選「啟用 Lightning Engine 來提高 Spark 效能」。

     選取進階級時，「Driver Compute Tier」(驅動程式運算級別) 和「Executor Compute Tier」(執行器運算級別) 會設為 Premium。如果批次使用的執行階段早於 3.0，則無法覆寫這些自動設定的進階級運算設定。

     您可以將「Driver Disk Tier」(驅動程式磁碟層級) 和「Executor Disk Tier」(執行器磁碟層級) 設為 Premium，或保留預設的 Standard 層級值。如果選擇進階磁碟級別，則必須選取磁碟大小。詳情請參閱資源分配屬性。

   • 屬性：選用：如要選取原生查詢執行執行階段，請輸入下列 Key (屬性名稱) 和 Value 配對：

     鍵	值
     spark.dataproc.lightningEngine.runtime	原生

3. 填寫、選取或確認其他批次工作負載設定。請參閱「提交 Spark 批次工作負載」。

4. 按一下「Submit」(提交)，執行 Spark 批次工作負載。

gcloud

設定下列 gcloud CLI gcloud dataproc batches submit spark 指令旗標，為批次工作負載啟用 Lightning Engine。

gcloud dataproc batches submit spark \
    --project=PROJECT_ID \
    --region=REGION \
    --version=2.3 \
    --properties=dataproc.tier=premium \
    OTHER_FLAGS_AS_NEEDED

注意：

• PROJECT_ID：您的 Google Cloud 專案 ID。 專案 ID 會列在 Google Cloud 控制台資訊主頁的「Project info」(專案資訊) 部分。
• REGION：可執行工作負載的 Compute Engine 區域。

• --properties=dataproc.tier=premium。 設定進階級後，系統會自動在批次工作負載上設定下列屬性：

  • spark.dataproc.engine=lightningEngine 會為批次工作負載選取 Lightning Engine。
  • spark.dataproc.driver.compute.tier 和 spark.dataproc.executor.compute.tier 設為 premium (請參閱資源分配屬性)。如果批次使用的執行階段早於 3.0，則無法覆寫這些自動設定的進階級運算設定。

• 其他屬性

  • 原生查詢引擎：spark.dataproc.lightningEngine.runtime=native 如要選取原生查詢執行執行階段，請新增這項屬性。

  • 磁碟級別和大小：根據預設，驅動程式和執行器磁碟大小會設為 standard 級別和大小。您可以新增屬性，選取 premium 磁碟級別和大小 (375 GiB 的倍數)。
    詳情請參閱資源分配屬性。

• OTHER_FLAGS_AS_NEEDED：請參閱「提交 Spark 批次工作負載」。

API

如要在批次工作負載上啟用 Lightning Engine，請在 batches.create 要求中執行下列操作：

• 將 RuntimeConfig.version 設為 2.3。

• 將「dataproc.tier」:「premium」新增至 RuntimeConfig.properties。設定進階級會自動在批次工作負載上設定下列屬性：

  • spark.dataproc.engine=lightningEngine 會為批次工作負載選取 Lightning Engine。
  • spark.dataproc.driver.compute.tier 和 spark.dataproc.executor.compute.tier 設為 premium (請參閱資源分配屬性)。如果批次使用的執行階段早於 3.0，則無法覆寫這些自動設定的進階級運算設定。

其他RuntimeConfig.properties：

• 原生查詢引擎：spark.dataproc.lightningEngine.runtime:native。如要選取原生查詢執行執行階段，請新增這項屬性。

• 磁碟級別和大小：根據預設，驅動程式和執行器磁碟大小會設為 standard 級別和大小。您可以新增屬性，選取 premium 級別和大小 (375 GiB 的倍數)。
  詳情請參閱資源分配屬性。

如要設定其他批次工作負載 API 欄位，請參閱「提交 Spark 批次工作負載」。

控制台

使用 Google Cloud 控制台，在執行階段設定檔 (工作階段範本) 上啟用 Lightning Engine：

1. 在 Google Cloud 控制台中，前往「Runtime Profiles」(執行階段設定檔) 頁面：

   前往「Runtime Profiles」(執行階段設定檔)

2. 按一下「Create」(建立)，開啟「Create a runtime profile」(建立執行階段設定檔) 頁面。

3. 選取並填寫下列欄位：

   • 「Tier」(級別)：確認已選取「Premium」(進階) (預設)，並確認已選取「Enable Lightning Engine to accelerate performance」(啟用 Lightning Engine 來提高效能) (預設為選取，會設定 spark.dataproc.engine=lightningEngine)。

   • 其他設定：設定下列執行階段和 Spark 屬性：

     • 「Runtime configuration」(執行階段設定)：按一下「Edit」(編輯)，確認「Spark runtime version」(Spark 執行階段版本) 設為 2.3，然後按一下「Save」(儲存)。

     • 其他自訂項目：(選用) 如要選取原生查詢執行執行階段，請按一下「Edit」(編輯)，然後點選「Spark properties」(Spark 屬性) 下方的「Add property」(新增屬性)，接著輸入下列「Key」(鍵) (屬性名稱) 和「Value」(值) 組合，最後點選「Save」(儲存)：

       鍵	值
       spark.dataproc.lightningEngine.runtime	native

4. 填寫、選取或確認其他執行階段設定檔設定。如要進一步瞭解執行階段設定檔設定，請參閱「建立執行階段設定檔」。

5. 點選「建立」。

gcloud

您無法直接使用 gcloud CLI 建立 Managed Service for Apache Spark 工作階段範本 (執行階段設定檔)。您可以改用 gcloud beta dataproc session-templates import 指令匯入現有的工作階段範本，編輯匯入的範本來啟用 Lightning Engine，並視需要啟用原生查詢執行階段，然後使用 gcloud beta dataproc session-templates export 指令匯出編輯過的範本。

API

如要在工作階段範本 (執行階段設定檔) 上啟用 Lightning Engine，請在 sessionTemplates.create 要求中執行下列操作：

• 將 RuntimeConfig.version 設為 2.3。
• 將「dataproc.tier」:「premium」和「spark.dataproc.engine」:「lightningEngine」新增至 RuntimeConfig.properties。

其他RuntimeConfig.properties：

• 原生查詢引擎：spark.dataproc.lightningEngine.runtime:native：將這項屬性新增至 RuntimeConfig.properties，即可選取原生查詢執行執行階段。

如要進一步瞭解如何設定其他工作階段範本 API 欄位，請參閱「建立執行階段設定檔 (工作階段範本)」。

gcloud

設定下列 gcloud CLI gcloud beta dataproc sessions create spark 指令旗標，在互動式工作階段啟用 Lightning Engine。

gcloud beta dataproc sessions create spark \
    --project=PROJECT_ID \
    --location=REGION \
    --version=2.3 \
    --properties=dataproc.tier=premium,spark.dataproc.engine=lightningEngine \
    OTHER_FLAGS_AS_NEEDED

注意：

• PROJECT_ID：您的 Google Cloud 專案 ID。 專案 ID 會列在 Google Cloud 控制台資訊主頁的「Project info」(專案資訊) 部分。
• REGION：可執行工作負載的 Compute Engine 區域。

• --properties=dataproc.tier=premium,spark.dataproc.engine=lightningEngine。 這些屬性會為工作階段啟用 Lightning Engine。

• 其他屬性：

  • 原生查詢引擎：spark.dataproc.lightningEngine.runtime=native：新增這項屬性，即可選取原生查詢執行執行階段。

• OTHER_FLAGS_AS_NEEDED：請參閱「建立互動式工作階段」。

API

如要在工作階段啟用 Lightning Engine，請在 sessions.create 要求中執行下列操作：

• 將 RuntimeConfig.version 設為 2.3。
• 將「dataproc.tier」:「premium」和「spark.dataproc.engine」:「lightningEngine」新增至 RuntimeConfig.properties。

其他RuntimeConfig.properties：

• 原生查詢引擎：spark.dataproc.lightningEngine.runtime:native：如要選取原生查詢執行執行階段，請將這項屬性新增至 RuntimeConfig.properties。

如要設定其他工作階段範本 API 欄位，請參閱「建立互動式工作階段」。

BigQuery 筆記本

在 BigQuery Studio PySpark 筆記本中建立工作階段時，可以啟用 Lightning Engine。

from google.cloud.dataproc_spark_connect import DataprocSparkSession
from google.cloud.dataproc_v1 import Session
session = Session()

# Enable Lightning Engine.
session.runtime_config.properties["version"] = "2.3"
session.runtime_config.properties["dataproc.tier"] = "premium"
session.runtime_config.properties["spark.dataproc.engine"] = "lightningEngine"

# Enable THE Native Query Execution runtime.
session.runtime_config.properties["spark.dataproc.lightningEngine.runtime"] = "native"

# Create the Spark session.
spark = (
   DataprocSparkSession.builder
     .appName("APP_NAME")
     .dataprocSessionConfig(session)
     .getOrCreate())

# Add Spark application code here: