"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google 會運用 AI 技術將內容翻譯成你偏好的語言，但可能會出錯。

在 Lakehouse 執行階段目錄中，建立含中繼資料的 Apache Iceberg 資料表

本文說明如何執行 Managed Service for Apache Spark SQL 和 PySpark 批次工作負載，建立 Apache Iceberg 資料表，並將中繼資料儲存在 Lakehouse 執行階段目錄中。如要瞭解執行 Spark 程式碼的其他方式，請參閱「在 BigQuery 筆記本中執行 PySpark 程式碼」和「執行 Apache Spark 工作負載」一文。

事前準備

請建立 Google Cloud 專案和 Cloud Storage bucket。

設定專案
在專案中建立 Cloud Storage bucket。
1. 前往 Google Cloud 控制台的 Cloud Storage「Buckets」(值區) 頁面。
  前往「Buckets」(值區) 頁面
2. 點選「Create」(建立)。
3. 在「建立 bucket」頁面中，輸入 bucket 資訊。如要前往下一個步驟，請按一下「繼續」。
  1. 在「開始使用」部分，執行下列操作：
    - 輸入符合值區命名規定的全域不重複名稱。
    - 如要新增值區標籤，請展開「標籤」部分 ()，按一下「新增標籤」，然後為標籤指定 key 和 value。
  2. 在「Choose where to store your data」(選擇資料的儲存位置) 專區中，執行下列操作：
    1. 選取「位置類型」。
    2. 從「位置類型」下拉式選單中，選擇要永久儲存 bucket 資料的位置。
      - 如果您選取「雙區域」位置類型，也可以使用相關核取方塊啟用強化型複製。
    3. 如要設定跨值區複製，請選取「透過 Storage 移轉服務新增跨值區複製作業」，然後按照下列步驟操作：
      設定跨 bucket 複製作業
      
      在「Bucket」選單中選取 bucket。
      
      在「複製設定」部分，按一下「設定」，設定複製作業的設定。
      
      畫面上會顯示「Configure cross-bucket replication」窗格。
      
      如要依物件名稱前置字串篩選要複製的物件，請輸入要納入或排除物件的前置字串，然後按一下「新增前置字串」。
      
      如要為複製的物件設定儲存空間級別，請從「儲存空間級別」選單中選取儲存空間級別。如果略過這個步驟，複製的物件預設會使用目標值區的儲存空間級別。
      
      按一下「完成」。
  3. 在「選擇資料儲存方式」部分，執行下列操作：
    1. 選取 bucket 的預設儲存空間級別，或選取「Autoclass」(自動級別)，讓系統自動管理 bucket 資料的儲存空間級別。
    2. 如要啟用階層命名空間，請在「為資料密集型工作負載提供最理想的儲存空間」部分，選取「為這個值區啟用階層命名空間」。
      注意：您無法在現有 bucket 中啟用階層式命名空間。
  4. 在「選取如何控制物件的存取權」部分，選取 bucket 是否強制執行禁止公開存取，並為 bucket 物件選取存取控管方法。
    注意：如果這項設定是透過機構政策強制執行，您就無法變更「禁止公開存取」設定。
  5. 在「Choose how to protect object data」(選擇保護物件資料的方式) 專區中，執行下列操作：
    - 選取「資料保護」下方的任何選項，為 bucket 設定所需項目。
      - 如要啟用虛刪除，請按一下「虛刪除政策 (用於資料復原)」核取方塊，並指定要保留物件的天數 (刪除後)。
      - 如要設定「物件版本管理」，請勾選「物件版本管理 (用於版本管控)」核取方塊，並指定每個物件的版本數量上限，以及非現行版本失效的天數。
      - 如要為物件和 bucket 啟用保留政策，請勾選「保留 (符合法規)」核取方塊，然後執行下列操作：
        
        如要啟用 Object Retention Lock，請按一下「啟用物件保留功能」核取方塊。
        
        如要啟用「Bucket Lock」，請勾選「Set bucket retention policy」(設定值區保留政策) 核取方塊，然後選擇保留期限的時間單位和長度。
    - 如要選擇物件資料的加密方式，請展開「資料加密」部分 ()，然後選取「資料加密」方法。
4. 點選「建立」。
將 BigQuery 資料編輯者 (roles/bigquery.dataEditor) 角色授予 Compute Engine 預設服務帳戶 (PROJECT_NUMBER-compute@developer.gserviceaccount.com)。如需授予單一角色的操作說明，請按這裡。

Google Cloud CLI 範例：
```
gcloud projects add-iam-policy-binding PROJECT_ID \
    --member PROJECT_NUMBER-compute@developer.gserviceaccount.com \
--role roles/bigquery.dataEditor
```
注意：
- PROJECT_ID 和 PROJECT_NUMBER 列於 Google Cloud 控制台資訊主頁的「專案資訊」部分。

OSS 資源到 BigQuery 資源的對應關係

請注意開放原始碼資源與 BigQuery 資源字詞之間的對應關係：

OSS 資源	BigQuery 資源
命名空間、資料庫	資料集
分區或未分區資料表	資料表
查看	查看

建立 Iceberg 資料表

本節說明如何使用 Managed Service for Apache Spark Spark SQL 和 PySpark 批次工作負載，在 Lakehouse 執行階段目錄中建立含有中繼資料的 Iceberg 資料表。

Spark SQL

執行 Spark SQL 工作負載，建立 Iceberg 資料表

下列步驟說明如何執行 Managed Service for Apache Spark SQL 批次工作負載，建立 Iceberg 資料表，並將資料表的中繼資料儲存在 Lakehouse 執行階段目錄中。

在本機或 Cloud Shell 中，將下列 Spark SQL 指令複製到 iceberg-table.sql 檔案。

USE CATALOG_NAME;
CREATE NAMESPACE IF NOT EXISTS example_namespace;
USE example_namespace;
DROP TABLE IF EXISTS example_table;
CREATE TABLE example_table (id int, data string) USING ICEBERG LOCATION 'gs://BUCKET/WAREHOUSE_FOLDER';
INSERT INTO example_table VALUES (1, 'first row');
ALTER TABLE example_table ADD COLUMNS (newDoubleCol double);
DESCRIBE TABLE example_table;

更改下列內容：

CATALOG_NAME：Iceberg 目錄名稱。
BUCKET 和 WAREHOUSE_FOLDER：做為 Iceberg 倉庫目錄的 Cloud Storage bucket 和資料夾。

在本機或 Cloud Shell 中，從含有 iceberg-table.sql 的目錄執行下列指令，提交 Spark SQL 工作負載。
```
gcloud dataproc batches submit spark-sql iceberg-table.sql \
    --project=PROJECT_ID \
    --region=REGION \
    --deps-bucket=BUCKET_NAME \
    --version=2.2 \
    --subnet=SUBNET_NAME \
    --properties="spark.sql.catalog.CATALOG_NAME=org.apache.iceberg.spark.SparkCatalog,spark.sql.catalog.CATALOG_NAME.catalog-impl=org.apache.iceberg.gcp.bigquery.BigQueryMetastoreCatalog,spark.sql.catalog.CATALOG_NAME.gcp_project=PROJECT_ID,spark.sql.catalog.CATALOG_NAME.gcp_location=LOCATION,spark.sql.catalog.CATALOG_NAME.warehouse=gs://BUCKET/WAREHOUSE_FOLDER"
  
```
注意：
- PROJECT_ID：您的 Google Cloud 專案 ID。專案 ID 會列在 Google Cloud 控制台資訊主頁的「Project info (專案資訊) 部分。
- REGION：可執行工作負載的 Compute Engine 區域。
- BUCKET_NAME：Cloud Storage bucket 的名稱。Spark 會先將工作負載依附元件上傳至這個值區的 /dependencies 資料夾，再執行批次工作負載。WAREHOUSE_FOLDER 位於這個值區中。
- --version：Managed Service for Apache Spark 執行階段版本 2.2 以上。
- SUBNET_NAME：REGION 中的虛擬私有雲子網路名稱。如果省略這個旗標，Managed Service for Apache Spark 會在工作階段區域中選取 default 子網路。Managed Service for Apache Spark 會在子網路上啟用Private Google Access (PGA)。如需網路連線規定，請參閱「Managed Service for Apache Spark 網路設定」。
- LOCATION：支援的 BigQuery 位置。預設位置為「美國」。
- --properties 目錄屬性。
在 BigQuery 中查看資料表的中繼資料
1. 前往 Google Cloud 控制台的「BigQuery」頁面。
  
  前往 BigQuery Studio
2. 查看 Iceberg 資料表中繼資料。

PySpark

下列步驟說明如何執行 Managed Service for Apache Spark PySpark 批次工作負載，建立 Iceberg 資料表，並將資料表的中繼資料儲存在 Lakehouse 執行階段目錄中。

在本機或 Cloud Shell 中，將下列 PySpark 程式碼複製到 iceberg-table.py 檔案中。

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("iceberg-table-example").getOrCreate()

catalog = "CATALOG_NAME"
namespace = "NAMESPACE"

spark.sql(f"USE `{catalog}`;")
spark.sql(f"CREATE NAMESPACE IF NOT EXISTS `{namespace}`;")
spark.sql(f"USE `{namespace}`;")

# Create table and display schema
spark.sql("DROP TABLE IF EXISTS example_iceberg_table")
spark.sql("CREATE TABLE example_iceberg_table (id int, data string) USING ICEBERG") 
spark.sql("DESCRIBE example_iceberg_table;")

# Insert table data.
spark.sql("INSERT INTO example_iceberg_table VALUES (1, 'first row');")

# Alter table, then display schema. 
spark.sql("ALTER TABLE example_iceberg_table ADD COLUMNS (newDoubleCol double);")
spark.sql("DESCRIBE example_iceberg_table;")