使用 Lakehouse 執行階段目錄設定 Spark 和 Hive

控制台

1. 在 Google Cloud 控制台，開啟「Lakehouse」Lakehouse頁面。

   前往 Lakehouse

2. 按一下「建立目錄」。

3. 選取「Lakehouse runtime catalog」(Lakehouse 執行階段目錄)。

4. 在「Catalog type」(目錄類型) 部分，選取「Hive Metastore」。

5. 在「Select a Cloud Storage bucket」(選取 Cloud Storage bucket) 欄位中，輸入要與目錄搭配使用的 Cloud Storage bucket 名稱。或者，按一下「Browse」(瀏覽)，選擇現有值區或建立新值區。

6. 在「Catalog ID」(目錄 ID) 部分，為 Lakehouse Hive 目錄命名。

7. 在「主要位置」部分，指定與 bucket 相同的區域。

8. 點選「建立」。

gcloud

如要建立 Hive 目錄，請執行下列指令：

gcloud biglake hive catalogs create LAKEHOUSE_CATALOG_ID \
    --project=PROJECT_ID \
    --location-uri="gs://GCS_WAREHOUSE_PATH" \
    --primary-location=REGION \
    --description="DESCRIPTION"

更改下列內容：

• LAKEHOUSE_CATALOG_ID：Hive 目錄名稱。

• GCS_WAREHOUSE_PATH：儲存 Hive 倉儲的 Cloud Storage 路徑。

• PROJECT_ID：您的 Google Cloud專案 ID。

• REGION：metastore 的主要區域。如果是單一區域 bucket，則應與 bucket 區域相符。如果是雙區域或多區域 bucket，則應為其中一個組成區域，以及 metastore 主要副本的預定位置。另一個區域則會成為次要副本。

• DESCRIPTION：目錄說明。

curl

1. 如要建立 Hive 目錄，請執行下列指令：

curl -X POST -s -i -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -d '{"locationUri": "gs://GCS_WAREHOUSE_PATH", "description": "DESCRIPTION"}' \
    -H "Content-Type: application/json" \
    "https://biglake.googleapis.com/hive/v1/projects/PROJECT_ID/catalogs?hiveCatalogId=LAKEHOUSE_CATALOG_ID&primary_location=REGION"

更改下列內容：

• LAKEHOUSE_CATALOG_ID：Hive 目錄名稱。

• GCS_WAREHOUSE_PATH：儲存 Hive 倉儲的 Cloud Storage 路徑。

• PROJECT_ID：您的 Google Cloud 專案 ID。

• REGION：metastore 的主要區域。如果是單一區域 bucket，則應與 bucket 區域相符。如果是雙區域或多區域 bucket，則應為其中一個組成區域，以及 metastore 主要副本的預定位置。另一個區域則會成為次要副本。

  如要將 Hive 目錄要求直接轉送至特定區域，以符合資料落地和主權要求，可以使用區域端點 (https://biglake.LOCATION.rep.googleapis.com)。

• DESCRIPTION：目錄說明。

spark-sql

1. 使用 SSH 連線至 Managed Service for Apache Spark 叢集的主要節點。

2. 在指令列中執行 spark-sql，並使用下列屬性啟動互動式 Spark SQL 工作階段：

   spark-sql \
       --conf spark.hive.metastore.client.factory.class=com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory \
       --conf spark.hive.metastore.blms.project.id=PROJECT_ID \
       --conf spark.hive.metastore.blms.catalog.default=LAKEHOUSE_CATALOG_ID \
       --conf spark.hive.metastore.warehouse.dir=gs://GCS_WAREHOUSE_PATH
   

3. 工作階段開始後，Spark 會連線至 Lakehouse 執行階段目錄。

   執行下列指令，建立及查詢資源：

   
   -- Show all the databases in the current project.
   SHOW DATABASES;
   
   -- Create a database.
   CREATE DATABASE spark_blms_database;
   
   -- Create a Parquet datasource table.
   CREATE TABLE spark_blms_database.parquet_quick_start (id INT, name STRING) USING PARQUET;
   
   -- Insert data into the table.
   INSERT INTO TABLE spark_blms_database.parquet_quick_start VALUES (1, 'my-first-user');
   

   更改下列內容：

   • PROJECT_ID：您的 Google Cloud 專案 ID。

   • LAKEHOUSE_CATALOG_ID：Hive 目錄名稱。

   • GCS_WAREHOUSE_PATH：儲存 Hive 倉儲的 Cloud Storage 路徑。

Jupyter 筆記本

1. 按照操作說明，在 Managed Service for Apache Spark 叢集上執行 Jupyter 筆記本。
2. 在 Google Cloud 控制台的叢集詳細資料頁面中，從「Web interfaces」(網頁介面) 分頁存取 Jupyter 網頁介面。

3. 在新筆記本中建立 Spark 工作階段，然後執行下列查詢：

   from pyspark.sql import SparkSession
   
   # If a Spark session exists, stop it first by running spark.stop()
   spark = SparkSession.builder\
       .master("local")\
       .appName("Lakehouse runtime catalog tutorial")\
       .config("spark.hive.metastore.client.factory.class", "com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory")\
       .config("spark.hive.metastore.blms.project.id", "PROJECT_ID")\
       .config("spark.hive.metastore.warehouse.dir", "gs://GCS_WAREHOUSE_PATH")\
       .config("spark.hive.metastore.blms.catalog.default", "LAKEHOUSE_CATALOG_ID")\
       .getOrCreate()
   
   # Show all the databases.
   df = spark.sql("SHOW DATABASES;")
   df.show()
   
   # Create a database.
   spark.sql("CREATE DATABASE jupyter_blms_db")
   
   # Create a Parquet datasource table.
   spark.sql("CREATE TABLE jupyter_blms_db.parquet_table(id INT, name STRING) USING PARQUET")
   
   # Insert data into the table.
   spark.sql("INSERT INTO TABLE jupyter_blms_db.parquet_table VALUES (1, 'my-first-user');")
   
   # Query from table.
   spark.sql("SELECT * FROM jupyter_blms_db.parquet_table;").show()
   

   更改下列內容：

   • PROJECT_ID：您的 Google Cloud 專案 ID。

   • GCS_WAREHOUSE_PATH：儲存 Hive 倉儲的 Cloud Storage 路徑。

   • LAKEHOUSE_CATALOG_ID：Hive 目錄名稱。

BigQuery 筆記本

1. 前往 Google Cloud 控制台的「BigQuery」頁面。

   前往「BigQuery」

2. 在「Explorer」窗格中，依序點選「+ ADD」和「Python notebook」。

3. 在程式碼儲存格中，設定 Managed Service for Apache Spark 工作階段和 Lakehouse 執行階段目錄屬性：

   from google.cloud.dataproc_spark_connect import DataprocSparkSession
   from google.cloud.dataproc_v1 import Session
   import os
   
   os.environ['DATAPROC_SPARK_CONNECT_DEFAULT_DATASOURCE'] = ""
   
   session = Session()
   session.environment_config.execution_config.ttl = {"seconds": 864000}
   session.runtime_config.version = "2.3"
   session.runtime_config.properties = {
    "spark.hive.metastore.blms.project.id": "PROJECT_ID",
    "spark.hive.metastore.blms.catalog.default": "LAKEHOUSE_CATALOG_ID",
    "spark.hive.metastore.warehouse.dir": "gs://GCS_WAREHOUSE_PATH",
    "spark.hive.metastore.client.factory.class": "com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory",
    "spark.sql.catalogImplementation": "hive"
   }
   
   spark = DataprocSparkSession.builder.dataprocSessionConfig(session).getOrCreate()
   print("Spark session created successfully")
   

4. 在另一個程式碼儲存格中，建立資料庫和資料表：

   # Create a database
   spark.sql("CREATE DATABASE bq_spark_blms_database;")
   
   # Create a parquet datasource table
   spark.sql("CREATE TABLE bq_spark_blms_database.parquet_quick_start (id INT, name STRING) USING PARQUET;")
   
   # Insert data into the table
   spark.sql("INSERT INTO TABLE bq_spark_blms_database.parquet_quick_start VALUES (1, 'my-first-user');")
   
   # Query from table
   spark.sql("select * from bq_spark_blms_database.parquet_quick_start;").show()
   

   更改下列內容：

   • PROJECT_ID：您的 Google Cloud 專案 ID。

   • GCS_WAREHOUSE_PATH：儲存 Hive 倉儲的 Cloud Storage 路徑。

   • LAKEHOUSE_CATALOG_ID：Hive 目錄名稱。

Hive CLI

如要使用 Hive CLI，您必須設定該 CLI，以便連線至 metastore。您可以選擇以下其中一種方法：

• 方法 1：永久設定。更新主要節點上的 /etc/hive/conf/hive-site.xml 檔案。
• 方法 2：暫時設定。啟動 CLI 時，請提供設定旗標。

如要設定 CLI 並執行查詢工作階段，請按照下列步驟操作：

1. 使用 SSH 連線至 Managed Service for Apache Spark 叢集的主要節點。

2. 視設定方法而定，請執行下列其中一項操作：

   • 如要永久設定 (選項 1)：

     1. 在主要節點上開啟 /etc/hive/conf/hive-site.xml，並新增下列屬性：

        <property>
            <name>hive.metastore.blms.project.id</name>
            <value>PROJECT_ID</value>
            <description></description>
        </property>
        
        <property>
            <name>hive.metastore.client.factory.class</name>
            <value>com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory</value>
            <description></description>
        </property>
        <property>
            <name>hive.metastore.blms.catalog.default</name>
            <value>LAKEHOUSE_CATALOG_ID</value>
            <description></description>
        </property>
        <property>
            <name>hive.metastore.warehouse.dir</name>
            <value>gs://GCS_WAREHOUSE_PATH</value>
            <description></description>
        </property>
        

     2. 啟動 Hive CLI：

        hive
        

   • 如要在啟動時暫時設定 (選項 2)：使用設定旗標啟動 Hive CLI：

     hive \
     --hiveconf hive.metastore.blms.project.id="PROJECT_ID" \
     --hiveconf hive.metastore.blms.catalog.default="LAKEHOUSE_CATALOG_ID" \
     --hiveconf hive.metastore.client.factory.class=com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory \
     --hiveconf hive.metastore.warehouse.dir="gs://GCS_WAREHOUSE_PATH"
     

3. 接著，在 Hive CLI 工作階段中執行下列指令：

   show databases;
   create database hive_query_test;
   create table hive_query_test.parquet_table (id INT, name STRING) stored as PARQUET;
   select * from hive_query_test.parquet_table;
   

   更改下列內容：

   • PROJECT_ID：您的 Google Cloud 專案 ID。

   • LAKEHOUSE_CATALOG_ID：Hive 目錄名稱。

   • GCS_WAREHOUSE_PATH：儲存 Hive 倉儲的 Cloud Storage 路徑。