使用 Lakehouse 运行时目录设置 Spark 和 Hive

控制台

1. 在 Google Cloud 控制台中，打开 Lakehouse 页面。

   前往 Lakehouse

2. 点击创建目录。

3. 选择 Lakehouse 运行时目录。

4. 对于目录类型，选择 Hive Metastore。

5. 在选择 Cloud Storage 存储桶字段中，输入要与目录搭配使用的 Cloud Storage 存储桶的名称。或者，点击浏览以选择现有存储桶或创建新存储桶。

6. 对于 Catalog ID，为您的 Lakehouse Hive Catalog 命名。

7. 对于主要位置，请指定与您的存储桶相同的区域。

8. 点击创建。

gcloud

如需创建 Hive 目录，请运行以下命令：

gcloud beta biglake hive catalogs create LAKEHOUSE_CATALOG_ID \
    --project=PROJECT_ID \
    --location-uri="gs://GCS_WAREHOUSE_PATH" \
    --primary-location=REGION \
    --description="DESCRIPTION"

替换以下内容：

• LAKEHOUSE_CATALOG_ID：Hive 目录名称。

• GCS_WAREHOUSE_PATH：用于存储 Hive 数据仓库的 Cloud Storage 路径。

• PROJECT_ID： Google Cloud项目 ID。

• REGION：元存储区的主区域。对于单区域存储桶，它应与存储桶区域一致。对于双区域或多区域存储桶，它应是组成区域之一，并且是元存储区主副本的预期位置。另一个区域将成为次要副本。

• DESCRIPTION：目录的说明。

curl

1. 如需创建 Hive 目录，请运行以下命令：

curl -X POST -s -i -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-d '{"locationUri": "gs://GCS_WAREHOUSE_PATH", "description": "DESCRIPTION"}' \
-H "Content-Type:application/json" \ "https://biglake.googleapis.com/hive/v1beta/projects/PROJECT_ID/catalogs?hiveCatalogId=LAKEHOUSE_CATALOG_ID&primary_location=REGION"

替换以下内容：

• LAKEHOUSE_CATALOG_ID：Hive 目录名称。

• GCS_WAREHOUSE_PATH：用于存储 Hive 数据仓库的 Cloud Storage 路径。

• PROJECT_ID：您的 Google Cloud 项目 ID。

• REGION：元存储区的主要区域。对于单区域存储桶，它应与存储桶区域一致。对于双区域或多区域存储桶，它应是组成区域之一，也是元存储区的主要副本所在的区域。另一个区域将成为次要副本。

• DESCRIPTION：目录的说明。

spark-sql

1. 使用 SSH 连接到 Managed Service for Apache Spark 集群的主节点。

2. 在命令行上运行 spark-sql 并使用以下属性来启动交互式 Spark SQL 会话：

   spark-sql \
       --conf spark.hive.metastore.client.factory.class=com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory \
       --conf spark.hive.metastore.blms.project.id=PROJECT_ID \
       --conf spark.hive.metastore.blms.catalog.default=LAKEHOUSE_CATALOG_ID \
       --conf spark.hive.metastore.warehouse.dir=gs://GCS_WAREHOUSE_PATH
   

3. 会话开始后，Spark 会连接到 Lakehouse 运行时目录。

   运行以下命令以创建和查询资源：

   
   -- Show all the databases in the current project.
   SHOW DATABASES;
   
   -- Create a database.
   CREATE DATABASE spark_blms_database;
   
   -- Create a Parquet datasource table.
   CREATE TABLE spark_blms_database.parquet_quick_start (id INT, name STRING) USING PARQUET;
   
   -- Insert data into the table.
   INSERT INTO TABLE spark_blms_database.parquet_quick_start VALUES (1, 'my-first-user');
   

   替换以下内容：

   • PROJECT_ID：您的 Google Cloud 项目 ID。

   • LAKEHOUSE_CATALOG_ID：Hive 目录名称。

   • GCS_WAREHOUSE_PATH：用于存储 Hive 数据仓库的 Cloud Storage 路径。

Jupyter 笔记本

1. 按照说明在 Managed Service for Apache Spark 集群上运行 Jupyter 笔记本。
2. 在 Google Cloud 控制台的集群详情页面中，通过网页界面标签页访问 Jupyter 网页界面。

3. 在新的笔记本中，创建 Spark 会话，然后运行以下查询：

   from pyspark.sql import SparkSession
   
   # If a Spark session exists, stop it first by running spark.stop()
   spark = SparkSession.builder\
       .master("local")\
       .appName("Lakehouse runtime catalog tutorial")\
       .config("spark.hive.metastore.client.factory.class", "com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory")\
       .config("spark.hive.metastore.blms.project.id", "PROJECT_ID")\
       .config("spark.hive.metastore.warehouse.dir", "gs://GCS_WAREHOUSE_PATH")\
       .config("spark.hive.metastore.blms.catalog.default", "LAKEHOUSE_CATALOG_ID")\
       .getOrCreate()
   
   # Show all the databases.
   df = spark.sql("SHOW DATABASES;")
   df.show()
   
   # Create a database.
   spark.sql("CREATE DATABASE jupyter_blms_db")
   
   # Create a Parquet datasource table.
   spark.sql("CREATE TABLE jupyter_blms_db.parquet_table(id INT, name STRING) USING PARQUET")
   
   # Insert data into the table.
   spark.sql("INSERT INTO TABLE jupyter_blms_db.parquet_table VALUES (1, 'my-first-user');")
   
   # Query from table.
   spark.sql("SELECT * FROM jupyter_blms_db.parquet_table;").show()
   

   替换以下内容：

   • PROJECT_ID：您的 Google Cloud 项目 ID。

   • GCS_WAREHOUSE_PATH：用于存储 Hive 数据仓库的 Cloud Storage 路径。

   • LAKEHOUSE_CATALOG_ID：Hive 目录名称。

BigQuery 笔记本

1. 在 Google Cloud 控制台中，前往 BigQuery。

   转到 BigQuery

2. 在探索器窗格中，点击 + 添加，然后点击 Python 笔记本。

3. 在代码单元格中，配置 Managed Service for Apache Spark 会话和 Lakehouse 运行时目录属性：

   from google.cloud.dataproc_spark_connect import DataprocSparkSession
   from google.cloud.dataproc_v1 import Session
   import os
   
   os.environ['DATAPROC_SPARK_CONNECT_DEFAULT_DATASOURCE'] = ""
   
   session = Session()
   session.environment_config.execution_config.ttl = {"seconds": 864000}
   session.runtime_config.version = "2.3"
   session.runtime_config.properties = {
    "spark.hive.metastore.blms.project.id": "PROJECT_ID",
    "spark.hive.metastore.blms.catalog.default": "LAKEHOUSE_CATALOG_ID",
    "spark.hive.metastore.warehouse.dir": "gs://GCS_WAREHOUSE_PATH",
    "spark.hive.metastore.client.factory.class": "com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory",
    "spark.sql.catalogImplementation": "hive"
   }
   
   spark = DataprocSparkSession.builder.dataprocSessionConfig(session).getOrCreate()
   print("Spark session created successfully")
   

4. 在另一个代码单元中，创建数据库和表：

   # Create a database
   spark.sql("CREATE DATABASE bq_spark_blms_database;")
   
   # Create a parquet datasource table
   spark.sql("CREATE TABLE bq_spark_blms_database.parquet_quick_start (id INT, name STRING) USING PARQUET;")
   
   # Insert data into the table
   spark.sql("INSERT INTO TABLE bq_spark_blms_database.parquet_quick_start VALUES (1, 'my-first-user');")
   
   # Query from table
   spark.sql("select * from bq_spark_blms_database.parquet_quick_start;").show()
   

   替换以下内容：

   • PROJECT_ID：您的 Google Cloud 项目 ID。

   • GCS_WAREHOUSE_PATH：用于存储 Hive 数据仓库的 Cloud Storage 路径。

   • LAKEHOUSE_CATALOG_ID：Hive 目录名称。

Hive CLI

如需使用 Hive CLI，您必须将其配置为连接到 metastore。您可以通过以下两种方式之一来执行此操作：

• 选项 1：永久配置。更新主节点上的 /etc/hive/conf/hive-site.xml 文件。
• 选项 2：临时配置。在启动 CLI 时提供配置标志。

如需配置 CLI 并运行查询会话，请按以下步骤操作：

1. 使用 SSH 连接到 Managed Service for Apache Spark 集群的主节点。

2. 根据您的配置方法，执行以下操作之一：

   • 如需永久配置（选项 1）：

     1. 在主节点上打开 /etc/hive/conf/hive-site.xml 并添加以下属性：

        <property>
            <name>hive.metastore.blms.project.id</name>
            <value>PROJECT_ID</value>
            <description></description>
        </property>
        
        <property>
            <name>hive.metastore.client.factory.class</name>
            <value>com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory</value>
            <description></description>
        </property>
        <property>
            <name>hive.metastore.blms.catalog.default</name>
            <value>LAKEHOUSE_CATALOG_ID</value>
            <description></description>
        </property>
        <property>
            <name>hive.metastore.warehouse.dir</name>
            <value>gs://GCS_WAREHOUSE_PATH</value>
            <description></description>
        </property>
        

     2. 启动 Hive CLI：

        hive
        

   • 在启动时临时配置（选项 2）：使用配置标志启动 Hive CLI：

     hive \
     --hiveconf hive.metastore.blms.project.id="PROJECT_ID" \
     --hiveconf hive.metastore.blms.catalog.default="LAKEHOUSE_CATALOG_ID" \
     --hiveconf hive.metastore.client.factory.class=com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory \
     --hiveconf hive.metastore.warehouse.dir="gs://GCS_WAREHOUSE_PATH"
     

3. 然后，在 Hive CLI 会话中运行以下命令：

   show databases;
   create database hive_query_test;
   create table hive_query_test.parquet_table (id INT, name STRING) stored as PARQUET;
   select * from hive_query_test.parquet_table;
   

   替换以下内容：

   • PROJECT_ID：您的 Google Cloud 项目 ID。

   • LAKEHOUSE_CATALOG_ID：Hive 目录名称。

   • GCS_WAREHOUSE_PATH：用于存储 Hive 数据仓库的 Cloud Storage 路径。