结构化数据的数据分析简介

Knowledge Catalog（以前称为 Dataplex Universal Catalog）数据洞见功能会根据表和数据集元数据自动生成说明、关系图和 SQL 查询。这些信息可帮助您快速了解数据结构、内容和关系，而无需进行大量手动设置。如需进一步调查，您可以在数据画布中提出后续问题。

在探索不熟悉的新表时，数据分析师通常会面临不知道如何开始编写查询的难题。该问题可能涉及到数据结构和数据中关键模式的不确定性。Knowledge Catalog 数据洞见功能提供了一种自动方法来探索和理解您的数据。这可让您发现模式、评估数据质量和执行统计分析。

概览

数据洞见功能使用 Gemini 分析元数据并生成以下内容：

  • 说明：AI 生成的摘要，用于解释数据集或命名空间的用途、表的结构以及特定列的详细信息。

  • 示例查询：专为数据集、命名空间或表的架构和内容而设计的定制 GoogleSQL 和 Spark SQL 查询。

  • 关系图：显示数据集或命名空间中不同表之间的连接和依赖关系的可视化图表。

此外，数据洞见还支持自定义指令（预览版）。借助自定义指令，数据管理员可以通过提供特定的业务目标、领域知识和组织词汇来设置数据分析的生成方式。

支持的资源

以下结构化数据类型可提供数据洞见：

  • BigQuery 数据集、表和视图
  • 无边界湖仓一体表（包括 Apache Iceberg、Apache Hive 和 SAP BDC）
  • 外部表
  • Apache Iceberg REST Catalog 表
  • Apache Iceberg 命名空间（在 BigQuery 中表示为数据集）
  • Apache Hive 目录表
  • SAP Business Data Cloud (BDC) 表

数据分析运行示例

数据洞见可根据表的元数据自动生成自然语言查询及其 SQL 等效查询。对于 Iceberg 表，数据洞见还会生成等效的 Spark SQL。

示例：SQL Insights

假设有一个名为 telco_churn 且具有以下架构的表：

字段名称 类型
CustomerID STRING
性别 STRING
资历 INT64
InternetService STRING
StreamingTV STRING
OnlineBackup STRING
合同 STRING
TechSupport STRING
PaymentMethod STRING
MonthlyCharges FLOAT
Churn BOOLEAN

以下是数据洞见为此表生成的一些示例查询：

  • 识别已订阅所有高级服务且成为客户超过 50 个月的客户。

    SELECT
  CustomerID,
  Contract,
  Tenure
FROM
  agentville_datasets.telco_churn
WHERE
  OnlineBackup = 'Yes'
  AND TechSupport = 'Yes'
  AND StreamingTV = 'Yes'
  AND Tenure > 50;

  • 确定哪个互联网服务的流失客户最多。

    SELECT
  InternetService,
  COUNT(DISTINCT CustomerID) AS total_customers
FROM
  agentville_datasets.telco_churn
WHERE
  Churn = TRUE
GROUP BY
  InternetService
ORDER BY
  total_customers DESC
LIMIT 1;

  • 按细分确定高价值客户的流失率。

    SELECT
  Contract,
  InternetService,
  Gender,
  PaymentMethod,
  COUNT(DISTINCT CustomerID) AS total_customers,
  SUM(CASE WHEN Churn = TRUE THEN 1 ELSE 0 END) AS churned_customers,
  (SUM(CASE WHEN Churn = TRUE THEN 1 ELSE 0 END) / COUNT(DISTINCT CustomerID))
  * 100 AS churn_rate
FROM
  agentville_datasets.telco_churn
WHERE
  MonthlyCharges > 100
GROUP BY
  Contract,
  InternetService,
  Gender,
  PaymentMethod;

示例：Spark SQL 数据分析

假设有一个名为 catalog_metrics 的 Apache Iceberg 表，其架构如下：

字段名称 类型
详细信息 STRUCT
creation_date DATE
creation_time TIMESTAMP
precise_measure DOUBLE
价格 DOUBLE
元数据 STRUCT
is_active BOOLEAN

以下是数据洞见为此表生成的一些示例 Spark SQL 查询：

  • 计算每个 details.field1 按 creation_time 排序的 precise_measure 的累计和。

    SELECT
  details.field1,
  creation_time,
  precise_measure,
  SUM(precise_measure) OVER (PARTITION BY details.field1 ORDER BY creation_time) AS cumulative_precise_measure
FROM
  PROJECT_ID.DATASET_ID.catalog_metrics;

  • 获取每个 details.field1 和 details.field2 组合的最高价格，但仅限过去 30 天内创建的记录。

    SELECT
  details.field1,
  details.field2,
  MAX(price) AS max_price
FROM
  PROJECT_ID.DATASET_ID.catalog_metrics
WHERE
  creation_date >= DATE_SUB(CURRENT_DATE(), 30)
GROUP BY
  details.field1,
  details.field2;

  • 获取 is_active 设置为 false 的商品的平均 metadata.value。

    SELECT
  AVG(metadata.value) AS avg_value
FROM
  PROJECT_ID.DATASET_ID.catalog_metrics
WHERE
  is_active = false;

生成数据洞见的模式

在生成数据洞见时，Knowledge Catalog 提供两种模式：

模式 说明 用法
生成并发布

将生成的数据洞见作为元数据切面持久保存到 Knowledge Catalog 中。您必须拥有必要的发布权限。使用生成并发布时，系统会执行以下操作：

  • 在 Knowledge Catalog 中存储表和列说明。
  • 将建议的查询和问题捕获为可重复使用的方面。
  • 使发布的分析洞见可供所有具有相应 Knowledge Catalog 访问权限的用户访问，从而确保组织知识共享。
  • 让您能够直接在 Knowledge Catalog 中修改和保存说明。

对于持久且可重复使用的企业级数据文档，或者在构建目录驱动的治理工作流时，请使用此模式。
生成但不发布

按需创建数据洞见，例如说明、自然语言问题和 SQL 查询。生成但不发布不会将分析洞见发布到 Knowledge Catalog。

使用此模式可进行快速、临时的探索，避免目录杂乱。

价格

如需详细了解此功能的价格，请参阅 Data Cloud Agent 价格。

如需跟踪数据洞见扫描作业的 token 消耗情况并在 Cloud Monitoring 中构建自定义信息中心，请参阅监控数据洞见 token 使用情况。

位置

您可以在所有 BigQuery 位置使用数据洞见。如需了解 Gemini in BigQuery 在何处处理您的数据，请参阅 Gemini in BigQuery 在何处处理您的数据。

限制

  • 对于多云客户，来自其他云的数据不可用。
  • 数据洞见不支持 Geo 或 JSON 列类型。
  • 运行数据分析并不能保证每次都显示查询。为了提高生成更具吸引力的查询的可能性，请在 BigQuery Studio 中重新生成分析洞见。

后续步骤