- 资源:HiveTable
- StorageDescriptor
- FieldSchema
- SerdeInfo
- SerdeType
- Order
- SkewedInfo
- SkewedColumnValue
- SkewedKeyValuesLocation
- 方法
资源:HiveTable
存储 Hive 表信息。它包括表名称、架构(列名称和类型)、数据位置、存储格式、serde 信息等。此消息与 IMetastoreClient 中的 Table 对象非常相似
| JSON 表示法 |
|---|
{ "name": string, "description": string, "storageDescriptor": { object ( |
| 字段 | |
|---|---|
name |
标识符。资源名称。 格式:projects/{project_id_or_number}/catalogs/{catalogId}/databases/{databaseId}/tables/{tableId} |
description |
可选。表的说明。长度上限为 4,000 个字符。 |
storageDescriptor |
必需。表的存储描述符。 |
createTime |
仅限输出。表的创建时间。 采用 RFC 3339 标准,生成的输出将始终进行 Z 规范化(即转换为 UTC 零时区格式并在末尾附加 Z),并使用 0、3、6 或 9 个小数位。不带“Z”的偏差时间也是可以接受的。示例: |
partitionKeys[] |
可选。表的分区键。 |
parameters |
可选。存储与表相关联的属性。大小上限为 4 MiB。 包含一系列 |
viewOriginalText |
可选。旧版视图文本。如果不是观看,则为空。大小上限为 16 MiB。 |
viewExpandedText |
可选。展开视图文本。如果不是观看,则为空。大小上限为 16 MiB。 |
tableType |
仅限输出。表的类型。对于 BigLake Hive 表,此值为 EXTERNAL。 |
updateTime |
仅限输出。表格的更新时间。 采用 RFC 3339 标准,生成的输出将始终进行 Z 规范化(即转换为 UTC 零时区格式并在末尾附加 Z),并使用 0、3、6 或 9 个小数位。不带“Z”的偏差时间也是可以接受的。示例: |
StorageDescriptor
包含有关表数据的物理存储的信息。
| JSON 表示法 |
|---|
{ "columns": [ { object ( |
| 字段 | |
|---|---|
columns[] |
必需。指定表的列。 |
locationUri |
可选。相应表所在的 Cloud Storage URI。默认为 |
inputFormat |
可选。输入格式的完全限定 Java 类名称。长度上限为 4,000 个字符。 |
outputFormat |
可选。输出格式的完全限定 Java 类名称。长度上限为 4,000 个字符。 |
serdeInfo |
可选。序列化和反序列化信息。 |
bucketCols[] |
可选。Reducer 分组列、聚簇列和分桶列 |
sortCols[] |
可选。每个分桶中数据的排序顺序 |
parameters |
可选。存储描述符的键值对。大小上限为 10 Kib。 包含一系列 |
skewedInfo |
可选。表数据倾斜信息。 |
compressed |
可选。相应表是否已压缩。 |
numBuckets |
可选。表中的分桶数量。 |
storedAsSubDirs |
可选。表是否存储为子目录。 |
FieldSchema
字段架构信息。
| JSON 表示法 |
|---|
{ "name": string, "type": string, "comment": string } |
| 字段 | |
|---|---|
name |
必需。字段的名称。长度上限为 767 个字符。 |
type |
必需。字段的类型。长度上限为 128 个字符。 |
comment |
可选。字段的注释。长度上限为 256 个字符。 |
SerdeInfo
序列化和反序列化信息。
| JSON 表示法 |
|---|
{
"name": string,
"serializationLib": string,
"description": string,
"parameters": {
string: string,
...
},
"serializerClass": string,
"deserializerClass": string,
"serdeType": enum ( |
| 字段 | |
|---|---|
name |
必需。SerDe 的名称。默认情况下为表名称。长度上限为 128 个字符。 |
serializationLib |
必需。序列化库的完全限定 Java 类名称。长度上限为 4,000 个字符。 |
description |
可选。serde 的说明。长度上限为 4,000 个字符。 |
parameters |
可选。serde 的参数。大小上限为 10 Kib。 包含一系列 |
serializerClass |
可选。序列化程序的完全限定 Java 类名称。长度上限为 4,000 个字符。 |
deserializerClass |
可选。序列化器的完全限定 Java 类名称。长度上限为 4,000 个字符。 |
serdeType |
可选。serde 类型。 |
SerdeType
serde 类型。
| 枚举 | |
|---|---|
SERDE_TYPE_UNSPECIFIED |
未指定 serde 类型。 |
HIVE |
Hive。 |
SCHEMA_REGISTRY |
架构注册表。 |
订单
每列存储数据的排序顺序。
| JSON 表示法 |
|---|
{ "col": string, "order": integer } |
| 字段 | |
|---|---|
col |
必需。列名称。长度上限为 767 个字符。 |
order |
必需。定义列的排序顺序。如果为 1,则为升序;如果为 0,则为降序。 |
SkewedInfo
存储有关倾斜表的所有信息。
| JSON 表示法 |
|---|
{ "skewedColNames": [ string ], "skewedColValues": [ { object ( |
| 字段 | |
|---|---|
skewedColNames[] |
必需。存在偏态的列名称。每个列名称的长度上限为 256 个字符。 |
skewedColValues[] |
必需。倾斜的列值。 |
skewedKeyValuesLocations[] |
必需。倾斜的键值位置。 |
SkewedColumnValue
倾斜的列值。
| JSON 表示法 |
|---|
{ "values": [ string ] } |
| 字段 | |
|---|---|
values[] |
必需。倾斜的列值。每个值的长度上限为 256 个字符。 |
SkewedKeyValuesLocation
倾斜的键值及其相应的位置。
| JSON 表示法 |
|---|
{ "values": [ string ], "location": string } |
| 字段 | |
|---|---|
values[] |
必需。倾斜的列值。每个值的长度上限为 256 个字符。 |
location |
必需。倾斜列值的位置。长度上限为 4,000 个字符。 |
方法 |
|
|---|---|
|
创建新的 Hive 表。 |
|
删除由表名称指定的现有表。 |
|
获取由资源名称指定的表。 |
|
列出指定项目下 Hive 目录和数据库中的所有 Hive 表。 |
|
更新由表名称指定的现有表。 |