连接器会将 Google 和第三方数据源中的数据导入到 Gemini Enterprise 中,并将其存储在专用数据存储区中。本文档简要介绍了这些连接器。 将数据集中存储在 Gemini Enterprise 中可提高数据可访问性、搜索功能和分析能力。
连接器和数据存储区概念
数据存储区 |
| 每个数据源都支持一组实体 类型。例如,Jira Cloud 具有实体 例如,事务、附件、评论和工作日志等,这些实体是数据源独有的。Gemini Enterprise 会为 每个实体创建一个单独的数据存储区。因此,当您使用 Google Cloud 控制台创建数据存储区时,您会获得一个由代表这些 所注入数据实体的多个数据存储区组成的集合。 |
数据联合与注入(编入索引) |
| 数据联合直接从指定的数据源检索信息。
由于数据不会复制到
Gemini Enterprise 索引中,因此您无需担心数据
存储问题。不过,由于数据未编入索引,搜索质量可能会
降低。 数据注入(编入索引)会将数据复制到 Gemini Enterprise 索引中。这可以提高搜索质量。 不过,此过程会消耗更多存储空间和时间。 如果 连接器同时支持数据联合和数据注入,请选择您 偏好的数据连接方法。 |
非结构化数据 |
| 支持的数据格式特定于数据 源和实体类型。如果实体中的内容以非结构化格式(例如 PDF、HTML、DOCX、PPTX、XLSX 和 XLSM)存储,Gemini Enterprise 会创建一个非结构化数据存储区。如需了解详情和支持的文件类型,请参阅 非结构化搜索。 |
结构化数据 |
| 支持的数据格式特定于数据 源和实体类型。如果实体中的内容以 结构化格式存储,Gemini Enterprise 会创建一个 结构化数据存储区。如需了解详情, 请参阅结构化搜索。 |
数据架构 |
| 数据架构定义了数据结构。使用 Gemini Enterprise 导入结构化 数据时,系统会自动检测架构。 您可以使用自动检测到的架构,也可以使用 API 定义架构。 如需了解详情,请参阅提供或自动检测架构。 |
数据存储区区域 |
| 在注入数据时,您需要选择 要存储数据的区域,例如全球、美国或 欧盟。如需了解详情,请参阅 数据驻留和机器学习区域处理承诺。 存储在美国或欧盟区域中的数据需要进行数据加密。默认 加密使用 Google-owned and Google-managed encryption key,但您也可以使用客户管理的加密密钥。 |
数据同步 |
数据同步会从原始数据源提取并更新身份 数据(例如角色、权限和用户)和实体数据(例如与特定数据源相关的数据 )。如需了解详情,请参阅数据同步类型和时间表。 |
数据同步类型和时间表
数据同步会捕获实体数据、身份数据或两者,并更新 Gemini Enterprise 中数据存储区的内容。
同步类型
Gemini Enterprise 中的数据存储区使用两种基本类型的数据同步:
完全同步会捕获第三方应用或服务的整个状态。这包括添加、更新和删除操作。完全同步会替换数据存储区的现有内容。
增量同步会定期捕获自上次同步以来添加或更新的实体数据。它不会同步身份数据或实体数据的删除操作。
您可以为以下数据类型单独安排完全同步:
实体同步会捕获特定于第三方数据源的数据。例如,Jira 等系统的数据存储区可以同步事务、工作日志、评论和附件。实体同步不包含身份信息。
身份同步会捕获与 ACL 群组关联的用户账号的相关数据。
身份同步与完全同步之间的相互作用
如需了解单个身份同步运行作业如何与完全同步运行作业协同工作,请考虑一个示例场景,其中包含两个页面:page_1(与 ACL 群组 group_1 相关联)和 page_2(与 ACL 群组 group_2 相关联)。
初始身份同步运行,并检索有关群组
group_1和group_2的信息。假设
group_1包含用户user_1。假设
group_2包含用户user_2。
此身份同步会建立以下映射:
user_1映射到group_1。user_2映射到group_2。
在身份同步的同时,完全同步也会运行,并提取
page_1和page_2。此完全同步会建立以下映射:
user_1有权访问page_1(通过group_1)。user_2有权访问page_2(通过group_2)。
同步时间表
对于每个数据存储区,您可以为不同的同步类型选择频率:
所有身份数据和实体数据的完全同步可以同时安排为每 3 小时、6 小时、12 小时、1 天或 3 天一次。
所有身份数据的独立完全同步和所有实体数据的独立完全同步可以单独安排,使用以下任何自定义同步频率:
实体数据:每 3 小时、6 小时、12 小时、1 天、3 天、5 天和 7 天一次。
身份数据:每 30 分钟、1 小时、3 小时、6 小时、12 小时、1 天、3 天、5 天和 7 天一次。
更新或添加的实体数据的增量同步可以安排为每 3 小时、6 小时、12 小时、1 天、3 天、5 天或 7 天一次。默认情况下,增量同步每 3 小时执行一次。
频率建议
选择与提取的记录数量和建议的每秒查询次数 (QPS) 相符的数据同步频率。
下表显示了 1 天、3 天、5 天和 7 天同步的典型检索记录数。实际记录数可能会因数据源及其配置而异。
| QPS | 1 天同步的记录数 | 3 天同步的记录数 | 5 天同步的记录数 | 7 天同步的记录数 |
|---|---|---|---|---|
| 5 | 432k | 1.296M | 2.16M | 3M |
| 10 | 864k | 2.592M | 4.32M | 6M |
| 20 | 1.7M | 5.1M | 8.5M | 11.9M |
| 50 | 4.3M | 12.9M | 21.5M | 30.1M |
| 100 | 8.6M | 25.8M | 43M | 60.2M |
暂停和恢复同步
您可以暂停和恢复完全同步作业和增量同步作业:
暂停同步类型时,数据存储区会取消正在进行的该类型同步,并停止安排该类型的新同步。
恢复同步类型时,数据存储区会根据上次安排的同步时间安排新的同步,但不会继续之前中断的同步。
例如,如果您在完全同步正在进行时暂停完全同步,数据存储区会取消该同步。如果您稍后恢复完全同步,数据存储区会自动根据完全同步时间表安排新的完全同步。
Google 数据源
您可以连接到 Google 数据源,例如 BigQuery、Spanner 和 Google 云端硬盘。
Google 数据源核对清单
在将数据发送到 Gemini Enterprise 之前,请完成以下核对清单:
为数据源设置访问权限控制。如需了解详情,请参阅身份和权限。
确定数据应联合还是注入(编入索引)。
确定数据应以多高的频率同步。
如果您使用的是客户管理的加密密钥 (CMEK),请创建多区域密钥。如需了解详情,请参阅 为第三方数据源注册单区域密钥。
如果您拥有个人身份信息 (PII),并打算使用 自动补全功能来提供查询建议,请参阅 防范 PII 泄露。
支持的 Google 数据源
| Google 云端硬盘 | Gmail | Google 日历 | 人物搜索 |
|
|
|
|
|
第三方数据源
第三方数据存储区可将第三方应用数据注入到 Gemini Enterprise 中。
第三方数据源核对清单
在将第三方数据源连接到 Gemini Enterprise 之前,请完成以下核对清单:
必须为某些数据源配置特定范围和权限。第三方应用的管理员必须查看连接数据源所需的凭证,并设置身份验证和权限。如需了解特定范围和权限,请参阅相应第三方数据源文档。
为数据存储区设置访问权限控制。如需了解详情,请参阅身份和权限。
确定数据应联合还是注入(编入索引)。
如果数据已注入,请确保您用于将数据注入到数据源中的用户凭证对资源没有限制。
确定数据应以多高的频率同步。
如果您使用的是客户管理的加密密钥 (CMEK),请创建多区域密钥和单区域密钥。如需了解详情,请参阅 为第三方数据存储区注册单区域密钥。
如果您拥有个人身份信息 (PII),并打算使用 自动补全功能来提供查询建议,请参阅 防范 PII 泄露。
如果您希望数据存储区的出站流量源自一组固定的 IP 地址(例如,在源系统上将其列入许可名单),并且数据存储区支持此功能,请参阅配置静态 IP 出站流量。
支持的第三方数据源
| Microsoft Entra ID | Microsoft OneDrive | Microsoft Outlook | Microsoft SharePoint |
|
|
|
|
|
| Jira Cloud | Confluence Cloud | ServiceNow | |
|
|
|
|