通过此互动演示,您可以探索代理检索(以前称为 Vector Search 2.0),这是 Google Cloud的一项全代管式向量数据库服务。 您可以使用演示版,通过语义搜索(由 Gemini 自动嵌入提供支持)、关键字文本搜索或混合搜索(使用倒数排序融合 [RRF] 来结合语义搜索和关键字文本搜索)在数百万个商品详情中进行搜索。结果可以重新排名,这会使用 Gemini Enterprise Agent Platform Ranking API 进行重新排名。
智能体检索的优势
向量搜索需要单独生成嵌入、部署索引,并使用 Vertex AI Feature Store 来存储元数据。代理检索可为数据和嵌入提供统一的存储空间,自动生成嵌入,并提供内置的文本搜索功能,无需您管理基础架构。
试试看!
如需运行,请执行以下操作:
在查询字段中,描述您要查询的商品(例如,
vintage 1970s pinball machine)。或者,点击生成查询以自动生成说明。点击提交或按 Enter 键。
不妨试用演示中的不同选项,抢先了解代理检索和向量搜索技术的基础知识。如需了解详情,请参阅界面。
界面
本部分介绍了界面中的设置,您可以使用这些设置来控制代理检索(以前称为 Vector Search 2.0)返回的结果及其排名。
数据集
使用数据集下拉菜单选择 Agent Retrieval 将针对哪个数据集运行查询。如需了解每个数据集,请参阅数据集。
查询
如需运行查询,请执行以下操作:
点击数据集,然后选择要针对哪个数据集运行查询。
在查询字段中,添加说明、提出问题或输入一个或多个关键字,以指定代理检索要返回结果的商品。或者,点击生成查询以自动生成查询。
执行下列其中一项操作:
- 如需返回语义相似的结果,请选择语义。
- 如需根据查询的文本语法返回结果,请选择文本。
- 如需执行混合搜索,请同时选择语义和文本。
如果您要对 Mercari 300 万件商品(128 维 Gemini 文本嵌入)或 Mercari 300 万件商品(768 维 Gemini 文本嵌入)数据集进行语义查询,请点击查询任务类型,然后选择 QUESTION_ANSWERING 或 RETRIEVAL_QUERY。
点击提交或按 Enter 键运行查询。
修改
您可以使用多种选项来修改代理检索(以前称为 Vector Search 2.0)针对查询返回的结果。
点击行,然后选择您希望代理检索(以前称为 Vector Search 2.0)返回的搜索结果数量上限。
选择语义可返回语义上相似的结果。
选择文本可根据查询的文本语法返回结果。
同时选择语义和文本即可启用混合搜索。
选择重新排名,根据搜索结果与查询的相关性重新对搜索结果进行排名。 如需了解详情,请参阅使用 Ranking API 提高搜索和 RAG 质量。
选择使用 kNN 可使用 k 最近邻算法来检索搜索结果。由于 kNN 可提供 100% 的召回率,因此在调试或测试时非常有用。
点击查询任务类型,然后选择要使用的查询任务类型。此选项仅在使用 Mercari 300 万件商品(128 维 Gemini 文本嵌入)和 Mercari 300 万件商品(768 维 Gemini 文本嵌入)数据集时可用。如需详细了解查询任务类型,请参阅选择嵌入任务类型。
在 RRF Alpha 字段中,输入介于 0.0 和 1.0 之间的值,以指定 RRF 排名效果。此字段仅适用于混合搜索(同时选择语义和文本)。
Alpha 值:1.0- 仅按语义(密集)相似度对结果进行排名。0.0- 仅按关键字(稀疏)相关性对结果进行排名。0.5- 对结果进行排名,并为语义(密集)相似度和关键字(稀疏)相关性赋予重新加权后的权重。
如需了解详情,请参阅什么是倒数排序融合?
指标
查询运行后,系统会提供延迟时间指标,细分搜索不同阶段完成所用的时间。
其中包括:
- 所有来源的总延迟时间。
- 生成嵌入和执行向量搜索所花费的时间。
- 如果选择了 Rerank,则为重新排名所用的时间。
- 来自网络和其他来源的延迟总时长。
Embeddings
代理检索支持以下嵌入类型:
多模态:对商品图片进行多模态语义搜索。有关详情,请参阅什么是多模式搜索:“具有视觉功能的 LLM”改变企业。
文本(语义相似度):根据语义相似度对商品名称和说明进行文本语义搜索。如需了解详情,请参阅 Vertex AI Embeddings for Text:轻松实现 LLM 接地。
文本(检索文档):基于问题或短语的不对称搜索。如需了解详情,请参阅 Vertex AI Embeddings for Text:轻松实现 LLM 接地。
Word:字词级语义理解,推理速度非常快,且高度紧凑。
查询流程
在代理检索中,查询过程取决于执行的搜索类型和嵌入模型。
语义搜索和混合搜索
嵌入生成和搜索通过一次 API 调用即可完成。Agent Retrieval 会使用 Collection 中 vertex_embedding_config 指定的模型在服务器端自动生成查询嵌入,执行搜索,并返回包含完整元数据的结果,而无需单独提取 Vertex AI Feature Store。
Word2Vec 和多模态
客户端生成查询嵌入,并将其发送到 Agent Retrieval 以进行向量搜索。结果仍包含来自集合的完整元数据,无需进行 Vertex AI Feature Store 提取。
文本
代理检索直接执行内置的关键字匹配,不生成嵌入内容。
数据集
| 数据集 | 说明 | 嵌入模型 | 嵌入任务类型 |
|---|---|---|---|
| Mercari 100 万件商品 (768 维 Gemini 文本嵌入) |
使用 Gemini Embedding 2 嵌入模型,该模型具有单独的文本和图片嵌入。此数据集支持使用不同向量字段的文生文搜索和文生图搜索。 | gemini-embedding-2-preview
|
SEMANTIC_SIMILARITY |
| Mercari 300 万件商品 (128 维 Gemini 文本嵌入) |
嵌入维度数量减少,可降低索引大小和存储费用。与 Mercari 300 万商品(768 维 Gemini 文本嵌入)相比,此数据集的准确性可能较低。 | gemini-embedding-001
|
RETRIEVAL_DOCUMENT |
| Mercari 300 万件商品 (768 维 Gemini 文本嵌入) |
具有全维度嵌入,支持自动嵌入,文本语义准确度高。此数据集使用 RETRIEVAL_DOCUMENT 进行非对称查询-文档匹配。 | gemini-embedding-001
|
RETRIEVAL_DOCUMENT |
| Mercari 300 万件商品 (768 维 Gemini 文本嵌入,语义相似度) |
使用 SEMANTIC_SIMILARITY 任务类型进行相似度匹配。此数据集最适合需要“查找类似商品”功能的应用场景,其中查询和文档具有相同的语义。 | gemini-embedding-001
|
SEMANTIC_SIMILARITY |
| Mercari 300 万件商品 (1,408 维 Vertex AI 多模态嵌入) |
具有 Vertex AI 多模态嵌入,可对商品图片进行编码以用于图片搜索。 | multimodal-embedding-001
|
不适用 |
| Mercari 300 万件商品 (100 维 Word2Vec 文本嵌入) |
使用 Gensim Word2Vec 嵌入模型。此数据集的推理速度最快。它仅提供字词级语义理解,但非常紧凑。 | Gensim Word2Vec | 不适用 |