RAG Engine 中的向量資料庫選項

本頁面介紹 RAG Engine 支援的向量資料庫,並說明如何將向量資料庫 (向量儲存庫) 連接至 RAG 語料庫。

向量資料庫在 RAG 應用程式的擷取作業中扮演重要角色。向量資料庫提供專門的向量嵌入儲存和查詢方式,向量嵌入是文字或其他資料的數學表示形式,可擷取語意和關係。向量嵌入可讓 RAG 系統在龐大的知識庫中,快速準確地找出最相關的資訊,即使是處理複雜或細微的查詢也沒問題。結合嵌入模型後,向量資料庫有助於克服 LLM 的限制,並提供更準確、相關且全面的回覆。

支援的向量資料庫

建立 RAG 語料庫時,RAG Engine 會預設提供企業適用的 RagManagedDb 做為向量資料庫,不需要額外佈建或管理。RagManagedDb 提供 KNN 和 ANN 搜尋選項,並允許切換至基本層級,進行一些快速原型設計和實驗。如要進一步瞭解如何選擇 RagManagedDb 的擷取策略或更新層級,請參閱「搭配 RAG 使用 RagManagedDb」。如要讓 RAG Engine 自動建立及管理向量資料庫,請參閱 REST 資源:projects.locations.ragCorpora

除了預設的 RagManagedDb,RAG Engine 也可讓您在 RAG 語料庫中佈建及使用向量資料庫。在這種情況下,您必須負責向量資料庫的生命週期和可擴充性。

比較向量資料庫選項

下表列出 RAG Engine 支援的向量資料庫,並提供相關頁面的連結,說明如何在 RAG 語料庫中使用向量資料庫。

向量資料庫 福利 最適合用於   缺點 支援的距離指標 搜尋類型 發布階段
RagManagedDb (預設) 是區域分散式可擴充資料庫服務,提供極高的一致性和高可用性,可用於向量搜尋。easy simple fast quick
  • 無須進行設定。
  • 適合企業和小型用途。
  • 非常一致。
  • 高可用性。
  • 低延遲。
  • 非常適合處理交易工作負載。
  • 已啟用 CMEK。
  • 大量生成文件。
  • 建構企業級 RAG。
  • 快速開發概念驗證。
  • 佈建和維護負擔低。
  • 與聊天機器人搭配使用。
  • 建構 RAG 應用程式。
  • 為獲得最佳召回率,ANN 功能需要在資料大幅變更後重建索引。
cosine KNN (預設) 和 ANN 正式發布版
向量搜尋是 Agent Platform 中的向量資料庫服務,專為機器學習工作最佳化。
  • 與其他 Google Cloud 服務整合。
  • 基礎架構支援擴充性和可靠性。 Google Cloud
  • 採用即付即用定價模式。
  • 大量生成文件。
  • 建構企業級 RAG。
  • 管理向量資料庫基礎架構。
  • 現有 Google Cloud 客戶或想使用多項 Google Cloud 服務的使用者。
  • 更新不會立即反映。
  • 受制於特定廠商 Google Cloud。
  • 視用途而定,可能較為昂貴。
cosine

dot-product
ANN 正式發布版
Vertex AI 特徵儲存庫是代管服務,可整理、儲存及提供機器學習特徵。
  • 與 Gemini Enterprise Agent Platform 和其他 Google Cloud 服務整合。
  • 基礎架構支援擴充性和可靠性。 Google Cloud
  • 運用現有的 BigQuery 基礎架構。
  • 大量生成文件。
  • 建構企業級 RAG。
  • 管理向量資料庫基礎架構。
  • 現有 Google Cloud 客戶或想使用多項 Google Cloud 服務的客戶。
  • 你必須手動同步,變更才會顯示在網路商店。
  • 受制於特定廠商 Google Cloud。
cosine

dot-product

L2 squared
ANN 預覽
Weaviate 是彈性模組化的開放原始碼向量資料庫。
  • 支援各種資料類型,並提供內建的圖表功能。
  • 提供開放原始碼和蓬勃發展的社群。
  • 高度靈活且可自訂。
  • 支援各種資料類型和模組,適用於不同模態,例如文字和圖片。
  • 可選擇雲端服務供應商,例如 Google Cloud、AWS 和 Azure。
  • 大量生成文件。
  • 建構企業級 RAG。
  • 管理向量資料庫基礎架構。
  • Weaviate 現有客戶。
  • 更新不會立即反映。
  • 設定和管理難度可能較高。
  • 實際成效可能會因設定而異。
cosine

dot-product

L2 squared

hamming

manhattan
支援 ANN + 混合搜尋 預覽
Pinecone 是全代管的雲端原生向量資料庫,專為高效能相似度搜尋而設計。
  • 快速上手。
  • 擴充性和效能表現優異。
  • 著重於向量搜尋,並提供篩選和中繼資料搜尋等進階功能。
  • 可選擇雲端服務供應商,例如 Google Cloud、AWS 和 Azure。
  • 大量生成文件。
  • 建構企業級 RAG。
  • 管理向量資料庫基礎架構。
  • Pinecone 現有客戶。
  • 更新不會立即反映。
  • 可能比其他選項更為昂貴。
  • 配額和限制會影響規模和成效。
  • 對底層基礎架構的控管程度較低。
cosine

euclidean

dot-product
ANN 正式發布版

後續步驟