Gemini 預設支援 100 萬個詞元的脈絡窗口。過去，大型語言模型 (LLM) 的效能會受到一次可傳送至模型的文字 (或詞元) 數量限制。Gemini 的長脈絡窗口檢索準確率近乎完美 (>99%)，可實現許多新的用途和開發人員範式。
您目前用於內容生成或多模態輸入等用途的程式碼，可直接搭配長脈絡使用。
本指南將簡要介紹脈絡窗口的基本概念、開發人員應如何看待長脈絡、長脈絡的各種實際用途，以及如何充分發揮長脈絡的效益。
什麼是脈絡窗口？
使用 Gemini 模型的基本方式是將資訊 (脈絡) 傳遞給模型，模型隨後會生成回覆。脈絡窗口就像短期記憶。人類的短期記憶能儲存的資訊有限，生成式模型也是如此。
如要進一步瞭解模型的運作方式，請參閱生成模型指南。
開始使用長脈絡
過去幾年建立的大多數生成模型，一次只能處理 8,000 個詞元。較新的模型更進一步，可接受 32,000 或 128,000 個權杖。Gemini 是第一個能接受 100 萬個詞元的模型。
100 萬個詞元實際相當於：
- 50,000 行程式碼 (每行標準 80 個字元)
- 過去 5 年內傳送的所有簡訊
- 8 本平均長度的英文小說
- 超過 200 集平均長度的 Podcast 轉錄稿
雖然模型可以接收越來越多脈絡，但許多關於使用大型語言模型的傳統觀念，都假設模型有這項固有侷限，但截至 2024 年，情況已非如此。
處理小型內容視窗限制的常見策略包括：
- 新文字進入時，任意從脈絡窗口中捨棄舊訊息/文字
- 在脈絡視窗快滿時，總結先前的內容並以摘要取代
- 搭配使用 RAG 與語意搜尋，將資料從脈絡窗口移至向量資料庫
- 使用確定性或生成式篩選器，從提示中移除特定文字/字元，以節省權杖
雖然其中許多方法在某些情況下仍適用，但現在預設的做法是將所有詞元放入脈絡窗口。Gemini 模型專為長篇幅的脈絡窗口而設計，因此在脈絡學習方面表現更出色。
這個範例說明如何開始思考 Gemini 的長脈絡和脈絡學習功能，能帶來哪些可能性。
長脈絡用途
雖然大多數生成式模型的標準用途仍是文字輸入，但 Gemini 模型系列可實現多模態用途的新模式。這些模型可原生理解文字、影片、音訊和圖片。此外，Gemini Enterprise API for Gemini 可接收多模態檔案類型，使用起來更方便。
長篇文字
文字已證明是智慧層，支撐著 LLM 的大部分發展。如前文所述，LLM 的許多實際限制，都是因為沒有足夠大的脈絡窗口來執行特定工作。這促使檢索增強生成 (RAG) 和其他技術迅速普及，動態提供模型相關情境資訊。現在，隨著脈絡窗口越來越大，新技術也應運而生，可解鎖新的用途。
文字型長脈絡的新興和標準用途包括：
- 為大量文字產生摘要
- 先前使用較小脈絡模型的摘要選項，需要滑動視窗或其他技術，才能在新的權杖傳遞至模型時，保留先前區段的狀態
- 常見問答
- 過去，由於脈絡有限且模型的事實回憶率較低，因此只能透過 RAG 實現
- Agentic Workflows
- 文字是代理記錄已完成和待辦事項的基礎。如果代理對世界和目標的資訊不足，可靠性就會受限
多樣本情境學習是長脈絡模型最獨特的功能之一。研究顯示，如果採用常見的「單樣本」或「多樣本」範例模式，也就是向模型提供一或多個工作範例，並將範例數量擴充至數百、數千甚至數十萬個，就能產生新的模型功能。這種多樣本方法的效果，也與針對特定任務微調的模型相似。如果 Gemini 模型的效能尚不足以用於正式環境，您可以嘗試多樣本方法。稍後在長脈絡最佳化一節中，您會發現脈絡快取能大幅降低這類高輸入詞元工作負載的成本，甚至在某些情況下還能降低延遲。
長篇影片
長期以來，影片內容的實用性一直受限於媒體本身的無障礙功能不足。內容難以快速瀏覽、轉錄稿往往無法捕捉影片的細微之處，而且大多數工具無法同時處理圖片、文字和音訊。Gemini 的長脈絡文字功能，可解讀多模態輸入內容並回答相關問題，且效能穩定。
影片長脈絡的新興和標準用途包括：
- 影片問答
- 影片記憶功能，如 Google 的 Project Astra 所示
- 影片字幕
- 影片推薦系統：運用新的多模態理解功能，為現有中繼資料增添更多資訊
- 影片自訂：查看資料語料庫和相關影片中繼資料，然後移除與觀眾無關的影片部分
- 影片內容審核
- 即時影片處理
處理影片時，請務必考量影片如何處理成權杖，這會影響計費和用量限制。如要進一步瞭解如何使用影片檔案提示，請參閱提示指南。
長篇音訊
Gemini 模型是首款原生多模態大型語言模型，可理解音訊。以往，開發人員的典型工作流程會涉及串連多個特定領域模型，例如語音轉文字模型和文字轉文字模型，以便處理音訊。這會導致執行多個來回要求時需要額外的延遲時間，且多模型設定的架構不連貫，通常會降低效能。
音訊內容的新興和標準用途包括：
- 即時語音轉錄及翻譯
- Podcast/影片常見問答
- 會議語音轉錄和摘要
- 語音助理
如要進一步瞭解如何使用音訊檔案提示，請參閱提示指南。
長脈絡最佳化
使用 Gemini 模型處理長脈絡時，主要最佳化方式是使用脈絡快取。除了先前無法在單一要求中處理大量權杖外，另一個主要限制是成本。假設您有一個「與資料對話」應用程式，使用者上傳了 10 份 PDF、一部影片和一些工作文件，以往您必須使用更複雜的檢索增強生成 (RAG) 工具/架構來處理這些要求，並支付高昂的費用，才能將權杖移至脈絡視窗。現在，您可以快取使用者上傳的檔案，並按小時付費儲存。每項要求的輸入/輸出成本低於標準輸入/輸出成本，因此如果使用者與資料的對話次數夠多，開發人員就能省下大筆費用。
長脈絡限制
在本指南的多個章節中，我們探討了 Gemini 模型如何在各種大海撈針檢索評估中，展現優異效能。這些測試會考量最基本的設定，也就是您要尋找單一針。如果您要尋找多個「針」或特定資訊，模型的準確度會降低。成效可能會因情境而有很大差異。 這點相當重要，因為在擷取正確資訊和成本之間，必須有所取捨。單一查詢的準確率可達 ~99%，但每次傳送查詢時，都必須支付輸入權杖費用。因此，如果要擷取 100 筆資訊，且需要 99% 的效能，您可能需要傳送 100 個要求。這個例子充分說明，脈絡快取功能可大幅降低使用 Gemini 模型的相關成本，同時維持高效能。