透過權杖配額控管成本

本文說明如何定義及管理生成式 AI 函式每日消耗的輸入和輸出權杖數量上限。

BigQuery 生成式 AI 函式會使用大型語言模型 (LLM)，在 SQL 查詢中執行進階分析。由於 LLM 的計費方式通常是依據處理的詞元數量，BigQuery 提供詞元配額，協助您管理及控管使用這些函式的相關費用。

權杖配額適用於專為生成式 AI 推論工作設計的 BigQuery SQL 函式，這些工作使用 Gemini LLM，例如 AI.CLASSIFY 和 AI.GENERATE_TEXT 函式。權杖配額不適用於嵌入生成和語意搜尋函式，例如 AI.EMBED，這些函式有不同的計費結構。

配額詳細資料

BigQuery 會根據 LLM 詞元用量，提供下列每日配額。詞元用量會直接影響 Vertex AI 帳單費用，適用於使用 Gemini 模型的 BigQuery 生成式 AI 函式。這些配額會在全球所有區域追蹤。系統會在太平洋時間凌晨 12 點重設每日配額。

這些詞元配額會控管 LLM 處理生成式 AI 函式的輸入和輸出詞元數量：

  • 輸入詞元：傳送至模型處理的詞元。包括提示文字中的詞元，以及提供給模型的任何其他輸入資料。
  • 輸出詞元：模型在回覆中生成的詞元。包括生成的文字中的詞元 (候選詞元)，以及內部推論步驟中生成的詞元 (思考詞元)。

配額 指標和配額 ID 預設 附註
每日 AI 輸入詞元 指標： bigquery.googleapis.com/quota/query/ai_input_tokens

配額 ID： GenAiInputTokensPerDay 		200,000,000,000 LLM 使用的輸入詞元。適用於每項專案，每日計算。
每位使用者每天的 AI 輸入權杖 指標： bigquery.googleapis.com/quota/query/ai_input_tokens

配額 ID： GenAiInputTokensPerUserPerDay 		150,000,000,000 LLM 使用的輸入詞元。適用於每位使用者每天在每項專案中的用量。
每日 AI 輸出詞元數量 指標： bigquery.googleapis.com/quota/query/ai_output_tokens

配額 ID： GenAiOutputTokensPerDay 		20,000,000,000 LLM 使用的輸出和思考詞元。適用於每項專案，每日計算。
每位使用者每天的 AI 輸出詞元數量 指標： bigquery.googleapis.com/quota/query/ai_output_tokens

配額 ID： GenAiOutputTokensPerUserPerDay 		15,000,000,000 LLM 使用的輸出和思考詞元。適用於每位使用者每天在每項專案中的用量。

這些配額是以百萬個詞元為單位追蹤。雖然您可以設定精確的限制，但由於權杖回報和匯總的性質，低於數百萬個權杖的值可能無法完全準確反映。

快取的詞元不會計入配額。

管理配額

視資源用量而定，您可能需要查看或調整權杖配額值。您可以使用 Google Cloud 控制台執行下列工作：

  1. 在 Google Cloud 控制台，依序前往「IAM & Admin」(IAM 與管理) >「Quotas & System Limits」(配額與系統限制) 頁面。

    前往「Quotas & System Limits」(配額與系統限制) 頁面

  2. 輸入 Service: BigQuery API 篩選配額。

  3. 從配額清單中搜尋特定配額 (例如搜尋 GenAiInputTokensPerDay)。

  4. 按一下 [編輯]。

  5. 在「Quota changes」(配額變更) 窗格中輸入新值，即可增加或減少配額。

    • 如果工作負載需要的容量超過預設限制，可以要求提高配額。
    • 如要更嚴格地限制用量，避免預算超支，可以建立配額覆寫來限制用量。

  6. 按一下 [提交要求]。

配額強制執行行為

BigQuery 會在查詢執行的多個階段監控權杖用量：

  • 執行前檢查：BigQuery 會先檢查可用的權杖配額，再執行含有生成式 AI 函式的查詢。如果相關配額 (例如專案每日輸入詞元) 已用盡，查詢就會遭到拒絕，並傳回 QuotaExceeded 錯誤。
  • 執行期間：如果查詢正在執行，且消耗的詞元數量超過任何設定的配額 (輸入或輸出、每項專案或每位使用者)，系統會拒絕該查詢中的新 LLM 呼叫。
    • 其餘依賴 LLM 呼叫的資料列，則會發生配額用盡錯誤。
    • 如果用於 AI.IF 等函式，查詢結果會取決於 max_error_ratio 引數。如果錯誤率仍在允許範圍內，系統可能會傳回部分結果。否則整個查詢都會失敗。
    • 在每日配額重設前，後續嘗試使用生成式 AI 函式的查詢都會失敗，並傳回 QuotaExceeded 錯誤。

重要事項

  • 全域配額：定義的配額為全域配額。系統會匯總專案運作的所有區域的詞元用量，提供統一的費用控管機制。這可避免因在不同區域使用而產生非預期費用。
  • 佈建輸送量：如果使用 Gemini Enterprise Agent Platform 模型，並佈建輸送量，計費方式就不會依據權杖用量。建議您將這些 BigQuery 權杖配額設為較高的值，以免不必要地封鎖查詢。

後續步驟