Google 會運用 AI 技術將內容翻譯成你偏好的語言，但可能會出錯。

透過私有 (Private Service Connect) 端點進行語意快取

本頁面適用於 Apigee 和 Apigee Hybrid。

查看 Apigee Edge 說明文件。

本頁面說明如何設定及使用 Apigee 語意快取政策，根據語意相似度，重複使用合適的既有回覆。在這個範例中，政策會對部署在私人 (Private Service Connect) 端點的向量搜尋索引執行相似度搜尋。在 Apigee API Proxy 中使用這些政策，可減少不必要的後端 API 呼叫、縮短延遲時間，並降低營運成本。

本指南適用於 Apigee 和 Apigee Hybrid。兩個平台的政策設定完全相同，只有執行階段連線至私人端點的方式不同，詳情請參閱「步驟 2：連線至服務連結」。在 Apigee Hybrid 中，1.16.11 以上版本和 1.17.0 以上版本支援透過私人 (Private Service Connect) 端點進行語意快取。詳情請參閱「在 Apigee Hybrid 上設定」。

事前準備

開始之前，請先完成下列工作：

登入 Google Cloud 帳戶。如果您未曾使用過 Google Cloud，歡迎建立帳戶，親自體驗實際使用我們產品的成效。新客戶還能獲得價值 $300 美元的免費抵免額，用於執行、測試及部署工作負載。

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Compute Engine, AI Platform, and Cloud Storage APIs, if any are not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Compute Engine, AI Platform, and Cloud Storage APIs, if any are not already enabled.

Roles required to enable APIs

Enable the APIs

在 Google Cloud 專案中啟用並設定 Vertex AI 文字嵌入 API。
建立 (或有權存取) 部署在私人 (Private Service Connect) 端點上的向量搜尋索引。本教學課程不會重複向量搜尋設定步驟，請參閱「向量搜尋索引必要條件」，瞭解 SemanticCacheLookup 的特定需求，以及向量搜尋說明文件的連結。
確認 Apigee 執行個體中有中等或全方位環境。語義快取政策只能部署在中等或全方位環境。
確認您有環境群組，且其執行階段主機名稱可用於將要求傳送至 API Proxy。

必要的角色

如要取得建立及使用語意快取政策所需的權限，請要求管理員，針對您用來部署 Apigee Proxy 的服務帳戶，授予AI 平台使用者 (roles/aiplatform.user) IAM 角色。如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

您或許也能透過自訂角色或其他預先定義的角色，取得必要權限。

注意：部署 Proxy 的身分必須具備 SERVICE_ACCOUNT (或專案層級) 的 roles/iam.serviceAccountUser (服務帳戶使用者) 角色。請參閱「步驟 4：匯入及部署 API Proxy」。

設定環境變數

在包含 Apigee 執行個體的 Google Cloud 專案中，使用下列指令設定環境變數：

export PROJECT_ID=PROJECT_ID
export REGION=REGION
export RUNTIME_HOSTNAME=RUNTIME_HOSTNAME

其中：

PROJECT_ID 是 Apigee 執行個體所在專案的 ID。
REGION 是 Apigee 執行個體的 Google Cloud 區域。
RUNTIME_HOSTNAME 是 Apigee 執行階段的主機名稱。

執行下列指令並查看輸出內容，確認環境變數設定正確：

echo $PROJECT_ID $REGION $RUNTIME_HOSTNAME

設定專案

在開發環境中設定 Google Cloud 專案：

    gcloud auth login
    gcloud config set project $PROJECT_ID

向量搜尋索引必要條件

本教學課程假設您已在私人 (Private Service Connect) 端點部署向量搜尋索引，或即將建立並部署。Vector Search 指南中已說明如何建立、設定格式及部署 Vector Search 索引，因此本教學課程不會重複這些步驟。請按照向量搜尋說明文件操作：

建立索引時，必須符合下列 SemanticCacheLookup 專屬規定：

索引必須使用 STREAM_UPDATE ("indexUpdateMethod": "STREAM_UPDATE")，SemanticCachePopulate 政策的 upsertDatapoints 呼叫才能近乎即時地查詢。
索引 dimensions 必須與 SemanticCacheLookup 政策中使用的嵌入模型輸出維度相符。本教學課程使用 gemini-embedding-001，預設會產生 3072 維度的嵌入。如果將輸出內容截斷為較低的維度 (例如 768 或 1536)，請將 dimensions 設為相同的值。
使用與政策 <DistanceMeasureType> 相符的距離測量值 (distanceMeasureType) 建立索引。SemanticCacheLookup 政策中的 <SimilaritySearch><VertexAI><DistanceMeasureType> 元素為選用，預設值為 DOT_PRODUCT_DISTANCE；也支援 COSINE_DISTANCE。索引距離測量和政策 <DistanceMeasureType> 必須相同。

以下簡短範例說明如何建立相容的索引。如需完整的要求主體和所有可用選項，請參閱「建立及管理索引」：

ACCESS_TOKEN=$(gcloud auth print-access-token) && curl -X POST \
  "https://$REGION-aiplatform.googleapis.com/v1/projects/$PROJECT_ID/locations/$REGION/indexes" \
  -H "Authorization: Bearer $ACCESS_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "displayName": "semantic-cache-index",
    "metadata": {
      "config": {
        "dimensions": 3072,
        "distanceMeasureType": "DOT_PRODUCT_DISTANCE"
      }
    },
    "indexUpdateMethod": "STREAM_UPDATE"
  }'

請注意回應中傳回的數值 INDEX_ID，您會在 SemanticCachePopulate 政策中使用這個值。建立索引後，請建立 Private Service Connect 索引端點，並將索引部署至該端點。

建立 Private Service Connect 索引端點時，必須符合下列 SemanticCacheLookup 專屬規定：

projectAllowlist 必須包含啟動連線的 Apigee 專案：
- Apigee：使用 Apigee 租戶專案。從 Organizations API (apigeeProjectId 欄位) 取得租戶專案 ID。
建立索引端點後，即無法修改 projectAllowlist。如果將錯誤的專案加入許可清單，則必須刪除並重新建立索引端點。

記下索引端點的數值 INDEX_ENDPOINT_ID。

設定 Apigee Proxy 的服務帳戶

Apigee Proxy 會使用服務帳戶進行 Vertex AI REST 呼叫：SemanticCacheLookup 政策中的 Embeddings API、SemanticCachePopulate 政策中的 upsertDatapoints，以及模型目標。將 AI Platform User (roles/aiplatform.user) 角色授予該服務帳戶：

gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:SERVICE_ACCOUNT" \
  --role="roles/aiplatform.user"

其中 SERVICE_ACCOUNT 是 Proxy 使用的服務帳戶電子郵件地址。在步驟 4：匯入及部署 API Proxy 中部署 Proxy 時，您會參照這個服務帳戶。

注意：部署 Proxy 的身分必須具備 SERVICE_ACCOUNT (或專案層級) 的 roles/iam.serviceAccountUser (服務帳戶使用者) 角色，才能部署附加該服務帳戶的 Proxy。請參閱「步驟 4：匯入及部署 API Proxy」。

Apigee Hybrid 部署作業的其他必要條件

如果是 Apigee Hybrid 部署作業，請確認下列額外需求條件：

1.16.11 以上版本或 1.17.0 以上版本的混合式執行階段，安裝在您自己的 Kubernetes 叢集中。請參閱 Apigee Hybrid 安裝說明文件。這項功能本身不會增加叢集需求，任何支援的混合式叢集都能運作。
「中繼」或「全方位」環境，以及具有執行階段主機名稱的環境群組，與 Apigee 相同。語意快取政策只能部署至中等或全方位環境。
從執行階段到私人端點的 Network Reachability。訊息處理器必須能透過 TARGET_HOST:10000，開啟與向量搜尋 Private Service Connect 端點的明文 gRPC 連線。
REST 呼叫的輸出。Embeddings、Populate 和 model-target 呼叫會傳送至公開 REGION-aiplatform.googleapis.com 介面，因此執行階段也需要 Google API 的路徑，可以直接存取，或在叢集沒有公開輸出時透過私人路徑存取。

在 Apigee Hybrid 設定

Apigee Hybrid 1.16.11 以上版本和 1.17.0 以上版本支援透過私人 (Private Service Connect) 端點進行語意快取。本教學課程中的政策設定和向量搜尋步驟與 Apigee 相同，差異在於您必須自行執行執行階段並提供連線能力。由於混合部署作業差異很大，因此本節僅提供一般指引，而非確切指令。這項功能唯一新增的要求是，執行階段必須能透過純文字 gRPC 連上私人端點。

提供 Network Reachability

在混合式部署中，您必須手動管理連線能力，因為沒有 Apigee 代管的端點連結。在用戶虛擬私有雲中建立 Private Service Connect 端點，指向向量搜尋 SERVICE_ATTACHMENT，並使用其內部 IP 位址做為 Proxy 中的 TARGET_HOST。詳情請參閱「步驟 2：連線至服務連結」。具體路由 (例如 Shared VPC 或虛擬私有雲原生 GKE) 取決於叢集設定。

如果叢集沒有公開網際網路輸出，請確認執行階段有通往 Google API 的私人路徑 (例如 Private Google Access)，以便處理 REST 通訊。

建立與 grpc://TARGET_HOST:10000 的連線後，請按照後續步驟操作，包括建立及部署索引、建構 Proxy 和測試，這些步驟在 Apigee 和 Apigee Hybrid 中都相同。

總覽

Apigee 使用者可透過語意快取政策，搭配 LLM 模型，以聰明又有效率的方式處理相同或語意相似的提示詞，盡可能減少後端 API 呼叫和資源用量。

SemanticCacheLookup 和 SemanticCachePopulate 政策會分別附加至 Apigee API Proxy 的要求和回應流程。Proxy 收到要求後，SemanticCacheLookup 政策會從要求中擷取使用者提示詞，並使用 Text Embeddings API 將提示詞轉換為數值表示法。系統會使用向量搜尋執行語意相似度搜尋，找出類似的提示詞。如果找到類似的提示詞資料點，系統會執行快取查詢。如果找到快取資料，系統會將快取回應傳回用戶端。

如果相似度搜尋未傳回類似的既有提示詞，LLM 模型會根據使用者提示詞生成內容，並將回覆填入 Apigee 快取。建立意見回饋循環，更新向量搜尋索引項目，為日後的要求做好準備。

在這個情境中，向量搜尋索引會透過 gRPC 部署在私人 (Private Service Connect) 端點。如要進一步瞭解向量搜尋 Private Service Connect 支援，請參閱「查詢私人服務存取權或 Private Service Connect 索引」。

下列各節說明建立及設定語意快取政策的步驟：

驗證資源並取得 Apigee 所需的值。
連線至服務連結。
建構 API Proxy 套件。
匯入及部署 API Proxy。
測試語意快取政策。

步驟 1：驗證資源並取得 Apigee 所需的值

設定 Apigee 之前，請確認 Vector Search 索引端點已啟用 Private Service Connect，且索引已部署。接著，讀取 Apigee Proxy 使用的兩個值：服務連結和 DEPLOYED_INDEX_ID。

確認索引已部署，且端點公開 Private Service Connect 服務連結：

gcloud ai index-endpoints describe INDEX_ENDPOINT_ID \
  --project=$PROJECT_ID --region=$REGION \
  --format="value(deployedIndexes.privateEndpoints.serviceAttachment)"

指令會傳回格式為 projects/TENANT_PROJECT/regions/REGION/serviceAttachments/SERVICE_ATTACHMENT_NAME 的服務連結資源名稱。本指南將該值稱為 SERVICE_ATTACHMENT。如果指令傳回空值，表示索引尚未部署至 Private Service Connect 端點。請返回「向量搜尋索引必要條件」一節，完成索引部署作業後再繼續操作。

讀取部署在端點上的索引 DEPLOYED_INDEX_ID：

gcloud ai index-endpoints describe INDEX_ENDPOINT_ID \
  --project=$PROJECT_ID --region=$REGION \
  --format="value(deployedIndexes.id)"

本指南將該值稱為 DEPLOYED_INDEX_ID。您會在「步驟 3：建構 API Proxy 繫結」的 SemanticCacheLookup 政策中使用這個值。

如要進一步瞭解如何部署及查詢私人索引端點，請參閱「將索引部署至 Private Service Connect 端點」和「查詢私人服務存取權或 Private Service Connect 索引」。

步驟 2：連線至服務連結

這個步驟會提供 Proxy 的 <GrpcEndpoint> 呼叫的私人主機。建立方式取決於您使用的平台。無論採用哪種方式，後續步驟中的 Proxy 設定都相同。

Apigee：建立端點連結

在 Apigee 上建立 Apigee 端點連結。端點連結是 Apigee 的 Private Service Connect 消費者端。它會連線至向量搜尋服務連結，並提供 Proxy 呼叫的私人主機。

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
        "location": "'"$REGION"'",
        "serviceAttachment": "SERVICE_ATTACHMENT"
      }' \
  "https://apigee.googleapis.com/v1/organizations/$PROJECT_ID/endpointAttachments?endpointAttachmentId=ENDPOINT_ATTACHMENT"

輪詢，直到連接作業的 state 為 ACTIVE，且 connectionState 為 ACCEPTED，然後記下主機：

curl -s -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  "https://apigee.googleapis.com/v1/organizations/$PROJECT_ID/endpointAttachments/ENDPOINT_ATTACHMENT"

回應的 host 欄位中包含主機。本指南將該值稱為 TARGET_HOST。

如要從 Proxy 連線至向量搜尋服務連結，可以使用下列任一方法：

IP 位址：直接使用 host 欄位中傳回的 IP 位址做為 TARGET_HOST (例如 7.0.3.4)。
私人 DNS 記錄：如果您在 Google Cloud 專案中設定私人 Cloud DNS 區域，並與 Apigee 建立 DNS 對接，則可在私人區域中建立指向端點連結 IP 位址的 A 記錄，並使用該網域名稱 (例如 vectorsearch.example.com) 做為 TARGET_HOST。詳情請參閱「使用 DNS 記錄」和「使用私人 DNS 對接區域連線」。

注意：如果 connectionState 保持 PENDING，表示向量搜尋服務連結不接受連線，通常是因為租戶專案未列入許可清單。索引端點建立後，projectAllowlist 即無法修改，因此請返回向量搜尋索引必要條件，並使用正確的 privateServiceConnectConfig.projectAllowlist 值重新建立索引端點。

Apigee Hybrid 的 Private Service Connect 端點

在 Apigee 中，Google 提供「端點連結」資源，可處理 Private Service Connect 連線。不過，在 Apigee Hybrid 中，您必須管理執行階段和網路環境。無論叢集在何處執行，都必須能透過 host:10000 的明文 gRPC 連線，連至向量搜尋 Private Service Connect 端點。

如果是 Apigee Hybrid，請在 Google Cloud 用戶虛擬私有雲中建立 Private Service Connect 端點，並指向向量搜尋SERVICE_ATTACHMENT。在 Proxy 設定中，使用端點的內部 IP 位址做為 TARGET_HOST。請確認託管這個端點的 Google Cloud 專案，包含在 Vector Search 索引端點的projectAllowlist中。詳情請參閱「向量搜尋索引必要條件」。

步驟 3：建構 API Proxy 套件

建立 Proxy 套裝組合

建立下列目錄版面配置：

apiproxy/
├── PROXY_NAME.xml
├── proxies/default.xml
├── targets/default.xml
└── policies/
    ├── SCL-1.xml
    └── SCP-1.xml

policies/SCL-1.xml：SemanticCacheLookup 政策。<SimilaritySearch> 區塊使用 <PrivateServiceConnect><GrpcEndpoint> (不含 <URL>)。

注意：Apigee、Apigee Hybrid 1.16.11 以上版本和 1.17.0 以上版本支援 <PrivateServiceConnect> 傳輸。

注意：<GrpcEndpoint> 規則：

格式為 grpc://TARGET_HOST:PORT；通訊協定必須是 grpc://。這個版本不支援 grpcs:// (TLS)。
向量搜尋的通訊埠為 10000。Private Service Connect 資料層端點會在通訊埠 10000 上提供 gRPC，因此端點一律為 grpc://TARGET_HOST:10000。
TARGET_HOST 可以是端點連結 IP 位址 (來自步驟 2)，也可以是在私人 DNS 區域中建立的自訂 DNS 記錄。
gRPC 躍點為純文字且未經驗證 (透過網路隔離保護)。

<SemanticCacheLookup async="false" continueOnError="false" enabled="true" name="SCL-1">
  <DisplayName>SCL-1</DisplayName>
  <IgnoreUnresolvedVariables>false</IgnoreUnresolvedVariables>
  <UserPromptSource>{jsonPath('$.contents[-1].parts[-1].text',request.content,true)}</UserPromptSource>
  <Embeddings>
    <VertexAI>
      <URL>https://REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/publishers/google/models/gemini-embedding-001:predict</URL>
    </VertexAI>
  </Embeddings>
  <SimilaritySearch>
    <VertexAI>
      <PrivateServiceConnect>
        <GrpcEndpoint>grpc://TARGET_HOST:10000</GrpcEndpoint>
      </PrivateServiceConnect>
      <DeployedIndexID>DEPLOYED_INDEX_ID</DeployedIndexID>
      <Threshold>0.95</Threshold>
    </VertexAI>
  </SimilaritySearch>
</SemanticCacheLookup>

policies/SCP-1.xml：SemanticCachePopulate 政策。Populate 僅限 REST，且必須使用 <URL> (在部署時會拒絕 <PrivateServiceConnect>)：

<SemanticCachePopulate async="false" continueOnError="true" enabled="true" name="SCP-1">
  <DisplayName>SCP-1</DisplayName>
  <IgnoreUnresolvedVariables>true</IgnoreUnresolvedVariables>
  <SimilaritySearch>
    <VertexAI>
      <URL>https://REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/indexes/INDEX_ID:upsertDatapoints</URL>
    </VertexAI>
  </SimilaritySearch>
  <TTLInSeconds>3600</TTLInSeconds>
</SemanticCachePopulate>

targets/default.xml：模型目標。目標會呼叫 Google API，因此需要權杖；<GoogleAccessToken> 會使用部署作業的服務帳戶：

<TargetEndpoint name="default">
  <PreFlow name="PreFlow"><Request/><Response/></PreFlow>
  <PostFlow name="PostFlow"><Request/><Response/></PostFlow>
  <HTTPTargetConnection>
    <Authentication>
      <GoogleAccessToken>
        <Scopes>
          <Scope>https://www.googleapis.com/auth/cloud-platform</Scope>
        </Scopes>
      </GoogleAccessToken>
    </Authentication>
    <URL>https://REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/publishers/google/models/gemini-2.5-flash:generateContent</URL>
  </HTTPTargetConnection>
</TargetEndpoint>

proxies/default.xml：對要求執行 SemanticCacheLookup 政策，並對回應執行 SemanticCachePopulate 政策：

<ProxyEndpoint name="default">
  <PreFlow name="PreFlow">
    <Request><Step><Name>SCL-1</Name></Step></Request>
    <Response><Step><Name>SCP-1</Name></Step></Response>
  </PreFlow>
  <PostFlow name="PostFlow"><Request/><Response/></PostFlow>
  <HTTPProxyConnection>
    <BasePath>/PROXY_NAME</BasePath>
  </HTTPProxyConnection>
  <RouteRule name="default">
    <TargetEndpoint>default</TargetEndpoint>
  </RouteRule>
</ProxyEndpoint>

PROXY_NAME.xml：套件描述元：

<APIProxy name="PROXY_NAME">
  <BasePaths>/PROXY_NAME</BasePaths>
  <Policies><Policy>SCL-1</Policy><Policy>SCP-1</Policy></Policies>
  <ProxyEndpoints><ProxyEndpoint>default</ProxyEndpoint></ProxyEndpoints>
  <TargetEndpoints><TargetEndpoint>default</TargetEndpoint></TargetEndpoints>
</APIProxy>

步驟 4：匯入及部署 API Proxy

將套件壓縮成 ZIP 檔，匯入並建立新的修訂版本，然後使用服務帳戶部署修訂版本：

TOKEN=$(gcloud auth print-access-token)
(cd BUNDLE_DIR && zip -r ../PROXY_NAME.zip apiproxy)
curl -X POST -H "Authorization: Bearer $TOKEN" \
  -F "file=@PROXY_NAME.zip" \
  "https://apigee.googleapis.com/v1/organizations/$PROJECT_ID/apis?action=import&name=PROXY_NAME"
curl -X POST -H "Authorization: Bearer $TOKEN" \
  "https://apigee.googleapis.com/v1/organizations/$PROJECT_ID/environments/ENV/apis/PROXY_NAME/revisions/REVISION/deployments?override=true&serviceAccount=SERVICE_ACCOUNT"

其中：

BUNDLE_DIR 是包含 apiproxy/ 資料夾的目錄。封存檔的根目錄必須包含 apiproxy/ 資料夾。
ENV 是部署 Proxy 的 Apigee 環境。環境必須是中級或完整環境。
REVISION 是匯入呼叫傳回的修訂版本編號。
SERVICE_ACCOUNT 是您用來部署 Proxy 的服務帳戶電子郵件地址。

注意：部署 Proxy 的身分必須具備 SERVICE_ACCOUNT (或專案層級) 的 roles/iam.serviceAccountUser (服務帳戶使用者) 角色，才能部署附加該服務帳戶的 Proxy。根據預設，專案擁有者和編輯者具備這項權限。如果部署身分不是擁有者或編輯者，請使用下列指令，將角色授予服務帳戶：

gcloud iam service-accounts add-iam-policy-binding SERVICE_ACCOUNT \
  --member="user:DEPLOYER_EMAIL" \
  --role="roles/iam.serviceAccountUser"

等待部署作業回報 READY：

curl -s -H "Authorization: Bearer $TOKEN" \
  "https://apigee.googleapis.com/v1/organizations/$PROJECT_ID/environments/ENV/apis/PROXY_NAME/revisions/REVISION/deployments" | jq .state

步驟 5：測試語意快取政策

傳送新提示。這就是快取失敗：系統會呼叫模型，並快取答案。

curl -X POST "https://$RUNTIME_HOSTNAME/PROXY_NAME" \
  -H "Content-Type: application/json" \
  -d '{"contents":[{"role":"user","parts":[{"text":"Explain in one sentence why the sky appears blue."}]}]}'

再次傳送相同的提示。這屬於快取命中：系統會從快取提供回應，不會呼叫模型。

curl -i -X POST "https://$RUNTIME_HOSTNAME/PROXY_NAME" \
  -H "Content-Type: application/json" \
  -d '{"contents":[{"role":"user","parts":[{"text":"Explain in one sentence why the sky appears blue."}]}]}'

命中時，回應會包含 Cached-content: true 標頭、相同答案，且延遲時間明顯縮短。

您也可以透過偵錯工作階段驗證快取。命中時，SemanticCacheLookup 政策會設定下列流程變數：

變數	命中值
`SemanticCacheLookup.SCL-1.dense_embeddings`	提示的嵌入向量。
`SemanticCacheLookup.SCL-1.is_nearest_neighbor_hit`	`true`
`SemanticCacheLookup.SCL-1.cache_hit`	`true`
`SemanticCacheLookup.SCL-1.cached_llm_response`	快取的答案。

如果命中，則不會叫用模型目標，流程會短路並傳回快取的回覆。

疑難排解

如需完整的錯誤參考資料，請參閱「SemanticCacheLookup 政策」。

限制

語意快取政策有下列限制：

可快取的文字大小上限為 256 KB。詳情請參閱 Apigee「限制」頁面的「快取值大小」一節。
Apigee 會忽略從 LLM 模型收到的任何快取控制項標頭。
如果快取未正確失效，或語意相似度演算法不夠準確，無法區分含義非常相似的輸入內容，回覆可能會傳回過時或不正確的資訊。
- 如要進一步瞭解如何設定存留時間來管理資料更新間隔，請參閱「最佳做法」一節。
- 如要進一步瞭解如何設定語意類似程度門檻，請參閱「設定語意快取政策」一節。
- 如要進一步瞭解如何調整語意相似度演算法，請參閱「篩選向量比對結果」。
部分區域不支援向量搜尋功能。如要查看支援的地區清單，請參閱 Vertex AI 位置頁面的「功能可用性」一節。如果 Apigee 組織位於不支援的區域，您必須在 Apigee 組織以外的區域建立索引端點。
語意快取政策不支援使用 EventFlows 持續串流伺服器傳送事件 (SSE) 回應的 API Proxy。
語意快取政策會使用 LLM API，因此延遲時間可能會增加數百毫秒。
在 Apigee Hybrid 安裝中，語意快取政策僅支援 Google Cloud Platform 上的安裝。
如果 SemanticCacheLookup 政策設為透過 Private Service Connect (PSC) 使用私人向量搜尋端點，相似度搜尋呼叫會透過直接 gRPC 連線傳送至私人端點，不會經過設定的轉送 Proxy。

後續步驟

瞭解如何在 Vector Search 中查詢私人服務存取權或 Private Service Connect 索引。
如要瞭解如何針對公開端點設定語意快取，請參閱「開始使用語意快取政策」。
瞭解如何開始使用 Model Armor 政策。

透過私有 (Private Service Connect) 端點進行語意快取 透過集合功能整理內容 你可以依據偏好儲存及分類內容。

事前準備

必要的角色

設定環境變數

設定專案

向量搜尋索引必要條件

設定 Apigee Proxy 的服務帳戶

Apigee Hybrid 部署作業的其他必要條件

在 Apigee Hybrid 設定

提供 Network Reachability

總覽

步驟 1：驗證資源並取得 Apigee 所需的值

步驟 2：連線至服務連結

Apigee：建立端點連結

Apigee Hybrid 的 Private Service Connect 端點

步驟 3：建構 API Proxy 套件

建立 Proxy 套裝組合

步驟 4：匯入及部署 API Proxy

步驟 5：測試語意快取政策

疑難排解

限制

後續步驟

透過私有 (Private Service Connect) 端點進行語意快取