Cachelagrar svar på Azure OpenAI API-begäranden
GÄLLER FÖR: Basic v2 | Standard v2
Principen azure-openai-semantic-cache-store
cachelagrar svar på API:et för slutförande av Azure OpenAI-chatt och API:et för slutförande till en konfigurerad extern cache. Cachelagring av svar minskar bandbredds- och bearbetningskrav som ställs på serverdelens Azure OpenAI API och minskar svarstiden som uppfattas av API-konsumenter.
Kommentar
- Den här principen måste ha en motsvarande policy för att hämta cachelagrade svar på Azure OpenAI API-begäranden .
- Krav och steg för att aktivera semantisk cachelagring finns i Aktivera semantisk cachelagring för Azure OpenAI-API:er i Azure API Management.
- För närvarande finns den här principen i förhandsversion.
Kommentar
Ange principens element och underordnade element i den ordning som anges i principbeskrivningen. Läs mer om hur du anger eller redigerar API Management-principer.
Principuttryck
<azure-openai-semantic-cache-store duration="seconds"/>
Attribut
Attribut | beskrivning | Obligatoriskt | Standardvärde |
---|---|---|---|
varaktighet | Time-to-live för de cachelagrade posterna, som anges i sekunder. Principuttryck tillåts. | Ja | Ej tillämpligt |
Användning
- Principavsnitt: utgående
- Principomfattningar: global, arbetsyta, produkt, API, åtgärd
- Gatewayer: v2
Användningsanteckningar
- Den här principen kan bara användas en gång i ett principavsnitt.
- Om cachesökningen misslyckas utlöser inte API-anropet som använder den cacherelaterade åtgärden något fel och cacheåtgärden slutförs.
Exempel
Exempel med motsvarande princip för azure-openai-semantic-cache-lookup
<policies>
<inbound>
<base />
<azure-openai-semantic-cache-lookup
score-threshold="0.05"
embeddings-backend-id ="azure-openai-backend"
embeddings-backend-auth ="system-assigned" >
<vary-by>@(context.Subscription.Id)</vary-by>
</azure-openai-semantic-cache-lookup>
</inbound>
<outbound>
<azure-openai-semantic-cache-store duration="60" />
<base />
</outbound>
</policies>
Relaterade principer
Relaterat innehåll
Mer information om hur du arbetar med principer finns i:
- Självstudie: Transformera och skydda ditt API
- Principreferens för en fullständig lista över principinstruktioner och deras inställningar
- Principuttryck
- Ange eller redigera principer
- Återanvända principkonfigurationer
- Lagringsplats för principfragment
- Skapa principer med Microsoft Copilot i Azure
Feedback
https://aka.ms/ContentUserFeedback.
Kommer snart: Under hela 2024 kommer vi att fasa ut GitHub-problem som feedbackmekanism för innehåll och ersätta det med ett nytt feedbacksystem. Mer information finns i:Skicka och visa feedback för