Reacties op Azure OpenAI API-aanvragen in de cache opslaan

VAN TOEPASSING OP: Alle API Management-lagen

Het azure-openai-semantic-cache-store beleid slaat antwoorden op de voltooiings-API voor Azure OpenAI Chat en voltooiings-API-aanvragen op in een geconfigureerde externe cache. Reactiecaching vermindert de bandbreedte en verwerkingsvereisten die zijn opgelegd aan de Back-end Azure OpenAI-API en verlaagt de latentie die wordt waargenomen door API-consumenten.

Notitie

• Dit beleid moet een overeenkomend beleid voor get cache-antwoorden hebben op azure OpenAI API-aanvragen .
• Zie Semantische caching inschakelen voor Azure OpenAI-API's in Azure API Management voor vereisten en stappen voor het inschakelen van semantische caching.
• Dit beleid is momenteel beschikbaar als preview-versie.

Notitie

Stel de elementen en onderliggende elementen van het beleid in de volgorde in die in de beleidsverklaring is opgegeven. Meer informatie over het instellen of bewerken van API Management-beleid.

Ondersteunde Azure OpenAI Service-modellen

Het beleid wordt gebruikt met API's die zijn toegevoegd aan API Management vanuit de Azure OpenAI-service van de volgende typen:

API-type	Ondersteunde modellen
Chatvoltooiing	gpt-3.5 gpt-4
Voltooiing	gpt-3.5-turbo-instruct
Insluitingen	tekst-insluiten-3-groot tekst-insluiten-3-klein tekst-insluiten-ada-002

Zie Azure OpenAI Service-modellen voor meer informatie.

Beleidsinstructie

<azure-openai-semantic-cache-store duration="seconds"/>

Kenmerken

Kenmerk	Beschrijving	Vereist	Standaardinstelling
duur	Time-to-live van de items in de cache, opgegeven in seconden. Beleidsexpressies zijn toegestaan.	Ja	N.v.t.

Gebruik

• Beleidssecties: uitgaand
• Beleidsbereiken: globaal, product, API, bewerking
• Gateways: v2

Gebruiksnotities

• Dit beleid kan slechts eenmaal worden gebruikt in een beleidssectie.
• Als het opzoeken van de cache mislukt, veroorzaakt de API-aanroep die gebruikmaakt van de bewerking met betrekking tot de cache geen fout en wordt de cachebewerking voltooid.

Voorbeelden

Voorbeeld met het bijbehorende beleid voor azure-openai-semantic-cache-lookup

<policies>
    <inbound>
        <base />
        <azure-openai-semantic-cache-lookup
            score-threshold="0.05"
            embeddings-backend-id ="azure-openai-backend"
            embeddings-backend-auth ="system-assigned" >
            <vary-by>@(context.Subscription.Id)</vary-by>
        </azure-openai-semantic-cache-lookup>
    </inbound>
    <outbound>
        <azure-openai-semantic-cache-store duration="60" />
        <base />
    </outbound>
</policies>

Gerelateerd beleid

• Caching
• azure-openai-semantic-cache-lookup

Gerelateerde inhoud

Zie voor meer informatie over het werken met beleid:

• Zelfstudie: Uw API transformeren en beveiligen
• Beleidsreferentie voor een volledige lijst met beleidsinstructies en hun instellingen
• Beleidsexpressies
• Beleid instellen of bewerken
• Beleidsconfiguraties opnieuw gebruiken
• Beleidsfragmentenopslagplaats
• Beleid ontwerpen met Behulp van Microsoft Copilot in Azure