Cachelagrar svar på Azure OpenAI API-begäranden

GÄLLER FÖR: Alla API Management-nivåer

Principen azure-openai-semantic-cache-store cachelagrar svar på API:et för slutförande av Azure OpenAI-chatt och API:et för slutförande till en konfigurerad extern cache. Cachelagring av svar minskar bandbredds- och bearbetningskrav som ställs på serverdelens Azure OpenAI API och minskar svarstiden som uppfattas av API-konsumenter.

Kommentar

• Den här principen måste ha en motsvarande policy för att hämta cachelagrade svar på Azure OpenAI API-begäranden .
• Krav och steg för att aktivera semantisk cachelagring finns i Aktivera semantisk cachelagring för Azure OpenAI-API:er i Azure API Management.
• För närvarande finns den här principen i förhandsversion.

Kommentar

Ange principens element och underordnade element i den ordning som anges i principbeskrivningen. Läs mer om hur du anger eller redigerar API Management-principer.

Azure OpenAI-tjänstmodeller som stöds

Principen används med API:er som lagts till i API Management från Azure OpenAI-tjänsten av följande typer:

API-typ	Modeller som stöds
Chatten har slutförts	gpt-3.5 gpt-4
Fullbordande	gpt-3.5-turbo-instruct
Inbäddningar	text-embedding-3-large text-embedding-3-small text-embedding-ada-002

Mer information finns i Azure OpenAI Service-modeller.

Principuttryck

<azure-openai-semantic-cache-store duration="seconds"/>

Attribut

Attribut	beskrivning	Obligatoriskt	Standardvärde
varaktighet	Time-to-live för de cachelagrade posterna, som anges i sekunder. Principuttryck tillåts.	Ja	Ej tillämpligt

Användning

• Principavsnitt: utgående
• Principomfattningar: global, produkt, API, åtgärd
• Gatewayer: v2

Användningsanteckningar

• Den här principen kan bara användas en gång i ett principavsnitt.
• Om cachesökningen misslyckas utlöser inte API-anropet som använder den cacherelaterade åtgärden något fel och cacheåtgärden slutförs.

Exempel

Exempel med motsvarande princip för azure-openai-semantic-cache-lookup

<policies>
    <inbound>
        <base />
        <azure-openai-semantic-cache-lookup
            score-threshold="0.05"
            embeddings-backend-id ="azure-openai-backend"
            embeddings-backend-auth ="system-assigned" >
            <vary-by>@(context.Subscription.Id)</vary-by>
        </azure-openai-semantic-cache-lookup>
    </inbound>
    <outbound>
        <azure-openai-semantic-cache-store duration="60" />
        <base />
    </outbound>
</policies>

Relaterade principer

• Cachelagring
• azure-openai-semantic-cache-lookup

Relaterat innehåll

Mer information om hur du arbetar med principer finns i:

• Självstudie: Transformera och skydda ditt API
• Principreferens för en fullständig lista över principinstruktioner och deras inställningar
• Principuttryck
• Ange eller redigera principer
• Återanvända principkonfigurationer
• Lagringsplats för principfragment
• Skapa principer med Microsoft Copilot i Azure