Mise en cache de réponses aux requêtes d’API Azure OpenAI

S’APPLIQUE À : Essentiel v2 | Standard v2

La stratégie azure-openai-semantic-cache-store met en cache des réponses à l’API Saisie semi-automatique Azure OpenAI et des requêtes d’API Saisie semi-automatique vers un cache externe configuré. La mise en cache de la réponse réduit les besoins en bande passante et en traitement imposés par l’API Azure OpenAI back-end et limite la latence perçue par les consommateurs de l’API.

Remarque

• Cette stratégie doit avoir une stratégie Obtenir des réponses mises en cache à des requêtes d’API Azure OpenAI correspondante.
• Si vous souhaitez obtenir les prérequis et les étapes permettant d’activer la mise en cache sémantique, consultez Activer la mise en cache sémantique pour des API Azure OpenAI dans Gestion des API Azure.
• Cette stratégie est actuellement en préversion.

Remarque

Définissez les éléments enfants et de stratégie dans l’ordre fourni dans l’instruction de stratégie. En savoir plus sur comment définir ou modifier des stratégies du service Gestion des API.

Instruction de la stratégie

<azure-openai-semantic-cache-store duration="seconds"/>

Attributs

Attribut	Description	Obligatoire	Default
duration	Durée de vie des entrées mises en cache (en secondes). Les expressions de stratégie sont autorisées.	Oui	N/A

Usage

• Sections de la stratégie : outbound
• Étendues de la stratégie : global, espace de travail, produit, API, opération
• Passerelles : v2

Notes d’utilisation

• Cette stratégie ne peut être employée qu’une seule fois dans une section stratégie.
• En cas d’échec de la recherche de cache, l’appel d API qui utilise l’opération liée au cache ne génère pas d’erreur et l’opération de cache se termine correctement.

Exemples

Exemple avec la stratégie azure-openai-semantic-cache-lookup correspondante

<policies>
    <inbound>
        <base />
        <azure-openai-semantic-cache-lookup
            score-threshold="0.05"
            embeddings-backend-id ="azure-openai-backend"
            embeddings-backend-auth ="system-assigned" >
            <vary-by>@(context.Subscription.Id)</vary-by>
        </azure-openai-semantic-cache-lookup>
    </inbound>
    <outbound>
        <azure-openai-semantic-cache-store duration="60" />
        <base />
    </outbound>
</policies>

Stratégies connexes

• Mise en cache
• azure-openai-semantic-cache-lookup

Contenu connexe

Pour plus d’informations sur l’utilisation des stratégies, consultez :

• Tutoriel : Transformer et protéger votre API
• Référence de stratégie pour obtenir la liste complète des instructions et des paramètres de stratégie
• Expressions de stratégie
• Définir ou modifier des stratégies
• Réutilisation de configurations de stratégie
• Référentiel d’extrait de stratégie
• Créer des stratégies à l’aide de Microsoft Copilot pour Azure