Partager via


Mise en cache de réponses aux requêtes d’API Azure OpenAI

S’APPLIQUE À : Tous les niveaux de Gestion des API

La stratégie azure-openai-semantic-cache-store met en cache des réponses à l’API Saisie semi-automatique Azure OpenAI et des requêtes d’API Saisie semi-automatique vers un cache externe configuré. La mise en cache de la réponse réduit les besoins en bande passante et en traitement imposés par l’API Azure OpenAI back-end et limite la latence perçue par les consommateurs de l’API.

Remarque

Remarque

Définissez les éléments enfants et de stratégie dans l’ordre fourni dans l’instruction de stratégie. En savoir plus sur comment définir ou modifier des stratégies du service Gestion des API.

Modèles Azure OpenAI Service pris en charge

La stratégie est utilisée avec les API ajoutées à Gestion des API à partir de Azure OpenAI Service des types suivants :

Type de l’API Modèles pris en charge
Saisie semi-automatique de la conversation gpt-3.5

gpt-4
Completion gpt-3.5-turbo-instruct
Incorporations text-embedding-3-large

text-embedding-3-small

text-embedding-ada-002

Pour plus d’informations, consultez Gérer les Modèles Azure OpenAI Service.

Instruction de la stratégie

<azure-openai-semantic-cache-store duration="seconds"/>

Attributs

Attribut Description Obligatoire Default
duration Durée de vie des entrées mises en cache (en secondes). Les expressions de stratégie sont autorisées. Oui N/A

Usage

Notes d’utilisation

  • Cette stratégie ne peut être employée qu’une seule fois dans une section stratégie.
  • En cas d’échec de la recherche de cache, l’appel d API qui utilise l’opération liée au cache ne génère pas d’erreur et l’opération de cache se termine correctement.

Exemples

Exemple avec la stratégie azure-openai-semantic-cache-lookup correspondante

<policies>
    <inbound>
        <base />
        <azure-openai-semantic-cache-lookup
            score-threshold="0.05"
            embeddings-backend-id ="azure-openai-backend"
            embeddings-backend-auth ="system-assigned" >
            <vary-by>@(context.Subscription.Id)</vary-by>
        </azure-openai-semantic-cache-lookup>
    </inbound>
    <outbound>
        <azure-openai-semantic-cache-store duration="60" />
        <base />
    </outbound>
</policies>

Pour plus d’informations sur l’utilisation des stratégies, consultez :