Almacenamiento en caché de respuestas a solicitudes de API de Azure OpenAI

SE APLICA A: todos los niveles de API Management

La directiva de azure-openai-semantic-cache-store almacena en caché las respuestas a las solicitudes api de finalización de chat y finalización de Azure OpenAI a una caché externa configurada. El almacenamiento en caché de respuesta reduce el ancho de banda y los requisitos de procesamiento impuestos sobre la API de Azure OpenAI de back-end y disminuye la latencia percibida por los consumidores de API.

Nota:

• Esta directiva debe tener una directiva correspondiente Obtener respuestas en caché a las solicitudes de la API de Azure OpenAI.
• Para conocer los requisitos previos y los pasos para habilitar el almacenamiento en caché semántico, consulte Habilitación del almacenamiento en caché semántico para las API de Azure OpenAI en Azure API Management.
• Esta directiva está actualmente en versión preliminar.

Nota:

Establezca los elementos de la directiva y los elementos secundarios en el orden proporcionado en la instrucción de directiva. Obtenga más información sobre el establecimiento o modificación de directivas de API Management.

Modelos admitidos de Azure OpenAI Service

La directiva se usa con las API agregadas a API Management desde el Azure OpenAI Service de los siguientes tipos:

Tipo de API	Modelos admitidos
Finalización del chat	gpt-3.5 gpt-4
Completion	gpt-3.5-turbo-instruct
Inserciones	text-embedding-3-large text-embedding-3-small text-embedding-ada-002

Para obtener más información, consulte Modelos de servicio de OpenAI de Azure.

Instrucción de la directiva

<azure-openai-semantic-cache-store duration="seconds"/>

Atributos

Atributo	Descripción	Necesario	Valor predeterminado
duration	Período de vida de las entradas almacenadas en caché, especificado en segundos. Se permiten expresiones de directiva.	Sí	N/D

Uso

• Secciones de la directiva: saliente
• Ámbitos de la directiva: global, producto, API y operación
• Puertas de enlace: v2

Notas de uso

• Esta directiva solo se puede usar una vez en una sección de directiva.
• Si se produce un error en la búsqueda de caché, la llamada API que usa la operación relacionada con la caché no genera un error y la operación de caché se completa correctamente.

Ejemplos

Ejemplo con la directiva azure-openai-semantic-cache-lookup correspondiente

<policies>
    <inbound>
        <base />
        <azure-openai-semantic-cache-lookup
            score-threshold="0.05"
            embeddings-backend-id ="azure-openai-backend"
            embeddings-backend-auth ="system-assigned" >
            <vary-by>@(context.Subscription.Id)</vary-by>
        </azure-openai-semantic-cache-lookup>
    </inbound>
    <outbound>
        <azure-openai-semantic-cache-store duration="60" />
        <base />
    </outbound>
</policies>

Directivas relacionadas

• Almacenamiento en caché
• azure-openai-semantic-cache-lookup

Contenido relacionado

Para más información sobre el trabajo con directivas, vea:

• Tutorial: Transformación y protección de una API
• Referencia de directivas para una lista completa de instrucciones de directivas y su configuración
• Expresiones de directiva
• Establecimiento o edición de directivas
• Reutilización de configuraciones de directivas
• Repositorio de fragmentos de código de directiva
• Creación de directivas mediante Microsoft Copilot en Azure