Tutorial: Uso de Azure Managed Redis como caché semántica

En este tutorial, aprenderá a usar Azure Managed Redis como punto de conexión de Redis para una caché semántica en aplicaciones de modelo de lenguaje grande (LLM). El almacenamiento en caché semántico es un patrón de aplicación o puerta de enlace, no una característica administrada independiente de Azure Managed Redis. Azure Managed Redis proporciona el punto de conexión de Redis y las funcionalidades de búsqueda de vectores de RediSearch que almacenan y buscan mensajes en caché, incrustaciones, metadatos y respuestas.

En este tutorial, obtendrá información sobre cómo:

  • Decida si el almacenamiento en caché semántico debe ejecutarse en la aplicación o en Azure API Management.
  • Configura los requisitos previos para Azure Managed Redis, RediSearch, incrustaciones, TLS y autenticación.
  • Implemente una caché semántica de Python con RedisVL.
  • Configure el almacenamiento en caché semántico de nivel de puerta de enlace con directivas de Azure API Management.
  • Ajuste los umbrales, las TTL, las particiones, las versiones y la observabilidad para producción.
  • Comprenda las consideraciones de costo, rendimiento y ajuste al producto.

Funcionamiento del almacenamiento en caché semántico

El almacenamiento en caché semántico reutiliza las respuestas LLM anteriores cuando un mensaje nuevo es lo bastante similar en significado a un mensaje almacenado en caché. Un flujo de solicitud típico es:

  1. Reciba un prompt de la aplicación o del consumidor de API.
  2. Genere un embedding para el prompt mediante el mismo modelo de embedding usado por la memoria caché.
  3. Buscar embeddings de prompts en caché en Azure Managed Redis por similitud de vectores.
  4. Si la entrada de caché más cercana está dentro del umbral configurado y coincide con la partición de inquilino, usuario, modelo y versión del mensaje, devuelva la respuesta almacenada en caché.
  5. Si no hay ninguna coincidencia aceptable, llame al LLM y almacene el mensaje, la respuesta, el embedding, los metadatos y el TTL en Redis.

Azure Managed Redis puede admitir este patrón porque RediSearch admite la búsqueda de similitud de vectores, el filtrado de metadatos y los índices de vectores en estructuras de datos de Redis. Para obtener más información, consulte búsqueda vectorial en Azure Managed Redis y conceptos de búsqueda vectorial de Redis.

Elección de una ruta de implementación

Path Se utiliza cuando Dónde se ejecuta la lógica de caché
Caché semántica de nivel de aplicación con RedisVL Posee el código de la aplicación y necesita umbrales personalizados, creación de particiones, metadatos o lógica de llamada de modelo. La aplicación usa RedisVL SemanticCache con Azure Managed Redis como punto de conexión de Redis. RedisVL SemanticCache admite la búsqueda de prompts, el almacenamiento de respuestas, los TTL, los metadatos, los filtros y un umbral de distancia de COSINE de Redis. Para obtener más información, consulte la API SemanticCache de RedisVL.
Caché semántica a nivel de puerta de enlace con Azure API Management Quiere el almacenamiento en caché semántico centralizado para las API de LLM que pasan por Azure API Management. Azure API Management usa llm-semantic-cache-lookup antes de la llamada de back-end y llm-semantic-cache-store después de la respuesta de back-end. Azure Managed Redis está configurado como caché externa. Para más información, consulte Habilitación del almacenamiento en caché semántico para las API de LLM en Azure API Management.

Prerequisites

  • Una suscripción a Azure.
  • Una instancia de Azure Managed Redis en un nivel en el que se admite RediSearch. En el artículo sobre los módulos de Azure Managed Redis se muestra la disponibilidad del módulo por nivel.
  • El módulo RediSearch habilitado al crear la instancia de Redis administrada de Azure. Debe habilitar los módulos en tiempo de creación y no puede agregarlos manualmente a una instancia de Redis administrada de Azure existente. Para más información, consulte Uso de módulos de Redis con Azure Managed Redis.
  • Una configuración de Azure Managed Redis que usa la directiva de agrupación en clústeres Enterprise (EnterpriseCluster) o no agrupada (NoCluster) para RediSearch. RediSearch no se admite con la directiva de agrupación en clústeres OSS (OSSCluster), como se describe en los requisitos del módulo RediSearch.
  • Modelo de embeddings o despliegue. Use un modelo de embeddings y una dimensión de vector para cada índice de caché semántica. Los índices vectoriales de Redis requieren que los vectores de consulta tengan las mismas dimensiones que el campo vectorial indizado, tal como se describe en Conceptos de búsqueda vectorial de Redis.
  • TLS y autenticación configuradas para los clientes. Use TLS (rediss:// o ssl=True) y ya sea Microsoft Entra ID o almacenamiento secreto aprobado. No codifique las claves de acceso de forma fija. Para más información, consulte Microsoft Entra ID para la autenticación y la configuración de TLS.
  • Para la ruta de acceso de RedisVL: Python, redisvl, redis y los paquetes necesarios para el enfoque de autenticación de embeddings y Redis.
  • Para la ruta de acceso de Azure API Management: una instancia de API Management con una API de LLM, un back-end de incrustaciones, una autenticación de identidad administrada en el back-end de incrustaciones y Azure Managed Redis configurado como una caché externa compatible con Redis. Estos requisitos previos se describen en Cómo habilitar el almacenamiento en caché semántico para las API de LLM en Azure API Management.

Ruta de acceso 1: Creación de una caché semántica de nivel de aplicación con RedisVL

Use esta ruta de acceso cuando la aplicación debe controlar la búsqueda de caché, la gestión de fallos de caché, las llamadas de modelo, los metadatos y el almacenamiento en caché. RedisVL SemanticCache se conecta a Redis y proporciona operaciones check y store para prompts semánticamente similares. El distance_threshold valor usa unidades de distancia de COSINE de Redis de 0 a 2; los valores inferiores significan una coincidencia más estricta, según la API SemanticCache de RedisVL.

Instale los paquetes de Python necesarios:

pip install openai redis redis-entraid redisvl

Establezca AZURE_MANAGED_REDIS_HOST, AZURE_OPENAI_ENDPOINT, OPENAI_API_VERSION, AZURE_OPENAI_API_KEY, AZURE_OPENAI_EMBEDDING_DEPLOYMENTy AZURE_OPENAI_CHAT_DEPLOYMENT en el entorno. También puede establecer AZURE_MANAGED_REDIS_PORT si la instancia no usa el puerto 10000.

En el ejemplo siguiente se pasa un cliente de Redis configurado a RedisVL para que puedas usar TLS de Azure Managed Redis y la autenticación de Microsoft Entra ID:

import os

from openai import AzureOpenAI
from redis import Redis
from redis_entraid.cred_provider import create_from_default_azure_credential
from redisvl.extensions.cache.llm import SemanticCache
from redisvl.utils.vectorize import AzureOpenAITextVectorizer

credential_provider = create_from_default_azure_credential(
    ("https://redis.azure.com/.default",)
)

redis_client = Redis(
    host=os.environ["AZURE_MANAGED_REDIS_HOST"],
    port=int(os.getenv("AZURE_MANAGED_REDIS_PORT", "10000")),
    ssl=True,
    credential_provider=credential_provider,
)

vectorizer = AzureOpenAITextVectorizer(
    model=os.environ["AZURE_OPENAI_EMBEDDING_DEPLOYMENT"],
    api_config={
        "azure_endpoint": os.environ["AZURE_OPENAI_ENDPOINT"],
        "api_version": os.environ["OPENAI_API_VERSION"],
        # Load from a secret store or managed configuration. Don't hard-code keys.
        "api_key": os.environ["AZURE_OPENAI_API_KEY"],
    },
)

openai_client = AzureOpenAI(
    api_key=os.environ["AZURE_OPENAI_API_KEY"],
    api_version=os.environ["OPENAI_API_VERSION"],
    azure_endpoint=os.environ["AZURE_OPENAI_ENDPOINT"],
)

cache = SemanticCache(
    name="semcache_support_promptv1",
    redis_client=redis_client,
    vectorizer=vectorizer,
    distance_threshold=0.15,  # Redis COSINE distance [0-2]; lower is stricter.
    ttl=3600,
)


def call_llm(prompt: str) -> str:
    completion = openai_client.chat.completions.create(
        model=os.environ["AZURE_OPENAI_CHAT_DEPLOYMENT"],
        messages=[{"role": "user", "content": prompt}],
    )
    response = completion.choices[0].message.content
    if response is None:
        raise RuntimeError("The chat completion didn't contain a response.")
    return response


def answer(prompt: str) -> str:
    hits = cache.check(prompt=prompt, num_results=1)
    if hits:
        return hits[0]["response"]

    response = call_llm(prompt)
    cache.store(
        prompt=prompt,
        response=response,
        metadata={
            "model_id": os.environ["AZURE_OPENAI_CHAT_DEPLOYMENT"],
            "prompt_version": "support-v1",
        },
    )
    return response

En el caso de producción, no comparta una caché sin particiones entre todos los clientes. Utilice índices de caché independientes o campos filtrables de RedisVL para inquilinos, usuarios, identificadores de modelo y versiones de solicitud. Redis admite búsquedas vectoriales combinadas con filtros de metadatos, como se describe en Conceptos de búsqueda de vectores de Redis.

Ruta de acceso 2: Creación de una caché semántica a nivel de gateway con Azure API Management

Use esta ruta de acceso cuando el tráfico LLM fluya a través de Azure API Management y quiera una caché centralizada basada en directivas. Azure API Management almacenamiento en caché semántico usa una caché externa configurada y un back-end de incrustaciones. La directiva de búsqueda comprueba si hay respuestas en caché semánticamente similares antes de reenviar al back-end de LLM y la directiva de almacenamiento almacena en caché las respuestas aptas después de que el back-end vuelva. Para ver los pasos completos de configuración, consulte Habilitación del almacenamiento en caché semántico para las API de LLM en Azure API Management.

La directiva llm-semantic-cache-lookup se ejecuta en la sección de entrada y requiere un back-end de embeddings. El score-threshold va de 0.0 a 1.0; los valores inferiores requieren una mayor similitud semántica, según la llm-semantic-cache-lookup referencia de directiva. La llm-semantic-cache-store directiva se ejecuta en la sección de salida y usa duration como TTL de entrada de caché en segundos, según la referencia de directivallm-semantic-cache-store.

<policies>
    <inbound>
        <base />
        <llm-semantic-cache-lookup
            score-threshold="0.05"
            embeddings-backend-id="embeddings-backend"
            embeddings-backend-auth="system-assigned"
            ignore-system-messages="true"
            max-message-count="10">
            <vary-by>@(context.Subscription.Id)</vary-by>
        </llm-semantic-cache-lookup>
        <rate-limit calls="10" renewal-period="60" />
    </inbound>
    <outbound>
        <llm-semantic-cache-store duration="300" />
        <base />
    </outbound>
</policies>

Utilice <vary-by> para crear particiones de respuestas almacenadas en caché por suscripción, inquilino, grupo de usuarios u otro límite que impida la exposición de datos entre usuarios. La referencia de directiva de Azure API Management recomienda usar vary-by para controlar el acceso entre usuarios a las entradas de caché de la llm-semantic-cache-lookup directiva.

Ajuste del umbral de similitud

Comience con un umbral estricto, evalúe los resultados y afloje solo cuando el conjunto de pruebas muestre que las respuestas almacenadas en caché siguen siendo correctas. RedisVL distance_threshold usa unidades [0-2]de distancia COSINE de Redis, donde los valores más bajos son más estrictos. score-threshold Azure API Management usa un rango de 0.0 a 1.0, donde los valores inferiores también requieren una similitud semántica mayor. No copie los valores de umbral entre RedisVL y Azure API Management sin validar sus unidades y comportamiento. Para ver los detalles del umbral de RedisVL, consulte RedisVL SemanticCache API. Para obtener detalles del umbral de Azure API Management, consulte llm-semantic-cache-lookup.

Establecimiento de TTL por caso de uso

Establezca TTL más cortos para contenido volátil o de alto riesgo y TTL más largos para contenido estable. Por ejemplo:

Caso de uso TTL de ejemplo
Disponibilidad del producto, precios o estado operativo De segundos a minutos
Política, cumplimiento o asistencia legal Minutos a horas, con revisión adicional
Preguntas frecuentes del producto o documentación pública Horas a días

La directiva de almacén de Azure API Management establece TTL con el duration atributo , como se describe en llm-semantic-cache-store. RedisVL SemanticCache admite una anulación de TTL predeterminada ttl y anulaciones de TTL por entrada, como se describe en la API SemanticCache de RedisVL.

Particionar y versionar las entradas de caché

Divida las entradas de caché por inquilino, grupo de usuarios o suscripción antes de reutilizar las respuestas. Incluya también el identificador de modelo, el identificador de modelo de inserción, la versión de la plantilla de solicitud, la versión de configuración de herramientas y la versión de directiva de seguridad en el nombre del índice de caché, los metadatos, el prefijo de clave o el valor de API Management vary-by . La reutilización de una entrada de caché después de un cambio de modelo o plantilla de solicitud puede devolver respuestas obsoletas o incompatibles.

Decidir cuándo no almacenar en caché

No use el almacenamiento en caché semántico para mensajes o respuestas altamente personalizados, regulados, críticos para la seguridad, sensibles al tiempo o dependientes de efectos secundarios de herramientas o transacciones. Dado que el almacenamiento en caché semántico devuelve respuestas basadas en la similitud en lugar de la igualdad exacta de mensajes, Azure API Management advierte de que las respuestas almacenadas en caché pueden ser incorrectas, obsoletas o no seguras para la solicitud actual y deben evaluarse cuidadosamente para la carga de trabajo. Para obtener más información, consulte llm-semantic-cache-lookup notas de uso.

Supervisar el comportamiento de la caché

Realice un seguimiento de la tasa de aciertos de caché, la tasa de fallos, la latencia de búsqueda, la latencia de LLM de back-end, la reducción de tokens y de costos, la distribución de la distancia de umbral, los informes de respuesta obsoleta, las escalaciones de seguridad, el uso de memoria de Redis, el recuento de claves, los errores de escritura y los errores de operación de caché. Para el almacenamiento en caché de nivel de puerta de enlace, use el seguimiento y las métricas de Azure API Management. Para el almacenamiento en caché de nivel de aplicación, registre el resultado de la búsqueda, el umbral, la distancia o la puntuación cuando estén disponibles, el identificador de partición, la versión del modelo, la versión del aviso y si la respuesta procede de la memoria caché.

Comprenda el costo, el rendimiento y la adaptación del producto

Cuando el almacenamiento en caché semántico funciona bien, puede reducir las llamadas LLM de back-end repetidas, el procesamiento de tokens y la latencia de respuesta de un extremo a otro devolviendo una respuesta almacenada para una solicitud idéntica o semánticamente similar. RedisVL describe el almacenamiento en caché semántico como una manera de reducir los costos y la latencia de la API evitando llamadas LLM redundantes. Azure API Management almacenamiento en caché semántico también está diseñado para reducir el ancho de banda y los requisitos de procesamiento de back-end y reducir la latencia para los consumidores de API. La ventaja es mayor para las cargas de trabajo con preguntas y respuestas repetidas, estables, como preguntas frecuentes sobre el producto, orientación sobre directivas, triaje de soporte, asistentes de documentación y resúmenes generados sobre entradas estables.

El almacenamiento en caché semántico también agrega trabajo a todas las solicitudes aptas. La aplicación o puerta de enlace todavía necesita crear un embedding para el mensaje entrante, realizar una búsqueda de vectores de Redis, aplicar reglas de partición y umbral y almacenar fallos de caché. En un acierto de caché, se evita la llamada al LLM. En caso de fallo de caché, la solicitud paga la sobrecarga de búsqueda de caché más la llamada al modelo normal. Planee el costo de inserción adicional, la memoria de Redis, el tamaño del índice y la latencia de búsqueda, y mida el efecto neto con telemetría de producción, en lugar de asumir solo el ahorro de la tasa de aciertos de caché.

El almacenamiento en caché semántico es independiente de LLM en el sentido de que Redis almacena inserciones, respuestas y metadatos en lugar de depender de un proveedor de modelos de chat. La memoria caché puede situarse delante de diferentes API de LLM, incluidas las API de modelo expuestas a través de Microsoft Foundry u otros proveedores compatibles con api. Sin embargo, un índice de caché semántica debe usar el mismo modelo de embeddings, dimensiones vectoriales y comportamiento de distancia para los prompts almacenados y los prompts de búsqueda. También cree particiones o versiones de la memoria caché por modelo de chat, plantilla de prompt, comportamiento de herramientas y directiva de seguridad, para que una respuesta generada bajo un contrato no se reutilice en otro.

Usa el almacenamiento en caché semántico en el que controlas el límite de la llamada al modelo:

área del producto de inteligencia artificial de Microsoft Adecuado para el almacenamiento en caché semántico con Azure Managed Redis
Microsoft 365 Copilot y agentes de Copilot Studio de código bajo o sin código Normalmente no es la mejor opción para el almacenamiento en caché de RedisVL de nivel de aplicación, ya que estas experiencias enfatizan la orquestación administrada y la autoría low-code. Si el agente llama a tu propia API, considere la posibilidad de almacenar en caché detrás de ese límite de API en lugar de dentro de la experiencia de creación de Copilot.
Azure API Management delante de las API de LLM Una buena opción si desea almacenar en caché semántica centralizada basada en directivas sin cambiar el código de la aplicación. Use llm-semantic-cache-lookup y llm-semantic-cache-store con Azure Managed Redis como caché externa.
Aplicaciones y agentes personalizados de Microsoft Foundry A menudo, la mejor opción para crear aplicaciones de inteligencia artificial personalizadas, agentes, herramientas o orquestación en el código y necesita control sobre umbrales, TTL, particiones, versiones del modelo, telemetría y reglas de seguridad. Utilice RedisVL en la capa de aplicación o Azure API Management en el límite de la API.

Validación antes de la producción

Antes de habilitar el almacenamiento en caché semántico para el tráfico de producción:

  1. Cree un conjunto de pruebas de prompts que deben coincidir y de prompts que no deben coincidir.
  2. Ejecute el conjunto de pruebas a través de la ruta de acceso de caché seleccionada.
  3. Revise los falsos positivos, respuestas obsoletas, latencia y ahorros de tokens.
  4. Ajuste los umbrales, las particiones, los TTL o las reglas de no caché según sea necesario.
  5. Repita la validación cada vez que cambie el modelo de embeddings, el modelo de chat, la plantilla de prompt, el comportamiento de la herramienta o la directiva de seguridad.