Compartir a través de

Registro del uso de tokens, avisos y finalizaciones para las API de LLM

En este artículo, aprenderá a configurar el registro de Azure Monitor para las solicitudes y respuestas de la API llM en Azure API Management.

El administrador de API Management puede usar los registros de solicitud y respuesta de la API llM junto con los registros de puerta de enlace de API Management para escenarios como los siguientes:

  • Calcular el uso de la facturación : calcule las métricas de uso para la facturación en función del número de tokens consumidos por cada aplicación o consumidor de API (por ejemplo, segmentado por identificador de suscripción o dirección IP).

  • Inspeccionar mensajes: inspeccione y analice las indicaciones y finalizaciones para ayudar con la depuración, la auditoría y la evaluación del modelo.

Más información sobre:

Prerrequisitos

  • Una instancia de Azure API Management.
  • API de finalizaciones de chat de LLM administradas integradas con Azure API Management. Por ejemplo, Importe una API de Microsoft Foundry.
  • Acceso a un área de trabajo de Azure Log Analytics.
  • Permisos adecuados para configurar la configuración de diagnóstico y los registros de acceso en API Management.

Habilitación de la configuración de diagnóstico para los registros de LA API de LLM

Habilite una configuración de diagnóstico para registrar las solicitudes que procesa la puerta de enlace para las API REST del modelo de lenguaje grande. Para cada solicitud, Azure Monitor recibe datos sobre el uso de tokens (tokens de solicitud, tokens de finalización y tokens totales), el nombre del modelo usado y, opcionalmente, los mensajes de solicitud y respuesta (aviso y finalización). Las solicitudes y respuestas grandes se dividen en varias entradas de registro con números de secuencia para la reconstrucción posterior si es necesario.

Estos son breves pasos para habilitar una configuración de diagnóstico que dirige los registros de la API de LLM a un área de trabajo de Log Analytics. Para más información, consulte Habilitación de la configuración de diagnóstico para los registros de Azure Monitor.

  1. En Azure Portal, vaya a la instancia de Azure API Management.
  2. En el menú izquierdo, en Supervisión, seleccione Configuración> de diagnóstico+ Agregar configuración de diagnóstico.
  3. Configure la opción para enviar registros de puerta de enlace de IA a un área de trabajo de Log Analytics:
    • En Registros, seleccione Registros relacionados con la puerta de enlace de IA generativa.
    • En Detalles de destino, seleccione Enviar al área de trabajo de Log Analytics.
  4. Revise o configure otras opciones y realice cambios si es necesario.
  5. Haga clic en Guardar.

Captura de pantalla de la configuración de diagnóstico para los registros de puerta de enlace de IA en el portal.

Habilitación del registro de solicitudes o respuestas para la API de LLM

Puede habilitar la configuración de diagnóstico para todas las API o personalizar el registro para api específicas. A continuación se indican breves pasos para registrar las solicitudes LLM y los mensajes de respuesta de una API. Para más información, consulte Modificación de la configuración de registro de API.

  1. En el menú izquierdo de la instancia de API Management, seleccione API API > y, a continuación, seleccione el nombre de la API.
  2. Seleccione la pestaña Configuración en la barra superior.
  3. Desplácese hacia abajo hasta la sección Registros de diagnóstico y seleccione la pestaña Azure Monitor .
  4. En Registrar mensajes LLM, seleccione Habilitado.
  5. Seleccione Solicitudes de registro y escriba un tamaño en bytes, como 32768.
  6. Seleccione Finalizaciones de registro y escriba un tamaño en bytes, como 32768.
  7. Revise otras opciones de configuración y realice cambios si es necesario. Haga clic en Guardar.

Captura de pantalla de la habilitación del registro de LLM para una API en el portal.

Nota:

Si habilita la recopilación, los mensajes de solicitud o respuesta de LLM de hasta 32 KB de tamaño se envían en una sola entrada. Los mensajes de más de 32 KB se dividen y registran en fragmentos de 32 KB con números de secuencia para la reconstrucción posterior. Los mensajes de solicitud y los mensajes de respuesta no pueden superar los 2 MB cada uno.

Revisión del libro de análisis para las API de LLM

El panel de Análisis basado en Azure Monitor proporciona información sobre el uso de la API de LLM y el consumo de tokens mediante datos agregados en un área de trabajo de Log Analytics. Obtenga más información sobre Analytics en API Management.

  1. En el menú izquierdo de la instancia de API Management, seleccione Monitoring>Analytics.
  2. Seleccione la pestaña Modelos de lenguaje .
  3. Revise las métricas y las visualizaciones para el consumo y las solicitudes de token de LA API de LLM en un intervalo de tiempo seleccionado.

Captura de pantalla del análisis de las API del modelo de lenguaje en el portal.

Revisión de los registros de Azure Monitor para solicitudes y respuestas

Revise el registro de ApiManagementGatewayLlmLog para obtener más información sobre las solicitudes y respuestas de LLM, incluido el consumo de tokens, la implementación del modelo usado y otros detalles a lo largo de intervalos de tiempo específicos.

Las solicitudes y respuestas (incluidos los mensajes fragmentados para las solicitudes y respuestas grandes) aparecen en entradas de registro independientes que se pueden correlacionar mediante el CorrelationId campo .

Para fines de auditoría, use una consulta kusto similar a la siguiente para unir cada solicitud y respuesta en un único registro. Ajuste la consulta para incluir los campos de los que desea realizar el seguimiento.

ApiManagementGatewayLlmLog
| extend RequestArray = parse_json(RequestMessages)
| extend ResponseArray = parse_json(ResponseMessages)
| mv-expand RequestArray
| mv-expand ResponseArray
| project
    CorrelationId,
    RequestContent = tostring(RequestArray.content),
    ResponseContent = tostring(ResponseArray.content)
| summarize
    Input = strcat_array(make_list(RequestContent), " . "),
    Output = strcat_array(make_list(ResponseContent), " . ")
    by CorrelationId
| where isnotempty(Input) and isnotempty(Output)

Captura de pantalla de los resultados de la consulta para los registros de LLM en el portal.

Carga de datos en Microsoft Foundry para la evaluación del modelo

Puede exportar datos de registro de LLM como un conjunto de datos para la evaluación del modelo en Microsoft Foundry. Con la evaluación de modelos, puede evaluar el rendimiento de los modelos y aplicaciones de ia generativa en un modelo de prueba o conjunto de datos mediante métricas de evaluación integradas o personalizadas.

Para usar los registros de LLM como un conjunto de datos para la evaluación del modelo:

  1. Únase a los mensajes de solicitud y respuesta de LLM en un único registro para cada interacción, como se muestra en la sección anterior. Incluya los campos que desea usar para la evaluación del modelo.
  2. Exporte el conjunto de datos al formato CSV, que es compatible con Microsoft Foundry.
  3. En el portal de Microsoft Foundry, cree una nueva evaluación para cargar y evaluar el conjunto de datos.

Para más información sobre cómo crear y ejecutar una evaluación de modelos en Microsoft Foundry, consulte Evaluación de aplicaciones y modelos de IA generativos mediante Microsoft Foundry.

Contenido relacionado

  • Last updated on