Supervisión de Azure OpenAI Service

  • Artículo

Si tiene aplicaciones y procesos empresariales críticos que dependen de recursos de Azure, querrá supervisar esos recursos para su disponibilidad, rendimiento y funcionamiento.

En este artículo, se describen los datos de supervisión generados por Azure OpenAI Service. Azure OpenAI forma parte de los servicios de Azure AI, que usan Azure Monitor. Si no está familiarizado con las características de Azure Monitor comunes a todos los servicios de Azure que lo usan, consulte Supervisión de recursos de Azure con Azure Monitor.

Paneles

Azure OpenAI proporciona paneles predefinidos para cada uno de los recursos de Azure OpenAI. Para acceder a los paneles de supervisión, inicie sesión en https://portal.azure.com y seleccione el panel de información general de uno de los recursos de Azure OpenAI.

Captura de pantalla que muestra paneles predefinidos para un recurso de Azure OpenAI en Azure Portal.

Los paneles se agrupan en cuatro categorías: Solicitudes HTTP, Uso basado en tokens, Uso de PTU y Reajuste

Recopilación y enrutamiento de datos en Azure Monitor

Azure OpenAI recopila los mismos tipos de datos de supervisión que otros recursos de Azure. Puede configurar Azure Monitor para generar datos en registros de actividad, registros de recursos, registros de máquinas virtuales y métricas de plataforma. Para más información, consulte Supervisión de datos de los recursos de Azure.

Las métricas de plataforma y el registro de actividad de Azure Monitor se recopilan y almacenan automáticamente. Estos datos se pueden enrutar a otras ubicaciones mediante una configuración de diagnóstico. Los registros de recursos de Azure Monitor no se recopilan ni almacenan hasta que se crea una configuración de diagnóstico y se enrutan a una o varias ubicaciones.

Cuando se crea una configuración de diagnóstico, se especifican las categorías de registros que se van a recopilar. Para más información sobre la creación de una configuración de diagnóstico mediante Azure Portal, la CLI de Azure o PowerShell, consulte Creación de una configuración de diagnóstico para recopilar registros y métricas de una plataforma en Azure.

Tenga en cuenta que el uso de la configuración de diagnóstico y el envío de datos a los registros de Azure Monitor tiene otros costos asociados. Para más información, consulte Opciones y cálculos de costos de registros de Azure Monitor.

En las secciones siguientes se describen las métricas y los registros que se pueden recopilar.

Análisis de métricas

Puede analizar las métricas de los recursos de Azure OpenAI Service con las herramientas de Azure Monitor en Azure Portal. En la página Información general del recurso de Azure OpenAI, seleccione Métricas en Supervisión en el panel izquierdo. Para más información, consulte Introducción al Explorador de métricas de Azure Monitor.

Azure OpenAI tiene una similitud con un subconjunto de servicios de Azure AI. Para obtener una lista de todas las métricas de plataforma recopiladas para Azure OpenAI y servicios similares de Azure AI, consulte Métricas admitidas para Microsoft.CognitiveServices/accounts.

Métricas de Cognitive Services

Estas son métricas heredadas que son comunes a todos los recursos de Servicios de Azure AI. Ya no se recomienda usar estas métricas con Azure OpenAI.

Métricas de Azure OpenAI

Nota:

La métrica Uso administrado aprovisionado está en desuso y ya no se recomienda. Esta métrica se reemplazó por la métrica Uso administrado aprovisionado V2.

En la tabla siguiente se resume el subconjunto actual de métricas disponibles en Azure OpenAI.

Métrica Categoría Agregación Descripción Dimensiones
Azure OpenAI Requests HTTP Recuento Número total de llamadas realizadas a la API de Azure OpenAI durante un período de tiempo. Se aplica a las SKU administradas por PTU, PayGo y PTU. ApiName, ModelDeploymentName,ModelName,ModelVersion, OperationName, Region, StatusCode, StreamType
Generated Completion Tokens Uso Sum Número de tokens generados (salida) de un modelo de Azure OpenAI. Se aplica a las SKU administradas por PTU, PayGo y PTU ApiName, ModelDeploymentName,ModelName, Region
Processed FineTuned Training Hours Uso Sum Número de horas de entrenamiento procesadas en un modelo optimizado de Azure OpenAI. ApiName, ModelDeploymentName,ModelName, Region
Processed Inference Tokens Uso Sum Número de tokens de inferencia procesados por un modelo de Azure OpenAI. Se calcula como tokens de solicitud (entrada) + tokens generados. Se aplica a las SKU administradas por PTU, PayGo y PTU. ApiName, ModelDeploymentName,ModelName, Region
Processed Prompt Tokens Uso Sum Número total de tokens de solicitud (entrada) procesados en un modelo de Azure OpenAI. Se aplica a las SKU administradas por PTU, PayGo y PTU. ApiName, ModelDeploymentName,ModelName, Region
Provision-managed Utilization V2 Uso Average El uso administrado por el aprovisionamiento es el porcentaje de uso de una implementación administrada aprovisionada determinada. Calculado como (PTU consumidos/PTU implementados)*100. Cuando el uso es igual o superior al 100 %, las llamadas se limitan y devuelven un código de error 429. ModelDeploymentName,ModelName,ModelVersion, Region, StreamType

Configuración de diagnóstico

Todas las métricas se pueden exportar con la configuración de diagnóstico en Azure Monitor. Para analizar registros y datos de métricas con consultas de Log Analytics de Azure Monitor, tiene que establecer la configuración de diagnóstico del recurso de Azure OpenAI y el área de trabajo de Log Analytics.

  1. En la página de recursos de Azure OpenAI, en Supervisión, seleccione Configuración de diagnóstico en el panel izquierdo. En la página Configuración de diagnóstico, seleccione Agregar configuración de diagnóstico.

    Captura de pantalla que muestra cómo abrir la página Configuración de diagnóstico de un recurso de Azure OpenAI en Azure Portal.

  2. En la página Configuración de diagnóstico, configure los siguientes campos:

    1. Seleccione Enviar al área de trabajo de Log Analytics.
    2. Elija la suscripción a la cuenta de Azure.
    3. Seleccione el área de trabajo de Log Analytics.
    4. En Registros, seleccione Todos los registros.
    5. En Métricas, seleccione AllMetrics.

    Captura de pantalla que muestra cómo establecer la configuración de diagnóstico de un recurso de Azure OpenAI en Azure Portal.

  3. Escriba un nombre de la configuración de diagnóstico para guardar la configuración.

  4. Seleccione Guardar.

Después de establecer la configuración de diagnóstico, puede trabajar con métricas y datos de registro para el recurso de Azure OpenAI en el área de trabajo de Log Analytics.

Análisis de registros

Los datos de los registros de Azure Monitor se almacenan en tablas, cada una con un conjunto propio de propiedades únicas.

Todos los registros de recursos de Azure Monitor tienen los mismos campos seguidos de campos específicos del servicio. Para más información sobre el esquema común, consulte Esquemas específicos de servicio y común para los registros de recursos de Azure.

El registro de actividad es un tipo de registro de plataforma de Azure que proporciona conclusiones sobre los eventos del nivel de suscripción. Puede ver este registro como algo independiente o enrutarlo hacia los registros de Azure Monitor. En Azure Portal, puede usar el registro de actividad en registros de Azure Monitor para ejecutar consultas complejas con Log Analytics.

Para obtener una lista de los tipos de registros de recursos disponibles para Azure OpenAI y otros servicios de Azure AI similares, consulte las operaciones del proveedor de recursos de Azure Microsoft.CognitiveServices.

Uso de consultas de Kusto

Después de implementar un modelo de Azure OpenAI, puede enviar algunas llamadas de finalización mediante el entorno de área de juegos de Azure AI Studio.

Captura de pantalla que muestra cómo generar finalizaciones para un recurso de Azure OpenAI en el área de juegos de Azure OpenAI Studio.

Cualquier texto que escriba en el área de juegos Finalizaciones o el área de juegos Finalizaciones de chat genera métricas y datos de registro para el recurso de Azure OpenAI. En el área de trabajo de Log Analytics del recurso, puede consultar los datos de supervisión mediante el lenguaje de consulta Kusto.

Importante

La opción Abrir consulta en la página de recursos de Azure OpenAI conduce a Azure Resource Graph y esto no se describe en este artículo. Las consultas siguientes usan el entorno de consulta de Log Analytics. Asegúrese de seguir los pasos descritos en Configuración de valores de diagnóstico para preparar el área de trabajo de Log Analytics.

  1. En la página de recursos de Azure OpenAI, en Supervisión en el panel izquierdo, seleccione Registros.

  2. Seleccione el área de trabajo de Log Analytics que configuró con los diagnósticos para el recurso de Azure OpenAI.

  3. En la página Área de trabajo de Log Analytics, en Información general en el panel izquierdo, seleccione Registros.

    Azure Portal muestra una ventana Consultas con consultas de ejemplo y sugerencias de forma predeterminada. Puede cerrar esta ventana.

En los ejemplos siguientes, escriba la consulta de Kusto en la región de edición en la parte superior de la ventana Consulta y seleccione Ejecutar. Los resultados de la consulta aparecerán debajo del texto de la consulta.

La siguiente consulta de Kusto es útil para un análisis inicial de los datos de Azure Diagnostics (AzureDiagnostics) sobre el recurso:

AzureDiagnostics
| take 100
| project TimeGenerated, _ResourceId, Category, OperationName, DurationMs, ResultSignature, properties_s

Esta consulta devuelve un ejemplo de 100 entradas y se muestra un subconjunto de las columnas de datos disponibles en los registros. En los resultados de la consulta, puede seleccionar la flecha situada junto al nombre de la tabla para ver todas las columnas disponibles y los tipos de datos asociados.

Captura de pantalla que muestra los resultados de la consulta de Log Analytics para los datos de Azure Diagnostics sobre el recurso de Azure OpenAI.

Para ver todas las columnas de datos disponibles, puede quitar la línea | project ... de los parámetros de ámbito de la consulta:

AzureDiagnostics
| take 100

Para examinar los datos de métricas de Azure (AzureMetrics) del recurso, ejecute la consulta siguiente:

AzureMetrics
| take 100
| project TimeGenerated, MetricName, Total, Count, Maximum, Minimum, Average, TimeGrain, UnitName

La consulta devuelve un ejemplo de 100 entradas y muestra un subconjunto de las columnas disponibles en los datos de métricas de Azure:

Captura de pantalla que muestra los resultados de la consulta de Log Analytics para los datos de métricas de Azure sobre el recurso de Azure OpenAI.

Nota:

Al seleccionar Supervisión>Registros en el menú de Azure OpenAI del recurso, Log Analytics se abre con el ámbito de la consulta establecido en el recurso actual. Las consultas de registro visibles incluyen solo datos de ese recurso específico. Para ejecutar una consulta que incluya datos de otros recursos o de otros servicios de Azure, seleccione Registros en el menú Azure Monitor de Azure Portal. Para obtener más información, consulte Ámbito e intervalo de tiempo de una consulta de registro en Log Analytics de Azure Monitor.

Configuración de alertas

Las alertas de Azure Monitor le informan de forma proactiva cuando se detectan condiciones importantes en los datos que se supervisan. Permiten identificar y solucionar las incidencias en el sistema antes de que los clientes puedan verlas. Puede establecer alertas en métricas, registros y el registro de actividad. Los distintos tipos de alertas tienen diferentes ventajas e inconvenientes.

Las necesidades de alertas de cada organización varían y pueden cambiar con el tiempo. Por lo general, todas las alertas deben ser procesables y tener una respuesta prevista específica si se produce la alerta. Si una alerta no requiere una respuesta inmediata, la condición se puede capturar en un informe en lugar de en una alerta. Algunos casos de uso pueden requerir alertas en cualquier momento en que existan ciertas condiciones de error. En otros casos, es posible que necesite alertas de errores que superen un umbral determinado durante un período de tiempo designado.

Los errores por debajo de ciertos umbrales se pueden evaluar a menudo mediante el análisis periódico de los datos en los registros de Azure Monitor. A medida que analiza los datos de registro a lo largo del tiempo, es posible que descubra que una determinada condición no se produce durante un período de tiempo esperado. Puede realizar un seguimiento de esta condición mediante alertas. A veces, la ausencia de un evento en un registro es una señal tan importante como un error.

En función del tipo de aplicación que esté desarrollando junto con el uso de Azure OpenAI, Application Insights de Azure Monitor puede ofrecer más ventajas de supervisión en el nivel de la aplicación.

Pasos siguientes