Monitorar Azure OpenAI (clássico)

Aplica-se somente a:Portal Foundry (clássico). Este artigo não está disponível para o novo portal do Foundry. Saiba mais sobre o novo portal.

Nota

Links neste artigo podem abrir conteúdo na nova documentação do Microsoft Foundry em vez da documentação da Foundry (clássica) que você está exibindo agora.

Este artigo descreve:

  • Os tipos de dados de monitoramento que você pode coletar para esse serviço.
  • Maneiras de analisar esses dados.

Nota

Se você já estiver familiarizado com esse serviço e/ou Azure Monitor e apenas quiser saber como analisar dados de monitoramento, consulte a seção Analyze perto do final deste artigo.

Quando você tem aplicativos críticos e processos de negócios que dependem de recursos Azure, você precisa monitorar e receber alertas para seu sistema. O serviço Azure Monitor coleta e agrega métricas e logs de cada componente do seu sistema. Azure Monitor fornece uma visão de disponibilidade, desempenho e resiliência e notifica você sobre problemas. Você pode usar o portal Azure, o PowerShell, o CLI do Azure, a API REST ou as bibliotecas de cliente para configurar e exibir dados de monitoramento.

Painéis

O Azure OpenAI fornece painéis prontos para cada um dos recursos do Azure OpenAI. Há dois painéis principais para monitorar seu recurso:

  • O painel de métricas na visualização de recursos do Foundry Azure OpenAI
  • O painel na aba de visão geral no portal do Azure

Para acessar os painéis de monitoramento, entre no Azure portal e, em seguida, selecione o painel de visão geral de um dos recursos do Azure OpenAI. Para ver o painel de métricas do Foundry no portal do Azure, selecione o painel de visão geral e vá para o portal Microsoft Foundry. Em ferramentas, selecione o painel de métricas.

Uma captura de tela que mostra painéis prontos para uso para um recurso Azure OpenAI no portal do Azure.

Os painéis são agrupados em quatro categorias: Solicitações HTTP, Uso Tokens-Based, Utilização de PTU e Ajuste fino.

Dica

Ao investigar os tempos de resposta, use as métricas de latência Azure OpenAI (Tempo de Resposta, Tempo para Último Byte, Tempo entre Tokens) em vez da métrica Latency herdada na categoria HTTP Requests. Para obter diretrizes sobre quais métricas mapear e como interpretá-las, consulte Desempenho e latência.

Coleta e roteamento de dados em Azure Monitor

Azure OpenAI coleta os mesmos tipos de dados de monitoramento que outros recursos de Azure. Você pode configurar Azure Monitor para gerar dados em logs de atividades, logs de recursos, logs de máquina virtual e métricas de plataforma. Para obter mais informações, consulte Monitoramento de dados de recursos do Azure.

As métricas de plataforma e o log de atividades Azure Monitor são coletados e armazenados automaticamente. Esses dados podem ser roteados para outros locais usando uma configuração de diagnóstico. Os logs de recursos do Azure Monitor não são coletados e armazenados até que você crie uma configuração de diagnóstico e roteie os logs para uma ou mais localizações.

Ao criar uma configuração de diagnóstico, especifique quais categorias de logs coletar. Para obter mais informações sobre como criar uma configuração de diagnóstico usando o portal Azure, o CLI do Azure ou o PowerShell, consulte Criate diagnostic setting to collect platform logs and metrics in Azure.

Tenha em mente que o uso de configurações de diagnóstico e o envio de dados para Azure Monitor Logs tem outros custos associados a ele. Para obter mais informações, consulte os cálculos e opções de custo do Azure Monitor Logs.

As métricas e os logs que você pode coletar são descritos nas seções a seguir.

Tipos de recursos

Azure usa o conceito de tipos de recursos e IDs para identificar tudo em uma assinatura. Os tipos de recurso também fazem parte das IDs de recurso para cada recurso em execução no Azure. Por exemplo, um tipo de recurso para uma máquina virtual é Microsoft.Compute/virtualMachines. Para obter uma lista de serviços e seus tipos de recursos associados, consulte provedores de recursos.

Azure Monitor organiza os dados principais de monitoramento em métricas e logs com base em tipos de recursos, também chamados namespaces. Métricas e logs diferentes estão disponíveis para diferentes tipos de recursos. Seu serviço pode estar associado a mais de um tipo de recurso.

Para obter mais informações sobre os tipos de recursos para Azure OpenAI, consulte referência de dados de monitoramento do Azure OpenAI.

Armazenamento de dados

Para Azure Monitor:

  • Os dados de métricas são armazenados no banco de dados de métricas Azure Monitor.
  • Os dados de log são armazenados no repositório de logs Azure Monitor. Log Analytics é uma ferramenta no portal Azure que pode consultar esse repositório.
  • O log de atividades Azure é um repositório separado com sua própria interface no portal Azure.

Opcionalmente, você pode rotear dados de métricas e logs de atividades para o repositório de logs do Azure Monitor. Em seguida, você pode usar Log Analytics para consultar os dados e correlacioná-los com outros dados de log.

Muitos serviços podem usar configurações de diagnóstico para enviar dados de métrica e de log para outros locais de armazenamento fora Azure Monitor. Exemplos incluem Armazenamento do Azure, sistemas de parceiros hospedados e sistemas de parceiros fora do Azure, usando Hubs de Eventos.

Para obter informações detalhadas sobre como Azure Monitor armazena dados, consulte Azure Monitor plataforma de dados.

Métricas da Plataforma Azure Monitor

Azure Monitor fornece métricas de plataforma para a maioria dos serviços. Essas métricas são:

  • Definido individualmente para cada namespace.
  • Armazenado no banco de dados de métricas da série temporal do Azure Monitor.
  • Leve e capaz de dar suporte a alertas quase em tempo real.
  • Usado para acompanhar o desempenho de um recurso ao longo do tempo.

Collection: Azure Monitor coleta automaticamente as métricas da plataforma. Nenhuma configuração é necessária.

Routing: Você também pode rotear algumas métricas de plataforma para Azure Monitor Logs/Log Analytics para que você possa consultá-los com outros dados de log. Verifique a configuração DS export para cada métrica para ver se você pode usar uma configuração de diagnóstico para rotear a métrica para Azure Monitor Logs/Log Analytics.

Para obter uma lista de todas as métricas que é possível coletar para todos os recursos em Azure Monitor, consulte Supported metrics in Azure Monitor.

Azure OpenAI tem semelhança com um subconjunto de Ferramentas de Foundry. Para obter uma lista das métricas disponíveis para o Azure OpenAI, consulte Referência de dados de monitoramento do Azure OpenAI.

Logs de Recursos do Azure Monitor

Os logs de recursos fornecem informações sobre as operações que foram feitas por um recurso de Azure. Os logs são gerados automaticamente, mas você deve roteá-los para Azure Monitor logs para salvá-los ou consultá-los. Os logs são organizados em categorias. Um determinado namespace pode ter várias categorias de log de recursos.

Coleção: Os logs de recursos não são coletados e armazenados até que você crie uma configuração de diagnóstico e encaminhe os logs para um ou mais locais. Ao criar uma configuração de diagnóstico, especifique quais categorias de logs coletar. Há várias maneiras de criar e manter as configurações de diagnóstico, incluindo o portal do Azure, programaticamente e por meio do Azure Policy.

Routing: O padrão sugerido é rotear logs de recursos para logs de Azure Monitor para que você possa consultá-los com outros dados de log. Outros locais, como Armazenamento do Azure, Hubs de Eventos do Azure e determinados parceiros de monitoramento Microsoft também estão disponíveis. Para obter mais informações, consulte logs de recursos do Azure e destinos dos logs de recursos.

Para obter informações detalhadas sobre como coletar, armazenar e rotear logs de recursos, consulte Configurações de Diagnóstico no Azure Monitor.

Para obter uma lista de todas as categorias de logs de recursos disponíveis no Azure Monitor, confira Logs de recursos com suporte no Azure Monitor.

Todos os logs de recursos em Azure Monitor têm os mesmos campos de cabeçalho, seguidos por campos específicos do serviço. O esquema comum é descrito em esquema de log de recurso do Azure Monitor.

Para conhecer as categorias de log de recursos disponíveis, suas tabelas de Log Analytics associadas e os esquemas de log para o Azure OpenAI, consulte a referência de dados de monitoramento do Azure OpenAI.

log de atividades do Azure

O log de atividades contém eventos no nível da assinatura que acompanham as operações para cada recurso Azure, como visto de fora desse recurso; por exemplo, criando um novo recurso ou iniciando uma máquina virtual.

Collection: Eventos de log de atividades são gerados e coletados automaticamente em um repositório separado para exibição no portal Azure.

Routing: Você pode enviar dados de log de atividades para Azure Monitor Logs para poder analisá-los junto com outros dados de log. Outros locais, como Armazenamento do Azure, Hubs de Eventos do Azure e determinados parceiros de monitoramento Microsoft também estão disponíveis. Para obter mais informações sobre como rotear o log de atividades, consulte Overview do log de atividades Azure.

Analisar dados de monitoramento

Há muitas ferramentas para analisar dados de monitoramento.

ferramentas de Azure Monitor

Azure Monitor dá suporte às seguintes ferramentas básicas:

  • Metrics explorer, uma ferramenta no portal Azure que permite exibir e analisar métricas para recursos Azure. Para obter mais informações, consulte "Explorar métricas com o Azure Monitor Metrics Explorer".

  • Log Analytics, uma ferramenta no portal Azure que permite consultar e analisar dados de log usando a Kusto query language (KQL). Para obter mais informações, consulte Introdução às consultas de log no Azure Monitor.

  • O activity log, que tem uma interface do usuário no portal do Azure para visualização e realização de pesquisas básicas. Para fazer uma análise mais detalhada, você precisa rotear os dados para Azure Monitor logs e executar consultas mais complexas no Log Analytics.

As ferramentas que permitem visualização mais complexa incluem:

  • Dashboards que permitem combinar diferentes tipos de dados em um único painel no portal Azure.
  • Workbooks, relatórios personalizáveis que você pode criar no portal Azure. As pastas de trabalho podem incluir texto, métricas e consultas de log.
  • Grafana, uma ferramenta de plataforma aberta que se destaca em painéis operacionais. Você pode usar o Grafana para criar dashboards que incluem dados de várias fontes diferentes de Azure Monitor.
  • Power BI, um serviço de análise de negócios que fornece visualizações interativas em várias fontes de dados. Você pode configurar Power BI para importar automaticamente dados de log de Azure Monitor para aproveitar essas visualizações.

Definir configurações de diagnóstico

Todas as métricas são exportáveis com configurações diagnósticas em Azure Monitor. Para analisar logs e dados de métricas com consultas do Log Analytics do Azure Monitor, você precisa definir as configurações de diagnóstico para o seu recurso do OpenAI do Azure e seu workspace do Log Analytics.

Screenshot que mostra como abrir a página de configuração de diagnóstico para um recurso Azure OpenAI no Azure portal.

Depois de definir as configurações de diagnóstico, você pode trabalhar com métricas e dados de log para seu recurso Azure OpenAI em seu workspace Log Analytics.

Ferramentas de Exportação do Azure Monitor

Você pode obter dados de Azure Monitor em outras ferramentas usando os seguintes métodos:

Para começar a usar a API REST do Azure Monitor, consulte Visão geral da API REST do monitoramento do Azure.

Consultas do Kusto

Você pode analisar dados de monitoramento no repositório Azure Monitor Logs/Log Analytics usando a KQL (linguagem de consulta Kusto).

Importante

Quando você seleciona Logs no menu do serviço no portal, Log Analytics é aberto com o escopo da consulta definido para o serviço atual. Esse escopo significa que as consultas de log incluirão apenas dados desse tipo de recurso. Se você quiser executar uma consulta que inclua dados de outros serviços Azure, selecione Logs no menu Azure Monitor. Consulte Esfera de consulta de log e intervalo de tempo no Azure Monitor Log Analytics para mais detalhes.

Para obter uma lista de consultas comuns para qualquer serviço, consulte a interface de consultas Log Analytics.

Depois de implantar um modelo Azure OpenAI, você pode enviar algumas chamadas de conclusão usando o ambiente playground em Foundry.

Qualquer texto inserido no playground de conclusões ou no playground de conclusões de chat gera métricas e dados de log para o recurso do OpenAI do Azure. No workspace Log Analytics do recurso, você pode consultar os dados de monitoramento usando a linguagem de consulta Kusto.

Importante

A opção Open query na página de recursos do Azure OpenAI procura Azure Resource Graph, o que não está descrito neste artigo. As consultas a seguir usam o ambiente de consulta para Log Analytics. Siga as etapas em Configurar configurações de diagnóstico para preparar seu workspace do Log Analytics.

  1. Na página de recursos Azure OpenAI, em Monitoring no painel esquerdo, selecione Logs.

  2. Selecione o Log Analytics workspace que você configurou com o diagnóstico para seu recurso Azure OpenAI.

  3. Na página Log Analytics workspace, em Overview no painel esquerdo, selecione Logs.

    O portal Azure exibe uma janela Queries com consultas e sugestões de exemplo por padrão. Você pode fechar esta janela.

Para os exemplos a seguir, insira a consulta Kusto na região de edição na parte superior da janela Consulta e selecione Executar. Os resultados da consulta são exibidos abaixo do texto da consulta.

A consulta Kusto a seguir é útil para uma análise inicial de dados de Diagnóstico do Azure (AzureDiagnostics) sobre seu recurso:

AzureDiagnostics
| take 100
| project TimeGenerated, _ResourceId, Category, OperationName, DurationMs, ResultSignature, properties_s

Essa consulta retorna uma amostra de 100 entradas e exibe um subconjunto das colunas de dados disponíveis nos logs. Nos resultados da consulta, você pode selecionar a seta ao lado do nome da tabela para exibir todas as colunas disponíveis e tipos de dados associados.

Screenshot que mostra os resultados da consulta Log Analytics para dados de Diagnóstico do Azure sobre o recurso Azure OpenAI.

Para ver todas as colunas de dados disponíveis, você pode remover a linha | project ... de parâmetros de escopo da consulta:

AzureDiagnostics
| take 100

Para examinar os dados Azure Metrics (AzureMetrics) do recurso, execute a seguinte consulta:

AzureMetrics
| take 100
| project TimeGenerated, MetricName, Total, Count, Maximum, Minimum, Average, TimeGrain, UnitName

A consulta retorna uma amostra de 100 entradas e exibe um subconjunto das colunas disponíveis de dados de métricas do Azure:

Screenshot que mostra os resultados da consulta do Log Analytics para os dados do Azure Metrics sobre o recurso Azure OpenAI.

Nota

Quando você seleciona Monitoring>Logs no menu Azure OpenAI do recurso, Log Analytics é aberto com o escopo de consulta definido para o recurso atual. As consultas de log visíveis incluem dados somente desse recurso específico. Para executar uma consulta que inclua dados de outros recursos ou dados de outros serviços Azure, selecione Logs no menu Azure Monitor no portal Azure. Para obter mais informações, consulte Escopo de consulta de log e intervalo de tempo no Azure Monitor Log Analytics para obter detalhes.

Alertas

Azure Monitor alertas notificarão você proativamente quando condições específicas forem encontradas em seus dados de monitoramento. Os alertas permitem que você identifique e resolva problemas em seu sistema antes que seus clientes os observem. Para obter mais informações, consulte Azure Monitor alertas.

Há muitas fontes de alertas comuns para recursos de Azure. Para obter exemplos de alertas comuns para recursos de Azure, consulte Sample log alert queries. O site Azure Monitor AMBA (Alertas de Linha de Base) fornece um método semi-automatizado de implementação de alertas, dashboards e diretrizes de métricas de plataforma importantes. O site se aplica a um subconjunto de expansão contínua de serviços de Azure, incluindo todos os serviços que fazem parte da ALZ (Zona de Destino Azure).

O esquema de alerta comum padroniza o consumo de notificações de alerta do Azure Monitor. Para obter mais informações, consulte o esquema de alerta comum.

Tipos de alertas

Você pode alertar sobre qualquer fonte de dados de log ou métrica na plataforma de dados Azure Monitor. Há muitos tipos diferentes de alertas, dependendo dos serviços que você está monitorando e dos dados de monitoramento que você está coletando. Diferentes tipos de alertas têm vários benefícios e desvantagens. Para obter mais informações, consulte Escolher o tipo de alerta de monitoramento correto.

A lista a seguir descreve os tipos de alertas de Azure Monitor que você pode criar:

  • Os alertas de métrica avaliam as métricas de recursos em intervalos regulares. As métricas podem ser métricas de plataforma, métricas personalizadas, logs de Azure Monitor convertidos em métricas ou métricas do Application Insights. Os alertas de métrica também podem aplicar várias condições e limites dinâmicos.
  • Log alerts permitem que os usuários usem uma consulta Log Analytics para avaliar os logs de recursos em uma frequência predefinida.
  • Os alertas do log de atividades são disparados quando ocorre um novo evento de log de atividades que corresponde às condições definidas. Os alertas do Resource Health e os alertas de Integridade do Serviço são alertas de log de atividades que relatam a integridade do seu serviço e recurso.

Alguns serviços do Azure também dão suporte a alertas de detecção inteligente, alertas do Prometheus ou regras de alerta recomendadas.

Para alguns serviços, você pode monitorar em escala aplicando a mesma regra de alerta de métrica a vários recursos do mesmo tipo que existem na mesma região Azure. Notificações individuais são enviadas para cada recurso monitorado. Para serviços e nuvens suportados do Azure, consulte Monitorar vários recursos com uma regra de alerta.

Configurar alertas

As necessidades de alerta de cada organização variam e podem mudar ao longo do tempo. Em geral, todos os alertas devem ser acionáveis e ter uma resposta específica pretendida se o alerta ocorrer. Se um alerta não exigir uma resposta imediata, a condição poderá ser capturada em um relatório em vez de um alerta. Alguns casos de uso podem exigir alertas sempre que determinadas condições de erro existirem. Em outros casos, talvez você precise de alertas para erros que excedam um determinado limite para um período de tempo designado.

Erros abaixo de determinados limites geralmente podem ser avaliados por meio da análise regular de dados em logs de Azure Monitor. Ao analisar seus dados de log ao longo do tempo, você pode descobrir que uma determinada condição não ocorre por um período de tempo esperado. Você pode acompanhar essa condição usando alertas. Às vezes, a ausência de um evento em um log é um sinal tão importante quanto um erro.

Dependendo do tipo de aplicativo que você está desenvolvendo com o uso de Azure OpenAI, Azure Monitor Application Insights podem oferecer mais benefícios de monitoramento na camada do aplicativo.

regras de alerta do Azure OpenAI

Você pode definir alertas para qualquer métrica, entrada de log ou entrada de log de atividades listada na Referência de dados de monitoramento do OpenAI do Azure.

Recomendações do Assistente

Para alguns serviços, se ocorrerem condições críticas ou alterações iminentes durante operações de recurso, um alerta será exibido na página Visão Geral do serviço no portal. Você pode encontrar mais informações e correções recomendadas para o alerta nas recomendações do Assistente em Monitoramento no menu à esquerda. Durante as operações normais, nenhuma recomendação do assistente será exibida.

Para obter mais informações sobre Assistente do Azure, consulte Assistente do Azure visão geral.

Conteúdo relacionado

  • Last updated on