Monitoramento do Serviço OpenAI do Azure
Quando você tem aplicativos e processos de negócios críticos que dependem de recursos do Azure, recomendamos monitorar a disponibilidade, o desempenho e a operação desses recursos.
Este artigo descreve os dados de monitoramento gerados pelo Serviço OpenAI do Azure. O OpenAI do Azure faz parte dos Serviços de IA do Azure, que usam o Azure Monitor. Se você não estiver familiarizado com os recursos do Azure Monitor comuns a todos os serviços do Azure que o usam, confira Monitoramento de recursos do Azure com o Azure Monitor.
Dashboards
O Azure OpenAI fornece painéis prontos para cada um dos recursos do Azure OpenAI. Para acessar a entrada dos painéis de monitoramento no https://portal.azure.com e selecione o painel de visão geral de um dos recursos do Azure OpenAI.
Os painéis são agrupados em quatro categorias: Solicitações HTTP, Uso Baseado em Tokens, Utilização de PTU e Ajuste Fino
Coleta e roteamento de dados no Azure Monitor
O OpenAI do Azure coleta os mesmos tipos de dados de monitoramento que outros recursos do Azure. Você pode configurar o Azure Monitor para gerar dados em logs de atividades, logs de recursos, logs de máquina virtual e métricas de plataforma. Para saber mais, consulte Monitoramento de dados de recursos do Azure`.
As métricas de plataforma e o log de atividades são do Azure Monitor são coletados e armazenados automaticamente. Esses dados podem ser roteados para outros locais usando uma configuração de diagnóstico. Os logs de recursos do Azure Monitor não são coletados e armazenados até que você crie uma configuração de diagnóstico e roteie os logs para uma ou mais localizações.
Ao criar uma configuração de diagnóstico, você especifica quais categorias de logs coletar. Para mais informações sobre como criar uma configuração de diagnóstico usando o portal do Azure, a CLI do Azure ou o PowerShell, confira Criar uma configuração de diagnóstico para coletar logs e métricas de plataforma no Azure.
Lembre-se de que usar as configurações de diagnóstico e enviar dados para os Logs do Azure Monitor gera alguns custos adicionais. Para obter mais informações, confira Cálculos e opções de custo dos Logs do Azure Monitor.
As métricas e logs que você pode coletar são discutidos nas seções a seguir.
Analisar métricas
Você pode analisar as métricas dos recursos do Serviço OpenAI do Azure com as ferramentas do Azure Monitor no portal do Azure. Na página Visão geral do seu recurso do Serviço OpenAI do Azure, selecione Métricas em Monitoramento no painel esquerdo. Para saber mais, confira Introdução ao Metrics Explorer do Azure Monitor.
O OpenAI do Azure tem uma semelhança com um subconjunto dos Serviços de IA do Azure. Para obter uma lista de todas as métricas de plataforma coletadas para o serviço de OpenAI e os serviços de IA do Azure semelhantes pelo Azure Monitor, consulte Métricas com suporte para Microsoft.CognitiveServices/accounts.
Métricas de Serviços Cognitivos
Essas são métricas herdadas comuns a todos os recursos dos Serviços de IA do Azure. Não recomendamos mais que você use essas métricas com o Azure OpenAI.
Métricas do OpenAI do Azure
Observação
A métrica de Utilização Gerenciada Provisionada agora está obsoleta e não é mais recomendada. Essa métrica foi substituída pela métrica de Utilização gerenciada por Provisionamento V2.
A tabela a seguir resume o subconjunto atual de métricas disponíveis no OpenAI do Azure.
| Indicador | Categoria | Agregação | Descrição | Dimensões |
|---|---|---|---|---|
Azure OpenAI Requests |
HTTP | Contagem | Número total de chamadas feitas à API do Azure OpenAI durante um período. Aplica-se a SKUs gerenciados por PayGo, PTU e PTU. | ApiName, ModelDeploymentName,ModelName,ModelVersion, OperationName, Region, StatusCode, StreamType |
Generated Completion Tokens |
Uso | Somar | Número de tokens gerados (saída) de um modelo do OpenAI do Azure. Aplica-se a SKUs gerenciados por PayGo, PTU e PTU | ApiName, ModelDeploymentName,ModelName, Region |
Processed FineTuned Training Hours |
Uso | Somar | Número de horas de treinamento processadas em um modelo OpenAI ajustado. | ApiName, ModelDeploymentName,ModelName, Region |
Processed Inference Tokens |
Uso | Somar | Número de tokens de inferência processados por um modelo do OpenAI do Azure. Calculados como tokens de prompt (entrada) + tokens gerados. Aplica-se a SKUs gerenciados por PayGo, PTU e PTU. | ApiName, ModelDeploymentName,ModelName, Region |
Processed Prompt Tokens |
Uso | Somar | Número total de tokens de prompt (entrada) processados em um modelo do OpenAI do Azure. Aplica-se a SKUs gerenciados por PayGo, PTU e PTU. | ApiName, ModelDeploymentName,ModelName, Region |
Provision-managed Utilization V2 |
Uso | Média | A utilização gerenciada por provisionamento é o percentual de utilização para uma determinada implantação gerenciada por provisionamento. Calculada como (PTUs consumidas/PTUs implantadas)*100. Quando a utilização é igual ou superior a 100%, as chamadas são limitadas e retornam um código de erro 429. | ModelDeploymentName,ModelName,ModelVersion, Region, StreamType |
Defina as configurações de diagnóstico
Todas as métricas são exportáveis com configurações de diagnóstico no Azure Monitor. Para analisar logs e dados de métricas com consultas do Log Analytics do Azure Monitor, você precisa definir as configurações de diagnóstico para o seu recurso do OpenAI do Azure e seu workspace do Log Analytics.
Na página de recursos do OpenAI, em Monitoramento, selecione Configurações de diagnóstico no painel esquerdo. Na página Configurações de diagnóstico, selecione Adicionar configuração de diagnóstico.
Na página Configurações de diagnóstico, configure os seguintes campos:
- Selecione Enviar para o workspace do Log Analytics.
- Escolha a assinatura da conta do Azure.
- Escolha seu workspace do Log Analytics.
- Em Logs, selecione allLogs.
- Em Métricas, selecione AllMetrics.
Insira um nome de configuração de diagnóstico para salvar a configuração.
Selecione Salvar.
Depois de definir as configurações de diagnóstico, você pode trabalhar com métricas e dados de log para o recurso do OpenAI do Azure no seu workspace do Log Analytics.
Analisar logs
Os dados em Logs do Azure Monitor são armazenados em tabelas em que cada tabela tem o próprio conjunto de propriedades exclusivas.
Todos os logs de recursos no Azure Monitor têm os mesmos campos seguidos por campos específicos do serviço. Para obter informações sobre o esquema comum, consulte Esquemas comuns e específicos do serviço para logs de recursos do Azure.
O log de atividades é um tipo de log de plataforma no Azure que fornece insights sobre eventos no nível da assinatura. Você pode visualizá-lo de maneira independente ou roteá-lo para os Logs do Azure Monitor. Na portal do Azure, você pode usar o log de atividades nos Logs do Azure Monitor para executar consultas complexas com o Log Analytics.
Para obter uma lista dos tipos de logs de recursos disponíveis para o OpenAI do Azure e outros serviços de IA do Azure semelhantes, consulte as operações do provedor de recursos para Microsoft.CognitiveServices.
Usar consultas Kusto
Depois de implantar um modelo do OpenAI do Azure, você pode enviar algumas chamadas de conclusão usando o ambiente playground no Estúdio de IA do Azure.
Qualquer texto inserido no playground de conclusões ou no playground de conclusões de chat gera métricas e dados de log para o recurso do OpenAI do Azure. No workspace do Log Analytics para seu recurso, você pode consultar os dados de monitoramento usando a linguagem de consulta Kusto.
Importante
A opção Abrir consulta na página de recursos do OpenAI do Azure navega até o Azure Resource Graph, o que não está descrito neste artigo. As consultas a seguir usam o ambiente de consulta do Log Analytics. Siga as etapas em Definir configurações de diagnóstico para preparar seu workspace do Log Analytics.
Na página do seu recurso do Azure OpenAI, em Monitoramento no painel esquerdo, selecione Logs.
Selecione o workspace do Log Analytics que você configurou com diagnóstico para o recurso do OpenAI do Azure.
Na página workspace do Log Analytics, em Visão geral no painel esquerdo, selecione Logs.
O portal do Azure exibe uma janela Consultas com exemplos de consultas e sugestões por padrão. Você pode fechar esta janela.
Para os exemplos a seguir, insira a consulta Kusto na região de edição na parte superior da janela Consulta e selecione Executar. Os resultados da consulta são exibidos abaixo do texto dela.
A seguinte consulta Kusto é útil para uma análise inicial de dados do Diagnóstico do Azure (AzureDiagnostics) sobre seu recurso:
AzureDiagnostics
| take 100
| project TimeGenerated, _ResourceId, Category, OperationName, DurationMs, ResultSignature, properties_s
Esta consulta retorna uma amostra de 100 entradas e exibe um subconjunto das colunas de dados disponíveis nos logs. Você também pode selecionar a seta ao lado do nome da tabela para exibir todas as colunas disponíveis e os tipos de dados associados a elas.
Para ver todas as colunas de dados disponíveis, você pode remover a linha | project ... de parâmetros do escopo da consulta:
AzureDiagnostics
| take 100
Para examinar os dados das Métricas do Azure (AzureMetrics) para seu recurso, execute a seguinte consulta:
AzureMetrics
| take 100
| project TimeGenerated, MetricName, Total, Count, Maximum, Minimum, Average, TimeGrain, UnitName
A consulta retorna um exemplo de 100 entradas e exibe um subconjunto das colunas disponíveis dos dados das Métricas do Azure:
Observação
Quando você seleciona Monitoramento>Logs no menu do OpenAI do Azure para o seu recurso, o Log Analytics abre com o escopo da consulta definido para o recurso atual. As consultas de log visíveis incluem dados somente desse recurso específico. Se quiser executar uma consulta que inclua dados de outros recursos ou dados de outros serviços do Azure, selecione Logs no menu Azure Monitor no portal do Azure. Para obter mais informações, confira o Escopo da consulta de log e o intervalo de tempo no Log Analytics do Azure Monitor para detalhes.
Configurar alertas
Os alertas do Azure Monitor notificam você proativamente quando condições importantes são encontradas nos dados de monitoramento. Eles permitem que você identifique e resolva problemas no seu sistema antes que os seus usuários os percebam. Você pode definir alertas em métricas, logs e log de atividades. Os diferentes tipos de alertas têm benefícios e desvantagens distintos.
As necessidades de alerta de cada organização variam e podem mudar ao longo do tempo. Geralmente, todos os alertas devem ser acionáveis e exigir uma resposta específica caso ocorram. Se um alerta não exigir uma resposta imediata, a condição poderá ser capturada em um relatório em vez de um alerta. Alguns casos de uso podem exigir alertas sempre que determinadas condições de erro ocorrerem. Em outros casos, talvez você precise de alertas para erros que excedam um determinado limite para um período designado.
Erros que ficam abaixo de determinados limites geralmente podem ser avaliados por meio da análise regular de dados nos Logs do Azure Monitor. Ao analisar seus dados de log ao longo do tempo, você pode descobrir que uma determinada condição não ocorre por um período esperado. Você pode acompanhar essa condição usando alertas. Às vezes, a ausência de um evento no log é um sinal de erro tão importante quanto uma entrada explícita no log.
Dependendo do tipo de aplicativo que você está desenvolvendo em conjunto com o uso do OpenAI do Azure, o Application Insights do Azure Monitor pode oferecer benefícios adicionais de monitoramento na camada do aplicativo.