Compartilhar via

Uso, prompts e conclusões de token de log para APIs LLM

Neste artigo, você aprenderá a configurar o registro em log do Azure Monitor para solicitações e respostas da API LLM no Gerenciamento de API do Azure.

O administrador de Gerenciamento de API pode usar logs de solicitação e resposta da API LLM junto com logs de gateway de Gerenciamento de API para cenários como o seguinte:

  • Calcular o uso da cobrança – calcular as métricas de uso para cobrança com base no número de tokens consumidos por cada aplicativo ou consumidor de API (por exemplo, segmentado por ID de assinatura ou endereço IP).

  • Inspecionar mensagens – Inspecione e analise prompts e conclusões para ajudar na depuração, auditoria e avaliação do modelo.

Saiba mais sobre:

Pré-requisitos

  • Uma instância de Gerenciamento de API do Azure.
  • Uma API de conclusões de chat llm gerenciada integrada ao Gerenciamento de API do Azure. Por exemplo, importe uma API do Microsoft Foundry.
  • Acesso a um workspace do Azure Log Analytics.
  • Permissões apropriadas para definir configurações de diagnóstico e logs de acesso no Gerenciamento de API.

Habilitar a configuração de diagnóstico para logs de API llm

Habilite uma configuração de diagnóstico para registrar solicitações que o gateway processa para APIs REST do modelo de linguagem grande. Para cada solicitação, o Azure Monitor recebe dados sobre o uso do token (tokens de prompt, tokens de conclusão e tokens totais), o nome do modelo usado e, opcionalmente, as mensagens de solicitação e resposta (prompt e conclusão). Solicitações e respostas grandes são divididas em várias entradas de log com números de sequência para reconstrução posterior, se necessário.

Veja a seguir breves etapas para habilitar uma configuração de diagnóstico que direciona os logs de API de LLM para um workspace do Log Analytics. Para obter mais informações, consulte Habilitar a configuração de diagnóstico para logs do Azure Monitor.

  1. No portal do Azure, navegue até a instância de Gerenciamento de API do Azure.
  2. No menu à esquerda, em Monitoramento, selecione Configurações> de diagnóstico+ Adicionar configuração de diagnóstico.
  3. Defina a configuração para enviar logs de gateway de IA para um workspace do Log Analytics:
    • Em Logs, selecione Logs relacionados ao gateway de IA generativo.
    • Em detalhes de destino, selecione Enviar para o workspace do Log Analytics.
  4. Examine ou defina outras configurações e faça alterações, se necessário.
  5. Clique em Salvar.

Captura de tela da configuração de diagnóstico para logs de gateway de IA no portal.

Habilitar o registro em log de solicitações ou respostas para a API LLM

Você pode habilitar as configurações de diagnóstico para todas as APIs ou personalizar o registro em log para APIs específicas. Veja a seguir breves etapas para registrar em log solicitações LLM e mensagens de resposta para uma API. Para obter mais informações, consulte Modificar configurações de log de API.

  1. No menu à esquerda da instância de Gerenciamento de API, selecione APIs > e selecione o nome da API.
  2. Selecione a guia Configurações na barra superior.
  3. Role para baixo até a seção Logs de Diagnóstico e selecione a guia Azure Monitor .
  4. Em mensagens llm de log, selecione Habilitado.
  5. Selecione prompts de log e insira um tamanho em bytes, como 32768.
  6. Selecione conclusões de log e insira um tamanho em bytes, como 32768.
  7. Examine outras configurações e faça alterações, se necessário. Clique em Salvar.

Captura de tela da habilitação do log de LLM para uma API no portal.

Observação

Se você habilitar a coleta, as mensagens de solicitação ou resposta llm de até 32 KB de tamanho serão enviadas em uma única entrada. Mensagens maiores que 32 KB são divididas e registradas em partes de 32 KB com números de sequência para reconstrução posterior. Mensagens de solicitação e mensagens de resposta não podem exceder 2 MB cada.

Examinar a pasta de trabalho de análise para APIs llm

O painel da Análise baseada no Azure Monitor fornece insights sobre o uso da API llm e o consumo de token usando dados agregados em um workspace do Log Analytics. Saiba mais sobre a Análise no Gerenciamento de API.

  1. No menu à esquerda da instância de Gerenciamento de API, selecione Análisede>.
  2. Selecione a guia Modelos de idioma .
  3. Examine as métricas e visualizações para consumo de token de API LLM e solicitações em um intervalo de tempo selecionado.

Captura de tela da análise para APIs de modelo de linguagem no portal.

Examinar os logs do Azure Monitor em busca de solicitações e respostas

Examine o log ApiManagementGatewayLlmLog para obter detalhes sobre solicitações e respostas llm, incluindo consumo de token, implantação de modelo usado e outros detalhes sobre intervalos de tempo específicos.

Solicitações e respostas (incluindo mensagens em partes para solicitações e respostas grandes) aparecem em entradas de log separadas que você pode correlacionar usando o CorrelationId campo.

Para fins de auditoria, use uma consulta Kusto semelhante à consulta a seguir para unir cada solicitação e resposta em um único registro. Ajuste a consulta para incluir os campos que você deseja rastrear.

ApiManagementGatewayLlmLog
| extend RequestArray = parse_json(RequestMessages)
| extend ResponseArray = parse_json(ResponseMessages)
| mv-expand RequestArray
| mv-expand ResponseArray
| project
    CorrelationId,
    RequestContent = tostring(RequestArray.content),
    ResponseContent = tostring(ResponseArray.content)
| summarize
    Input = strcat_array(make_list(RequestContent), " . "),
    Output = strcat_array(make_list(ResponseContent), " . ")
    by CorrelationId
| where isnotempty(Input) and isnotempty(Output)

Captura de tela dos resultados da consulta para logs llm no portal.

Carregar dados no Microsoft Foundry para avaliação de modelo

Você pode exportar dados de log de LLM como um conjunto de dados para avaliação de modelo no Microsoft Foundry. Com a avaliação do modelo, você pode avaliar o desempenho de seus modelos e aplicativos de IA generativos em relação a um modelo de teste ou conjunto de dados usando métricas de avaliação internas ou personalizadas.

Para usar logs LLM como um conjunto de dados para avaliação de modelo:

  1. Ingresse as mensagens de solicitação e resposta do LLM em um único registro para cada interação, conforme mostrado na seção anterior. Inclua os campos que você deseja usar para avaliação de modelo.
  2. Exporte o conjunto de dados para o formato CSV, que é compatível com o Microsoft Foundry.
  3. No portal do Microsoft Foundry, crie uma nova avaliação para carregar e avaliar o conjunto de dados.

Para obter detalhes sobre como criar e executar uma avaliação de modelo no Microsoft Foundry, consulte Avaliar modelos e aplicativos de IA generativos usando o Microsoft Foundry.

Conteúdo relacionado

  • Last updated on