O que é Lakehouse Monitoring para IA generativa? (MLflow 2)

Importante

Este recurso está no Beta.

Importante

Esta página descreve o uso da versão 0.22 de Avaliação do Agente com MLflow 2. A Databricks recomenda o uso do MLflow 3, que é integrado ao Agent Evaluation >1.0. No MLflow 3, as APIs de avaliação do agente agora fazem parte do mlflow pacote.

Para obter informações sobre este tópico, consulte Monitorização da qualidade da produção (execução automática de pontuadores).

Esta página descreve como monitorar aplicativos de IA generativa usando o Lakehouse Monitoring for GenAI. O Lakehouse Monitoring está totalmente integrado com a Avaliação de Agentes para que você possa usar a mesma configuração de avaliação (juízes LLM e métricas personalizadas) na avaliação offline e no monitoramento on-line.

Você pode monitorar aplicativos de IA de geração implantados usando o Mosaic AI Agent Framework ou aqueles implantados fora do Databricks.

O Lakehouse Monitoring for gen AI ajuda lhe a monitorizar métricas operacionais como volume, latência, erros e custo, bem como métricas de qualidade, como precisão e cumprimento das diretrizes, usando os julgamentos da avaliação por IA do Mosaic AI Agent.

Descrição geral do produto

O Lakehouse Monitoring for GenAI usa MLflow Tracing, um padrão aberto para observabilidade GenAI baseado em Telemetria Aberta, para instrumentar e capturar logs de produção do seu aplicativo GenAI. Para usar o monitoramento, primeiro instrumente seu aplicativo GenAI com MLflow Tracing.

A monitorização destina-se a:

1. Ajudá-lo a identificar problemas de qualidade e desempenho (custo, latência) em seu agente de produção
   • Execute automaticamente juízes baseados em LLM para avaliar a qualidade do seu agente de produção
   • Visualize um painel com métricas sobre a qualidade do seu agente de produção
   • Revisar rastreamentos individuais (por exemplo, solicitações do usuário)
2. Transfira os traços de baixo desempenho para o loop de desenvolvimento para testar de forma iterativa as correções para os problemas identificados.
   • Adicionar traces individuais a um conjunto de dados de avaliação para usar com Avaliação de Agente
   • Envie rastreamentos individuais para o aplicativo de avaliações para coletar rótulos de verdades básicas de especialistas no assunto

O diagrama abaixo ilustra o fluxo de trabalho habilitado pelo monitoramento.

Observação

Esse fluxo de trabalho também é aplicável a aplicativos de pré-produção usados por testadores beta.

Requerimentos

Para monitorar aplicativos implantados usando o Mosiac AI Agent Framework:

• Os trabalhos sem servidor devem ser habilitados.
• Para usar as métricas do LLM Judge, os recursos de assistência de IA alimentados por parceiros devem ser habilitados. Outras métricas, como latência, são suportadas independentemente dessa configuração.
• Esse recurso não é suportado em espaços de trabalho com controle de saída sem servidor habilitado.

Limitações

Importante

• O monitoramento on-line está atualmente em versão Beta. Apenas determinados espaços de trabalho podem utilizar produtos Beta.
• Os seguintes recursos não estão disponíveis na versão Beta pública:
  • Registo de comentários dos utilizadores
  • Métricas personalizadas

Se você precisar usar esses recursos OU se seu espaço de trabalho não estiver ativado no momento para o Monitoring Beta, entre em contato com seu representante de conta Databricks para obter acesso.

Configurar o monitoramento

A monitorização de agentes suporta agentes implementados usando o Mosaic AI Agent Framework e aplicações de IA generativa implementadas fora do Databricks. As etapas que você segue dependem do tipo de aplicativo que você precisa monitorar. Para obter detalhes, consulte o seguinte:

• Para configurar o monitoramento de aplicativos implantados usando o Mosaic AI Agent Framework, consulte Monitorar aplicativos implantados usando o Agent Framework (MLflow 2).
• Para configurar o monitoramento de aplicativos implantados fora do Databricks, consulte Monitorar aplicativos implantados fora do Azure Databricks (MLflow 2).