O que é o Monitoramento do Lakehouse para IA generativa? (MLflow 2)

Importante

Esse recurso está em Beta.

Importante

Esta página descreve o uso da versão 0.22 de Avaliação do Agente com o MLflow 2. O Databricks recomenda o uso do MLflow 3, que é integrado à Avaliação do Agente >1.0. No MLflow 3, as APIs de Avaliação do Agente agora fazem parte do mlflow pacote.

Para obter informações sobre este tópico, consulte Monitoramento da qualidade de produção (execução automática dos avaliadores de pontuação).

Esta página descreve como monitorar aplicativos de IA generativos usando o Monitoramento do Lakehouse para GenAI. O Monitoramento do Lakehouse é fortemente integrado à Avaliação do Agente para que você possa usar a mesma configuração de avaliação (juízes LLM e métricas personalizadas) na avaliação offline e no monitoramento online.

Você pode monitorar aplicativos de IA gen implantados usando o Mosaic AI Agent Framework ou aqueles implantados fora do Databricks.

O Monitoramento do Lakehouse para IA generativa ajuda você a acompanhar métricas operacionais, como volume, latência, erros e custo, bem como métricas de qualidade, como correção e adesão de diretrizes, usando avariadores de IA de Avaliação do Agente de IA do Mosaico.

Visão geral do produto

O Monitoramento do Lakehouse para GenAI usa o Rastreamento do MLflow, um padrão aberto para a observabilidade do GenAI com base na Telemetria Aberta, para instrumentar e capturar logs de produção de seu aplicativo GenAI. Para usar o monitoramento, primeiro instrumente seu aplicativo GenAI com o Rastreamento do MLflow.

O monitoramento foi projetado para:

1. Ajude você a identificar problemas de qualidade e desempenho (custo, latência) em seu agente de produção
   • Execute automaticamente os avariadores de LLM para avaliar a qualidade do seu agente de produção
   • Exibir um painel com métricas sobre a qualidade do agente de produção
   • Examinar rastreamentos individuais (por exemplo, solicitações de usuário)
2. Transferir os rastreamentos de baixo desempenho para o loop de desenvolvimento para testar iterativamente correções para os problemas identificados
   • Adicionar rastreamentos individuais a um Conjunto de Dados de Avaliação a ser usado com a Avaliação do Agente
   • Enviar rastreamentos individuais para o Aplicativo de Revisão para coletar rótulos de verdade básica de especialistas no assunto

O diagrama abaixo ilustra o fluxo de trabalho habilitado pelo monitoramento.

Observação

Esse fluxo de trabalho também é aplicável a aplicativos de pré-produção usados por testadores beta.

Requisitos

Para monitorar aplicativos implantados usando o Mosiac AI Agent Framework:

• Trabalhos sem servidor devem ser habilitados.
• Para usar as métricas do LLM Judge, os recursos assistenciais de IA alimentados por parceiros devem ser habilitados. Outras métricas, como latência, têm suporte independentemente dessa configuração.
• Não há suporte para esse recurso em workspaces com controle de saída sem servidor habilitado.

Limitações

Importante

• O monitoramento online está atualmente em Beta. Somente determinados workspaces podem usar produtos Beta.
• No momento, os seguintes recursos não estão disponíveis na versão beta pública:
  • Log de comentários do usuário
  • Métricas personalizadas

Se você precisar usar esses recursos ou seu workspace não estiver ativado no momento para o Monitoramento Beta, entre em contato com o representante da conta do Databricks para obter acesso.

configurar o monitoramento

O monitoramento de agente dá suporte a agentes implantados usando o Mosaic AI Agent Framework e aplicativos de IA generativa implantados fora do Databricks. As etapas a seguir dependem do tipo de aplicativo que você precisa monitorar. Para obter detalhes, confira o seguinte:

• Para configurar o monitoramento para aplicativos implantados usando o Mosaic AI Agent Framework, consulte Monitorar aplicativos implantados usando o Agent Framework (MLflow 2).
• Para configurar o monitoramento de aplicativos implantados fora do Databricks, consulte Monitorar aplicativos implantados fora do Azure Databricks (MLflow 2).