Partilhar via

Monitore a qualidade do modelo e a integridade do endpoint

  • Artigo

O Mosaic AI Model Serving fornece ferramentas avançadas para monitorar a qualidade e a integridade dos modelos e suas implantações. A tabela a seguir é uma visão geral de cada ferramenta de monitoramento disponível.

Ferramenta Descrição Objetivo Acesso
Logs de serviço Captura stdout e transmite stderr do ponto de extremidade de serviço do modelo. Útil para depuração durante a implantação do modelo. Use print(..., flush=true) para exibição imediata nos logs. Acessível usando a guia Logs na interface do usuário de serviço. Os logs são transmitidos em tempo real e podem ser exportados por meio da API.
Construir logs Exibe a saída do processo que cria automaticamente um ambiente Python pronto para produção para o ponto de extremidade de serviço do modelo. Útil para diagnosticar problemas de dependência e implantação de modelos. Disponível após a conclusão da compilação de serviço do modelo em Logs de compilação na guia Logs . Os logs podem ser exportados por meio da API.
Métricas de integridade do endpoint Fornece informações sobre métricas de infraestrutura, como latência, taxa de solicitação, taxa de erro, uso da CPU e uso de memória. Importante para compreender o desempenho e a integridade da infraestrutura de serviço. Disponível por padrão na interface do usuário de serviço nos últimos 14 dias. Os dados também podem ser transmitidos para ferramentas de observabilidade em tempo real.
Tabelas de inferência Registra automaticamente solicitações e respostas de previsão on-line em tabelas Delta gerenciadas pelo Unity Catalog. Use essa ferramenta para monitorar e depurar a qualidade ou as respostas do modelo, gerar conjuntos de dados de treinamento ou realizar auditorias de conformidade. Pode ser habilitado para pontos de extremidade de serviço de modelo novos e existentes usando um único clique na interface do usuário ou na API.

Recursos adicionais