Observabilidade na disponibilização de modelos com o Código Genie

Importante

Este recurso está no Public Preview.

Este artigo descreve como o Genie Code pode ajudá-lo a diagnosticar problemas, analisar o desempenho e receber orientação para os seus endpoints de serviço para modelos.

Observação

O Genie Code atualmente apenas suporta endpoints personalizados de disponibilização de modelos.

Em que pode o Genie Code ajudar?

Quando se usa o Código Genie numa página de ponto final de serviço de modelo, atua como um assistente de observabilidade para o serviço de modelos. Pode analisar a saúde dos endpoints, diagnosticar falhas de implementação, investigar problemas de latência e fornecer orientações de boas práticas — tudo a partir do painel do Código Genie.

O Genie Code é um assistente só de leitura neste modo. Pode inspecionar os teus endpoints e dar recomendações, mas não pode modificar configurações ou implementações. Tem instruções claras, passo a passo, e links para a documentação para que possa fazer alterações por si próprio.

Introdução

Para começar:

1. Vai até à página do ponto de serviço de modelos.
2. Clica no para abrir o painel do Código Génio.
3. No canto inferior direito, selecione Agente. Isto ativa o modo Agente do Código Genio.
4. Introduza um prompt para descrever o que precisa de ajuda. Por exemplo, "Verifique a saúde deste endpoint" ou "Porque é que a minha latência é tão alta?"

Capabilities

Exames de saúde e diagnósticos

O Genie Code pode analisar o estado e a configuração do seu endpoint para identificar potenciais problemas:

• Verifique a saúde dos endpoints e os estados de implementação.
• Revise a configuração com as melhores práticas.
• Avalie a escalabilidade e a utilização de recursos.

Resolução de problemas e análise

O Genie Code pode ajudar a resolver problemas com os seus endpoints:

• Diagnosticar falhas de implementação usando logs de compilação, eventos e estado do endpoint.
• Investigue questões de alta latência ou timeout usando métricas, eventos e dados de tabelas de inferência.
• Analise padrões de erro a partir de registos de serviço e tabelas de inferência.
• Identificar configurações incorretas ou restrições de recursos.
• Compare configurações atuais e pendentes com avaliação de risco.

Orientações e melhores práticas

O Genie Code tem recomendações baseadas na configuração do seu endpoint:

• Recomende configurações de escalabilidade ótimas para cargas de produção e desenvolvimento.
• Explique os estados e transições dos endpoints.
• Guiar-te na monitorização e na configuração da observabilidade.
• Pesquise na documentação do Azure Databricks e forneça links para artigos relevantes.

Casos de uso

Experimente estes prompts para começar:

• Exames de saúde:
  • "Verifica a saúde deste endpoint."
  • "O meu endpoint está configurado corretamente?"
  • "Revê a configuração de escalabilidade do meu endpoint."
• Falhas de implementação:
  • /diagnosticar ou "Por que é que a minha implementação falhou?"
  • "Ajuda-me a corrigir erros de implantação."
  • "O meu ponto final está preso num estado pendente."
• Depuração de latência:
  • "Porque é que a minha latência é tão alta?"
  • "Analisa o pico de latência desta manhã."
  • "Mostra-me as métricas de desempenho das últimas 24 horas."
• Revisão de configuração:
  • "O que mudou na minha configuração pendente?"
  • "A minha configuração de concorrência é adequada para produção?"
  • "Mostra-me a configuração da minha tabela de inferência."
• Histórico de pedidos:
  • Mostra-me pedidos recentes para este endpoint.
  • "Que erros estão os meus utilizadores a encontrar?"
  • "Analisar os padrões de erro da última semana."

Informações adicionais

• Código Génio
• Utilize o Código Génio
• Monitorizar a qualidade do modelo e o estado de funcionamento dos pontos finais
• Guia de depuração para serviço de modelo
• Otimizar os endpoints de serviço de modelos para ambiente de produção