Avaliação no Microsoft Foundry

A avaliação ajuda-o a medir a qualidade, segurança e fiabilidade dos modelos e agentes ao longo do desenvolvimento e produção. No Microsoft Foundry, pode avaliar resultados existentes num conjunto de dados de teste, gerar respostas a partir de um modelo ou agente usando entradas de teste, ou avaliar rastreios de produção.

Uma avaliação utiliza um ou mais avaliadores nos seus dados ou à sua aplicação. Os avaliadores produzem métricas e, quando suportadas, explicações que ajudam a comparar versões, encontrar problemas de qualidade e decidir se uma aplicação está pronta para ser implantada.

Construir um fluxo de trabalho de avaliação

A maioria dos fluxos de trabalho de avaliação segue estes passos:

  1. Escolha o que avaliar. Selecione um turno individual ou uma conversa completa, e use um conjunto de dados existente, respostas geradas, conversas simuladas ou rastreios de produção.
  2. Selecionar avaliadores. Escolha as métricas de qualidade e segurança que importam para a sua aplicação, como a conclusão da tarefa, relevância, fundamentação, similaridade ou segurança do conteúdo.
  3. Faz a avaliação. Executa-o uma vez durante o desenvolvimento, adiciona-o ao CI/CD ou configura avaliações recorrentes para produção.
  4. Reveja e melhore. Analisar métricas agregadas e resultados individuais, comparar versões e abordar padrões de falha recorrentes.

Escolha por onde começar

Note

Antes de começar, reveja as permissões para fluxos de trabalho de avaliação, regiões suportadas e limites de taxa, e requisitos de rede virtual.

Escolha uma abordagem de avaliação

Escolha a unidade de avaliação antes de selecionar avaliadores. A avaliação por turnos avalia as respostas individuais. A avaliação ao nível da conversa avalia uma interação completa em múltiplos turnos e pode medir resultados como a conclusão de tarefas em múltiplos passos. Os avaliadores apoiam níveis específicos de avaliação.

Quero Comece aqui
Avalie um agente alojado pela primeira vez Início rápido: Avalie o seu agente alojado
Avaliar dados de teste existentes de consulta e resposta Avaliar conjuntos de dados de consulta e resposta
Gerar e avaliar respostas a partir de inputs de teste Avaliar as respostas do modelo e do agente
Avaliar interações individuais captadas a partir de um modelo ou agente implementado Avaliar interações implementadas
Avaliar um conjunto de dados de conversas completas Avaliar conjuntos de dados de conversação
Avalie conversas completas capturadas em rastreios de produção Avaliar conversas implantadas
Simular o comportamento do agente em múltiplas interações antes da implantação Simular conversas com agentes
Gerar cenários e conversas sem ter de criar manualmente os dados dos testes Gerar e avaliar conversas sintéticas
Realizar testes adversariais de segurança operacional e cibersegurança Aprenda sobre a red teaming da IA

Escolha como realizar avaliações

Quero Comece aqui
Faça uma avaliação no portal do Foundry Executar avaliações a partir do portal Microsoft Foundry
Executar avaliações através da API Introdução à avaliação cloud com o Microsoft Foundry SDK
Executar avaliações de agentes a partir da linha de comandos Executa avaliações de agentes com o CLI azd
Avaliar o tráfego de produção de forma recorrente Monitorizar agentes e estabelecer avaliação contínua
Adicionar avaliações a um pipeline de implementação Executar avaliações no GitHub Actions ou Azure DevOps

Encontra os componentes de que precisas

  • Última atualização a