Avaliação no Microsoft Foundry

A avaliação ajuda a medir a qualidade, a segurança e a confiabilidade dos modelos e agentes em todo o desenvolvimento e produção. No Microsoft Foundry, você pode avaliar as saídas existentes em um conjunto de dados de teste, gerar respostas de um modelo ou agente usando entradas de teste ou avaliar rastreamentos de produção.

Uma avaliação aplica um ou mais avaliadores aos seus dados ou aplicativo. Os avaliadores produzem métricas e, quando há suporte, explicações que ajudam você a comparar versões, encontrar problemas de qualidade e decidir se um aplicativo está pronto para ser implantado.

Criar um fluxo de trabalho de avaliação

A maioria dos fluxos de trabalho de avaliação segue estas etapas:

1. Escolha o que avaliar. Selecione um turno individual ou uma conversa completa e use um conjunto de dados existente, respostas geradas, conversas simuladas ou rastreamentos de produção.
2. Selecione os avaliadores. Escolha as métricas de qualidade e segurança que são importantes para o seu aplicativo, como conclusão de tarefas, relevância, fundamentação, similaridade ou segurança do conteúdo.
3. Execute a avaliação. Execute-o uma vez durante o desenvolvimento, adicione-o à CI/CD ou configure a avaliação recorrente para produção.
4. Revise e melhore. Analise métricas agregadas e resultados individuais, compare versões e resolva padrões de falha recorrentes.

Escolha por onde começar

Note

Antes de começar, examine as permissões para fluxos de trabalho de avaliação, regiões com suporte e limites de taxa e requisitos de rede virtual.

Escolher uma abordagem de avaliação

Escolha a unidade de avaliação antes de selecionar os avaliadores. A avaliação em nível de turno pontua respostas individuais. A avaliação em nível de conversa pontua uma interação completa de vários turnos e pode medir resultados como a conclusão da tarefa em várias etapas. Os avaliadores dão suporte a níveis de avaliação específicos.

Quero	Comece por aqui
Avaliar um agente hospedado pela primeira vez	Início rápido: Avalie seu agente hospedado
Avaliar os dados de teste existentes de consulta-resposta	Avaliar conjuntos de dados de resposta de consulta
Gerar e avaliar respostas de entradas de teste	Avaliar respostas de modelo e agente
Avaliar interações individuais capturadas de um modelo ou agente implantado	Avalie as interações implantadas
Avaliar um conjunto de dados de conversas completas	Avaliar conjuntos de dados de conversa
Avaliar conversas completas capturadas em rastreamentos de produção	Avalie as conversas implantadas
Simular o comportamento do agente com vários turnos antes da implementação	Simular conversas do agente
Gerar cenários e conversas sem criar dados de teste à mão	Gerar e avaliar conversas sintéticas
Execute testes adversários de segurança e proteção	Saiba mais sobre red teaming de IA

Escolher como executar avaliações

Quero	Comece por aqui
Fazer uma avaliação no portal Foundry	Executar avaliações no portal do Microsoft Foundry
Executar avaliações programaticamente	Introdução à avaliação de nuvem com o SDK do Microsoft Foundry
Executar avaliações do agente na linha de comando	Executar avaliações de agente com a CLI do azd
Avaliar o tráfego de produção de forma recorrente	Monitorar agentes e configurar a avaliação contínua
Adicionar avaliações a um pipeline de implantação	Executar avaliações em GitHub Actions ou Azure DevOps

Encontre os componentes de que você precisa

• Avaliadores: Comece com os avaliadores integrados ou crie um avaliador personalizado para seus próprios critérios.
• Dados de avaliação: Saiba quando usar um conjunto de dados de avaliação, como gerar dados sintéticos ou como criar um conjunto de dados a partir de rastreamentos de produção.
• Resultados:Examine os resultados no portal do Foundry, recupere os resultados da avaliação de nuvem com o SDK ou use a análise de cluster para encontrar padrões comuns de falha.