Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
A CLI de avaliações de agentes do Microsoft 365 Copilot (@microsoft/m365-copilot-eval) ajuda você a testar, medir e melhorar a qualidade de seus agentes com avaliações estruturadas e relatórios de resultados avançados com pontuação baseada em IA.
Importante
Para agentes declarativos implantados, comece com o Work IQ Dev Tools (versão prévia) para obter um fluxo de trabalho guiado. O Work IQ Dev Tools gerencia a versão da CLI de avaliações de agente compatível e a expõe por meio de wiqd agent eval. Use as diretrizes de CLI autônomas nesta seção quando precisar de controle de comando de nível inferior ou manter um fluxo de trabalho existente runevals .
O que você pode fazer
A ferramenta de avaliação fornece os seguintes recursos:
- Execute avaliações em lote e interativas.
- Pontue respostas automaticamente usando a avaliação na nuvem do Microsoft Foundry e métricas internas.
- Teste usando conjuntos de dados JSON, prompts embutidos ou entrada interativa.
- Gere relatórios nos formatos HTML, JSON ou CSV.
Métricas de avaliação
Cada resposta é pontuada usando métricas de avaliação padrão.
| Avaliador | Tipo | Escala | Limite Padrão | Padrão |
|---|---|---|---|---|
| Relevância | Baseado em LLM | 1-5 | 3 | Sim |
| Coerência | Baseado em LLM | 1-5 | 3 | Sim |
| Aterramento | Baseado em LLM | 1-5 | 3 | Não |
| Similaridade | Baseado em LLM | 1-5 | 3 | Não |
| RetrievalQuery | Não LLM | Aprovado/reprovado | N/D | Não |
| RetrievalResult | Não LLM | Proporcional | 1.0 | Não |
| Citações | Com base em contagem | >= 0 | 1 | Não |
| ExactMatch | Correspondência de cadeia de caracteres | booliano | N/D | Não |
| PartialMatch | Correspondência de cadeia de caracteres | 0.0-1.0 | 0.5 | Não |
Para obter informações detalhadas sobre cada avaliador, incluindo opções de configuração e conjuntos de dados de amostra, consulte Referência de avaliadores.
Como funciona o fluxo de trabalho de avaliação
As avaliações seguem um fluxo de trabalho consistente:
- Instale e configure a CLI.
- Forneça a configuração e as credenciais do ambiente.
- Crie um conjunto de dados de prompts de teste.
- Executar avaliações em seu agente.
- Examine os resultados e itere.
Variáveis de ambiente necessárias
A ferramenta de avaliação usa variáveis de ambiente para autenticar e se conectar ao locatário e ao projeto Microsoft Foundry.
| Variável | Descrição | Padrão |
|---|---|---|
TENANT_ID |
ID do locatário do Microsoft Entra em que seu agente está implantado. | Nenhum |
AZURE_AI_PROJECT_ENDPOINT |
Ponto de extremidade do projeto Microsoft Foundry usado para avaliação de nuvem. | Nenhum |
AZURE_AI_MODEL_NAME |
Nome de implantação do modelo no projeto do Microsoft Foundry. | gpt-5-mini |
M365_TITLE_ID (opcional) |
ID do título usada para detectar automaticamente a ID do agente Microsoft 365 para avaliação. | Nenhum |
M365_AGENT_ID (opcional) |
ID explícita do agente para avaliação. | Detecção automática de M365_TITLE_ID |
Esses valores habilitam a autenticação e permitem que a ferramenta execute a pontuação de avaliação baseada em LLM usando o Microsoft Foundry. Para obter detalhes sobre como obter esses valores, consulte Obter valores para variáveis de ambiente.