Visão geral da CLI das Avaliações do Microsoft 365 Copilot

A CLI de Avaliações do Microsoft 365 Copilot (@microsoft/m365-copilot-eval), anteriormente chamada de CLI de Avaliações de Agente, ajuda você a testar, medir e melhorar a qualidade de seus agentes com avaliações estruturadas e relatórios de resultados. A versão prévia da CLI v2 também dá suporte à avaliação de respostas do Microsoft 365 Copilot que usam plug-ins.

Importante

Para agentes declarativos implantados, comece com o Work IQ Dev Tools para um fluxo de trabalho guiado. O Work IQ Dev Tools gerencia a versão compatível da CLI de Avaliações do Microsoft 365 Copilot e a expõe por meio do wiqd agent eval Use as diretrizes de CLI autônomas nesta seção quando precisar de controle de comando de nível inferior ou manter um fluxo de trabalho existente runevals .

Escolha uma versão da CLI

O nome e runevals o comando do pacote npm permanecem inalterados.

Versão marca npm Escopo de avaliação
v1 latest Agentes implantados. O início rápido aborda esta versão.
Visualização V2 preview Agentes implantados e respostas do Microsoft 365 Copilot que usam plug-ins. Necessário para avaliadores de chamada de ferramenta com esquema v2.

Na versão prévia v2, uma execução sem uma ID de agente configurada avalia o chat do Microsoft 365 Copilot em vez de selecionar um agente. Para execuções de plug-in, provisione e habilite o plug-in no Copilot primeiro e remova M365_AGENT_ID um legado AGENT_ID do shell e dos arquivos de ambiente carregados. Essa configuração avalia a experiência do Copilot, não um ponto de extremidade de plug-in isoladamente.

Para obter exemplos de conjunto de dados de instalação de visualização e chamada de ferramenta, consulte Avaliadores de chamada de ferramenta.

O que você pode fazer

A ferramenta de avaliação fornece os seguintes recursos:

  • Execute avaliações em lote e interativas.
  • Pontue respostas automaticamente usando a avaliação na nuvem do Microsoft Foundry e métricas internas.
  • Teste usando conjuntos de dados JSON, prompts embutidos ou entrada interativa.
  • Gere relatórios nos formatos HTML, JSON ou CSV.

Métricas de avaliação

Os avaliadores de resposta pontuam a qualidade da resposta. Os avaliadores de chamada de ferramenta inspecionam os diagnósticos de tempo de execução em vez do texto de resposta.

Avaliador Tipo Scale Limite Padrão Default
Relevância Baseado em LLM 1-5 3 Sim
Coerência Baseado em LLM 1-5 3 Sim
Aterramento Baseado em LLM 1-5 3 Não
Similaridade Baseado em LLM 1-5 3 Não
RetrievalQuery Não LLM Aprovado/reprovado N/D Não
RetrievalResult Não LLM Proporcional 1,0 Não
ToolCallSelection (versão prévia v2) Não LLM Aprovado/reprovado/erro 1.0, corrigido Não
ToolCallExecution (versão prévia v2) Não LLM Aprovado/reprovado/erro 1.0, corrigido Não
Citações Com base em contagem >= 0 1 Não
ExactMatch Correspondência de cadeia de caracteres booleano N/D Não
PartialMatch Correspondência de cadeia de caracteres 0.0-1.0 0,5 Não

Para obter informações detalhadas sobre cada avaliador, incluindo opções de configuração e conjuntos de dados de amostra, consulte Referência de avaliadores.

Como funciona o fluxo de trabalho de avaliação

As avaliações seguem um fluxo de trabalho consistente:

  1. Instale e configure a CLI.
  2. Forneça a configuração e as credenciais do ambiente.
  3. Crie um conjunto de dados de prompts de teste.
  4. Executar avaliações em seu agente.
  5. Reveja os resultados e itere.

Variáveis de ambiente necessárias

A ferramenta de avaliação utiliza variáveis de ambiente para autenticar e ligar ao seu inquilino e ao projeto do Microsoft Foundry. As configurações a seguir descrevem o fluxo de trabalho de avaliação do agente v1. As execuções que utilizam apenas avaliadores determinísticos, incluindo avaliadores de chamada de ferramentas na pré-visualização da v2, não necessitam da configuração de pontuação do Microsoft Foundry.

Variável Descrição Padrão
TENANT_ID Microsoft Entra ID de inquilino onde o seu agente está implementado. Nenhum
AZURE_AI_PROJECT_ENDPOINT Ponto final do projeto Microsoft Foundry utilizado para avaliação na nuvem. Obrigatório para o juiz Microsoft Foundry LLM, não para avaliadores determinísticos. Nenhum
AZURE_AI_MODEL_NAME Nome da implementação do modelo no seu projeto do Microsoft Foundry. gpt-5-mini
M365_TITLE_ID (opcional) ID de título utilizado para detetar automaticamente o ID de agente do Microsoft 365 para avaliação. Nenhum
M365_AGENT_ID (opcional) ID explícito do agente para avaliação. Detetada automaticamente a partir de M365_TITLE_ID

Estes valores ativam a autenticação e permitem que a ferramenta execute classificações de avaliação baseadas em LLM ao utilizar o Microsoft Foundry. Para obter detalhes sobre como obter esses valores, consulte Obter valores para variáveis de ambiente.