Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
La CLI de evaluaciones de Microsoft 365 Copilot (@microsoft/m365-copilot-eval), anteriormente denominada CLI de evaluaciones de agentes, le ayuda a probar, medir y mejorar la calidad de sus agentes con evaluaciones estructuradas e informes de resultados. La versión preliminar de CLI v2 también admite la evaluación de respuestas de Microsoft 365 Copilot que usan complementos.
Importante
Para los agentes declarativos implementados, comience con las herramientas de desarrollo de Work IQ para obtener un flujo de trabajo guiado. Work IQ Dev Tools administra la versión compatible de la CLI de evaluaciones de Microsoft 365 Copilot y la expone a través de wiqd agent eval. Use la guía independiente de la CLI de esta sección cuando necesite control de comandos de nivel inferior o mantenga un flujo de trabajo existente runevals .
Elija una versión de CLI
El nombre del paquete npm y runevals el comando no cambian.
| Versión | Etiqueta de NPM | Alcance de la evaluación |
|---|---|---|
| v1 | latest |
Agentes implementados. El inicio rápido cubre esta versión. |
| Versión preliminar V2 | preview |
Agentes implementados y respuestas de Microsoft 365 Copilot que usan complementos. Necesario para evaluadores de llamadas de herramientas con esquema v2. |
En la versión preliminar v2, una ejecución sin un identificador de agente configurado evalúa el chat de Microsoft 365 Copilot en lugar de seleccionar un agente. En el caso de las ejecuciones de complementos, aprovisione y habilite primero el complemento en Copilot, y quite M365_AGENT_ID un legado AGENT_ID de los archivos Shell y de entorno cargados. Esta configuración evalúa la experiencia de Copilot, no un punto de conexión de complemento de forma aislada.
Para obtener ejemplos de conjuntos de datos de instalación de vista previa y llamada de herramienta, consulte Evaluadores de llamada de herramienta.
Qué puede hacer
La herramienta de evaluación proporciona las siguientes funcionalidades:
- Ejecutar evaluaciones por lotes e interactivas.
- Califique automáticamente las respuestas mediante la evaluación en la nube y las métricas integradas de Microsoft Foundry.
- Pruebe con conjuntos de datos JSON, mensajes en línea o entradas interactivas.
- Generar informes en formatos HTML, JSON o CSV.
Métricas de evaluación
Los evaluadores de respuestas puntúan la calidad de la respuesta. Los evaluadores de llamadas a herramientas inspeccionan los diagnósticos en tiempo de ejecución en lugar del texto de respuesta.
| Evaluador | Tipo | Escala | Umbral predeterminado | Default |
|---|---|---|---|---|
| Relevancia | Basado en LLM | 1-5 | 3 | Sí |
| Coherencia | Basado en LLM | 1-5 | 3 | Sí |
| Conexión a tierra | Basado en LLM | 1-5 | 3 | No |
| Similitud | Basado en LLM | 1-5 | 3 | No |
| RetrievalQuery | No LLM | Aprobado o suspenso | N/D | No |
| RetrievalResult | No LLM | Proporcional | 1,0 | No |
| ToolCallSelection (versión preliminar v2) | No LLM | Correcto/suspenso/error | 1.0, corregido | No |
| ToolCallExecution (versión preliminar v2) | No LLM | Correcto/suspenso/error | 1.0, corregido | No |
| Citas | Basado en recuentos | >= 0 | 1 | No |
| Coincidencia exacta | Coincidencia de cadena | Booleano | N/D | No |
| Coincidencia parcial | Coincidencia de cadena | 0.0-1.0 | 0,5 | No |
Para obtener información detallada sobre cada evaluador, incluidas las opciones de configuración y los conjuntos de datos de muestra, consulte Referencia de evaluadores.
Cómo funciona el flujo de trabajo de evaluación
Las evaluaciones siguen un flujo de trabajo coherente:
- Instale y configure la CLI.
- Proporcione configuración y credenciales del entorno.
- Cree un conjunto de datos de solicitudes de prueba.
- Ejecutar evaluaciones en tu agente.
- Revise los resultados e itere.
Variables de entorno necesarias
La herramienta de evaluación usa variables de entorno para autenticar y conectarse a su inquilino y al proyecto de Microsoft Foundry. La configuración siguiente describe el flujo de trabajo de evaluación del agente v1. Las ejecuciones que usan solo evaluadores deterministas, incluidos los evaluadores de llamadas de herramienta en la versión preliminar v2, no requieren la configuración de puntuación de Microsoft Foundry.
| Variable | Descripción | Valor predeterminado |
|---|---|---|
TENANT_ID |
Id. del inquilino de Microsoft Entra donde se implementa el agente. | Ninguno |
AZURE_AI_PROJECT_ENDPOINT |
Punto de conexión del proyecto de Microsoft Foundry que se usa para la evaluación en la nube. Necesario para el juez de LLM de Microsoft Foundry, no para evaluadores deterministas. | Ninguno |
AZURE_AI_MODEL_NAME |
Nombre de implementación del modelo en el proyecto de Microsoft Foundry. | gpt-5-mini |
M365_TITLE_ID (opcional) |
Id. de título que se usa para detectar automáticamente el id. de agente de Microsoft 365 para la evaluación. | Ninguno |
M365_AGENT_ID (opcional) |
Identificador de agente explícito para la evaluación. | Detectado automáticamente desde M365_TITLE_ID |
Estos valores habilitan la autenticación y permiten que la herramienta ejecute la puntuación de evaluación basada en LLM mediante Microsoft Foundry. Para obtener más información sobre cómo obtener estos valores, consulte Obtener valores para variables de entorno.
Contenido relacionado
- Comprobar la integración y la calidad durante el desarrollo del complemento
- Inicio rápido: Usar la CLI de evaluaciones de Microsoft 365 Copilot
- Esquema de conjunto de datos y diseño de pruebas
- Referencia de evaluadores
- Evaluadores de llamadas de herramientas (versión preliminar v2)
- Referencia de CLI
- Solución de problemas y soporte técnico