Ejecución de evaluaciones y visualización de resultados

Note

Las características de este artículo son impulsadas por el arnés estándar, que utiliza las opciones de facturación descritas en Licencias para agentes alimentados por el arnés estándar. Aprende cómo acceder a las funciones estándar en Access agentes estándar y flujos de agentes.

Realiza evaluaciones y analiza los resultados para optimizar el comportamiento de tu agente y validar que cumple con tus requisitos de negocio y calidad. También puedes ejecutar un conjunto de pruebas varias veces para ver cambios a medida que mejoras a tu agente.

En este artículo se explica cómo iniciar las evaluaciones y ver los resultados mediante la interfaz Copilot Studio. También puede ejecutar evaluaciones con los Power Platform API o connectors agregados como herramientas o como parte de los flujos de automatización en Copilot Studio o Power Automate.

Los resultados de las pruebas están disponibles en Copilot Studio durante 89 días. Para guardar los resultados de tus pruebas durante un periodo más largo, exporta los resultados a un archivo CSV.

Ejecuta una prueba con un conjunto de pruebas

Después de crear un conjunto de pruebas, ejecuta una prueba usando ese conjunto. O bien, reejecutar pruebas usando el mismo conjunto para comparar resultados a lo largo del tiempo y las iteraciones. Una prueba puede tardar hasta unos minutos. Solo puede ejecutar una prueba cada vez.

Important

Las evaluaciones de agentes que usan la autenticación de usuario requieren acceso a través del conector de Microsoft Copilot Studio. Si tu administrador desactiva esta conexión, no puedes hacer pruebas usando la herramienta de evaluación. Para obtener más información, consulte Copilot Studio conectores y grupos de datos.

  1. Ve a la página de Evaluación de tu agente.

    Captura de pantalla que muestra cómo seleccionar la pestaña Evaluación cuando la selección de pestaña está comprimida debido al tamaño de la pantalla.

  2. Realiza una prueba realizando una de las siguientes acciones:

    • Al finalizar la creación o edición de un conjunto de pruebas, selecciona Evaluar.
    • En la sección de Resultados recientes , vuelve a ejecutar una prueba haciendo cualquiera de los siguientes pasos:
      • Mantenga el puntero sobre el resultado de la prueba que desea evaluar y luego seleccione ▶ Evaluar (Evaluar el conjunto de pruebas nuevamente) junto a Evaluar Agente.
      • Seleccione el resultado de la prueba para abrirlo y, a continuación, seleccione el icono Ejecutar ▶ en el panel Resumen de evaluación.

    Si el perfil de usuario del conjunto de pruebas tiene conexiones interrumpidas o el conjunto de pruebas no tiene un perfil de usuario, aparecerá el cuadro de diálogo Administrar perfil y conexiones . No tienes que usar un perfil de usuario para hacer pruebas. Sin embargo, si usas un perfil, todas las conexiones deben estar funcionando. Aprende más en Gestionar perfiles de usuario y conexiones.

    Important

    Cuando seleccionas un perfil de usuario, puedes revisar y autenticar cualquier conector que utilice tu agente. Si seleccionas una cuenta distinta a la que usas para iniciar sesión en Copilot Studio, como una cuenta de prueba, Copilot Studio autentica ese perfil de usuario y recupera las conexiones existentes del usuario. Puedes configurar, revisar y guardar estas conexiones antes de ejecutar una evaluación. Aprende más en Gestionar perfiles de usuario y conexiones.

Una evaluación tarda unos minutos en ejecutarse. Los resultados de las pruebas se procesan en tiempo real, línea por línea. Verá que el resultado de cada caso de prueba de evaluación aparece secuencialmente a medida que se generan. El procesamiento en vivo de casos de prueba proporciona visibilidad inmediata de las tendencias de calidad y los posibles errores mientras se ejecuta la evaluación. Puede detener la ejecución en cualquier momento si aparecen problemas. Aparece una alerta en Copilot Studio cuando se completa la evaluación completa y los resultados de resumen están listos para ver.

Note

Solo puede ejecutar un conjunto de pruebas de evaluación a la vez. Espere hasta que se complete la evaluación actual antes de ejecutar otra evaluación.

Profundiza en los resultados de las pruebas

Cada vez que ejecutas una evaluación con un conjunto de pruebas, Copilot Studio:

  1. Usa la cuenta de usuario conectada para simular conversaciones con el agente, enviando cada pregunta en el caso de prueba al agente.

  2. Recopila las respuestas del agente.

  3. Mide y analiza el éxito de cada respuesta. Cada caso de prueba recibe una calificación de Aprobado, Reprobado, Inválido o Error según los criterios del caso de prueba.

  4. Asigna una puntuación de tasa de aprobado basada en la tasa de aprobado/ y fallo del conjunto de pruebas.

Puedes ver la tasa de aprobación de cada conjunto de pruebas en la página de Evaluación de tu agente, en Resultados recientes. Para ver más ejecuciones de prueba, seleccione Ver todos para ver más detalles del entorno.

Captura de pantalla que muestra una lista de evaluaciones anteriores.

Consulta y valora un análisis detallado para un caso de prueba

Cuando abres un resultado de prueba, ves los detalles de la prueba, una lista de las consultas usadas en la prueba, cómo respondió el agente y la puntuación de Aprobado o Suspenso .

Selecciona un caso de prueba en la lista para ver una evaluación detallada de cada respuesta. Seleccionar Todo, Pasar o No filtrar casos por resultado.

Captura de pantalla que muestra una lista de casos de prueba dentro de una evaluación completada, con los filtros resaltados.

La evaluación incluye las respuestas esperadas y reales, el razonamiento detrás del resultado de la prueba, así como el conocimiento, temas y herramientas que el agente utilizó para responder.

Captura de pantalla que muestra el resultado detallado y la evaluación de un caso de prueba.

  1. Los resultados de la evaluación. Este ejemplo muestra los detalles de los resultados de una evaluación de calidad.

  2. Selecciona Mostrar mapa de actividad para ver la secuencia de entradas, decisiones y salidas de tu agente dentro de un caso de prueba. Obtenga más información en Visualización de la actividad de sesión.

  3. La transcripción de la pregunta del examen y la respuesta del agente.

  4. Los recursos que el agente utilizó en la prueba. Selecciona uno para abrirlo.

Puedes proporcionar feedback a Microsoft sobre cómo se ha realizado la evaluación en cada caso de prueba. Esta retroalimentación se refiere específicamente a la eficacia con la que el método de evaluación seleccionado evaluó la respuesta, no a si la respuesta en sí fue correcta. Tu feedback ayuda a mejorar la calidad y precisión de las evaluaciones con el tiempo.

Para valorar una evaluación, selecciona el icono de pulgar arriba en la captura de pantalla que muestra un icono de pulgar arriba para enviar comentarios positivos sobre una evaluación de caso de prueba. o el icono de pulgar abajo en la captura de pantalla que muestra un icono de pulgar abajo para enviar comentarios negativos sobre una evaluación de caso de prueba. en el panel de detalles de casos de prueba. Cuando se abra el formulario de comentarios, proporciona más detalles sobre tu valoración y luego selecciona Enviar.

Un conjunto de pruebas de evaluación se puede ejecutar varias veces por varios "creadores" del mismo agente. Los creadores pueden ejecutar evaluaciones mediante conjuntos de pruebas creados por otros creadores. Los creadores pueden ver las métricas de estado de ejecución y de resultados de cualquier ejecución de prueba, pero solo el creador que inició la ejecución de pruebas puede ver las respuestas del agente y las explicaciones de resultados.

Comparar los resultados de las pruebas

Quieres probar una versión de tu agente y ver cambios en el rendimiento antes y después de hacer cambios. Puedes comparar dos ejecuciones del mismo conjunto de pruebas usando la herramienta Comparación con .

Para ver una comparación, necesitas ejecutar el mismo conjunto de pruebas al menos dos veces.

  1. En la página de Evaluación de tu agente, bajo Resultados recientes de pruebas, abre la prueba que quieres usar como base para la comparación.

  2. Selecciona el desplegable Comparar con y luego selecciona la hora y la fecha de la prueba que quieres comparar con los resultados de la prueba que tienes abiertos.

Captura de pantalla que muestra el desplegable Comparar con.

En la lista de casos de prueba, las flechas muestran qué resultados mejoraron al cambiar de error a correcto , o disminuyeron al cambiar de correcto a error .

Selecciona un caso de prueba para ver más detalles. En el panel de resumen de evaluación , puedes ver una comparación directa de las puntuaciones de la prueba, con el resultado de la prueba actual en la parte superior.

Captura de pantalla que muestra los resultados comparados de dos conjuntos de prueba.

Exportación de resultados de pruebas

Puedes exportar los resultados de las pruebas a un archivo CSV. El archivo muestra la pregunta, la respuesta esperada (si procede), el método de prueba, la puntuación de aprobación (si corresponde), la respuesta del agente, el resultado de la prueba y el análisis de cada caso.

  1. Ve a la página de Evaluación de tu agente.
  2. En la sección de Resultados recientes , exporta un resultado de prueba realizando uno de los siguientes pasos:
    • Pasa el cursor sobre el caso de prueba que quieres exportar, selecciona los tres puntos (...) y luego selecciona Exportar resultados de prueba.
    • Selecciona el caso de prueba para abrirlo, selecciona los tres puntos (...) en el panel de resumen de Evaluación y luego selecciona Exportar resultados de prueba.

Los resultados de la prueba se descargan como nombre de tu conjunto de prueba.csv.

Comparte valoraciones usando el rol de espectador del agente

Si eres el propietario del agente y quieres conceder acceso solo a la página de Evaluación de tu agente, comparte el agente y habilita el rol de uso compartido visor del agente. Los usuarios con este rol pueden gestionar evaluaciones para un agente específico sin acceso al propio agente.

Note

El rol de espectador agente no otorga privilegios a nivel de entorno ni de inquilino.

Usuarios asignados al rol de espectador del agente para las evaluaciones:

  • Visualiza y ejecuta conjuntos de pruebas de evaluación de otros fabricantes.
  • Renombra, cancela y elimina evaluaciones.
  • No puedo crear ni actualizar los conjuntos de pruebas de evaluación compartidos con ellos.

Note

Los usuarios asignados al rol de visor de agente no pueden crear, actualizar ni eliminar el agente ni el contenido fuera de las evaluaciones en las que tienen el rol de visor de agente. Los usuarios no pueden publicar el agente ni gestionar sus ajustes de compartición y acceso.

Para asignar el rol:

  1. Abre el agente y selecciona los tres puntos (...) >Compartir.
  2. En Nuevos usuarios e identidades de aplicaciones, añade un usuario o grupo. O selecciona a un usuario existente de la lista.
  3. En Tiene permisos para este agente como, selecciona Visor de agentes desde la lista de roles.
  4. Selecciona Compartir para compartir el agente.

El usuario puede entonces abrir el agente y ver las pestañas de Evaluaciones y Monitor . Luego pueden gestionar las evaluaciones en la pestaña Evaluación .

Infórmate más sobre cómo compartir las valoraciones de un agente con otros usuarios.

  • Last updated on