Prueba y supervisión de un agente de Genie

Pruebe un agente de Genie con preguntas reales, revise las visualizaciones y SQL generadas, edite las respuestas cuando Genie recibe algo incorrecto y supervise el uso del agente y los comentarios de los usuarios para que pueda mantener el agente preciso a medida que evolucionan los datos y las preguntas. Use pruebas comparativas para puntuar la precisión de la respuesta a escala.

Note

Genie Agents se conocía anteriormente como Genie Spaces.

Prueba tu Genie Agent

La mayoría de las interacciones del usuario tienen lugar en la ventana de chat. La mejor manera de aprender si el agente funciona como quiere es probarlo con preguntas realistas que espera que los usuarios empresariales hagan.

Las preguntas de ejemplo configuradas en la configuración del agente aparecen en la ventana de chat. Genie también puede generar preguntas de ejemplo basadas en el contexto del agente para ayudar a los usuarios a empezar a explorar los datos. Los usuarios pueden hacer clic en una pregunta de ejemplo o escribir sus propias preguntas en el campo de texto de la parte inferior de la pantalla.

Las respuestas aparecen encima del campo de texto. Una vez que un usuario escribe una pregunta, se guarda en el historial de chat.

Para iniciar una nueva conversación:

1. Haga clic en Nuevo chat para iniciar un nuevo chat. Haga clic en abrir una conversación anterior.
2. Escribe tu pregunta en el campo de entrada de texto Escribe tu pregunta….

Revisión de respuestas

Las respuestas normalmente se entregan como respuestas de lenguaje natural a las preguntas y una tabla que muestra el conjunto de resultados pertinente. Cuando Genie detecta que una visualización podría mejorar la claridad de la respuesta, también devuelve una visualización. La estructura precisa de la respuesta varía en función de la pregunta. Si se generó una consulta SQL para responder a la pregunta, se incluye en la respuesta.

Note

Al igual que otros modelos de lenguaje grande (LLM), Genie puede mostrar comportamientos no deterministas. Esto significa que, en ocasiones, podría recibir respuestas diferentes al enviar el mismo mensaje varias veces. Proporcionar consultas SQL de ejemplo de las que Genie puede aprender puede ayudar a hacer que Genie sea más coherente. Consulte Adición de consultas y funciones SQL de ejemplo.

Comentarios de respuesta

Cada respuesta pide al usuario que responda ¿Es correcto?. Los usuarios pueden responder de una de las maneras siguientes:

• Sí: Confirma que la respuesta aparece precisa.
• Corrijalo: Marca la respuesta como incorrecta. Los usuarios pueden seleccionar entre problemas comunes o escribir su propia explicación. Después, pueden:
  • Haga clic en Enviar e inténtelo de nuevo para volver a generar la respuesta mediante los comentarios proporcionados.
  • Haga clic en Enviar para enviar los comentarios sin regenerar la respuesta.
• Revisión de solicitudes: Marca la respuesta para la revisión manual. Los usuarios pueden agregar un comentario opcional para proporcionarle contexto adicional.

Como editor, puede ver los comentarios y las respuestas marcadas en la interfaz Genie. El comportamiento de tu Agente Genie no cambia basándose únicamente en los comentarios de los usuarios. Debe usar comentarios para identificar las oportunidades de mejora o responder directamente a las preguntas del usuario. Databricks recomienda animar a los usuarios a proporcionar comentarios sobre el agente mediante este mecanismo.

Los usuarios empresariales pueden ver las actualizaciones de las preguntas que han marcado para su revisión en su página Supervisión . Los usuarios con al menos el permiso CAN MANAGE en el agente de Genie pueden revisar el intercambio específico, comentar la solicitud y confirmar o corregir la respuesta. Pueden acceder a los comentarios y revisar las solicitudes en la página de supervisión. Después, puedes usar esa retroalimentación para ajustar las respuestas e iterar sobre tu agente. Consulte Supervisión del agente.

Otras acciones de respuesta

En el caso de las respuestas que incluyen SQL generado, las opciones adicionales permiten interactuar con los datos devueltos.

• Copiar CSV: Los usuarios del agente pueden descargar hasta aproximadamente 1 GB de datos de resultados como CSV. El tamaño final de descarga de archivos puede ser ligeramente mayor o menor que 1 GB, ya que el límite de 1 GB se aplica a un paso anterior que la descarga final de archivos. Para descargar los resultados, haga clic en el icono de descarga en la respuesta.

• Mostrar código: Haga clic en Mostrar código para ver la consulta generada. Esto puede ser útil para solucionar problemas de respuestas no confiables. Consulte Editar y guardar consultas.

• Icono del menú kebab: Acceda a las siguientes acciones:

  • Copiar CSV: copie el CSV de la respuesta en el portapapeles.
  • Agregue como instrucción: Para las interacciones que podrían resultar útiles para enseñar a Genie cómo responder a preguntas similares, haga clic en Agregar como instrucción. Se abre la interfaz de usuario para guardar consultas SQL de ejemplo, rellenadas con la pregunta y SQL generada. Puede dejar el ejemplo como escrito o editar y guardar para realizar cambios. Consulte Adición de consultas y funciones SQL de ejemplo.
  • Agregar como prueba comparativa: agregue la pregunta como una pregunta comparativa. Consulte Pruebas comparativas.
  • Actualizar datos: actualice los datos mediante la ejecución de la consulta generada anteriormente.
  • Regenerar respuesta: vuelva a enviar la pregunta y haga que Genie vuelva a generar la respuesta.

Edición y guardado de consultas

Las consultas SQL de Genie se pueden revisar para obtener precisión y editarlas según sea necesario. Los autores del agente de Genie suelen conocer el dominio y los datos que les permiten reconocer cuándo Genie genera una respuesta incorrecta. A menudo, los errores se pueden corregir con una pequeña cantidad de ajuste manual a la consulta SQL generada. Haga clic en Mostrar código generado para inspeccionar la consulta y ver el CÓDIGO SQL generado para cualquier respuesta.

Puede editar la instrucción SQL generada para corregirla si tiene privilegios CAN EDIT o mayores en el agente de Genie. Después de realizar las correcciones, ejecute la consulta. A continuación, puede guardarla como una instrucción para enseñar a Genie a responder en el futuro. Para guardar la consulta editada, haga clic en Agregar como instrucción.

Depuración de respuestas con Genie Code

Cuando Genie devuelve una respuesta incorrecta, use Genie Code para diagnosticar el problema y mejorar el contexto del agente:

1. Abrir Genie Code a partir de la respuesta.
2. Describa el problema y el comportamiento que desee.
3. Revise los cambios de contexto que propone Genie Code y acepte los que desea conservar.

Tip

Indique a Genie Code que lo haga por usted:

The Genie Agent is using calendar quarters instead of our fiscal calendar. Update its context to use our fiscal quarters: Q1 is February through April, Q2 is May through July, Q3 is August through October, and Q4 is November through January.

También puede usar Genie Code para guardar el contexto semántico de una conversación. Después de que los usuarios introduzcan nuevos términos o corrijan el comportamiento de Genie, pida a Genie Code que capture lo que ha aprendido. Revise cada sugerencia y acepte el contexto que desea agregar al agente.

Supervisión del agente

Un agente de Genie puede considerarse una herramienta de colaboración a largo plazo entre los equipos de datos y los usuarios empresariales. Acumula conocimiento a lo largo del tiempo en lugar de servir como una implementación única. A medida que los usuarios hagan nuevas preguntas, puede refinar el agente para mejorar la cobertura y la precisión.

Use la pestaña Supervisión para revisar preguntas y respuestas individuales, ver los comentarios del usuario e identificar las respuestas marcadas para su revisión.

En la pestaña monitor se muestran todas las preguntas y respuestas que se han hecho en el agente. Puede filtrar las preguntas por hora, clasificación, usuario o estado. Al supervisar el agente, los usuarios con permisos CAN MANAGE pueden comprender proactivamente las consultas generadas por los usuarios empresariales y cómo respondió el agente de Genie.

Identificar las preguntas con las que Genie tiene dificultades puede ayudarle a actualizar el agente de Genie con instrucciones específicas para mejorar sus respuestas. Haga clic en una pregunta para abrir el texto de la pregunta y la respuesta, y ver el hilo de chat completo.

Revisión del uso y las tendencias

Use la sección Resumen semanal de la pestaña Supervisión para revisar el volumen semanal de mensajes, los usuarios activos y los comentarios hacia arriba y abajo. Para identificar las principales tendencias de uso y los problemas comunes, haga clic en Analizar uso del espacio. Esto inicia Genie Code, que revisa los mensajes, comentarios y problemas del usuario de los últimos siete días e informa sobre temas comunes, problemas periódicos y mejoras de contexto sugeridas. Las respuestas incluyen referencias que remiten a las conversaciones pertinentes en su agente. Haga clic en una referencia para abrir la conversación directamente en el hilo de Genie Code.

Revisar las conversaciones para evaluar su calidad

Importante

Esta característica se encuentra en su versión beta. Para usarlo, un administrador del área de trabajo debe activar Genie Chat Sharing desde la página Vistas previas . Consulte Administrar versiones preliminares de Azure Databricks.

Genie Chat Sharing permite a los administradores del agente revisar las conversaciones completas que los usuarios empresariales tienen con un agente de Genie. Cuando una conversación se establece en Revisable por los administradores de espacio, los usuarios con el permiso CAN MANAGE pueden abrir la conversación desde la pestaña supervisión para revisar el intercambio completo. Esto le permite evaluar la calidad de respuesta de Genie, responder a los comentarios del usuario e identificar áreas en las que las instrucciones adicionales o las consultas de ejemplo mejorarían la precisión. En el caso de las conversaciones establecidas en Privado, los administradores de agentes pueden ver las indicaciones del usuario en la pestaña supervisión, pero no pueden ver la conversación completa o los resultados. Para obtener más información, consulte Compartir una conversación.

Note

Las conversaciones creadas antes de habilitar la versión beta permanecen privadas. Las conversaciones creadas después de habilitarlo tienen como configuración predeterminada revisable por los administradores de espacio.

Eliminar una conversación

Los usuarios con el permiso «CAN MANAGE» sobre un agente de Genie pueden eliminar permanentemente cualquier conversación en el agente desde la página de supervisión. Esto elimina la conversación y sus mensajes para todos los usuarios.

1. Abra el Agente de Genie y haga clic en la pestaña Supervisión .
2. Haga clic en una conversación para abrir el cajón de conversación.
3. Haga clic en Eliminar conversación.
4. En el cuadro de diálogo de confirmación, haga clic en Eliminar para eliminar permanentemente la conversación o Cancelar para cerrar el cuadro de diálogo sin eliminar.

Benchmarks

Las pruebas comparativas le permiten crear un conjunto de preguntas de prueba que puede ejecutar para evaluar la precisión general de la respuesta de Genie. Un conjunto bien diseñado de pruebas comparativas que cubren las preguntas más frecuentes del usuario ayuda a evaluar la precisión del agente de Genie a medida que la refina. Cada agente de Genie puede contener hasta 500 preguntas comparativas.

Las preguntas comparativas se ejecutan como nuevas conversaciones. No llevan el mismo contexto que una conversación de Genie en subproceso. Cada pregunta se procesa como una nueva consulta, con las instrucciones definidas en el agente, incluidas las funciones SQL y SQL de ejemplo proporcionadas.

Las preguntas comparativas admiten dos modos:

• Modo de chat: modo predeterminado. Genie evalúa la precisión comparando sus resultados generados por SQL con una respuesta SQL proporcionada.
• Modo de agente: ejecuta preguntas comparativas con el mismo razonamiento de varios pasos que el modo agente de Genie. Un juez LLM califica las respuestas. Puede proporcionar una nota de evaluación opcional para guiar la calificación.

Seleccionas el modo cuando ejecutas los benchmarks, no cuando añades una pregunta. Utiliza el selector de modo situado en la parte superior derecha de la pestaña Benchmarks para elegir el modo Chat o Agent para una ejecución. El modo seleccionado se aplica a todas las preguntas de esa partida.

Adición de preguntas comparativas

Las preguntas comparativas deben reflejar diferentes formas de expresar las preguntas comunes que hacen los usuarios. Puede usarlos para comprobar la respuesta de Genie a las variaciones en expresiones de preguntas o formatos de pregunta diferentes.

Al crear una pregunta de prueba comparativa, puede incluir opcionalmente una consulta SQL cuyo conjunto de resultados sea la respuesta correcta. Durante las ejecuciones comparativas, la precisión se evalúa comparando el conjunto de resultados de la consulta SQL con el generado por Genie. También puede usar las funciones SQL del catálogo de Unity como respuestas estándar gold para pruebas comparativas.

Para agregar una pregunta comparativa:

1. Cerca de la parte superior del agente de Genie, haga clic en Pruebas comparativas.

2. Haga clic en Agregar prueba comparativa.

3. En el campo Pregunta, escriba una pregunta de prueba comparativa que se va a probar.

4. (Opcional) Proporcione una consulta SQL que responda a la pregunta. Puede escribir su propia consulta escribiéndola en el cuadro SQL Answer, incluidas las funciones SQL de Unity Catalog. Como alternativa, haga clic en Generar SQL para que Genie escriba la consulta SQL automáticamente. Use una instrucción SQL que responda con precisión a la pregunta especificada.

   Note

   Este paso se recomienda para partidas en modo chat. Solo las preguntas que incluyen esta instrucción SQL de ejemplo se pueden evaluar automáticamente para obtener precisión. Las preguntas que no incluyan una respuesta SQL requieren que se puntúe una revisión manual. Si usa el botón Generar SQL , revise la instrucción para asegurarse de que responde con precisión a la pregunta.

5. (Opcional) En el campo de nota de evaluación , introduce la guía sobre la respuesta correcta o el contenido esperado. Durante las partidas en modo Agente, Genie pasa la nota de evaluación al juez del LLM. La nota puede hacer referencia al contenido esperado en los informes de texto que genera el modo agente.

6. (Opcional) Haga clic en Ejecutar para ejecutar la consulta y ver los resultados.

7. Cuando haya terminado de editarlo, haga clic en Agregar prueba comparativa.

8. Para actualizar una pregunta después de guardarla, haga clic en el icono de lápiz para abrir el cuadro de diálogo Actualizar pregunta.

Uso de pruebas comparativas para probar expresiones de preguntas alternativas

Al evaluar la precisión del agente de Genie, es importante estructurar las pruebas para reflejar escenarios realistas. Los usuarios pueden formular la misma pregunta de maneras diferentes. Databricks recomienda agregar varias expresiones de la misma pregunta y usar el mismo ejemplo de SQL en las pruebas comparativas para evaluar completamente la precisión. La mayoría de los agentes de Genie deben incluir entre dos y cuatro expresiones de la misma pregunta.

Ejecución de preguntas comparativas

Los usuarios con al menos permisos CAN EDIT en un agente de Genie pueden ejecutar una evaluación comparativa en cualquier momento. Puede ejecutar todas las preguntas comparativas o seleccionar un subconjunto de preguntas que se van a probar.

Para cada pregunta, Genie interpreta la entrada, genera SQL y devuelve resultados. A continuación, los resultados y SQL generados se comparan con la respuesta SQL definida en la pregunta de prueba comparativa.

Para ejecutar todas las preguntas comparativas:

1. Cerca de la parte superior del agente de Genie, haga clic en Pruebas comparativas.
2. Haga clic en Ejecutar pruebas comparativas para iniciar la ejecución de pruebas.

Para ejecutar un subconjunto de preguntas comparativas:

1. Cerca de la parte superior del agente de Genie, haga clic en Pruebas comparativas.
2. Active las casillas situadas junto a las preguntas que desea probar.
3. Haga clic en Ejecutar selección para iniciar la prueba en las preguntas seleccionadas.

También puede seleccionar un subconjunto de preguntas de un resultado de prueba comparativa anterior y volver a ejecutar esas preguntas específicas para probar las mejoras.

Las benchmarks continúan ejecutándose cuando navega fuera de la página. Puede comprobar los resultados en la pestaña Evaluación cuando se complete la ejecución.

Una vez completada una ejecución, puede usar Genie Code para revisar los resultados en toda la ejecución y sugerir mejoras de contexto. Consulte Análisis de una ejecución de pruebas comparativas con Genie Code.

Clasificaciones del modo de chat

Los criterios siguientes determinan cómo Genie evalúa las respuestas del modo chat:

Condition	Calificación
Genie genera SQL que coincide exactamente con la respuesta SQL proporcionada.	Bueno
Genie genera un conjunto de resultados que coincide exactamente con el conjunto de resultados generado por la respuesta SQL	Bueno
Genie genera un conjunto de resultados con los mismos datos que la respuesta SQL , pero ordenado de forma diferente	Bueno
Genie genera un conjunto de resultados con valores numéricos que redondean a los mismos 4 dígitos significativos que la respuesta SQL	Bueno
Genie genera SQL que genera un conjunto de resultados vacío o devuelve un error.	Malo
Genie genera un conjunto de resultados que incluye columnas adicionales en comparación con el conjunto de resultados generado por la respuesta SQL.	Malo
Genie genera un único resultado de celda diferente del resultado de una sola celda generado por la respuesta SQL.	Malo

Note

El modo chat compara hasta 5.000 filas de cada conjunto de resultados. Cuando un conjunto de resultados supera las 5.000 filas y el orden de filas difiere entre los resultados generados por Genie y la respuesta SQL, esta truncamiento puede hacer que un conjunto de resultados coincidente sea calificado como Negativo. Para evitar esto, escribe consultas SQL Answer que devuelvan menos de 5.000 filas, o añade una ORDER BY cláusula tanto a la respuesta SQL como a la salida esperada de Genie para que el orden de filas se mantenga consistente.

Cuando un resultado se califica como Negativo, la explicación identifica el tipo de desajuste.

Revisión manual necesaria: las respuestas se marcan con esta etiqueta cuando Genie no puede evaluar la exactitud o cuando los resultados de la consulta generados por Genie no contienen una coincidencia exacta con los resultados de la respuesta SQL proporcionada. Las preguntas comparativas que no incluyan una respuesta SQL deben revisarse manualmente.

Clasificaciones del modo agente

Un juez LLM clasifica las respuestas del modo agente en lugar de usar la comparación de SQL. Si ha proporcionado una nota de evaluación, el evaluador LLM la utiliza como guía al evaluar la respuesta, incluido cualquier contenido previsto en el informe textual que genera el modo Agente. El juez evalúa las respuestas que cumplen los criterios de la nota de evaluación como Correcto.

Acceso a las evaluaciones de pruebas comparativas

Puede acceder a todas las evaluaciones comparativas para realizar un seguimiento de la precisión en el agente de Genie a lo largo del tiempo. Al abrir las pruebas comparativas de un agente, aparece una lista con marcas de tiempo de ejecuciones de evaluación en la pestaña Evaluaciones . Si no se encuentra ninguna ejecución de evaluación, consulte Incorporación de preguntas de pruebas comparativas o Preguntas de pruebas comparativas de ejecución.

En la pestaña Evaluaciones, se muestra un resumen de las evaluaciones y su rendimiento mostrado en las siguientes categorías:

Nombre de evaluación: marca de tiempo que indica cuándo se produjo una ejecución de evaluación. Haga clic en la marca de tiempo para ver los detalles de esa evaluación. Estado de ejecución: indica si la evaluación se ha completado, pausado o incorrecto. Si una ejecución de evaluación incluye preguntas comparativas que no tienen respuestas SQL predefinidas, se marca para su revisión en esta columna. Precisión: una evaluación numérica de la precisión en todas las preguntas comparativas. En el caso de las ejecuciones de evaluación que requieren una revisión manual, solo aparece una medida de precisión después de que se hayan revisado esas preguntas. Creada por: indica el nombre del usuario que ejecutó la evaluación.

Revisión de evaluaciones individuales

Puede revisar las evaluaciones individuales para obtener una visión detallada de cada respuesta. Puede editar la evaluación de cualquier pregunta y actualizar los elementos que necesiten revisión manual.

Para revisar evaluaciones individuales:

1. Cerca de la parte superior del agente de Genie, haga clic en Pruebas comparativas.

2. Haga clic en la marca de tiempo de cualquier evaluación de la columna Nombre de evaluación para abrir una vista detallada de esa ejecución de prueba.

   

3. Use la lista de preguntas en el lado izquierdo de la pantalla para ver una vista detallada de cada pregunta.

4. Revise y compare la respuesta de salida del modelo con la respuesta de la verdad básica.

   En el caso de los resultados clasificados como incorrectos, aparece una explicación que describe por qué el resultado se ha clasificado como Incorrecto. Esto le ayuda a comprender las diferencias específicas entre la salida generada y la verdad básica esperada.

   Note

   Los resultados de estas respuestas aparecen en los detalles de evaluación durante una semana. Después de una semana, los resultados ya no son visibles. La instrucción SQL generada y la instrucción SQL de ejemplo permanecen.

5. Haga clic en Actualizar verdad de base para guardar la respuesta como la nueva verdad de base para esta pregunta. Esto es útil si no existe ninguna verdad básica, o si la respuesta es mejor o más precisa que la declaración de la verdad fundamental existente.

6. Haga clic en la etiqueta para editar la evaluación.

   Marque cada resultado como Bueno o Malo para obtener una puntuación precisa para esta evaluación.

Análisis de una ejecución de pruebas comparativas con Genie Code

Una vez completada la ejecución de una prueba comparativa, use Genie Code para revisar los resultados en toda la ejecución en lugar de inspeccionar cada pregunta por sí sola. Inicie Genie Code desde la evaluación y pídale que analice la ejecución. Genie Code revisa los resultados esperados, lo que generó el agente y el contexto actual del agente para encontrar huecos y, a continuación, sugiere mejoras de instrucciones y contexto para que pueda revisar y guardar.