Compartir a través de

Adopción de un proceso iterativo para mejorar el agente de datos

La optimización de un agente de datos no es una configuración única, es un proceso continuo e iterativo que implica experimentación, observación y refinamiento.

En este artículo se describen los procedimientos recomendados para ayudarle a empezar a mejorar el agente de datos, pero es importante reconocer que todos los entornos de datos y el caso de uso son únicos. Es posible que ciertos tipos de instrucciones, ejemplos o formato funcionen mejor para los conjuntos de datos específicos, o que se necesita contexto adicional para ayudar al agente a interpretar las preguntas del usuario con mayor precisión. A medida que evalúa las respuestas, espera pasar por ciclos de prueba y error: revisar las instrucciones del agente, expandir el conjunto de pruebas comparativas o ajustar las consultas de ejemplo para resolver confusiones o mejorar la precisión. Con el tiempo, este proceso ayudará a descubrir brechas en lógica, alineación de esquemas o expresiones de consulta que pueden no ser inmediatamente obvias. La clave es tratar al agente de datos como un sistema en evolución que mejora a través de pruebas, comentarios e iteración normales, no un conjunto de configuración estático una vez y olvidado.

Paso 1: Empezar con un conjunto de pruebas comparativas

Comience con una prueba comparativa inicial de ejemplos para guiar la configuración del agente y evaluar el rendimiento. Use el formato siguiente:

Pregunta Consulta esperada Respuesta esperada
¿Cuántos empleados trabajan en el equipo de RR. HH. SELECT COUNT(*) FROM EmployeeDim WHERE DepartmentName = 'Recursos Humanos' 25
¿Cuál es el salario medio en Marketing? SELECT AVG(Salario) FROM CompensaciónEmpleado WHERE Departamento = 'Marketing' 85 000 USD
¿Qué productos tenían ventas el mes pasado? SELECT ProductName FROM Sales WHERE SaleDate >= '2024-05-01' [Producto A, Producto B]

Puede obtener más información sobre cómo evaluar el agente en el artículo: Evaluación del agente de datos

Puede continuar ampliando su conjunto de referencia a lo largo del tiempo para aumentar la cobertura de los tipos de preguntas de usuario que espera que el agente maneje.

Paso 2: Diagnóstico de respuestas incorrectas

Cuando el agente de datos devuelve un resultado incorrecto o poco óptimo, dedique tiempo a analizar la causa. La identificación del punto correcto de error le ayudará a realizar mejoras dirigidas a instrucciones, ejemplos o lógica de consulta.

Realice las siguientes preguntas como parte de su revisión:

  • ¿Falta una explicación necesaria o una instrucción?
  • ¿Las instrucciones son demasiado imprecisas, poco claras o engañosas?
  • ¿La consulta de ejemplo es inexacta o no es representativa de la pregunta del usuario?
  • ¿La pregunta del usuario es ambigua dada la estructura o la nomenclatura en el esquema?
  • ¿Los valores tienen un formato incoherente (por ejemplo, "ca" frente "CA""Ca"a ), lo que dificulta que el agente aplique filtros correctamente?

Cada uno de estos problemas puede afectar a la capacidad del agente de interpretar la intención y generar consultas precisas. Identificarlos tempranamente ayuda a guiar los refinamientos más eficaces en pasos posteriores.

Paso 3: Guiar un mejor razonamiento con instrucciones más claras para el agente

Si el agente elige de forma coherente los orígenes de datos incorrectos, malinterprete la intención del usuario o devuelve respuestas con un formato deficiente, es un signo de que las instrucciones de nivel de agente necesitan refinamiento. Utiliza estas instrucciones para guiar cómo el agente razona sobre preguntas, selecciona fuentes de datos y da formato a sus respuestas.

Al iterar en las instrucciones del agente:

  • Aclarar el uso del origen de datos: Especifique los orígenes de datos que se van a usar para determinados tipos de preguntas y en qué orden de prioridad. Si determinadas fuentes solo deben usarse en contextos específicos, hágalo claro.
  • Defina el comportamiento de respuesta esperado: Establezca las expectativas de tono, estructura y nivel de detalle. Indique si las respuestas deben ser resúmenes concisos, incluir la salida tabular o proporcionar detalles de nivel de fila.
  • Guíe los pasos de razonamiento del agente: Proporcione un marco lógico que el agente debe seguir al interpretar una pregunta, como la repetición de la misma, la identificación de términos relevantes o la selección de herramientas basadas en el tema.
  • Explicación de la terminología: Incluya definiciones o asignaciones para términos ambiguos, específicos de la empresa o, normalmente, malinterpretados para que el agente pueda interpretar con más precisión las preguntas del usuario.

La mejora de estas instrucciones a lo largo del tiempo ayuda al agente a tomar mejores decisiones en cada paso, desde la interpretación de preguntas hasta la ejecución de consultas y el formato de respuesta final.

Paso 4: Mejorar la comprensión del esquema mediante una mejor instrucción del origen de datos

Use información de análisis de errores para mejorar continuamente las instrucciones del origen de datos. Busque patrones en varias respuestas incorrectas para identificar dónde el agente puede estar malinterpretando la intención, teniendo dificultades con la comprensión del esquema o fallando al aplicar la lógica de consulta correcta.

Actualice la configuración centrándose en las siguientes áreas:

  • Aclarar el uso del filtro: Describa explícitamente cuándo y cómo se deben aplicar los filtros en las instrucciones. Por ejemplo, especifique si los filtros deben usar coincidencias exactas, intervalos o coincidencias de patrones.
  • Agregue ejemplos de valor típicos: Ayude al agente a comprender cómo filtrar correctamente proporcionando valores de ejemplo y formatos esperados (por ejemplo, "CA", "MA", "NY" para abreviaturas de estado o "Q1 FY25" para trimestres fiscales).
  • Reforzar la coherencia: Asegúrese de que la terminología, el formato y la expresión se aplican de forma coherente entre instrucciones y ejemplos. Evite mezclar abreviaturas, alternar entre mayúsculas y minúsculas, o usar etiquetas alternativas para el mismo concepto.
  • Actualización basada en el esquema en evolución o las reglas de negocio: Si se introducen nuevas tablas, columnas o lógicas en los orígenes de datos, ajuste las instrucciones y ejemplos para reflejar esos cambios.

La iteración de estos detalles garantiza que el agente se alinee con los datos y el contexto empresarial en constante evolución, y da como resultado respuestas más precisas y confiables a lo largo del tiempo.

Paso 5: Utilizar ejemplos específicos para guiar la generación precisa de consultas

Las consultas de ejemplo desempeñan un papel fundamental para ayudar al agente a generalizar y generar respuestas precisas, especialmente para preguntas relacionadas con combinaciones, filtrado y lógica compleja. Si el agente de datos devuelve consultas incorrectas, vuelva a consultar y refinar los ejemplos para ilustrar mejor la estructura y la lógica esperadas.

Céntrese en las siguientes mejoras:

  • Aclarar la lógica de combinación: Si el agente está generando combinaciones incorrectas, incluya consultas de ejemplo que muestren explícitamente cómo se deben combinar las tablas relacionadas (por ejemplo, claves de combinación, tipo de combinación).
  • Patrones de filtro correctos: Mostrar cómo se deben aplicar filtros para columnas específicas, incluidos los detalles de formato (por ejemplo, LIKE '%keyword%', intervalos de fechas o requisitos de mayúsculas y minúsculas).
  • Especifique la salida esperada: Aclare qué columnas debe entregar el agente para diferentes tipos de preguntas. Esto ayuda a guiar la estructura y el foco de la consulta generada.
  • Refinar ejemplos imprecisos o sobrecargados: Divida ejemplos genéricos o demasiado amplios en consultas más dirigidas que reflejen intenciones de usuario específicas.
  • Asegúrese de la alineación con las instrucciones y el esquema actuales: Mantenga los ejemplos actualizados con los cambios recientes en el esquema, las reglas de negocio o los formatos de instrucción.

Al mejorar y expandir las consultas de ejemplo en función de los problemas observados, proporcione al agente puntos de referencia más seguros para generar respuestas precisas y compatibles con el contexto.

Paso 6: Solucionar problemas de unión

La lógica de combinación es un origen común de errores en la generación de consultas. Cuando el agente de datos devuelve resultados incorrectos o incompletos debido a errores de combinación, deberá proporcionar instrucciones estructurales y ejemplos más claros para ayudar al agente a comprender cómo están relacionados los datos.

Para mejorar la precisión de la combinación:

  • Documentar las relaciones de combinación claramente: Especifique qué tablas están relacionadas, las claves usadas para combinar (por ejemplo, EmployeeID, ProductKey) y la dirección de la relación (por ejemplo, de uno a muchos). Incluya esta guía en las instrucciones pertinentes del origen de datos.
  • Incluir ejemplos de combinación en consultas: Agregue consultas de ejemplo que muestren explícitamente el comportamiento de combinación correcto para las relaciones más comunes o complejas.
  • Aclarar las columnas necesarias en las tablas combinadas: Indique qué campos se deben recuperar de la tabla, especialmente cuando existen nombres de columna similares en varios orígenes.
  • Simplifique cuando sea necesario: Si las combinaciones necesarias son demasiado complejas o propensas a errores, considere la posibilidad de aplanar la estructura en una sola tabla desnormalizada para reducir la ambigüedad y mejorar la confiabilidad.

Definir correctamente la lógica de combinación ( tanto en instrucciones como ejemplos) ayuda al agente a comprender cómo navegar por la estructura de datos y devolver respuestas completas y precisas.

Pasos siguientes