Compartir a través de

Uso del Agente de ingeniería de datos

Importante

Esta característica está en versión preliminar pública.

En esta página se presenta el Agente de ingeniería de datos que agrega funcionalidades al Asistente de Databricks. Para usar el Agente de ingeniería de datos, seleccione Modo de agente en el Asistente.

El agente de ingeniería de datos está diseñado específicamente para Lakeflow Spark Declarative Pipelines (SDP) y el Editor de canalizaciones de Lakeflow, explora datos, genera y ejecuta código de canalización y corrige errores, todo ello desde una única solicitud.

¿Qué es el Agente de ingeniería de datos?

El Agente de Ingeniería de Datos es una potente funcionalidad en el Modo de Agente Asistente de Databricks, que transforma al Asistente en un socio autónomo capaz de automatizar en su totalidad flujos de trabajo de ingeniería de datos de múltiples pasos en SDP y en el Editor de Canalizaciones de Lakeflow.

Use el Agente de ingeniería de datos.

En comparación con el modo de chat del Asistente, el modo de agente ha ampliado las funcionalidades: planear una solución, recuperar recursos relevantes, ejecutar código, usar salidas de canalización para mejorar los resultados, corregir errores automáticamente y mucho más.

El Agente de ingeniería de datos puede planear y generar canalizaciones completas de un extremo a otro desde cero o acelerar el trabajo en una canalización existente. El agente trabaja con usted para aprobar sus planes y confirmar sus pasos siguientes antes de continuar. Con la aprobación, el Agente de ingeniería de datos puede usar herramientas para realizar tareas como buscar tablas, editar un archivo de origen de SQL o Python, ejecutar actualizaciones de canalización y leer conjuntos de datos de canalización.

El acceso y las acciones del Agente de ingeniería de datos se rigen por los permisos del usuario. Solo puede acceder a los datos a los que tiene acceso y realizar operaciones para las que tenga permisos.

Nota:

Al activar el modo de agente en el Asistente, el Asistente adapta sus funcionalidades en función de las características que usa actualmente en Databricks. Por ejemplo, en el Editor de canalizaciones de Lakeflow, el Asistente se centra en las tareas de edición de canalizaciones e ingeniería de datos. En cuadernos y el editor SQL, el asistente facilita la exploración y el análisis de datos. Consulte Agente de ciencia de datos para obtener más información.

Requisitos

Para usar el Agente de ingeniería de datos, el área de trabajo necesita lo siguiente:

Uso del Agente de ingeniería de datos

Para usar el Agente de ingeniería de datos:

  1. En el Editor de canalizaciones de Lakeflow, abra el panel lateral Asistente haciendo clic en el icono asistente de Avatar.Asistente en la esquina superior derecha del área de trabajo.

  2. En la esquina inferior derecha, seleccione Agente. Esto activa el modo de agente del Asistente, lo que le permite interactuar con el Agente de ingeniería de datos.

  3. Escriba un mensaje para el agente. Por ejemplo, puede formular preguntas sobre la canalización, como "describir esta canalización". También puede pedirle que agregue nuevos conjuntos de datos, por ejemplo, "crear silver_sales_data en un nuevo archivo que lee de bronze_sales_data y limpia los datos y agrega expectativas de calidad útiles".

    Nota:

    El agente respeta los permisos de Unity Catalog del usuario, por lo que solo puede acceder a los datos y flujos de trabajo de origen a los que tiene acceso.

  4. A medida que el agente genera su respuesta, a menudo se pausa para obtener la entrada:

    • Para tareas más complejas, el agente puede crear un plan paso a paso y formular preguntas aclaradas. Responda las preguntas aclaratorias del agente para ayudarle a afinar su plan.

    • Cuando el agente necesita ejecutar código o actualizar una canalización, solicita su aprobación antes de continuar. Permitir o Rechazar su solicitud. También puede seleccionar Permitir en este subproceso (haciendo referencia al subproceso de conversación del Asistente) o Permitir siempre.

      Importante

      El Agente de ingeniería de datos puede generar y ejecutar código en la canalización. Aunque tiene barreras de protección para evitar acciones peligrosas, todavía existe riesgo. Solo debería usarlo con datos en los que confíe y debería revisar el código antes de ejecutarlo.

    • A medida que el agente continúa su trabajo, es posible que se le pida que seleccione Continuar o Rechazar. Revise el trabajo existente del agente y, a continuación, seleccione Continuar para permitir que el agente continúe con los pasos siguientes o Rechazar para indicarle que pruebe otra cosa.

    • Para detener el agente mientras funciona, haga clic en el icono Detener rojo.

El agente puede crear nuevos archivos, generar texto, consultas y código, ejecutar los archivos o canalizaciones y acceder a los conjuntos de datos de salida para interpretar los resultados.

Nota:

Para que el Agente de ingeniería de datos continúe con su trabajo y siga los pasos siguientes, debe permanecer en la pestaña actual en la que trabaja el agente.

Sugerencia

Puede agregar instrucciones para que el agente lo use en la mayoría de las respuestas. Por ejemplo, si tiene convenciones de código que desea usar o bibliotecas preferidas que se van a usar, puede agregar estas directrices a instrucciones para el agente. También puede crear aptitudes para ampliar el agente con funcionalidades especializadas para las tareas específicas del dominio. Para obtener más información y otras sugerencias, consulte Personalización y mejora de las respuestas de Databricks Assistant.

Capabilities

El Agente de ingeniería de datos puede ayudar con la mayoría de las tareas de desarrollo de canalizaciones. Entre las funcionalidades clave se incluyen:

  • Detección de datos: el agente puede buscar tablas en el área de trabajo para ayudarle a encontrar los datos necesarios para una tarea.
  • Ediciones de código del pipeline: El agente puede crear y editar varios archivos a la vez. Mantiene informado sobre los archivos que está cambiando y muestra la diferencia de código en cada archivo, por lo que puede revisar los cambios individualmente o todos juntos al final.
  • Ejecución de canalización: el agente puede ejecutar archivos individuales, hacer una simulación, ejecutar la canalización o realizar una actualización completa. Cuando el agente quiere continuar, solicita su confirmación antes de hacerlo.
  • Descripción y mejora del comportamiento de la canalización: el agente puede inspeccionar conjuntos de datos y salidas de canalización para ayudarle a comprender lo que una canalización está haciendo de un extremo a otro y por qué. Por ejemplo, puede resumir las transformaciones, realizar un seguimiento de cómo fluyen los datos en las tablas de bajada y resaltar los cambios inesperados en los recuentos de filas o esquemas. Cuando expone posibles problemas de calidad de datos, el agente puede ayudarle a razonar sobre su causa y sugerir dónde y cómo abordarlos en la canalización.

Estas funcionalidades admiten casos de uso comunes, como:

  • Creación de una nueva tubería: El Agente de Ingeniería de Datos puede ayudar con todos los pasos para crear una nueva tubería de arquitectura medallion, desde la ingesta de datos hasta la estandarización y limpieza de los datos, y hasta la transformación y el análisis de los datos.
  • Explicar una canalización: el agente puede analizar y explicar una canalización existente para ayudarle a aumentar rápidamente.
  • Corrección de problemas: cuando tiene errores, el agente puede ayudar a diagnosticar y corregir los problemas, iterando a través de varios archivos hasta que se resuelva el problema.

Examples

Pruebe las siguientes indicaciones para empezar:

  • "Construir y ejecutar una canalización de arquitectura medallion para la detección de fraude utilizando las tablas de transacciones y clientes en my_catalog.my_schema."
  • "Explicar cada paso de esta canalización".
  • Corrija el error en esta tubería.

Pasos siguientes

  • Last updated on