Compartir vía

Uso de Genie Code para el desarrollo de canalizaciones

Importante

Esta característica está en versión preliminar pública.

En esta página se presenta Genie Code para el desarrollo de canalizaciones, un agente de datos de IA disponible seleccionando el modo agente en Genie Code. Diseñado específicamente para las canalizaciones declarativas de Spark (SDP) de Lakeflow y el Editor de pipeline de Lakeflow, explora datos, genera, ejecuta y corrige código de canalización, todo desde una sola interfaz.

¿Qué es Genie Code para el desarrollo de canalizaciones?

Genie Code en modo agente es un asociado autónomo que puede automatizar flujos de trabajo completos de ingeniería de datos de varios pasos en SDP y el Editor de canalizaciones de Lakeflow.

Use el Agente de ingeniería de datos.

En comparación con el modo de chat de Genie Code, el modo agente ha ampliado las funcionalidades: planear una solución, recuperar recursos relevantes, ejecutar código, usar salidas de canalización para mejorar los resultados, corregir errores automáticamente y mucho más.

Genie Code en modo agente puede planear y generar canalizaciones completas de un extremo a otro desde cero, o acelerar el trabajo en una canalización existente. El agente trabaja con usted para aprobar sus planes y confirmar sus pasos siguientes antes de continuar. Con la aprobación, Genie Code puede usar herramientas para realizar tareas como buscar tablas, editar un archivo de código fuente de SQL o Python, ejecutar actualizaciones de canalización y leer conjuntos de datos de canalización.

El acceso y las acciones de Genie Code se rigen por los permisos del usuario. Solo puede acceder a los datos a los que tiene acceso y realizar operaciones para las que tenga permisos.

Nota:

Al activar el modo agente en Genie Code, Genie Code adapta sus funcionalidades en función de las características que usa actualmente en Databricks. Por ejemplo, en el Editor de canalizaciones de Lakeflow, Genie Code se centra en las tareas de edición de canalizaciones y ingeniería de datos. En los cuadernos de notas y el Editor de SQL, Genie Code facilita la exploración y el análisis de datos. Consulte Utilizar Genie Code para la ciencia de datos para obtener más información.

Requisitos

Para usar Genie Code para la ingeniería de datos, el área de trabajo necesita lo siguiente:

Uso de Genie Code para el desarrollo de canalizaciones

Para usar las capacidades agenciales de Genie Code para el desarrollo de canalizaciones:

  1. En el Editor de canalizaciones de Lakeflow, abra el panel lateral de Genie Code haciendo clic en el icono asistente de Avatar.Genie Code en la esquina superior derecha del área de trabajo.

  2. En la esquina inferior derecha, seleccione Agente. Esto activa el modo agente de Genie Code, lo que le permite usar las funcionalidades de ingeniería de datos agente de Genie Code.

  3. Escriba un mensaje para Genie Code. Por ejemplo, puede formular preguntas sobre la canalización, como "describir esta canalización". También puede pedirle que agregue nuevos conjuntos de datos, por ejemplo, "crear silver_sales_data en un nuevo archivo que lee de bronze_sales_data y limpia los datos y agrega expectativas de calidad útiles".

    Nota:

    Genie Code respeta los permisos del Unity Catalog del usuario, por lo que solo puede acceder al origen de datos y a la fuente de la canalización a los que tiene acceso.

  4. A medida que Genie Code genera su respuesta, a menudo se pausa para obtener la entrada:

    • Para tareas más complejas, Genie Code puede crear un plan paso a paso y formular preguntas aclaradas. Responda a sus preguntas aclarando para ayudarle a perfeccionar su plan.

    • Cuando Genie Code necesita ejecutar código o actualizar una canalización, solicita su aprobación antes de continuar. Permitir o Rechazar su solicitud. También puede seleccionar Permitir en este subproceso (referencia al subproceso de conversación de Genie Code) o Permitir siempre.

      Importante

      Genie Code en modo agente puede generar y ejecutar código en tu flujo de trabajo. Aunque tiene barreras de protección para evitar acciones peligrosas, todavía existe riesgo. Solo debería usarlo con datos en los que confíe y debería revisar el código antes de ejecutarlo.

    • A medida que Genie Code continúa su trabajo, es posible que se le pida que seleccione Continuar o Rechazar. Revise su trabajo existente y, a continuación, seleccione Continuar para permitir que continúe con los pasos siguientes o Rechazar para indicarle que pruebe algo más.

    • Para detener Genie Code mientras funciona, haga clic en el icono de detener rojo.

Genie Code puede crear nuevos archivos, generar texto, consultas y código, ejecutar los archivos o canalizaciones y acceder a los conjuntos de datos de salida para interpretar los resultados.

Nota:

Para que Genie Code continúe con su trabajo y siga los pasos siguientes, debe permanecer en la pestaña actual en la que está trabajando.

Sugerencia

Puede agregar instrucciones para que Genie Code se use en la mayoría de las respuestas. Por ejemplo, si tiene convenciones de código que desea usar o bibliotecas preferidas que se van a usar, puede agregar estas directrices a instrucciones para Genie Code. También puede crear aptitudes para ampliar Genie Code con funcionalidades especializadas para las tareas específicas del dominio. Para obtener más detalles y otras sugerencias, consulte Sugerencias para mejorar las respuestas de Genie Code.

Capabilities

En el modo agente, Genie Code puede ayudar con la mayoría de las tareas de desarrollo de canalización. Entre las funcionalidades clave se incluyen:

  • Detección de datos: Genie Code puede buscar tablas en el área de trabajo para ayudarle a encontrar los datos necesarios para una tarea.
  • Ediciones de código de pipeline: Genie Code puede crear y modificar múltiples archivos simultáneamente. Mantiene informado sobre los archivos que está cambiando y muestra la diferencia de código en cada archivo, por lo que puede revisar los cambios individualmente o todos juntos al final.
  • Ejecución de la pipeline: Genie Code puede ejecutar archivos individuales, realizar una simulación de la ejecución o ejecutar la pipeline, o realizar una actualización completa del sistema. Cuando Genie Code quiere continuar, solicita su confirmación antes de hacerlo.
  • Descripción y mejora del comportamiento de la canalización: Genie Code puede inspeccionar conjuntos de datos y salidas de canalización para ayudarle a comprender lo que una canalización está haciendo de un extremo a otro y por qué. Por ejemplo, puede resumir las transformaciones, realizar un seguimiento de cómo fluyen los datos en las tablas de bajada y resaltar los cambios inesperados en los recuentos de filas o esquemas. Cuando se muestran posibles problemas de calidad de datos, Genie Code puede ayudarle a razonar sobre su causa y sugerir dónde y cómo abordarlos en la canalización.

Estas funcionalidades admiten casos de uso comunes, como:

  • Creación de una nueva canalización: Genie Code puede ayudar con todos los pasos para crear una nueva canalización de arquitectura medallón, desde la ingesta de datos, hasta la estandarización y limpieza de los datos, hasta transformar y analizar los datos.
  • Explicar una canalización: Genie Code puede analizar y explicar una canalización existente para ayudarle a aumentar rápidamente.
  • Corrección de problemas: cuando tiene errores, Genie Code puede ayudar a diagnosticar y corregir los problemas, iterando a través de varios archivos hasta que se resuelva el problema.

Examples

Pruebe las siguientes indicaciones para empezar:

  • "Construir y ejecutar una canalización de arquitectura medallion para la detección de fraude utilizando las tablas de transacciones y clientes en my_catalog.my_schema."
  • "Explicar cada paso de esta canalización".
  • Corrija el error en esta tubería.

Pasos siguientes

  • Last updated on