Compartir a través de

Dataflow Gen2 con CI/CD y soporte para la integración con Git

Flujo de datos Gen2 ahora admite la integración continua/implementación continua (CI/CD) y la integración de Git. Esta característica permite crear, editar y administrar flujos de datos en un repositorio de Git conectado al área de trabajo de Fabric. Además, puedes usar la característica de canalizaciones de implementación para automatizar la implementación de flujos de datos desde el área de trabajo a otras áreas de trabajo. En este artículo se profundiza en cómo usar Flujo de datos Gen2 con integración de CI/CD y de Git en Fabric Data Factory.

Nuevas características

Con Dataflow Gen2 (CI/CD), ahora puede:

  • Usar la compatibilidad con la integración de Git para Flujo de datos Gen2.
  • Usar la característica de canalizaciones de implementación para automatizar la implementación de flujos de datos desde el área de trabajo a otras áreas de trabajo.
  • Usar la configuración y el programador de Fabric para actualizar y editar la configuración de Flujo de datos Gen2.
  • Crear el Flujo de datos Gen2 directamente en una carpeta del área de trabajo.
  • Use las API públicas (versión preliminar) para crear y administrar Dataflow Gen2 con integración de CI/CD y Git.

Requisitos previos

Para empezar, debes completar los siguientes requisitos previos:

  • Tener una cuenta de cliente de Microsoft Fabric con una suscripción activa. Cree una cuenta gratuita.
  • Asegurarte de que tienes un área de trabajo habilitada para Microsoft Fabric.
  • A fin de disfrutar de la integración de Git, asegúrate de que está habilitada para el área de trabajo. Para más información sobre cómo habilitar la integración de Git, ve a Introducción a la integración de Git.

Creación de un Flujo de datos Gen2 con CI/CD y compatibilidad con Git

Para crear un Flujo de datos Gen2 con CI/CD y compatibilidad con Git, sigue estos pasos:

  1. En el área de trabajo de Fabric, selecciona Crear elemento y, después, selecciona Flujo de datos Gen2.

    Captura de pantalla de la ventana Nuevo elemento con el elemento Flujo de datos Gen2 resaltado.

  2. Asigna un nombre al flujo de datos y habilita la integración de Git. Selecciona Crear.

    Captura de pantalla de la ventana Nuevo flujo de datos Gen2 con el conjunto de nombres de flujo de datos y la integración de Git resaltada y seleccionada.

    El flujo de datos se crea y se le redirige al lienzo de creación del flujo de datos. Ahora puedes empezar a crear el flujo de datos.

  3. Cuando haya terminado de desarrollar el flujo de datos, seleccione Guardar y ejecutar.

  4. Después de publicar, el flujo de datos tiene un estado no comprometido.

    Recorte de pantalla del Flujo de datos Gen2 guardado con el estado que se muestra como no confirmado.

  5. Para confirmar el flujo de datos en el repositorio Git, selecciona el icono de control de código fuente en la esquina superior derecha de la vista del área de trabajo.

    Captura de pantalla del botón de Control del código fuente.

  6. Selecciona todos los cambios que quieras confirmar y luego Confirmar.

    Captura de pantalla de la ventana Control de código fuente con el flujo de datos seleccionado y el botón Confirmar resaltado.

Ahora tienes un Flujo de datos Gen2 con CI/CD y compatibilidad con Git. Se recomienda seguir los procedimientos recomendados para trabajar con la integración de CI/CD y Git en Fabric que se describe en el tutorial Escenario 2: Desarrollo mediante otra área de trabajo.

Actualización de un Flujo de datos Gen2 o programación de una actualización

Puedes actualizar un Flujo de datos Gen2 con CI/CD y compatibilidad con Git de dos maneras: manualmente o programando una actualización. En las secciones siguientes se describe cómo actualizar un Flujo de datos Gen2 con CI/CD y compatibilidad con Git.

Actualizar ahora

  1. En el área de trabajo de Fabric, selecciona el icono de puntos suspensivos de más opciones situado junto al flujo de datos que quieres actualizar.

  2. Selecciona Actualizar ahora.

    Captura de pantalla del menú desplegable Más opciones con las opciones Actualizar ahora resaltadas.

Programar una actualización

Si el flujo de datos debe actualizarse de forma periódica, puedes programar la actualización mediante el programador de Fabric.

  1. En el área de trabajo de Fabric, selecciona el ícono de elipsis de más opciones situado junto al flujo de datos que quieres actualizar.

  2. Selecciona Programación.

    Captura de pantalla del menú desplegable Más opciones con la opción Programación resaltada.

  3. En la página Programación, puedes establecer la frecuencia de actualización y la hora de inicio y finalización y, después, puedes aplicar los cambios.

    Captura de la pantalla de configuración del flujo de datos con la pestaña Programación seleccionada y el botón Actualizar resaltado.

  4. Para iniciar la actualización ahora, selecciona el botón Actualizar.

Actualización del historial y la configuración

Para ver el historial de actualizaciones del flujo de datos, puede seleccionar la pestaña ejecuciones recientes en el menú desplegable o ir al centro de supervisión y seleccionar el flujo de datos del que desea ver el historial de actualizaciones.

Configuración del Flujo de datos Gen2 con CI/CD

Acceder a la configuración del nuevo Flujo de datos Gen2 con CI/CD y compatibilidad con Git es similar a cualquier otro elemento de Fabric. Para acceder a la configuración, selecciona el icono de puntos suspensivos de Más opciones situado junto al flujo de datos y selecciona la configuración.

Guardar reemplaza la operación de publicación.

Con Dataflow Gen2 con la compatibilidad con CI/CD y Git, la operación de guardado reemplaza a la operación de publicación. Este cambio significa que, al guardar el flujo de datos, "publica" automáticamente los cambios en el flujo de datos.

La operación de guardado sobrescribe directamente el flujo de datos en el área de trabajo. Si desea descartar los cambios, puede hacerlo seleccionando Descartar cambios al cerrar el editor.

Validación

Durante la operación de guardado, también se comprueba si el flujo de datos está en un estado válido. Si el flujo de datos no está en un estado válido, se muestra un mensaje de error en el menú desplegable de la vista del área de trabajo. Determinamos la validez del flujo de datos ejecutando una evaluación de "fila cero" para todas las consultas del flujo de datos.

Esta evaluación significa que ejecutamos todas las consultas del flujo de datos de una manera que solo solicita el esquema del resultado de la consulta, sin devolver ninguna fila. Si se produce un error en la evaluación de una consulta o el esquema de una consulta no se puede determinar en un plazo de 10 minutos, se produce un error en la validación y se usa la versión guardada anteriormente del flujo de datos para las actualizaciones.

Limitaciones y problemas conocidos

Aunque Dataflow Gen2 con CI/CD y la compatibilidad con Git ofrece un conjunto eficaz de características para la colaboración apta para empresas, esto nos obligó a reconstruir el back-end en la arquitectura de infraestructura. Esto significa que algunas características aún no están disponibles o tienen limitaciones. Estamos trabajando activamente para mejorar la experiencia y actualizaremos este artículo a medida que se agreguen nuevas características.

  • Al eliminar la última versión de Dataflow Gen2 con CI/CD y compatibilidad con Git, los artefactos de almacenamiento provisional se vuelven visibles en el área de trabajo y son seguros para que el usuario los elimine.
  • La vista área de trabajo no muestra si una actualización está en curso para el flujo de datos.
  • Al bifurcarse en otra área de trabajo, es posible que se produzca un error en una actualización de Dataflow Gen2 con el mensaje que indica que no se encontró la instancia de almacenamiento provisional de almacén de lago. Cuando esto suceda, cree una nueva compatibilidad de Dataflow Gen2 con CI/CD y Git en el área de trabajo para desencadenar la creación de la instancia de almacén de lago de almacenamiento provisional. Después de esto, todos los demás flujos de datos del área de trabajo deben empezar a funcionar de nuevo.
  • Al sincronizar los cambios de GIT en el área de trabajo o usar canalizaciones de implementación, debe abrir el flujo de datos nuevo o actualizado y guardar los cambios manualmente con el editor. Esto desencadena una acción de publicación en segundo plano para permitir que los cambios se usen durante la actualización del flujo de datos. También puede usar la llamada API de publicación de Dataflow bajo demanda para automatizar la operación de publicación.
  • El conector de Power Automate para flujos de datos no funciona con la nueva compatibilidad de Dataflow Gen2 con CI/CD y Git.