Descripción de flujos de datos Gen2

Completados

Antes de empezar a transformar los datos, ayuda a comprender qué son los flujos de datos Gen2, cómo funcionan y cuándo son la herramienta adecuada para el trabajo. Los flujos de datos Gen2 proporcionan una interfaz de código bajo para crear procesos de transformación de datos escalables que se ejecutan en la nube mediante Power Query.

¿Qué son los flujos de datos Gen2?

Los flujos de datos Gen2 son herramientas de ETL (extracción, transformación, carga) basadas en la nube que usan Power Query para conectarse a orígenes de datos, aplicar transformaciones y cargar resultados en un destino. Construya la lógica de transformación de Dataflows Gen2 visualmente utilizando Power Query Online. Power Query editor es la misma interfaz disponible en Excel, Power BI Desktop y otros productos Microsoft. Cada transformación que aplique se registra como un paso aplicado, creando una receta auditable y repetible para la preparación de datos.

Los flujos de datos se ejecutan en Microsoft Fabric mediante recursos de proceso administrados. No es necesario crear infraestructura, configurar puertas de enlace para orígenes de nube ni administrar entornos de ejecución. Al publicar un flujo de datos, Fabric controla el proceso, la programación y la supervisión.

Nota:

Después de la primera referencia, este módulo usa "flujos de datos" como abreviatura de Dataflows Gen2. Las versiones anteriores se identifican como "Gen1" o "los flujos de datos de Power BI".

Funcionalidades de Dataflows Gen2

Flujos de datos Gen2 en Fabric proporcionan varias funcionalidades que admiten la preparación de datos empresariales:

  • Conéctese a cientos de orígenes de datos. Extraiga datos de bases de datos en la nube y locales, archivos, servicios web, aplicaciones SaaS y elementos de Fabric como almacenes de lagos de datos y almacenes.
  • Aplicar más de 300 transformaciones. Filtrar, ordenar, combinar, dinamizar, agregar y volver a dar forma a los datos mediante la interfaz Power Query. También puede escribir expresiones de lenguaje M personalizadas para la lógica avanzada.
  • Cargue en múltiples destinos. Envíe datos transformados a Fabric lakehouses, almacenes, bases de datos SQL, Azure SQL Database, Azure Data Lake Storage Gen2 (ADLS Gen2), Azure Data Explorer, Snowflake y otros destinos admitidos.
  • Autoguardado y publicación en segundo plano. Su trabajo se guarda automáticamente sobre la marcha. Al publicar, la validación se ejecuta en segundo plano con validaciones de consultas paralelas para una publicación más rápida.
  • Programación y automatización. Ejecute flujos de datos manualmente, según una programación de actualización con soporte de parámetros, o como parte de un canal de datos para la orquestación con otras actividades. Las alertas por correo electrónico le notifican cuando se produce un error en las actualizaciones programadas.
  • Asistencia con tecnología de inteligencia artificial. Use mensajes de lenguaje natural para generar transformaciones, explicar los pasos y comprender la consulta con Copilot para Dataflow Gen2.
  • Portabilidad del entorno. Utilice las bibliotecas de variables de Fabric y referencias relativas para facilitar los flujos de datos en entornos con menos ediciones manuales para la gestión del ciclo de vida.

Destinos de salida

Al configurar un flujo de datos, elija dónde cargar los datos transformados. El flujo de datos aplica las transformaciones durante cada actualización y escribe los resultados en el destino elegido. Entre los destinos clave se incluyen:

Destino Descripción
Lakehouse Cargar datos como tablas o archivos delta (CSV, Parquet, Excel (versión preliminar))
Almacén Cargue datos en tablas de almacén con soporte de esquemas
Azure Data Lake Storage Gen2 Escritura de archivos directamente en el almacenamiento de ADLS Gen2
Azure SQL Database Carga de datos en bases de datos SQL externas
Base de datos SQL en Fabric Carga de datos en tablas de base de datos SQL de Fabric
Archivos SharePoint Escribir archivos de texto o Excel delimitados en SharePoint
Azure Data Explorer (Kusto) Carga de datos en bases de datos de Kusto y bases de datos KQL
Snowflake Carga de datos en bases de datos de Snowflake

Al configurar un destino, también elige un método de actualización que determina cómo se cargan los datos durante cada actualización:

  • Reemplazar: quita y vuelve a crear el destino con cada actualización para proporcionar una instantánea completa de los datos transformados.
  • Anexar: agrega nuevas filas al destino existente sin quitar los datos anteriores para cargas incrementales en las que los datos históricos deben conservarse.
  • Actualización incremental: actualiza solo los datos nuevos o modificados mediante una columna DateTime, dividiendo los datos en depósitos de intervalo de tiempo configurables. Los destinos admitidos son Fabric Lakehouse, Fabric Warehouse y Azure SQL Database. Este método reduce significativamente el tiempo de actualización y el consumo de recursos para conjuntos de datos grandes o actualizados con frecuencia.

Nota:

Los destinos compatibles con esquemas (almacenes de lagos de datos, almacenes de datos y bases de datos SQL) admiten la escritura en esquemas específicos, lo que le ofrece un mayor control sobre cómo se organizan las tablas y permite alinear los resultados con las convenciones de nomenclatura de la empresa. Azure Data Explorer y bases de datos KQL solo admiten el método de actualización Append.

Sugerencia

Agregar un destino de datos es opcional. Si no configura una, el flujo de datos sigue funcionando y procesa las transformaciones. A continuación, puede usar el flujo de datos como origen de datos en una canalización o conectarse a él desde Power BI.

Comparación de tipos de flujo de datos

Microsoft ofrece varios tipos de flujo de datos en sus plataformas. Comprender las diferencias le ayuda a elegir la adecuada:

Tipo Platform Más adecuado para
Flujos de datos Gen2 Microsoft Fabric Salida a almacén de lago de datos y almacenes, máximo rendimiento, compatibilidad con Copilot
Flujos de datos Gen1 Servicio de Power BI Flujos de datos de Power BI heredados, solo almacenamiento interno
Flujos de datos de Power Platform Power Apps, Power Automate Preparación de datos de aplicaciones empresariales

Si va a iniciar un nuevo proyecto en Fabric, use Dataflows Gen2 para obtener el mejor rendimiento y conjunto de características.

Cuándo usar flujos de datos

Los flujos de datos son una opción segura cuando se aplica cualquiera de las condiciones siguientes:

  • Preferencia por el low-code. El equipo se siente cómodo con Power Query, pero no escribe código Spark o T-SQL.
  • Patrones conocidos. Los miembros del equipo ya usan Power Query en Excel o Power BI Desktop y pueden aplicar esas aptitudes directamente.
  • Transformaciones sencillas a moderadas. El trabajo implica el filtrado, la combinación, la reconfiguración y la limpieza, no el procesamiento computacional intensivo.
  • Lógica reutilizable. Quiere definir la lógica de transformación una vez y aplicarla en varios destinos o consumidores.
  • Varios destinos. Necesita que los mismos datos transformados se carguen tanto en un almacén de lago de datos como en un almacén.

Cuándo tener en cuenta otros enfoques

Los flujos de datos no son la opción adecuada para cada escenario. Tenga en cuenta alternativas cuando:

  • Las transformaciones complejas requieren código. Si la lógica implica algoritmos avanzados, procesamiento iterativo o combinaciones a gran escala, los cuadernos de Apache Spark proporcionan más flexibilidad y rendimiento.
  • Procesamiento de datos a gran escala. En el caso de los conjuntos de datos que requieren un proceso distribuido en un clúster, los cuadernos con Spark son más adecuados.
  • Se necesita T-SQL completo. Cuando las transformaciones dependen de procedimientos almacenados, combinaciones complejas o operaciones DML, T-SQL en un almacén o un punto de conexión de análisis de SQL es la mejor opción.

La decisión suele reducirse al conjunto de aptitudes del equipo y a la complejidad del trabajo de transformación. Los flujos de datos cubren los 80% comunes de las necesidades de transformación, mientras que los cuadernos y T-SQL controlan los 20%más complejos.

Cómo los flujos de datos respaldan la plataforma de datos inteligente

Las tablas que genera a través de flujos de datos se convierten en los datos en los que se basan las características de inteligencia artificial en Fabric. Por ejemplo, cuando un usuario pide Copilot en Power BI que summarize las tendencias de ventas, Copilot genera una consulta en las tablas subyacentes. Si esas tablas tienen nombres de columna claros y tipos de datos correctos, la consulta devuelve resultados precisos. Si los datos son desordenados o ambiguos, la respuesta no es confiable.

El mismo principio se aplica a Fabric agentes de datos. Un agente de datos que responde a preguntas en lenguaje natural sobre su almacén de lago de datos solo puede ser tan preciso como los datos que consulta. Los flujos de datos proporcionan un proceso repetible para asegurarse de que los datos están limpios, bien tipados y estructurados de forma coherente antes de llegar a esas experiencias de inteligencia artificial de bajada.