Optimización del rendimiento de Dataflows Gen2
Las transformaciones funcionan. Ahora es el momento de hacer que sean eficientes. Un flujo de datos que tarda minutos en lugar de horas en actualizar ahorra recursos de proceso y mantiene a los consumidores de nivel inferior trabajando con los datos actuales. Dataflow Gen2 incluye el evaluador de consultas moderno para mejorar el rendimiento y admite técnicas como el plegado de consultas y los pasos de solo vista previa para optimizar la ejecución de las actualizaciones.
Evaluador de consultas modernas
El evaluador moderno de consultas ofrece un rendimiento y una fiabilidad mejorados para las transformaciones de Power Query en Dataflow Gen2. Esta actualización proporciona una mejor optimización en patrones de forma comunes, lo que ayuda a los equipos de datos a reducir los tiempos de actualización de un extremo a otro y escalar las cargas de trabajo de transformación con mayor confianza a medida que crecen los volúmenes de datos.
El evaluador de consultas modernas está habilitado de forma predeterminada para todas las instancias de Dataflow Gen2 y proporciona:
- Actualizaciones más rápidas para canalizaciones de modelado de varios pasos que incluyen uniones, agrupaciones, conversiones de tipo y expresiones complejas
- Ejecución más predecible al escalar un único flujo de datos a conjuntos de datos más grandes o programaciones de frecuencia superior
- Mejor uso de recursos mediante la optimización de consultas mejorada
No es necesario configurar nada para beneficiarse del evaluador de consultas modernas; procesa automáticamente las transformaciones de flujo de datos con estas mejoras de rendimiento.
Comprender el plegado de consultas
El plegado de consultas es el proceso de trasladar la lógica de transformación desde Power Query al origen de datos para su ejecución. En lugar de descargar todos los datos sin procesar y procesarlos en el motor de Power Query, el plegado de consultas traduce sus M pasos a un lenguaje de consulta nativo (como SQL) que ejecuta el origen de datos. A continuación, el origen devuelve solo los resultados transformados.
Este enfoque es más rápido porque:
- El origen de datos normalmente tiene más recursos de proceso y está optimizado para la ejecución de consultas.
- Menos transferencias de datos a través de la red, ya que el filtrado y la agregación se producen antes de que los datos salgan del origen.
- El motor de Power Query realiza menos procesamiento, lo que reduce el tiempo de actualización y el consumo de recursos.
Hay tres resultados posibles cuando se evalúa el plegado de consultas:
| Resultado | Descripción |
|---|---|
| Plegado completo | Todas las transformaciones se trasladan al origen de datos. El motor de Power Query recibe el resultado final con un procesamiento mínimo. |
| Plegado parcial | Algunas transformaciones se envían al origen y los pasos restantes se ejecutan en el motor de Power Query. |
| Sin plegado | No se envía ninguna transformación al origen. Power Query descarga los datos sin procesar y procesa todo localmente. |
El plegado completo es el resultado ideal para el rendimiento. El plegado parcial es aceptable cuando solo se ejecutan unos pocos pasos ligeros localmente. Se debe evitar el plegado en conjuntos de datos grandes, ya que obliga a que todos los datos pasen por el motor de Power Query.
Comprobar si un paso se pliega
Puede comprobar si un paso específico se pliega haciendo clic con el botón derecho del ratón en el paso en el panel Pasos aplicados y buscando la opción Ver consulta nativa.
- Si la opción Ver consulta nativa está disponible, el paso se plega al origen de datos.
- Si la opción aparece atenuada, ese paso y todos los siguientes se ejecutan en el motor de Power Query, lo que significa que la consulta no se pliega.
Comprueba el plegado periódicamente mientras creas tus transformaciones. Saber dónde se interrumpe el plegado te ayuda a reestructurar tus pasos para aprovechar al máximo lo que administra la fuente.
Nota:
El plegado de consultas está disponible principalmente con orígenes de datos estructurados, como bases de datos SQL y fuentes de OData. Por lo general, los orígenes basados en archivos como CSV y Excel no admiten el plegado de consultas.
Aplicar patrones fáciles de plegar
Algunas transformaciones se adaptan de forma confiable a la mayoría de las fuentes de datos estructurados, mientras que otras rompen la integración. Comprender esta distinción le ayuda a ordenar los pasos para mejorar el rendimiento.
Transformaciones que suelen plegarse:
- Filtrar filas (cláusulas WHERE)
- Seleccionar o quitar columnas (seleccionar columnas específicas)
- Ordenar filas (ORDER BY)
- Agrupar por y agregar (GROUP BY con funciones SUM, COUNT y similares)
- Combinar consultas desde el mismo origen (JOIN)
- Cambiar tipos de datos (CAST)
- Renombrar columnas (alias AS)
Transformaciones que normalmente interrumpen el plegado:
- Adición de columnas personalizadas con expresiones M complejas
- Operaciones de pivote y despivote
- Combinar consultas de orígenes de datos diferentes
- Operaciones que utilizan
Table.Bufferla evaluación forzada - Algunas transformaciones de texto con funciones específicas de M
Cuando el plegado se interrumpe en un paso, todos los pasos posteriores también se ejecutan en el motor de Power Query. El orden de las transformaciones es importante para admitir el plegado de consultas.
Utilice pasos de solo vista previa para una iteración eficiente
Los pasos solo de vista previa permiten agregar pasos de transformación que se ejecutan durante la vista previa de datos y la validación de autoría, pero que se excluyen de la ejecución final durante la actualización. Los pasos de solo vista previa le ayudan a iterar más rápido, al tiempo que mantienen la lógica de actualización de producción limpia y eficiente.
Para marcar un paso como solo versión preliminar, haga clic con el botón derecho en el paso del panel Pasos aplicados y seleccione Habilitar solo en versiones preliminares. Entre los usos comunes de los pasos de solo versión preliminar se incluyen los siguientes:
- Acelere la creación mediante el muestreo, el filtrado o la limitación de filas durante el tiempo de diseño sin cambiar el resultado de producción
- Experimentación más segura al probar nuevos pasos: mantener la lógica exploratoria fuera de la actualización programada
- Depuración de escenarios específicos mediante la adición de filtros temporales para centrarse en las filas de problemas
Los pasos de vista previa son útiles al trabajar con grandes conjuntos de datos en los que desea ver una muestra representativa durante el desarrollo, pero necesita el conjunto de datos completo en producción.
Siga las mejores prácticas de rendimiento.
Más allá del plegado de consultas y el evaluador de consultas moderno, otras prácticas ayudan a que los flujos de datos funcionen de manera eficiente.
Filtra temprano. Aplique filtros de fila desde el inicio de la consulta. Reducir el número de filas al principio significa que cada transformación posterior procesa menos datos.
Seleccione las columnas al principio. Quite las columnas que no necesite lo antes posible. Menos columnas significan menos datos para procesar y transferir.
Desactive recursos innecesarios. Si una consulta solo actúa como consulta de almacenamiento provisional o de referencia (por ejemplo, una tabla de búsqueda usada en una combinación), haga clic con el botón derecho en la consulta en el panel Consultas y anule la selección de Habilitar carga. Esta característica impide que la consulta de puesta en escena se cargue en el destino, lo que reduce el tiempo de procesamiento.
Use flujos de datos intermedios. En escenarios complejos, separe la extracción de la transformación. Cree un flujo de datos que extraiga y almacene provisionalmente datos sin procesar en un lago. Cree un segundo flujo de datos que lea desde el almacén de lagos de datos de preparación y aplique transformaciones. Este patrón ofrece varias ventajas:
- La lógica de extracción es independiente y puede actualizarse según su propia programación.
- Varios flujos de datos de transformación pueden reutilizar los mismos datos almacenados provisionalmente.
- Si se produce un error en una transformación, los datos sin procesar siguen estando disponibles para el reprocesamiento.
Parametrizar para su reutilización. Dataflow Gen2 admite dos enfoques para la parametrización del entorno. Los parámetros públicos están disponibles en dataflow Gen2 estándar y permiten definir entradas reutilizables (como valores de filtro o nombres de destino) que se pueden invalidar en tiempo de ejecución a través de una canalización. Fabric Bibliotecas de variables proporcionan valores de configuración centralizados de nivel de área de trabajo a los que se hace referencia directamente en el script de flujo de datos. Las bibliotecas de variables de Fabric requieren Dataflow Gen2 con CI/CD, una variante que se habilita en el momento de la creación seleccionando la opción de integración con Git. Ambos enfoques reducen el desfase de configuración al promover soluciones en entornos de CI/CD.
Supervise el rendimiento de la actualización. Use el Centro de supervisión en Fabric y el historial de actualizaciones del flujo de datos para realizar un seguimiento del tiempo que tardan los flujos de datos en actualizarse. Busque tendencias que indiquen conjuntos de datos crecientes o transformaciones ineficaces. Las alertas por correo electrónico le notifican cuando se produce un error en las actualizaciones programadas, por lo que puede responder rápidamente y corregir problemas antes de que afecten a los consumidores de bajada.
Siguiendo estos procedimientos, los flujos de datos se escalan a medida que crecen los volúmenes de datos y mantienen los datos transformados actualizados y disponibles para las cargas de trabajo de análisis e inteligencia artificial de nivel inferior.