Preparación de los datos con una limpieza y transformación de datos

SE APLICA A: Azure Data Factory Azure Synapse Analytics

Sugerencia

Data Factory en Microsoft Fabric es la próxima generación de Azure Data Factory, con una arquitectura más sencilla, inteligencia artificial integrada y nuevas características. Si no está familiarizado con la integración de datos, comience con Fabric Data Factory. Las cargas de trabajo de ADF existentes pueden actualizarse a Fabric para acceder a nuevas funcionalidades en ciencia de datos, análisis en tiempo real e informes.

• Iniciar una prueba gratuita de Fabric.
• Actualización de Azure Data Factory a Data Factory en Microsoft Fabric

La preparación de datos en Data Factory permite crear mash-ups de Power Query interactivos de forma nativa en ADF y, a continuación, ejecutarlos a escala dentro de un flujo de trabajo de ADF.

Creación de una actividad de Power Query

Hay dos maneras de crear una Power Query en Azure Data Factory. Una manera es hacer clic en el icono más y seleccionar Power Query en el panel de recursos de fábrica.

El otro método está en el panel de actividades del lienzo de la canalización. Abra el acordeón Power Query y arrastre la actividad Power Query al lienzo.

Creación de una actividad de limpieza de datos Power Query

Agregue un conjunto de datos Origen para el mash-up de Power Query. Puede elegir un conjunto de datos existente o crear uno. Después de guardar el mash-up, puede crear una canalización, agregar la actividad de Power Query de limpieza de datos a su canalización y seleccionar un conjunto de datos de destino para indicar a ADF dónde encauzar los datos. Si bien puede elegir uno o más conjuntos de datos de origen, en este momento solo se permite un receptor. Elegir un conjunto de datos de destino es opcional, pero se requiere al menos un conjunto de datos de origen.

Haga clic en Crear para abrir el editor de mashup Power Query Online.

En primer lugar, elegirá un origen de conjunto de datos para el editor de mashup.

Una vez que haya completado la compilación del Power Query, puede guardarla y, a continuación, crear una canalización. Debe agregar el mashup como actividad a la canalización. Es decir, cuando vaya a crear o seleccionar el conjunto de datos de receptor para colocar los datos. También puede establecer las propiedades del conjunto de datos de destino haciendo clic en el segundo botón en el lado derecho del conjunto de datos de destino. Recuerde cambiar la "opción de partición" en "Optimizar" a "Partición única" si solo quiere obtener un único archivo de salida.

Cree la Power Query de limpieza y transformación con la preparación de datos sin código. Para ver la lista de funciones disponibles, consulte las funciones de transformación. ADF convierte el script M en un script de flujo de datos para que pueda ejecutar sus consultas de Power Query a escala mediante el entorno de Spark de flujo de datos de Azure Data Factory.

Ejecución y supervisión de una actividad de limpieza de datos Power Query

Para una ejecución de depuración de canalización de una actividad de Power Query, haga clic en Depurar en el lienzo de la canalización. Una vez publicada la canalización, Trigger now (Desencadenar ahora) ejecuta a petición la última canalización publicada. Las canalizaciones de Power Query se pueden programar con todos los activadores de Azure Data Factory existentes.

Vaya a la pestaña Monitor para visualizar la salida de una ejecución de actividad de Power Query desencadenada.

Contenido relacionado

Obtenga información sobre cómo crear un flujo de datos de asignación.