Inicio rápido: Traslado y transformación de datos con flujos de datos y canalizaciones de datos

  • Artículo

En este tutorial, verá cómo la experiencia de flujo de datos y canalización de datos puede crear una solución eficaz y completa de Data Factory.

Importante

Microsoft Fabric está actualmente en versión preliminar. Esta información está relacionada con un producto en versión preliminar que puede modificarse considerablemente antes de su lanzamiento. Microsoft no ofrece ninguna garantía, expresa o implícita, con respecto a la información que se ofrece aquí. Consulte Azure Data Factory documentación del servicio en Azure.

Requisitos previos

Para empezar, debe completar los siguientes requisitos previos:

Transformación de datos con flujos de datos

Siga estos pasos para configurar el flujo de datos.

Paso 1: Crear un flujo de datos

  1. Elija el área de trabajo habilitada para Fabric y, a continuación, seleccione Nuevo. A continuación, seleccione Dataflow Gen2.

    Captura de pantalla que muestra dónde empezar a crear un flujo de datos gen2.

  2. Aparece la ventana del editor de flujo de datos. Seleccione la tarjeta Importar desde SQL Server.

    Captura de pantalla que muestra la ventana del editor de flujos de datos.

Paso 2: Obtener datos

  1. En el cuadro de diálogo Conectar al origen de datos que se presenta a continuación, escriba los detalles para conectarse a la base de datos de Azure SQL y seleccione Siguiente. En este ejemplo, se usa la base de datos de ejemplo AdventureWorksLT configurada al configurar la base de datos de Azure SQL en los requisitos previos.

    Captura de pantalla que muestra cómo conectarse a una base de datos de Azure SQL.

  2. Seleccione los datos que desea transformar y, a continuación, seleccione Crear. En este inicio rápido, seleccione SalesLT.Customer en los datos de ejemplo AdventureWorksLT proporcionados para Azure SQL DB y, a continuación, el botón Seleccionar tablas relacionadas para incluir automáticamente dos otras tablas relacionadas.

    Captura de pantalla que muestra dónde elegir entre los datos disponibles.

Paso 3: Transformar los datos

  1. Si no está seleccionado, seleccione el botón Vista diagrama en la barra de estado de la parte inferior de la página o seleccione Vista diagrama en el menú Ver de la parte superior del editor de Power Query. Cualquiera de estas opciones puede alternar la vista de diagrama.

    Captura de pantalla que muestra dónde seleccionar la vista de diagrama.

  2. Haga clic con el botón derecho en la consulta SalesLT Customer o seleccione los puntos suspensivos verticales situados a la derecha de la consulta y, a continuación, seleccione Combinar consultas.

    Captura de pantalla que muestra dónde encontrar la opción Combinar consultas.

  3. Configure la combinación seleccionando la tabla SalesOrderHeader como la tabla derecha de la combinación, la columna CustomerID de cada tabla como columna de combinación y El exterior Izquierdo como tipo de combinación. A continuación, seleccione Aceptar cuando agregue la consulta de combinación.

    Captura de pantalla de la pantalla Configuración de mezcla.

  4. Seleccione el botón Agregar destino de datos , que tiene el aspecto de un símbolo de base de datos con una flecha encima de ella, en la nueva consulta de combinación que acaba de crear. A continuación, seleccione Azure SQL base de datos como tipo de destino.

    Captura de pantalla que resalta el botón Agregar destino de datos en la consulta de combinación recién creada.

  5. Proporcione los detalles de la conexión de base de datos de Azure SQL donde se publicará la consulta de combinación. En este ejemplo, también puede usar la base de datos AdventureWorksLT que usamos como origen de datos para el destino.

    Captura de pantalla que muestra el cuadro de diálogo Conectar al destino de datos con valores de ejemplo rellenados.

  6. Elija una base de datos para almacenar los datos y proporcione un nombre de tabla y, a continuación, seleccione Siguiente.

    Captura de pantalla que muestra la ventana Elegir destino de destino.

  7. Puede dejar la configuración predeterminada en el cuadro de diálogo Elegir configuración de destino y simplemente seleccionar Guardar configuración sin realizar ningún cambio aquí.

    Captura de pantalla que muestra el cuadro de diálogo Elegir configuración de destino.

  8. Seleccione Publicar de nuevo en la página del editor de flujo de datos para publicar el flujo de datos.

    Captura de pantalla que resalta el botón Publicar en el editor de flujo de datos gen2.

Movimiento de datos con canalizaciones de datos

Ahora que ha creado un flujo de datos gen2, puede operar en él en una canalización. En este ejemplo, copiaremos los datos generados desde el flujo de datos en formato de texto en una cuenta de Azure Blob Storage.

Paso 1: Creación de una canalización de datos

  1. En el área de trabajo, seleccione Nuevo y, a continuación, seleccione Canalización de datos.

    Captura de pantalla que muestra dónde iniciar una nueva canalización de datos.

  2. Asigne un nombre a la canalización y seleccione Crear.

    Captura de pantalla que muestra la nueva solicitud de creación de canalización con un nombre de canalización de ejemplo.

Paso 2: Configuración del flujo de datos

  1. Agregue una nueva actividad de flujo de datos a la canalización de datos seleccionando Flujo de datos en la pestaña Actividades .

    Captura de pantalla que muestra dónde seleccionar la opción Flujo de datos.

  2. Seleccione el flujo de datos en el lienzo de la canalización y, a continuación, la pestaña Configuración . Elija el flujo de datos que creó anteriormente en la lista desplegable.

    Captura de pantalla que muestra cómo elegir el flujo de datos que ha creado.

  3. Seleccione Guardar y, después, Ejecutar para ejecutar el flujo de datos para rellenar inicialmente su tabla de consulta combinada que diseñó en el paso anterior.

    Captura de pantalla que muestra dónde seleccionar Ejecutar.

Paso 3: Usar el asistente para copiar para agregar una actividad de copia

  1. Seleccione Copiar datos en el lienzo para abrir la herramienta Asistente para copia para empezar. O bien, seleccione Usar asistente de copia en la lista desplegable Copiar datos en la pestaña Actividades de la cinta de opciones.

    Captura de pantalla que muestra las dos maneras de acceder al asistente de copia.

  2. Elija el origen de datos seleccionando un tipo de origen de datos. En este tutorial, usará la base de datos Azure SQL usada anteriormente al crear el flujo de datos para generar una nueva consulta de combinación. Desplácese hacia abajo debajo de las ofertas de datos de ejemplo y seleccione la pestaña Azure en Orígenes de datos y, a continuación, Azure SQL Base de datos. Después, seleccione Siguiente para continuar.

    Captura de pantalla que muestra dónde elegir un origen de datos.

  3. Cree una conexión al origen de datos seleccionando Crear nueva conexión. Rellene la información de conexión necesaria en el panel y escriba adventureWorksLT para la base de datos, donde se generó la consulta de combinación en el flujo de datos. Luego, seleccione Siguiente.

    Captura de pantalla que muestra dónde crear una nueva conexión.

  4. Seleccione la tabla que generó anteriormente en el paso de flujo de datos y, a continuación, seleccione Siguiente.

    Captura de pantalla que muestra cómo seleccionar entre las tablas disponibles.

  5. Para el destino, elija Azure Blob Storage y, a continuación, seleccione Siguiente.

    Captura de pantalla que muestra el destino de datos de Azure Blob Storage.

  6. Cree una conexión al destino seleccionando Crear nueva conexión. Proporcione los detalles de la conexión y, a continuación, seleccione Siguiente.

    Captura de pantalla que muestra cómo crear una conexión.

  7. Seleccione la ruta de acceso carpeta y proporcione un nombre de archivo y, a continuación, seleccione Siguiente.

    Captura de pantalla que muestra cómo seleccionar la ruta de acceso de carpeta y el nombre de archivo.

  8. Seleccione Siguiente de nuevo para aceptar el formato de archivo predeterminado, el delimitador de columna, el delimitador de fila y el tipo de compresión, incluido opcionalmente un encabezado.

    Captura de pantalla que muestra las opciones de configuración del archivo en Azure Blob Storage.

  9. Finalizar la configuración. A continuación, revise y seleccione Aceptar para finalizar el proceso.

    Captura de pantalla que muestra cómo revisar la configuración de copia de datos.

Paso 5: Diseño de la canalización de datos y guardado para ejecutar y cargar datos

  1. Para ejecutar la actividad De copia después de la actividad Flujo de datos , arrastre desde Correcto en la actividad Flujo de datos a la actividad de copia . La actividad de copia solo se ejecutará después de que la actividad de flujo de datos se haya realizado correctamente.

    Captura de pantalla que muestra cómo realizar la ejecución del flujo de datos después de la actividad de copia.

  2. Seleccione Guardar para guardar la canalización de datos. A continuación, seleccione Ejecutar para ejecutar la canalización de datos y cargar los datos.

    Captura de pantalla que muestra dónde seleccionar Guardar y ejecutar.

Programación de la ejecución de canalización

Una vez que termine de desarrollar y probar la canalización, puede programarla para que se ejecute automáticamente.

  1. En la pestaña Inicio de la ventana del editor de canalizaciones, seleccione Programar.

    Captura de pantalla del botón Programar en el menú de la pestaña Inicio del editor de canalizaciones.

  2. Configure la programación según sea necesario. En el ejemplo siguiente se programa la canalización para que se ejecute diariamente a las 8:00 p. m. hasta el final del año.

    Captura de pantalla que muestra la configuración de programación para que una canalización se ejecute diariamente a las 8:00 p. m. hasta el final del año.

Pasos siguientes

En este ejemplo se muestra cómo crear y configurar un flujo de datos gen2 para crear una consulta de combinación y almacenarla en una base de datos de Azure SQL y, a continuación, copiar datos de la base de datos en un archivo de texto en Azure Blob Storage. Ha aprendido a:

  • Cree un flujo de datos.
  • Transforme los datos con el flujo de datos.
  • Cree una canalización de datos mediante el flujo de datos.
  • Ordene la ejecución de pasos en la canalización.
  • Copie los datos con el Asistente para copia.
  • Ejecute y programe la canalización de datos.

A continuación, avance para obtener más información sobre la supervisión de las ejecuciones de canalización.

Supervisión de ejecuciones de canalización en Microsoft Fabric