Uso de un flujo de datos en una canalización

En este tutorial, creará una canalización de datos para mover OData de un origen Northwind a un destino Lakehouse y enviará una notificación por correo electrónico cuando se complete la canalización.

Requisitos previos

Para empezar, debe completar los siguientes requisitos previos:

Crear un Lakehouse

Para empezar, primero debe crear un lakehouse. Un lakehouse es un lago de datos optimizado para el análisis. En este tutorial, creará una instancia de Lakehouse que se usa como destino para el flujo de datos.

  1. Cambie a la experiencia Ingeniería de datos.

    Screenshot of the Data Engineering experience.

  2. Vaya al área de trabajo habilitada para Fabric.

    Screenshot of the Fabric enabled workspace emphasized.

  3. Seleccione Lakehouse en el menú Crear.

    Screenshot of the create menu with Create Lakehouse emphasized.

  4. Escriba un Nombre para lakehouse.

  5. Seleccione Crear.

Ahora ha creado una instancia LakeHouse y ahora puede configurar el flujo de datos.

Crear un flujo de datos

Un flujo de datos es una transformación de datos reutilizable que se puede usar en una canalización. En este tutorial, creará un flujo de datos que obtiene datos de un origen de OData y escribe los datos en un destino de lakehouse.

  1. Cambie a la experiencia Data Factory.

    Screenshot of the Data Factory experience.

  2. Vaya al área de trabajo habilitada para Fabric.

    Screenshot of the Fabric enabled workspace.

  3. Seleccione Flujo de datos Gen2 en el menú crear.

    Screenshot of the Dataflow Gen2 selection under the new menu.

  4. Ingerir los datos del origen de OData.

    1. Seleccione Obtener datos y, a continuación, seleccione Más.

      Screenshot of the Get data menu with More emphasized.

    2. En Elegir origen de datos, busque ODatay, a continuación, seleccione el conector de OData.

      Screenshot of the Get data menu with OData emphasized

    3. Escribir el URL del origen OData. Para este tutorial, usar Servicio de ejemplo OData.

    4. Seleccione Siguiente.

    5. Seleccionar la Entidad que desea ingerir. En este tutorial, usar la entidad Orders.

      Screenshot of the OData preview.

    6. Seleccione Crear.

Ahora que ha ingerido los datos del origen de OData, puede configurar el destino de lakehouse.

Para ingerir los datos en el destino de lakehouse:

  1. Seleccionar Agregar destino de datos.

  2. Seleccionar Lakehouse.

    Screenshot of the Add output destination menu with lakehouse emphasized.

  3. Configure la conexión que desea usar para conectarse a lakehouse. La configuración del valor predeterminado es correcto.

  4. Seleccione Siguiente.

  5. Navegue hasta el área de trabajo donde ha creado lakeHouse.

  6. Seleccione el lakehouse que ha creado en los pasos anteriores.

    Screenshot of the selected lakehouse.

  7. Confirmar el nombre de la tabla.

  8. Seleccione Siguiente.

  9. Confirmar el método de actualización y seleccionar Guardar configuración.

    Screenshot of the update methods, with replace selected.

  10. Publicar el flujo de datos.

    Importante

    Cuando se crea el primer Flujo de datos Gen2 en un área de trabajo, se aprovisionan los elementos de almacén de lago y almacén junto con sus modelos semánticos y puntos de conexión de análisis SQL relacionados. Todos los flujos de datos del área de trabajo comparten estos elementos, que son necesarios para el funcionamiento de Flujo de datos Gen2, no deben eliminarse y los usuarios no deben utilizarlos directamente. Los elementos son un detalle de implementación de Dataflow Gen2. Los elementos no son visibles en el área de trabajo, pero pueden ser accesibles en otras experiencias como Notebook, punto de conexión SQL, almacén de lago y almacén. Puede reconocer los elementos por su prefijo en el nombre. El prefijo de los elementos es "DataflowsStaging".

Ahora que ha ingerido los datos en el destino lakehouse, puede configurar la canalización de datos.

Crear una canalización de datos

Una canalización de datos es un flujo de trabajo que se puede usar para automatizar el procesamiento de datos. En este tutorial, creará una canalización de datos que ejecuta el flujo de datos Gen2 que ha creado en el procedimiento anterior.

  1. Vuelva a la página de información general del área de trabajo y seleccione Canalizaciones de datos en el menú crear.

    Screenshot of the Data Pipeline selection.

  2. Proporcione un Nombre para la canalización de datos.

  3. Seleccione la actividad Flujo de datos.

    Screenshot of the dataflow activity emphasized.

  4. Seleccione el Flujo de datos que ha creado en el procedimiento anterior en la lista desplegable Flujo de datos en Configuración.

    Screenshot of the dataflow dropdown list.

  5. Agregue una actividad de Office 365 Outlook.

    Screenshot emphasizing how to select an Office 365 Outlook activity.

  6. Configure la actividad de Office 365 Outlook para enviar una notificación por correo electrónico.

    1. Autentifíquese con su cuenta de Office 365.

    2. Seleccione la Dirección de Email a la que desea enviar la notificación.

    3. Escriba un Asunto para el correo electrónico.

    4. Escriba un Cuerpo para el correo electrónico.

      Screenshot showing the Office 365 Outlook activity settings.

Ejecución y programación de la canalización de datos

En esta sección, ejecutará y programará la canalización de datos. Esta programación le permite ejecutar la canalización de datos según una programación.

  1. Vaya a su área de trabajo.

  2. Abra el menú desplegable de la canalización de datos que ha creado en el procedimiento anterior y a continuación, seleccione Programación.

    Screenshot of the pipeline menu with schedule emphasized.

  3. En Ejecución programada, seleccione Activado.

    Screenshot of scheduled run set to On.

  4. Proporcione la programación que desea usar para ejecutar la canalización de datos.

    1. Repita, por ejemplo, cada Día o cada Minuto.
    2. Cuando se selecciona Diariamente, también puede seleccionar Hora.
    3. Comience Activar una Fecha específica.
    4. Finalice Activar una Fecha determinada.
    5. Seleccione la Zona horaria.
  5. Seleccione Aplicar para aplicar los cambios.

Ahora ha creado una canalización de datos que se ejecuta según una programación, actualiza los datos en lakehouse y le envía una notificación por correo electrónico. Para comprobar el estado de la canalización de datos, vaya al centro Monitor Hub. También puede comprobar el estado de la canalización de datos accediendo a Canalización de datos y seleccionando la pestaña Historial de ejecución en el menú desplegable.

En este ejemplo se muestra cómo usar un flujo de datos en una canalización con Data Factory en Microsoft Fabric. Ha aprendido a:

  • Cree un flujo de datos.
  • Cree una canalización que invoque el flujo de datos.
  • Ejecute y programe su canalización de datos.

A continuación, avance para obtener más información sobre la supervisión de las ejecuciones de canalización.