Partager via

Démarrage rapide : créer un flux de données

  • Article

Remarque

Les flux de données fonctionnent avec Apache Airflow.
Apache Airflow est une plateforme open source utilisée pour créer, planifier et superviser par programmation des workflows de données complexes. Elle vous permet de définir un ensemble de tâches, appelées opérateurs, qui peuvent être combinées en graphes orientés acyclique (DAG) pour représenter des pipelines de données.

Les flux de travail constituent un moyen simple et efficace de créer et de gérer des environnements Apache Airflow, ce qui vous permet d’exécuter facilement vos flux de données à grande échelle. Dans ce guide de démarrage rapide, vous allez créer votre premier flux de données et exécuter un graphe orienté acyclique (DAG) pour vous familiariser avec l’environnement et les fonctionnalités des flux de travail de données.

Prérequis

  • Activez les flux de données dans votre client.

Remarque

Étant donné que Flux de données est en mode aperçu, vous devez l’activer via votre admin client. Si vous remarquez déjà Flux de données, votre admin client peut l’avoir déjà activé.

  1. Accédez au portail d’administration –> Paramètres du client –> Sous Microsoft Fabric –> Développez la section « Les utilisateurs peuvent créer et utiliser des flux de données (aperçu) ».
  2. Sélectionnez Appliquer.

Capture d’écran montrant comment activer Apache Airflow dans l’admin client.

Créer un flux de données

  1. Vous pouvez utiliser un espace de travail existant ou créer un nouvel espace de travail.

  2. Développez le menu déroulant + New –> Cliquez sur Plus d’options –> Sous la section Data Factory –> Sélectionnez Flux de données (aperçu)

    La capture d’écran montre un clic sur plus d’options.

    Capture d’écran de la sélection du flux de données.

  3. Donnez un nom approprié à votre projet, puis cliquez sur le bouton « Créer ».

Créer un fichier DAG

  1. Cliquez sur « Nouveau fichier DAG » carte –> donnez le nom au fichier, puis cliquez sur le bouton « Créer ».

    Capture d’écran montrant comment nommer le fichier DAG.

  2. Un code DAG standard vous est présenté. Vous pouvez modifier le fichier en fonction de vos besoins.

    Capture d’écran utilisant le fichier DAG standard dans Microsoft Fabric.

  3. Cliquez sur « l’icône Enregistrer ».

    Capture d’écran présentant comment enregistrer le fichier DAG dans Microsoft Fabric.

Exécuter un DAG

  1. Commencez par cliquer sur le bouton « Exécuter le DAG ».

    Capture d’écran illustrant l’exécution du DAG à partir de l’interface utilisateur (IU) des flux de données.

  2. Une fois lancée, une notification s’affiche rapidement indiquant que le DAG est en cours d’exécution.

  3. Pour surveiller la progression de l’exécution du DAG, cliquez simplement sur « Afficher les détails » dans le centre de notification. Cette action vous redirige vers l’interface utilisateur (IU) Apache Airflow, où vous pouvez suivre facilement l’état et les détails de l’exécution du DAG.

    Capture d’écran montrant comment accéder à l’interface utilisateur (IU) Apache Airflow à partir du centre de notification.

Surveiller votre DAG de flux de données dans l’interface utilisateur (IU) Apache Airflow

Les fichiers DAG enregistrés sont chargés dans l’interface utilisateur (IU) Apache Airflow. Vous pouvez les surveiller en cliquant sur le bouton « Surveiller dans Apache Airflow ».

Capture d’écran montrant comment surveiller le DAG Airflow.

Capture d’écran montrant le DAG Airflow chargé.

Contenu associé