Que sont les flux de données ?

Conseil

Essayez Dataflow Gen2 dans Data Factory dans Microsoft Fabric, une solution d’analyse tout-en-un pour les entreprises. Microsoft Fabric couvre tous les aspects, du déplacement des données à la science des données, en passant par l’analyse en temps réel, l’aide à la décision et la création de rapports. Découvrez comment démarrer un nouvel essai gratuitement !

Les flux de données sont une technologie de préparation des données en libre-service, basée sur le cloud. Les flux de données permettent aux clients d’ingérer, transformer et charger des données dans des environnements Microsoft Dataverse, des espaces de travail Power BI ou le compte Azure Data Lake Storage de votre organisation. Les flux de données sont créés à l’aide de Power Query, expérience unifiée de connectivité et de préparation des données, déjà présente dans de nombreux produits Microsoft, dont Excel et Power BI. Les clients peuvent déclencher l’exécution de flux de données à la demande ou automatiquement selon une planification, les données étant toujours actualisées.

Des flux de données peuvent être créés dans plusieurs produits Microsoft

Ils sont présents dans plusieurs produits Microsoft et leur création ou exécution ne nécessitent aucune licence spécifique. Les flux de données sont disponibles dans Power Apps, Power BI et Dynamics 365 Customer Insights. La possibilité de créer et d’exécuter des flux de données est incluse dans les licences de ces produits. Les fonctionnalités du flux de données sont pour la plupart communes à tous les produits dans lesquels elles sont présentes, mais certaines fonctionnalités spécifiques d’un produit peuvent exister dans les flux de données créés dans un produit en particulier.

Comment fonctionnent les flux de données ?

L’image précédente montre une vue globale de la façon dont un flux de données est défini. Un flux de données obtient des données provenant de différentes sources (plus de 80 sources de données sont déjà prises en charge). Ensuite, sur la base des transformations configurées avec l’expérience de création de Power Query, le flux de données transforme les données en utilisant le moteur de flux de données. Enfin, les données sont chargées dans la destination de sortie, qui peut être un environnement Microsoft Power Platform, un espace de travail Power BI ou le compte Azure Data Lake Storage de l’organisation.

Les flux de données s’exécutent dans le cloud

Les flux de données sont basés sur le cloud. Quand un flux de données est créé et enregistré, sa définition est stockée dans le cloud. Un flux de données s’exécute également dans le cloud. Toutefois, si une source de données est locale, une passerelle de données locale peut être utilisée pour extraire les données vers le cloud. Quand une exécution de flux de données est déclenchée, la transformation et le calcul des données se produisent dans le cloud, et la destination est toujours dans le cloud.

Les flux de données utilisent un puissant moteur de transformation

Power Query est le moteur de transformation de données utilisé dans le flux de données. Ce moteur est capable de prendre en charge de nombreuses transformations avancées. Il utilise également une interface utilisateur graphique simple, mais puissante, appelée Éditeur Power Query. Vous pouvez utiliser des flux de données avec cet éditeur pour développer vos solutions d’intégration de données plus rapidement et plus facilement.

Intégration de flux de données avec Microsoft Power Platform et Dynamics 365

Étant donné qu’un flux de données stocke les tables résultantes dans un stockage basé sur le cloud, d’autres services peuvent interagir avec les données produites par les flux de données.

Par exemple, Power BI, Power Apps, Power Automate, Power Virtual Agents et les applications Dynamics 365 peuvent obtenir les données produites par le flux de données en se connectant à Dataverse, à un connecteur de flux de données Power Platform ou directement via le lac de données, selon la destination configurée au moment de la création du flux de données.

Avantages des flux de données

La liste suivante met en évidence certains avantages liés à l’utilisation de flux de données :

• Un flux de données dissocie la couche de transformation de données de la couche de modélisation et visualisation dans une solution Power BI.

• Le code de transformation de données peut résider dans un emplacement central, un flux de données, plutôt qu’être réparti entre plusieurs artefacts.

• Un créateur de flux de données n’a besoin de compétences qu’en Power Query. Dans un environnement avec plusieurs créateurs, le créateur de flux de données peut faire partie d’une équipe qui génère l’ensemble de la solution ou de l’application opérationnelle BI.

• Un flux de données est indépendant du produit. Il ne s’agit pas d’un composant uniquement de Power BI ; vous pouvez obtenir ses données dans d’autres outils et services.

• Les flux de données tirent parti de Power Query, une puissante expérience graphique de transformation de données en libre-service.

• Les flux de données s’exécutent entièrement dans le cloud. Aucune infrastructure supplémentaire n’est requise.

• Vous disposez de plusieurs options pour commencer à utiliser des flux de données sous couvert de licences pour Power Apps, Power BI et Customer Insights.

• Bien que les flux de données soient capables d’effectuer des transformations avancées, ils sont conçus pour des scénarios en libre-service et ne nécessitent pas de connaissances en informatique ou en développement.

Scénarios d’utilisation de flux de données

Vous pouvez utiliser les flux de données à de nombreuses fins. Les scénarios suivants fournissent quelques exemples de cas d’usage courants de flux de données.

Migration de données à partir de systèmes hérités

Dans ce scénario, une organisation a décidé d’utiliser Power Apps plutôt que le système local hérité pour sa nouvelle expérience d’interface utilisateur. Power Apps, Power Automate et AI Builder utilisent tous Dataverse comme système de stockage de données principal. Les données actuelles du système local existant peuvent être migrées vers Dataverse à l’aide d’un flux de données, puis ces produits peuvent utiliser ces données.

Utilisation de flux de données pour créer un entrepôt de données

Vous pouvez utiliser des flux de données à la place d’autres outils d’extraction, transformation et chargement (ETL) pour créer un entrepôt de données. Dans ce scénario, les ingénieurs données d’une entreprise décident d’utiliser des flux de données pour créer leur entrepôt de données conçu selon un schéma en étoile, incluant des tables de faits et de dimension dans Data Lake Storage. Power BI est ensuite utilisé pour générer des rapports et des tableaux de bord en récupérant des données des flux de données.

Utilisation de flux de données pour créer un modèle dimensionnel

Vous pouvez utiliser des flux de données à la place d’autres outils ETL pour créer un modèle dimensionnel. Par exemple, les ingénieurs données d’une entreprise décident d’utiliser des flux de données pour créer leur modèle dimensionnel conçu selon un schéma en étoile, incluant des tables de faits et de dimension dans Azure Data Lake Storage Gen2. Power BI est ensuite utilisé pour générer des rapports et des tableaux de bord en récupérant des données des flux de données.

Centraliser la préparation de données et la réutilisation de modèles sémantiques dans plusieurs solutions Power BI

Si plusieurs solutions Power BI utilisent la même version transformée d’une table, le processus de création de celle-ci est répété plusieurs fois. Cela augmente la charge sur le système source, consomme davantage de ressources, et crée des données en double avec plusieurs points de défaillance. Au lieu de cela, un flux de données unique peut être créé pour calculer les données de toutes les solutions. Power BI peut ensuite réutiliser le résultat de la transformation dans toutes les solutions. Le flux de données, s’il est utilisé de la sorte, peut faire partie d’une architecture robuste d’implémentation de Power BI qui évite la duplication de code Power Query et réduit les coûts de maintenance de la couche d’intégration des données.

Étapes suivantes

Les articles suivants fournissent du matériel d’étude supplémentaire pour les flux de données.

• Créer et utiliser des flux de données dans Microsoft Power Platform
• Création et utilisation de flux de données dans Power BI