Explorer et transformer des données dans un lakehouse

Effectué

Après avoir chargé des données dans le lakehouse, vous pouvez utiliser différents outils et techniques pour les explorer et les transformer, notamment :

  • Apache Spark : chaque lakehouse Fabric peut utiliser des pools Spark via des notebooks ou des définitions de travail Spark pour traiter des données dans des fichiers et des tables du lakehouse à l’aide de Scala, PySpark ou Spark SQL.

    • Notebooks : interfaces de programmation interactives dans lesquelles vous pouvez utiliser du code pour lire, transformer et écrire des données directement dans le lakehouse sous forme de tables et/ou de fichiers.

    • Définitions de travaux Spark : scripts à la demande ou planifiés qui utilisent le moteur Spark pour traiter des données dans le lakehouse.

  • Point de terminaison analytique SQL : chaque lakehouse inclut un point de terminaison analytique SQL à travers lequel vous pouvez exécuter des instructions Transact-SQL pour interroger, filtrer, agréger et explorer des données dans des tables de lakehouse.

  • Flux de données (Gen2) : en plus d’utiliser un flux de données pour ingérer des données dans le lakehouse, vous pouvez créer un flux de données pour effectuer des transformations ultérieures via Power Query et éventuellement renvoyer les données transformées dans le lakehouse.

  • Pipelines de données : orchestrez une logique de transformation de données complexe qui opère sur des données dans le lakehouse via une séquence d’activités (telles que des flux de données, des travaux Spark et d’autres logiques de flux de contrôle).

Analyser et visualiser des données dans un lakehouse

Les données de vos tables de lakehouse sont incluses dans un modèle sémantique qui définit un modèle relationnel pour vos données. Vous pouvez modifier ce modèle sémantique (ou en créer d’autres), en définissant des mesures personnalisées, des hiérarchies, des agrégations et d’autres éléments d’un modèle sémantique. Vous pouvez ensuite utiliser le modèle sémantique comme source d’un rapport Power BI qui vous permet de visualiser et d’analyser les données.

En combinant les fonctionnalités de visualisation des données de Power BI avec le stockage centralisé et le schéma tabulaire d’un data lakehouse, vous pouvez implémenter une solution d’analytique de bout en bout sur une plateforme unique.