Untersuchen und Transformieren von Daten in einem Lakehouse

  • 6 Minuten

Nach dem Laden von Daten in das Lakehouse können Sie verschiedene Tools und Techniken verwenden, um sie zu untersuchen und zu transformieren, einschließlich:

  • Apache Spark: Jedes Fabric-Lakehouse kann Spark-Pools über Notebooks oder Spark-Auftragsdefinitionen verwenden, um Daten in Dateien und Tabellen im Lakehouse mithilfe von Scala, PySpark oder Spark SQL zu verarbeiten.

    • Notebooks: Dies sind interaktive Programmieroberflächen, in denen Sie mithilfe von Code Daten lesen, transformieren und direkt in das Lakehouse als Tabellen und/oder Dateien schreiben können.

    • Spark-Auftragsdefinitionen: Dies sind abrufbare oder geplante Skripts, die die Spark-Engine verwenden, um Daten im Lakehouse zu verarbeiten.

  • SQL-Analyseendpunkt: Jedes Lakehouse enthält einen SQL-Analyseendpunkt, über den Sie Transact-SQL-Anweisungen ausführen können, um Daten in Lakehouse-Tabellen abzufragen, zu filtern, zu aggregieren und anderweitig zu untersuchen.

  • Dataflows (Gen2): Zusätzlich zur Verwendung eines Dataflows zum Erfassen von Daten im Lakehouse können Sie einen Dataflow erstellen, um nachfolgende Transformationen über Power Query durchzuführen und optional transformierte Daten zurück in das Lakehouse zu senden.

  • Datenpipelines: Orchestrieren Sie komplexe Datentransformationslogik, die über eine Sequenz von Aktivitäten (wie Dataflows, Spark-Aufträge und andere Ablaufsteuerungslogik) mit Daten im Lakehouse arbeitet.

Analysieren und Visualisieren von Daten in einem Lakehouse

Die Daten in Ihren Lakehouse-Tabellen sind in einem semantischen Modell enthalten, das ein relationales Modell für Ihre Daten definiert. Sie können dieses semantische Modell bearbeiten (oder andere semantische Modelle erstellen), indem Sie benutzerdefinierte Measures, Hierarchien, Aggregationen und andere Elemente eines semantischen Modells definieren. Anschließend können Sie das semantische Modell als Quelle für einen Power BI-Bericht verwenden, mit dem Sie die Daten visualisieren und analysieren können.

Durch die Kombination der Datenvisualisierungsfunktionen von Power BI mit dem zentralisierten Speicher und dem tabellarischen Schema eines Data Lakehouse können Sie eine umfassende Analyselösung auf einer einzigen Plattform implementieren.