documentatie Data-engineer in Microsoft Fabric

Met data engineering in Microsoft Fabric kunnen gebruikers infrastructuren en systemen ontwerpen, bouwen en onderhouden waarmee hun organisaties grote hoeveelheden gegevens kunnen verzamelen, opslaan, verwerken en analyseren.

Over Data-engineer ing

Overzicht

• Wat is Data Engineering?
• Wat is een lakehouse?

Concept

• Lakehouse- en Delta-tabellen
• Werkruimterollen en -machtigingen
• Een gegevensopslag kiezen

Instructies

• Delta-optimalisatie en V-order
• Laden naar tabellen

Aan de slag met Lakehouse

Aan de slag

• Een lakehouse maken
• Navigeren in de lakehouse explorer

Instructies

• Gegevens ophalen in Lakehouse met behulp van notebook

Zelfstudie

• Stap 1: Een werkruimte maken
• Stap 2: Een lakehouse maken
• Stap 3: gegevens opnemen in Lakehouse
• Stap 4: gegevens transformeren in deltatabellen
• Stap 5: een rapport maken
• Stap 6: Resources opschonen

Aan de slag met notebooks

Aan de slag

• Notitieblokken maken en gebruiken

Instructies

• Notebooks ontwikkelen en uitvoeren
• Lakehouse-gegevens verkennen met een notebook
• Notebooks visualiseren
• Broncodebeheer en implementatie van notebooks
• T-SQL Notebooks maken en uitvoeren

Query's uitvoeren met API voor GraphQL

Overzicht

• Wat is Fabric-API voor GraphQL?

Aan de slag

• Een API voor GraphQL maken en gegevens toevoegen

Instructies

• Relaties beheren
• Verbinding maken met toepassingen
• Query's uitvoeren op meerdere gegevensbronnen
• GraphQL-broncodebeheer en implementatiepijplijnen
• Dashboard en logboekregistratie bewaken (preview)

VS Code-integratie

Concept

• Wat is data engineering VS Code-extensie?

Instructies

• Notebooks gebruiken vanuit VS Code
• Containerinstallatiekopieën van VS Code gebruiken
• Spark-taakdefinities gebruiken vanuit VS Code
• Lakehouse verkennen vanuit VS Code
• Notebook ontwikkelen vanuit vs Code-webervaring

Apache Spark voor data engineering

Concept

• Apache Spark-taakdefinitie
• Wat is Apache Spark Advisor?

Aan de slag

• Een Spark-taakdefinitie maken
• Een Spark-taakdefinitie maken met een Fabric-API
• Git-integratie van Spark-taakdefinitie

Instructies

• Een Spark-taakdefinitie plannen en uitvoeren
• Apache Spark-bibliotheken beheren
• Fabric MSSparkUtils gebruiken

Aan de slag met omgeving

Aan de slag

• Microsoft Fabric-omgevingen

Instructies

• Spark-rekenproces beheren in omgevingen
• Bibliotheken in omgevingen beheren
• Git-integratie- en implementatiepijplijn voor omgeving
• De omgeving beheren via openbare API's
• Bibliotheken beheren in een omgeving die wordt beveiligd door uitgaande toegangsbeveiliging

Fabric Livy-API

Overzicht

• Wat is de Livy-API?

Aan de slag

• Spark-taken maken en uitvoeren met behulp van de Livy-API
• Livy API-sessietaken verzenden
• Livy API-batchtaken verzenden

Optimaliseren met gerealiseerde meerweergaven

Overzicht

• Wat zijn gerealiseerde uitzichten op het meer?

Aan de slag

• Aan de slag met gematerialiseerde meerweergaven
• Medalillon-architectuur implementeren met gerealiseerde uitzichten op het meer
• Gerealiseerde lakeweergaven beheren