Documentatie voor Fabric Data Engineering

Met Fabric Data Engineering kunnen gebruikers infrastructuren en systemen ontwerpen, bouwen en onderhouden waarmee hun organisaties grote hoeveelheden gegevens kunnen verzamelen, opslaan, verwerken en analyseren.

De Data-engineering

Overzicht

• Wat is Data-engineering?
• Wat is een lakehouse?

Concept

• Lakehouse- en Delta-tabellen
• Werkruimterollen en -machtigingen
• Een gegevensopslag kiezen

Instructies

• Delta-optimalisatie en V-order
• Laden naar tabellen

Aan de slag met Lakehouse

Aan de slag

• Een lakehouse maken
• Navigeren in de lakehouse explorer

Instructies

• Gegevens ophalen in Lakehouse met behulp van notebook

Zelfstudie

• Stap 1: Een werkruimte maken
• Stap 2: Een lakehouse maken
• Stap 3: gegevens opnemen in Lakehouse
• Stap 4: gegevens transformeren in deltatabellen
• Stap 5: een semantisch model maken en een rapport maken
• Stap 6 - Hulpmiddelen opschonen

Aan de slag met notebooks

Aan de slag

• Notitieblokken maken en gebruiken

Instructies

• Notebooks ontwikkelen en uitvoeren
• Lakehouse-gegevens verkennen met een notebook
• Notebooks visualiseren
• Notebooks bronbeheer en implementatie
• T-SQL Notebooks maken en uitvoeren

Query's uitvoeren met API voor GraphQL

Overzicht

• Wat is Fabric-API voor GraphQL?

Aan de slag

• Een API voor GraphQL maken en gegevens toevoegen

Instructies

• Relaties beheren
• Verbinding maken met toepassingen
• Query's uitvoeren op meerdere gegevensbronnen
• GraphQL-broncodebeheer en implementatiepijplijnen
• Dashboard en logboekregistratie bewaken (preview)

VS Code-integratie

Concept

• Wat is data engineering VS Code-extensie?

Instructies

• Notebooks gebruiken vanuit VS Code
• Gebruik containerimages vanuit VS Code
• Spark-taakdefinities gebruiken vanuit VS Code
• Lakehouse verkennen vanuit VS Code
• Notebook ontwikkelen vanuit vs Code-webervaring

Apache Spark voor data engineering

Concept

• Apache Spark-taakdefinitie
• Wat is Apache Spark Advisor?

Aan de slag

• Een Spark-taakdefinitie maken
• Een Spark-taakdefinitie maken met een Fabric-API
• Git-integratie van Spark-taakdefinitie

Instructies

• Een Spark-taakdefinitie plannen en uitvoeren
• Apache Spark-bibliotheken beheren
• Fabric MSSparkUtils gebruiken

Aan de slag met omgeving

Aan de slag

• Fabric-omgevingen

Instructies

• Spark-rekenproces beheren in omgevingen
• Bibliotheken in omgevingen beheren
• Git-integratie- en implementatiepijplijn voor omgeving
• De omgeving beheren via openbare API's
• Bibliotheken beheren in een omgeving die wordt beveiligd door uitgaande toegangsbeveiliging

Fabric Livy-API

Overzicht

• Wat is de Livy-API?

Aan de slag

• Spark-taken maken en uitvoeren met behulp van de Livy-API
• Livy API-sessieopdrachten verzenden
• Livy API-batchtaken verzenden

Optimaliseer met behulp van gematerialiseerde datalake-weergaven

Overzicht

• Wat zijn gerealiseerde uitzichten op het meer?

Aan de slag

• Aan de slag met gematerialiseerde meerweergaven
• Medalillon-architectuur implementeren met gerealiseerde uitzichten op het meer
• Gematerialiseerde views van het data lake beheren