Documentazione di Fabric Data Engineering

Fabric Data Engineering consente agli utenti di progettare, creare e gestire infrastrutture e sistemi che consentono alle organizzazioni di raccogliere, archiviare, elaborare e analizzare grandi volumi di dati.

Informazioni sull’ingegneria dei dati

Panoramica

• Che cos'è l'ingegneria dei dati?
• Che cos'è un lakehouse?

Concetto

• Tabelle Lakehouse e Delta
• Ruoli e autorizzazioni dell'area di lavoro
• Scelta di un archivio dati

Guida pratica

• Ottimizzazione Delta e V-Order
• Carica nelle tabelle

Introduzione a Lakehouse

Operazioni preliminari

• Creare un lakehouse
• Spostarsi in Esplora lakehouse

Guida pratica

• Inserire i dati nel lakehouse usando il notebook

Esercitazione

• Passaggio 1: Creare un'area di lavoro
• Passaggio 2: creare un lakehouse
• Passaggio 3: inserire dati in un lakehouse
• Passaggio 4: trasformare dati in tabelle Delta
• Passaggio 5: Creare un modello semantico e creare un report
• Passaggio 6: pulire le risorse

Introduzione ai notebook

Operazioni preliminari

• Creare e usare notebook

Guida pratica

• Sviluppare ed eseguire notebook
• Esplorare i dati di un lakehouse con un notebook
• Visualizzazione di notebook
• Controllo del codice sorgente e distribuzione dei notebook
• Creare ed eseguire notebook T-SQL

Query con l'API GraphQL

Panoramica

• Che cos'è l'API Fabric per GraphQL?

Operazioni preliminari

• Creare un'API per GraphQL e aggiungere dati

Guida pratica

• Gestione delle relazioni
• Connettersi alle applicazioni
• Eseguire query su più origini dati
• Pipeline di distribuzione e controllo del codice sorgente GraphQL
• Monitoraggio del dashboard e del log (anteprima)

Integrazione di Visual Studio Code

Concetto

• Che cos'è l'estensione VS Code di Data Engineering?

Guida pratica

• Usare notebook da VS Code
• Usare un'immagine del contenitore da VS Code
• Utilizzare le definizioni dei job Spark da VS Code
• Esplora il lakehouse con VS Code
• Sviluppare notebook dall'esperienza Web di VS Code

Apache Spark per ingegneria dei dati

Concetto

• Definizione del lavoro di Apache Spark
• Che cos'è Apache Spark Advisor?

Operazioni preliminari

• Creare una definizione di processo Spark
• Creare una definizione di processo Spark con un'API di Fabric
• Integrazione con Git della definizione del processo Spark

Guida pratica

• Pianificare e eseguire una definizione di job Spark
• Gestire librerie Apache Spark
• Come usare Fabric MSSparkUtils

Introduzione all’ambiente

Operazioni preliminari

• Ambienti di infrastruttura

Guida pratica

• Gestire gli ambienti di calcolo Spark
• Gestire librerie in ambienti
• Pipeline di integrazione di Git e distribuzione dell'ambiente
• Gestire l'ambiente tramite API pubbliche
• Gestire le librerie con accesso di rete limitato in Fabric

API Fabric Livy

Panoramica

• Che cos'è l'API Livy?

Operazioni preliminari

• Creare ed eseguire processi Spark usando l'API Livy
• Inviare processi di sessione dell'API Livy
• Inviare processi batch dell'API Livy

Ottimizzare con viste lake materializzate

Panoramica

• Che cosa sono le viste del lago materializzate?

Operazioni preliminari

• Introduzione alle viste materializzate del lago
• Implementare l'architettura medallion con viste lake materializzate
• Gestire viste lake materializzate