Documentazione sull’ingegneria dei dati in Microsoft Fabric

L’ingegneria dei dati in Microsoft Fabric consente agli utenti di progettare, creare e gestire infrastrutture e sistemi che consentono alle organizzazioni di raccogliere, archiviare, elaborare e analizzare grandi volumi di dati.

Informazioni sull’ingegneria dei dati

Panoramica

• Che cos'è l'ingegneria dei dati?
• Che cos'è un lakehouse?

Concetto

• Tabelle Lakehouse e Delta
• Ruoli e autorizzazioni dell'area di lavoro
• Scelta di un archivio dati

Guida pratica

• Ottimizzazione Delta e V-Order
• Carica in tabelle

Introduzione a Lakehouse

Introduzione

• Creare un lakehouse
• Spostarsi in Esplora lakehouse

Guida pratica

• Recuperare dati in lakehouse usando il notebook

Esercitazione

• Passaggio 1: Creare un'area di lavoro
• Passaggio 2: creare un lakehouse
• Passaggio 3: inserire dati in un lakehouse
• Passaggio 4: trasformare dati in tabelle Delta
• Passaggio 5: creare un report
• Passaggio 6: pulire le risorse

Introduzione ai notebook

Introduzione

• Creare e usare notebook

Guida pratica

• Sviluppare ed eseguire notebook
• Esplorare dati lakehouse con un notebook
• Visualizzare notebook
• Controllo del codice sorgente e distribuzione dei notebook
• Creare ed eseguire notebook T-SQL

Eseguire query con l'API per GraphQL

Panoramica

• Che cos'è l'API Fabric per GraphQL?

Introduzione

• Creare un'API per GraphQL e aggiungere dati

Guida pratica

• Gestione delle relazioni
• Connettersi alle applicazioni
• Eseguire query su più origini dati
• Pipeline di distribuzione e controllo del codice sorgente GraphQL
• Monitoraggio del dashboard e della registrazione (anteprima)

Integrazione di Visual Studio Code

Concetto

• Che cos'è l'estensione VS Code di Data Engineering?

Guida pratica

• Usare notebook da VS Code
• Usare un'immagine del contenitore da VS Code
• Usare definizioni processo Spark da VS Code
• Esplorare lakehouse da VS Code
• Sviluppare notebook dall'esperienza Web di VS Code

Apache Spark per ingegneria dei dati

Concetto

• Definizione del processo di Apache Spark
• Che cos'è Apache Spark Advisor?

Introduzione

• Creare una definizione di processo Spark
• Creare una definizione processo Spark con un'API Fabric
• Integrazione di Git della definizione processo Spark

Guida pratica

• Pianificare ed eseguire una definizione processo Spark
• Gestire librerie Apache Spark
• Come usare Fabric MSSparkUtils

Introduzione all’ambiente

Introduzione

• Ambienti in Microsoft Fabric

Guida pratica

• Gestire l'ambiente di calcolo Spark in ambienti
• Gestire librerie in ambienti
• Pipeline di distribuzione e integrazione di Git dell'ambiente
• Gestire l'ambiente tramite API pubbliche
• Gestione delle librerie nell'ambiente protetto dalla protezione dall'accesso in uscita

Fabric Livy API

Panoramica

• Che cos'è l'API Livy?

Introduzione

• Creare ed eseguire processi Spark usando l'API Livy
• Inviare processi di sessione dell'API Livy
• Inviare processi batch dell'API Livy

Ottimizzare con viste lake materializzate

Panoramica

• Che cosa sono le viste del lago materializzate?

Introduzione

• Introduzione alle viste materializzate del lago
• Implementare l'architettura medallion con viste lake materializzate
• Gestire viste lake materializzate