Dokumentation om Infrastrukturdatateknik

Infrastrukturdatateknik gör det möjligt för användare att utforma, bygga och underhålla infrastrukturer och system som gör det möjligt för deras organisationer att samla in, lagra, bearbeta och analysera stora mängder data.

Om Dataingenjör

Översikt

• Vad är datahantering?
• Vad är ett sjöhus?

Koncept

• Lakehouse- och Delta-tabeller
• Arbetsyteroller och behörigheter
• Välj ett datalager

Instruktioner

• Deltaoptimering och V-order
• Läs in till tabeller

Kom igång med lakehouse

Kom igång

• Skapa ett sjöhus
• Navigera i Lakehouse Explorer

Instruktioner

• Hämta data till Lakehouse genom att använda anteckningsboken

Självstudie

• Steg 1 – Skapa en arbetsyta
• Steg 2 – Skapa ett sjöhus
• Steg 3 – Importera data till lakehouse
• Steg 4 – Transformera data till deltatabeller
• Steg 5 – Skapa en semantisk modell och skapa en rapport
• Steg 6 – Rensa resurser

Kom igång med anteckningsböcker

Kom igång

• Skapa och använd anteckningsböcker

Instruktioner

• Utveckla och köra notebook-filer
• Utforska lakehouse-data med en anteckningsfil
• Visualisera notebook-filer
• Källkontroll och distribution av anteckningsböcker
• Skapa och köra T-SQL Notebooks

Fråga med API för GraphQL

Översikt

• Vad är Fabric API för GraphQL?

Kom igång

• Skapa ett API för GraphQL och lägg till data

Instruktioner

• Hantera relationer
• Ansluta till program
• Fråga flera datakällor
• GraphQL-källkontroll och distributionskanaler
• Övervaka instrumentpanel och loggning (förhandsversion)

VS Code-integrering

Koncept

• Vad är VS Code-tillägget för Data Engineering?

Instruktioner

• Använd notebook-filerna från VS Code
• Använda containeravbildning från VS Code
• Använda Spark-jobbdefinitioner från VS Code
• Utforska lakehouse i VS Code
• Utveckla anteckningsbok i VS Code-webbupplevelsen

Apache Spark för datateknik

Koncept

• Definition av Apache Spark-jobb
• Vad är Apache Spark-rådgivare?

Kom igång

• Skapa en Spark-jobbdefinition
• Skapa en Spark-jobb-definition med ett Fabric-API
• Git-integrering för Spark-jobbdefinition

Instruktioner

• Schemalägga och köra en Spark-jobbdefinition
• Hantera Apache Spark-bibliotek
• Så här använder du Fabric MSSparkUtils

Kom igång med miljön

Kom igång

• Nätverksfabric-miljöer

Instruktioner

• Hantera Spark-beräkning i miljöer
• Hantera bibliotek i miljöer
• Miljöintegrering och distributionspipeline med Git
• Hantera miljön via offentliga API:er
• Hantera bibliotek i miljön som skyddas av utgående åtkomstskydd

Fabric Livy API

Översikt

• Vad är Livy-API:et?

Kom igång

• Skapa och köra Spark-jobb med livy-API:et
• Skicka Livy API-sessionjobb
• Skicka in batchjobb för Livy API

Optimera med materialiserade vyer över sjöar

Översikt

• Vad är materialiserad sjövy?

Kom igång

• Kom igång med materialiserade sjöutsikter
• Implementera medaljong-arkitektur med materialiserade sjövyer
• Hantera materialiserade sjövyer