Dátový inžinier dokumentáciu v službe Microsoft Fabric

Dátové inžinierstvo v službe Microsoft Fabric umožňuje používateľom navrhovať, vytvárať a udržiavať infraštruktúry a systémy, ktoré umožňujú ich organizáciám zhromažďovať, ukladať, spracovávať a analyzovať veľké objemy údajov.

Informácie o Dátový inžinier

Prehľad

• Čo je dátové inžinierstvo?
• Čo je lakehouse?

Koncept

• Tabuľky Lakehouse a Delta
• Roly a povolenia pracovného priestoru
• Výber ukladacieho priestoru údajov

Podrobný sprievodca

• Optimalizácia delta a objednávka V
• Načítanie do tabuliek

Začíname s prostredím lakehouse

Začať

• Vytvorenie jazera
• Navigácia v prieskumníkovi lakehouse

Podrobný sprievodca

• Získanie údajov do služby lakehouse pomocou poznámkového bloku

Kurz

• Krok 1 – Vytvorte pracovný priestor.
• Krok 2 - Vytvorte si jazero
• Krok 3 – Ingest data into lakehouse (Ingest data into lakehouse)
• Krok 4 – Transformovanie údajov do delta tabuliek
• Krok 5 – zostavenie zostavy
• Krok 6 – Vyčistenie zdrojov

Začíname s poznámkovými blokmi

Začať

• Vytváranie a používanie poznámkových blokov

Podrobný sprievodca

• Vývoj a spustenie poznámkových blokov
• Preskúmanie údajov služby lakehouse pomocou poznámkového bloku
• Vizualizácia poznámkových blokov
• Ovládanie a nasadenie zdrojového ovládania poznámkových blokov
• Vytváranie a spúšťanie poznámkových blokov T-SQL

Dotaz s rozhraním API pre GraphQL

Prehľad

• Čo je rozhranie API služby Fabric pre GraphQL?

Začať

• Vytvorenie rozhrania API pre GraphQL a pridanie údajov

Podrobný sprievodca

• Spravovať vzťahy
• Pripojenie k aplikáciám
• Dotazovanie viacerých zdrojov údajov
• Ovládanie zdrojového kódu GraphQL a kanály nasadenia
• Monitorovanie tabule a zapisovanie do denníka (Ukážka)

Integrácia programu VS Code

Koncept

• Čo je rozšírenie Data Engineering VS Code?

Podrobný sprievodca

• Používanie poznámkových blokov z VS Code
• Použitie obrázka kontajnera z VS Code
• Použitie definícií úloh spark z VS Code
• Preskúmať lakehouse z VS Code
• Vývoj notebooku z webového prostredia nástroja VS Code

Apache Spark for Data Engineering

Koncept

• Definícia úlohy v Apache Spark
• Čo je poradca pre Apache Spark?

Začať

• Vytvorenie definície úlohy v službe Spark
• Vytvorenie definície úloh služby Spark pomocou rozhrania API služby Fabric
• Integrácia Git definície úlohy spark

Podrobný sprievodca

• Naplánovanie a spustenie definície úlohy Spark
• Spravovanie knižníc Apache Spark
• Ako používať fabric MSSparkUtils

Začíname s prostredím

Začať

• Prostredia služby Microsoft Fabric

Podrobný sprievodca

• Správa výpočtovej služby Spark v prostrediach
• Správa knižníc v prostrediach
• Environment Git integration and deployment pipeline (Integrácia a kanál nasadenia) prostredia
• Migrácia knižníc a vlastností Spark do prostredia
• Správa knižníc v prostredí zabezpečenom ochranou odchádzajúceho prístupu

Fabric Livy API

Prehľad

• Čo je rozhranie Livy API?

Začať

• Vytváranie a spúšťanie úloh Spark pomocou rozhrania API Livy
• Odoslanie úloh relácie rozhrania Livy API
• Odoslať Livy API dávkové úlohy

Optimalizácia so zobrazeniami realizovaného jazera

Prehľad

• Čo sú realizované zobrazenia jazera?

Začať

• Začíname s realizovaným zobrazením jazera
• Implementácia architektúry medailónu s realizovaným zobrazením jazera
• Spravovanie realizovaného zobrazenia jazera