Dokumentácia Fabric Data Engineering

Fabric Data Engineering umožňuje používateľom navrhovať, budovať a udržiavať infraštruktúry a systémy, ktoré umožňujú ich organizáciám zhromažďovať, ukladať, spracovávať a analyzovať veľké objemy dát.

Informácie o Dátový inžinier

Prehľad

• Čo je to Dátový inžinier?
• Čo je lakehouse?

Koncept

• Tabuľky Lakehouse a Delta
• Roly a povolenia pracovného priestoru
• Výber ukladacieho priestoru údajov

Podrobný sprievodca

• Optimalizácia delta a objednávka V
• Načítanie do tabuliek

Začíname s prostredím lakehouse

Začať

• Vytvorenie jazera
• Navigácia v prieskumníkovi lakehouse

Podrobný sprievodca

• Získanie údajov do služby lakehouse pomocou poznámkového bloku

Kurz

• Krok 1 – Vytvorte pracovný priestor.
• Krok 2 - Vytvorte si jazero
• Krok 3 – Ingest data into lakehouse (Ingest data into lakehouse)
• Krok 4 – Transformovanie údajov do delta tabuliek
• Krok 5 – Vytvorte sémantický model a vytvorte report
• Krok 6 – Vyčistenie zdrojov

Začíname s poznámkovými blokmi

Začať

• Vytváranie a používanie poznámkových blokov

Podrobný sprievodca

• Vývoj a spustenie poznámkových blokov
• Preskúmanie údajov služby lakehouse pomocou poznámkového bloku
• Vizualizácia poznámkových blokov
• Ovládanie a nasadenie zdrojového ovládania poznámkových blokov
• Vytváranie a spúšťanie poznámkových blokov T-SQL

Dotaz s rozhraním API pre GraphQL

Prehľad

• Čo je rozhranie API služby Fabric pre GraphQL?

Začať

• Vytvorenie rozhrania API pre GraphQL a pridanie údajov

Podrobný sprievodca

• Spravovať vzťahy
• Pripojenie k aplikáciám
• Dotazovanie viacerých zdrojov údajov
• Ovládanie zdrojového kódu GraphQL a kanály nasadenia
• Monitorovanie tabule a zapisovanie do denníka (Ukážka)

Integrácia programu VS Code

Koncept

• Čo je rozšírenie Data Engineering VS Code?

Podrobný sprievodca

• Používanie poznámkových blokov z VS Code
• Použitie obrázka kontajnera z VS Code
• Použitie definícií úloh spark z VS Code
• Preskúmať lakehouse z VS Code
• Vývoj notebooku z webového prostredia nástroja VS Code

Apache Spark pre dátové inžinierstvo

Koncept

• Definícia úlohy v Apache Spark
• Čo je poradca pre Apache Spark?

Začať

• Vytvorenie definície úlohy v službe Spark
• Vytvorenie definície úloh služby Spark pomocou rozhrania API služby Fabric
• Integrácia Git definície úlohy spark

Podrobný sprievodca

• Naplánovanie a spustenie definície úlohy Spark
• Spravovanie knižníc Apache Spark
• Ako používať fabric MSSparkUtils

Začíname s prostredím

Začať

• Textilné prostredia

Podrobný sprievodca

• Správa výpočtovej služby Spark v prostrediach
• Správa knižníc v prostrediach
• Environment Git integration and deployment pipeline (Integrácia a kanál nasadenia) prostredia
• Správa prostredia prostredníctvom verejných rozhraní API
• Správa knižníc v prostredí zabezpečenom ochranou odchádzajúceho prístupu

Fabric Livy API

Prehľad

• Čo je rozhranie Livy API?

Začať

• Vytváranie a spúšťanie úloh Spark pomocou rozhrania API Livy
• Odoslanie úloh relácie rozhrania Livy API
• Odoslať Livy API dávkové úlohy

Optimalizujte s využitím materializovaných výhľadov na jazero

Prehľad

• Čo sú realizované zobrazenia jazera?

Začať

• Začíname s realizovaným zobrazením jazera
• Implementácia architektúry medailónu s realizovaným zobrazením jazera
• Spravovanie realizovaného zobrazenia jazera