Dokumentace platformy Fabric Data Engineering

Inženýrství datové struktury umožňuje uživatelům navrhovat, budovat a udržovat infrastruktury a systémy, které jejich organizacím umožňují shromažďovat, ukládat, zpracovávat a analyzovat velké objemy dat.

O datovém inženýrství

Přehled

• Co je Datoví technici?
• Co je jezero?

Koncepce

• Lakehouse a Delta tabulky
• Role a oprávnění pracovního prostoru
• Volba úložiště dat

Praktický průvodce

• Rozdílová optimalizace a pořadí V
• Načtení do tabulek

Začínáme s lakehousem

Začínáme

• Vytvořte lakehouse
• Navigace v prohlížeči lakehouse

Praktický průvodce

• Získání dat do prostředí lakehouse pomocí poznámkového bloku

Kurz

• Krok 1 – Vytvoření pracovního prostoru
• Krok 2 – vytvoření jezera
• Krok 3 : Ingestování dat do jezera
• Krok 4 : Transformace dat do tabulek Delta
• Krok 5: Vytvořit sémantický model a sestavit sestavu
• Krok 6 – Vyčištění prostředků

Začínáme s poznámkovými bloky

Začínáme

• Vytváření a používání poznámkových bloků

Praktický průvodce

• Vývoj a spouštění poznámkových bloků
• Prozkoumání dat lakehouse pomocí poznámkového bloku
• Vizualizovat poznámkové bloky
• Správa a nasazení zdrojového kódu pro poznámkové bloky
• Vytváření a spouštění poznámkových bloků T-SQL

Dotazování pomocí rozhraní API pro GraphQL

Přehled

• Co je rozhraní FABRIC API pro GraphQL?

Začínáme

• Vytvoření rozhraní API pro GraphQL a přidání dat

Praktický průvodce

• Spravovat vztahy
• Připojení k aplikacím
• Dotazování na více zdrojů dat
• Kanály správy zdrojového kódu GraphQL a nasazení
• Nástěnka pro monitorování a protokolování (předběžná verze)

Integrace editoru VS Code

Koncepce

• Co je rozšíření pro Data Engineering ve VS Code?

Praktický průvodce

• Použití poznámkových bloků z VS Code
• Použití obrazu kontejneru z VS Code
• Použití definic úloh Sparku z VS Code
• Prozkoumejte lakehouse ve VS Code
• Vyvíjejte notebook z webového prostředí VS Code

Apache Spark pro přípravu dat

Koncepce

• Definice úlohy Apache Sparku
• Co je Poradce pro Apache Spark?

Začínáme

• Vytvoření definice úlohy Sparku
• Vytvořte definici úlohy Spark pomocí Fabric API
• Integrace Gitu s definicí úloh Spark

Praktický průvodce

• Naplánování a spuštění definice úlohy Sparku
• Správa knihoven Apache Sparku
• Jak používat Fabric MSSparkUtils

Začínáme s prostředím

Začínáme

• Prostředí systému

Praktický průvodce

• Správa výpočetních prostředků Sparku v prostředích
• Správa knihoven v prostředích
• Integrace a kanál nasazení Gitu pro prostředí
• Správa prostředí prostřednictvím veřejných rozhraní API
• Správa knihoven v prostředí zabezpečeném ochranou odchozího přístupu

Fabric Livy API

Přehled

• Co je rozhraní Api Livy?

Začínáme

• Vytváření a spouštění úloh Sparku pomocí rozhraní Livy API
• Odeslat úlohy relací rozhraní Livy API
• Odesílání dávkových úloh rozhraní API Livy

Optimalizace s využitím materializovaných zobrazení jezera

Přehled

• Co jsou materializovaná zobrazení jezera?

Začínáme

• Začínáme s materializovanými zobrazeními jezera
• Implementace architektury medailionu s materializovanými zobrazeními jezera
• Správa materializovaných zobrazení jezera