Fabric Runtime 2.0 (Náhled)

Důležité

Tato funkce je ve verzi Preview.

Fabric Runtime poskytuje bezproblémovou integraci v rámci ekosystému Fabric a nabízí robustní prostředí pro projekty datového inženýrství a datové vědy poháněné Apache Sparkem.

Tento článek představuje Fabric Runtime 2.0 Public Preview, nejnovější runtime navržený pro výpočty velkých dat ve Fabric. Zvýrazňuje klíčové funkce a komponenty, díky kterým je tato verze významným krokem vpřed pro škálovatelné analýzy a pokročilé úlohy.

Modul Fabric Runtime 2.0 obsahuje následující komponenty a upgrady navržené tak, aby zlepšily možnosti zpracování dat:

  • Apache Spark 4.1
  • Operační systém: Azure Linux 3.0 (Mariner 3.0)
  • Java: 21
  • Scala: 2.13
  • Python: 3.13
  • Delta Lake: 4,2
  • R: 4.5.2

Důležité

Tým Fabric zavádí aktualizaci Fabric Runtime 2.0. V rámci této aktualizace přináší upgrade Python zásadní změnu pro zákazníky používající environmentální položky s knihovnami python a wheel. Zákazníci vidí jednu ze dvou chybových hlášek při vykonávání definice úlohy v notebooku nebo Sparku (SJD):

  • Chyba: varování: 1 zastarání (od verze 2.13.0); podrobnosti zobrazíte povolením :setting -deprecation nebo :replay -deprecation Zdroj: SparkCoreService.
  • "LibraryManagementError": "Byla zjištěna aktualizace základního prostředí Spark Python. Prosím, znovu publikujte toto prostředí.|UserError"

Požadované akce

Znovu publikujte své prostředí (včetně knihoven). K tomu odstraňte všechny knihovny, publikujte prostředí, znovu přidejte všechny knihovny a publikujte znovu. Tento proces znovu vytváří prostředí pomocí aktualizovaného Python runtime a problém řeší.

Návod

Modul fabric Runtime 2.0 obsahuje podporu nativního prováděcího modulu, která může výrazně zvýšit výkon bez dalších nákladů. Nativní spouštěcí modul můžete povolit na úrovni prostředí, aby všechny úlohy a poznámkové bloky automaticky dědily vylepšené možnosti výkonu.

Povolení modulu runtime 2.0

Modul runtime 2.0 můžete povolit na úrovni pracovního prostoru nebo na úrovni položky prostředí. Pomocí nastavení pracovního prostoru použijte modul runtime 2.0 jako výchozí pro všechny úlohy Sparku ve vašem pracovním prostoru. Případně vytvořte položku prostředí s modulem Runtime 2.0, který se použije s konkrétními poznámkovými bloky nebo definicemi úloh Sparku, což přepíše výchozí nastavení pracovního prostoru.

Povolení modulu runtime 2.0 v nastavení pracovního prostoru

Nastavení modulu runtime 2.0 jako výchozího pro celý pracovní prostor:

  1. Přejděte na stránku Nastavení pracovního prostoru v pracovním prostoru Fabric.

    Snímek obrazovky znázorňující, kde vybrat verzi modulu runtime pro nastavení pracovního prostoru

  2. Vyberte kartu Datové inženýrství nebo věda a pak vyberte Nastavení Sparku.

  3. Vyberte kartu Prostředí.

  4. V rozbalovacím menu verze Runtime vyberte Veřejný náhled 2.0 (Spark 4.1, Delta 4.2) a uložte si své změny.

  5. Modul runtime 2.0 je nastavený jako výchozí modul runtime pro váš pracovní prostor.

Povolit Runtime 2.0 v nějakém elementu prostředí

Použití modulu runtime 2.0 s konkrétními poznámkovými bloky nebo definicemi úloh Sparku:

  1. Vytvořte novou položku prostředí nebo otevřete existující položku.

  2. V rozbalovacím menu Runtime vyberte Veřejný náhled 2.0 (Spark 4.1, Delta 4.2),Uložit a Publikovat své změny.

    Screenshot ukazující, kde vybrat runtime verzi pro položku prostředí.

  3. Dále můžete použít tuto položku Environment s definicí práce v notebooku nebo Sparku.

Nyní můžete začít experimentovat s nejnovějšími vylepšeními a funkcemi představenými v Fabric Runtime 2.0 (Spark 4.1 a Delta Lake 4.2).

Veřejná ukázka

Veřejná preview fáze Fabric Runtime 2.0 vám dává přístup k novým funkcím a API jak ze Spark 4.1, tak z Delta Lake 4.2. Preview verze umožňuje okamžitě využít nejnovější vylepšení založené na technologii Spark a Delta a zajistit hladkou připravenost a přechod na vylepšení, jako jsou novější verze Java, Scala a Python.

Návod

Aktuální informace, podrobný seznam změn a konkrétní poznámky k verzi pro moduly runtime Fabric najdete tak, že zkontrolujete a přihlásíte se k odběru verzí a aktualizací modulů Spark Runtime.

Hlavní přednosti

Vylepšení výkonu a prováděcího modulu

Modul fabric Runtime 2.0 obsahuje nativní spouštěcí modul, který poskytuje významná vylepšení výkonu oproti opensourcovém Sparku. Modul používá vektorizované zpracování k urychlení dotazů Sparku na infrastrukturu lakehouse bez nutnosti změn kódu.

Klíčové funkce výkonu v modulu Runtime 2.0:

  • Až šestkrát rychlejší: Srovnávací testy ukazují až šestkrát rychlejší výkon v porovnání s opensourcovým Sparkem v TPC-DS úlohách.
  • Vektorizované zpracování CSV: Nativní prováděcí modul obsahuje vektorizovaný analyzátor CSV, který zrychluje příjem CSV a zpracování dotazů. Podpora vektorizovaného parsování JSON a strukturovaného streamování Sparku se plánuje pro budoucí aktualizace.

Pokud chcete povolit nativní výpočetní stroj, přečtěte si téma Nativní výpočetní stroj pro Fabric Data Engineering.

Apache Spark 4.1

Apache Spark 4.0 označil významný milník jako úvodní vydání v sérii 4.x, které ztělesňuje kolektivní úsilí živé opensourcové komunity. Fabric Runtime 2.0 teď běží na Apache Spark 4.1, která je založená na základech s dalšími vylepšeními.

V této verzi je Spark SQL výrazně rozšířen o výkonné nové funkce navržené tak, aby zvýšily výraznost a všestrannost pro úlohy SQL, jako je podpora datových typů VARIANT, uživatelem definované funkce SQL, proměnné relace, syntaxe kanálu a kolace řetězců. PySpark se neustále věnuje funkční šíře i celkovému vývojářskému zážitku a přináší nativní rozhraní API pro vykreslování, nové rozhraní API pro zdroje dat Pythonu, podporu uživatelsky definovaných tabulkových funkcí (UDTF) v Pythonu a sjednocenou profilaci pro uživatelem definované funkce (UDF) v PySpark spolu s mnoha dalšími vylepšeními. Strukturované streamování se vyvíjí s klíčovými doplňky, které poskytují větší kontrolu a snadné ladění, zejména zavedení rozhraní API libovolného stavu v2 pro flexibilnější správu stavu a zdroj dat o stavu pro snadnější ladění.

Úplný seznam a podrobné změny můžete zkontrolovat tady:

Poznámka:

Ve Sparku 4.x je SparkR zastaralý a v budoucí verzi může být odstraněn.

Delta Lake 4.2

Delta Lake 4.2 navazuje na předchozí vydání Delta Lake a pokračuje v závazku učinit Delta Lake interoperabilním napříč formáty, snadnějším na práci a výkonnějším. Zahrnuje výkonné nové funkce, optimalizace výkonu a základní vylepšení pro budoucnost otevřených datových jezer.

Pro úplný seznam a podrobné změny zavedené s Delta Lake 3.3, 4.0, 4.1 a 4.2 viz:

Rozložení a optimalizace dat

Modul runtime 2.0 podporuje funkce rozložení a optimalizace dat pro tabulky Delta:

  • Řazení Z: Uspořádejte data v souborech tabulky Delta podle zadaných sloupců, aby se zlepšil výkon dotazů pro filtrované dotazy.
  • Liquid Clustering: Flexibilní přístup ke clusteringu, který automaticky optimalizuje rozložení dat bez ruční údržby.
  • Paralelní načítání snímků Delta: Nativní prováděcí modul načte snímky tabulek Delta paralelně a zkracuje dobu spouštění dotazů u velkých tabulek.

Důležité

Specifické funkce Delta Lake 4.2 jsou experimentální a pracují pouze na zkušenostech se Sparkem, jako jsou Notebooky a definice pracovních pozic ve Sparku. Pokud potřebujete použít stejné tabulky Delta Lake napříč několika úlohami Fabric, nepovolujte tyto funkce. Chcete-li se dozvědět více o tom, které verze a funkce protokolů jsou kompatibilní napříč všemi Fabric zážitky, viz interoperabilita formátů tabulek Delta Lake.

Správa výpočetních prostředků v modulu runtime 2.0

Modul runtime 2.0 podporuje následující funkce správy výpočetních prostředků:

  • Profily prostředků: Nakonfigurujte předdefinované přidělení prostředků pro relace Sparku tak, aby odpovídaly požadavkům úloh a kontrolovaly náklady.
  • Vlastní interaktivní skupiny (Preview): Vytvořte dedikované, předem připravené skupiny Sparku, které zkracují dobu spuštění relace. Vlastní živé fondy jsou dostupné ve verzi Preview pro úlohy runtime 2.0.

Omezení a poznámky

  • Specifické funkce Delta Lake 4.x jsou experimentální a pracují jenom s prostředími Sparku, jako jsou poznámkové bloky a definice úloh Sparku. Pokud potřebujete použít stejné tabulky Delta Lake napříč několika úlohami Fabric, nepovolujte tyto funkce. Další informace najdete v tématu Interoperabilita formátu tabulky Delta Lake.
  • Runtime 2.0 je ve veřejné verzi. Některé funkce a rozhraní API se můžou před obecnou dostupností změnit.
  • Rozšíření VS Code pro Fabric Spark podporuje modul runtime 2.0 pro vývoj definic úloh poznámkového bloku a Sparku.

Související obsah

  • Last updated on