Sdílet prostřednictvím

Fabric Runtime 1.3 (Public Preview)

  • Článek

Modul runtime Fabric nabízí bezproblémovou integraci s Azure. Poskytuje sofistikované prostředí pro projekty přípravy dat i datové vědy, které používají Apache Spark. Tento článek obsahuje přehled základních funkcí a komponent modulu Fabric Runtime 1.3, nejnovějšího modulu runtime pro výpočty velkých objemů dat.

Modul Fabric Runtime 1.3 obsahuje následující komponenty a upgrady navržené tak, aby zlepšily možnosti zpracování dat:

  • Apache Spark 3.5
  • Operační systém: Mariner 2.0
  • Java: 11
  • Scala: 2.12.17
  • Python: 3.11
  • Delta Lake: 3.1
  • R: 4.3.3

Poznámka:

Modul fabric Runtime 1.3 je v současné době ve fázi Public Preview. Integrace s VSCode a sloučením s nízkým shufflem se ve verzi Public Preview nepodporují.

Pomocí následujících pokynů integrujte modul runtime 1.3 do pracovního prostoru a použijte jeho nové funkce:

  1. V pracovním prostoru Fabric přejděte na kartu Nastavení pracovního prostoru.
  2. Přejděte na kartu Datoví technici/Věda a vyberte Nastavení Sparku.
  3. Vyberte kartu Prostředí.
  4. V rozevíracím seznamu Verze modulu runtime vyberte verzi Public Preview 1.3 (Spark 3.5, Delta 3.1) a uložte změny. Tato akce nastaví 1.3 jako výchozí modul runtime pro váš pracovní prostor.

Snímek obrazovky znázorňující, kde vybrat verzi modulu runtime

Teď můžete začít pracovat s nejnovějšími vylepšeními a funkcemi zavedenými v modulu runtime Fabric 1.3 (Spark 3.5 a Delta Lake 3.1).

Tip

Aktuální informace najdete v podrobném seznamu změn a konkrétních poznámkách k verzi pro moduly runtime Fabric, zkontrolujte a přihlaste se k odběru verzí a aktualizací modulu Spark Runtime.

Hlavní přednosti

Apache Spark 3.5

Apache Spark 3.5.0 je šestá verze řady 3.x. Tato verze je produktem rozsáhlé spolupráce v rámci opensourcové komunity, která řeší více než 1 300 problémů, jak je zaznamenáno v Jiře.

V této verzi existuje upgrade s kompatibilitou strukturovaného streamování. Kromě toho tato verze rozšiřuje funkce v rámci PySpark a SQL. Přidává funkce, jako je klauzule identifikátoru SQL, pojmenované argumenty ve volání funkce SQL a zahrnutí funkcí SQL pro přibližné agregace HyperLogLogu. Mezi další nové funkce patří také uživatelem definované funkce tabulek Pythonu, zjednodušení distribuovaného trénování prostřednictvím DeepSpeed a nové funkce strukturovaného streamování, jako je šíření vodoznaku a operace dropDuplicatesWithinWatermark .

Můžete zkontrolovat úplný seznam a podrobné změny zde: https://spark.apache.org/releases/spark-release-3-5-0.html.

Delta Spark

Delta Lake 3.1 označuje kolektivní závazek, že Delta Lake bude interoperabilní napříč formáty, bude snazší pracovat s a výkonnější. Delta Spark 3.1.0 je postaven na Apache Sparku™ 3.5. Artefakt Mavenu Delta Sparku byl přejmenován z delta-core na delta-spark.

Můžete zkontrolovat úplný seznam a podrobné změny zde: https://docs.delta.io/3.1.0/index.html.

Poznámka:

Podělte se o svůj názor na prostředí Fabric Runtime na platformě Ideas. Nezapomeňte zmínit verzi a fázi vydání, na kterou odkazujete. Vážíme si zpětné vazby komunity a upřednostňujeme vylepšení na základě hlasů, abychom zajistili, že splňujeme potřeby uživatelů.

Související obsah