Sdílet prostřednictvím

Modul runtime 1.1

  • Článek

Microsoft Fabric Runtime je platforma integrovaná v Azure založená na Apache Sparku, která umožňuje spouštění a správu prostředí Datoví technici a Datová Věda prostředí v prostředcích infrastruktury. Tento dokument se zabývá komponentami a verzemi modulu Fabric Runtime 1.1.

Upozorňující

Datum ukončení podpory modulu Runtime 1.1 bylo oznámeno 12. července 2024. Modul runtime 1.1 založený na Apache Sparku 3.3 bude od 31. března 2025 zastaralý a zakázaný. Upgradujte pracovní prostor a prostředí na runtime 1.2 nebo Runtime 1.3. Úplný životní cyklus a zásady podpory modulů runtime Apache Spark v prostředcích infrastruktury najdete v tématu Životní cyklus modulů runtime Apache Spark v prostředcích Fabric.

Microsoft Fabric Runtime 1.1 je jedním z modulů runtime nabízených na platformě Microsoft Fabric. Hlavní komponenty modulu runtime 1.1 jsou:

  • Apache Spark 3.3
  • Operační systém: Ubuntu 18.04
  • Java: 1.8.0_282
  • Scala: 2.12.15
  • Python: 3.10
  • Delta Lake: 2.2
  • R: 4.2.2

Tip

Vždy používejte nejnovější verzi modulu runtime GA pro produkční úlohu, která je aktuálně Runtime 1.2.

Microsoft Fabric Runtime 1.1 obsahuje kolekci balíčků výchozí úrovně, včetně úplné instalace Anaconda a běžně používaných knihoven pro Javu/Scala, Python a R. Tyto knihovny se automaticky zahrnou při používání poznámkových bloků nebo úloh na platformě Microsoft Fabric. Úplný seznam knihoven najdete v dokumentaci.

Microsoft Fabric pravidelně vydává aktualizace údržby pro modul runtime 1.1, poskytuje opravy chyb, vylepšení výkonu a opravy zabezpečení. Zajištění aktuálnosti těchto aktualizací zaručuje optimální výkon a spolehlivost úloh zpracování dat. Pokud aktuálně používáte Modul runtime 1.1, můžete upgradovat na Modul runtime 1.2 tak, že přejdete na Nastavení > pracovního prostoru Datoví technici nastavení / Science > Spark Settings.

Snímek obrazovky znázorňující, kde vybrat verzi modulu runtime

Nové funkce a vylepšení – Apache Spark 3.3.1

Přečtěte si úplnou verzi poznámky k verzi pro konkrétní verzi Apache Sparku, a to tak , že navštívíte Spark 3.3.0 i Spark 3.3.1.

Nové funkce a vylepšení – Delta Lake 2.2

Projděte si zdrojové a úplné poznámky k verzi v Delta Lake 2.2.0.

Výchozí balíčky pro Javu nebo Scala

Seznam všech balíčků výchozí úrovně pro Javu, Scala, Python a jejich odpovídající verze najdete v poznámkách k verzi.

Migrace mezi různými verzemi Apache Sparku

Migrace úloh do prostředí Fabric Runtime 1.1 (Apache Spark 3.3) ze starší verze Apache Sparku zahrnuje řadu kroků k zajištění bezproblémové migrace. Tato příručka popisuje nezbytné kroky, které vám pomůžou efektivně a efektivně migrovat.

  1. Projděte si poznámky k verzi modulu Fabric Runtime 1.1, včetně kontroly komponent a balíčků na výchozí úrovni, které jsou součástí modulu runtime, a seznamte se s novými funkcemi a vylepšeními.

  2. Zkontrolujte kompatibilitu aktuálního nastavení a všech souvisejících knihoven, včetně závislostí a integrací. Projděte si příručky k migraci a identifikujte potenciální zásadní změny:

    • Projděte si průvodce migrací Spark Core.
    • Projděte si průvodce migrací sql, datových sad a datových rámců.
    • Pokud vaše řešení souvisí se streamováním struktury Apache Sparku, projděte si průvodce migrací strukturovaného streamování.
    • Pokud používáte PySpark, projděte si průvodce migrací Pyspark.
    • Pokud migrujete kód z Koalas do PySparku, projděte si průvodce migrací Koalas do rozhraní PANDAS API ve Sparku.

  3. Přesuňte úlohy do prostředků infrastruktury a ujistěte se, že máte zálohy dat a konfiguračních souborů pro případ, že se potřebujete vrátit k předchozí verzi.

  4. Aktualizujte všechny závislosti, na které může mít vliv nová verze Apache Sparku nebo jiných komponent souvisejících s modulem Fabric Runtime 1.1, včetně knihoven nebo konektorů třetích stran. Před nasazením do produkčního prostředí nezapomeňte otestovat aktualizované závislosti v přípravném prostředí.

  5. Aktualizujte konfiguraci Apache Sparku ve vaší úloze, včetně aktualizace nastavení konfigurace, úprav přidělení paměti a úprav všech zastaralých konfigurací.

  6. Upravte aplikace Apache Spark (poznámkové bloky a definice úloh Apache Sparku) tak, aby používaly nová rozhraní API a funkce představené v prostředí Fabric Runtime 1.1 a Apache Spark 3.3. Možná budete muset aktualizovat kód tak, aby vyhovoval zastaralým nebo odebraným rozhraním API, a refaktorovat aplikace tak, aby využívaly vylepšení výkonu a nové funkce.

  7. Důkladně otestujte aktualizované aplikace v přípravném prostředí, abyste zajistili kompatibilitu a stabilitu s Apache Sparkem 3.3. Proveďte testování výkonu, funkční testování a regresní testování a identifikujte a vyřešte případné problémy, ke kterým může dojít během procesu migrace.

  8. Po ověření aplikací v přípravném prostředí nasaďte aktualizované aplikace do produkčního prostředí. Sledujte výkon a stabilitu aplikací po migraci a identifikujte případné problémy, které je potřeba řešit.

  9. Aktualizujte interní dokumentaci a školicí materiály tak, aby odrážely změny zavedené v modulu Fabric Runtime 1.1. Ujistěte se, že členové vašeho týmu znají nové funkce a vylepšení, abyste maximalizovali výhody migrace.

Související obsah