Moduly runtime Azure Synapse

Fondy Apache Sparku v Azure Synapse používají moduly runtime ke spojení základních verzí komponent, jako jsou optimalizace Azure Synapse, balíčky a konektory s konkrétní verzí Apache Sparku. Každý modul runtime se pravidelně upgraduje tak, aby zahrnoval nová vylepšení, funkce a opravy. Při vytváření bezserverového fondu Apache Spark vyberte odpovídající verzi Apache Sparku. Na základě toho je fond předinstalovaný s přidruženými komponentami a balíčky modulu runtime.

Moduly runtime mají následující výhody:

Rychlejší časy spuštění relace
Otestovaná kompatibilita s konkrétními verzemi Apache Sparku
Přístup k oblíbeným, kompatibilním konektorům a opensourcovým balíčkům

Podporované verze modulu runtime Azure Synapse

Návod

Důrazně doporučujeme proaktivně upgradovat úlohy na novější verzi ga modulu runtime, což je Azure Synapse Runtime pro Apache Spark 3.5 (GA). Projděte si průvodce migrací Apache Sparku.

Následující tabulka uvádí název modulu runtime, verzi Apache Sparku a datum vydání podporovaných verzí modulu runtime Azure Synapse Runtime.

Název modulu runtime	Datum vydání	Fáze vydání	Datum ukončení podpory	Datum účinnosti ukončení podpory
Azure Synapse Runtime pro Apache Spark 3.5	13. října 2025	GA	31. října 2026	31. října 2027
Azure Synapse Runtime pro Apache Spark 3.4	21. listopadu 2023	EOSA	30. dubna 2025	Otázka č. 1 2026
Azure Synapse Runtime pro Apache Spark 3.3	17. listopadu 2022	zastaralé a brzy zakázané	12. července 2024	31. března 2025

Fáze vydání modulu runtime

Úplný modul runtime pro životní cyklus Apache Sparku a zásady podpory najdete v modulu runtime Synapse pro životní cyklus Apache Sparku a možnosti podpory.

Opravy za běhu

Moduly runtime Azure Synapse pro opravy Apache Sparku se zahrnou měsíčně obsahující chyby, funkce a opravy zabezpečení základního modulu, jazykových prostředí, konektorů a knihoven Apache Sparku.

Poznámka:

Aktualizace údržby se automaticky použijí na nové relace pro daný bezserverový fond Apache Sparku.
Při používání nových verzí modulu runtime byste měli otestovat a ověřit, že vaše aplikace běží správně.

Důležité

Opravy zabezpečení Log4j 1.2.x

Opensourcová knihovna Log4j verze 1.2.x má několik známých cves (běžná ohrožení zabezpečení a expozice), jak je popsáno zde.

Ve všech modulech runtime fondu Synapse Spark jsme opravili jars Log4j 1.2.17, abychom zmírnit následující cvEs: CVE-2019-1751, CVE-2020-9488, CVE-2021-4104, CVE-2022-23302, CVE-2022-2330, CVE-2022-23307

Použitá oprava funguje odebráním následujících souborů, které jsou potřeba k vyvolání ohrožení zabezpečení:

org/apache/log4j/net/SocketServer.class
org/apache/log4j/net/SMTPAppender.class
org/apache/log4j/net/JMSAppender.class
org/apache/log4j/net/JMSSink.class
org/apache/log4j/jdbc/JDBCAppender.class
org/apache/log4j/chainsaw/*

Zatímco výše uvedené třídy se ve výchozích konfiguracích Log4j v Synapse nepoužívaly, je možné, že by na ní mohla záviset nějaká uživatelská aplikace. Pokud vaše aplikace potřebuje použít tyto třídy, použijte Správa knihovny k přidání zabezpečené verze Log4j do fondu Spark. Nepoužívejte Log4j verze 1.2.17, protože by to mohlo znovu narušovat chyby zabezpečení.

Zásady oprav se liší v závislosti na fázi životního cyklu modulu runtime:

Obecně dostupný modul runtime (GA): V hlavních verzích (tj. 3.x –> 4.x) neobdrží žádné upgrady. A upgraduje podverzi (tj. 3.x –> 3.y), pokud nedojde k žádnému vyřazení nebo regresním dopadům.
Modul runtime verze Preview: Pokud to není nezbytně nutné, upgrady hlavní verze se neupgradují. Podverze (3.x –> 3.y) se upgraduje, aby se do modulu runtime přidaly nejnovější funkce.
Modul runtime dlouhodobé podpory (LTS) se opravuje pouze s opravami zabezpečení.
Ukončení podpory oznámeného modulu runtime nebude obsahovat chyby a opravy funkcí. Opravy zabezpečení se backportují na základě posouzení rizik.

Migrace mezi verzemi Apache Sparku – podpora

Tento průvodce poskytuje strukturovaný přístup pro uživatele, kteří chtějí upgradovat své Azure Synapse Runtime pro Apache Spark na nejnovější verzi GA, například 3.5. Upgrade na nejnovější verzi umožňuje uživatelům využívat vylepšení výkonu, nové funkce a vylepšená bezpečnostní opatření. Je důležité si uvědomit, že přechod na vyšší verzi může vyžadovat úpravy stávajícího kódu Sparku kvůli nekompatibilitě nebo zastaralým funkcím.

Krok 1: Vyhodnocení a plánování

Zhodnoťte kompatibilitu: Začněte tím, že si prostudujete průvodce migrací Apache Spark, abyste identifikovali případné nekompatibility, zastaralé funkce a nová API mezi vaší současnou verzí Sparku a cílovou verzí (například 3.5).
Analýza základu kódu: Pečlivě prozkoumejte kód Sparku a identifikujte použití zastaralých nebo upravených rozhraní API. Věnujte zvláštní pozornost dotazům SQL a uživatelem definovaným funkcím (UDF), které můžou být ovlivněny upgradem.

Krok 2: Vytvoření nového fondu Sparku pro testování

Vytvoření nového fondu: V Azure Synapse přejděte do části Fondy Sparku a nastavte nový fond Sparku. Vyberte cílovou verzi Sparku (například 3.5) a nakonfigurujte ji podle svých požadavků na výkon.
Konfigurace Spark Poolu: Ujistěte se, že všechny knihovny a závislosti ve vašem novém Spark poolu jsou aktualizovány nebo nahrazeny tak, aby byly kompatibilní se Spark 3.5.

Krok 3: Migrace a testování kódu

Migrovat kód: Aktualizujte svůj kód tak, aby byl v souladu s novými nebo upravenými API v Apache Spark 3.5. To zahrnuje řešení zastaralých funkcí a přijetí nových funkcí, jak je podrobně popsáno v oficiální dokumentaci k Apache Sparku.
Testování ve vývojovém prostředí: Otestujte aktualizovaný kód ve vývojovém prostředí v Azure Synapse, ne místně. Tento krok je nezbytný pro identifikaci a opravu všech problémů před přechodem do produkčního prostředí.
Nasazení a monitorování: Po důkladném testování a ověření ve vývojovém prostředí nasadíte svou aplikaci do nového Spark 3.5 poolu. Je důležité monitorovat aplikaci za účelem jakéhokoli neočekávaného chování. Využijte monitorovací nástroje dostupné ve službě Azure Synapse, abyste mohli sledovat výkon vašich aplikací Spark.

Otázka: Jaké kroky byste měli provést při migraci na verzi 3.X?

Odpověď: Projděte si průvodce migrací Apache Sparku.

Otázka: Při pokusu o upgrade modulu runtime fondu Spark pomocí rutiny PowerShellu, když jsou připojené knihovny, došlo k chybě.

Odpověď: Nepoužívejte rutinu PowerShellu, pokud máte ve svém pracovním prostoru Synapse nainstalované vlastní knihovny. Místo toho postupujte takto:

Znovu vytvořte fond Sparku od základů.
Downgradujte aktuální Spark Pool, odstraňte všechny balíčky připojené a pak znovu upgradujte na nejnovější verzi GA, například 3.5

Otázka: Proč nemohu upgradovat na 3.5, aniž bych znovu vytvořil nový Spark pool?

Odpověď: Tato možnost není povolená z uživatelského prostředí, zákazník může k aktualizaci verze Sparku použít Azure PowerShell. Použijte ForceApplySetting, aby se všechny existující clustery (se starou verzí) vyřadily z provozu.

Ukázkový dotaz:

$_target_work_space = @("workspace1", "workspace2")

Get-AzSynapseWorkspace |
    ForEach-Object {
        if ($_target_work_space -contains $_.Name) {
            $_workspace_name = $_.Name
            Write-Host "Updating workspace: $($_workspace_name)"
            Get-AzSynapseSparkPool -WorkspaceName $_workspace_name |
            ForEach-Object {
                Write-Host "Updating Spark pool: $($_.Name)"
                Write-Host "Current Spark version: $($_.SparkVersion)"
        
                Update-AzSynapseSparkPool -WorkspaceName $_workspace_name -Name $_.Name -SparkVersion 3.5 -ForceApplySetting
              }
        }
    }

Váš názor

Byla tato stránka užitečná?

Last updated on 2025-11-20