Upgrade služby HDInsight v clusterech a fondech clusterů AKS

Článek
03/26/2024

Zjistěte, jak aktualizovat HDInsight v clusterech AKS a fondech clusterů na nejnovější opravy AKS, aktualizace zabezpečení, opravy clusteru a opravy hotfix clusteru s využitím místního upgradu.

Proč upgradovat

HDInsight v AKS je služba, která umožňuje spouštět Apache Flink, Apache Spark, Trino ve službě Azure Kubernetes Service (AKS). HDInsight v AKS poskytuje výhody škálovatelnosti cloudu, spolehlivosti a flexibility a zároveň umožňuje používat stávající nástroje a aplikace.

Jednou z důležitých funkcí SLUŽBY HDInsight v AKS je, že clustery a fondy clusterů můžete upgradovat nejnovějšími aktualizacemi softwaru. To znamená, že si můžete vychutnat nejnovější opravy hotfix, aktualizace zabezpečení a opravy AKS bez opětovného vytvoření clusterů.

Vzhledem k tomu, že HDInsight v AKS spoléhá na základní infrastrukturu služby Azure Kubernetes Service (AKS), je potřeba ji pravidelně aktualizovat, aby se zajistilo zabezpečení a kompatibilita s nejnovějšími funkcemi. Je důležité upgradovat, abyste použili nejnovější verze zabezpečení a získali přístup k nejnovějším funkcím Kubernetes a zůstali v okně podpory AKS odpovídající vašemu hdInsightu ve fondu clusterů AKS. Microsoft poskytuje opravy a nové image pro uzly imagí v AKS často (týdně), ale vaše spuštěné uzly nové image nezískají, pokud neprovedete upgrade operačního systému uzlu.

Cluster Spark můžete například upgradovat, abyste získali nejnovější vylepšení oprav hotfix, opravy zabezpečení operačního systému uzlu a aktualizace oprav AKS, aby byly clustery a fondy clusterů aktuální.

V tomto článku vám ukážeme, jak upgradovat HDInsight v clusterech AKS a fondech clusterů pomocí webu Azure Portal.

Sdílíme některé osvědčené postupy, které vám pomůžou s procesem upgradu.

Typy upgradů

Následující tabulka shrnuje podrobnosti o typech upgradů a frekvenci, kterou můžete očekávat, že se aktualizace pro fondy clusterů a clustery projeví.

Typ upgradu	Použitelnost	Frekvence upgradu	Místní upgrade
Upgrade verze AKS (podverze) / Upgrade podverze SLUŽBY HDInsight v AKS	Fond clusterů, cluster	Zhruba každých šest měsíců	✅
HDInsight v AKS – verze opravy clusteru	Cluster	Přibližně měsíčně	✅
HDInsight v AKS – opravy hotfix clusteru	Cluster	Podle potřeby	✅
Upgrade verze oprav AKS	Fond clusterů, cluster	Přibližně týdně (závisí na upstreamových opravách AKS)	✅
Upgrady operačního systému uzlu	Fond clusterů, cluster	Každý týden	✅
Opravy zabezpečení a horké opravy imagí uzlů	Fond clusterů, cluster	Podle potřeby	✅

Přečtěte si další informace o HDInsightu ve správě verzí AKS.

Vzhledem k tomu, že HDInsight v AKS používá jako základní infrastrukturu službu Azure Kubernetes Service (AKS), je potřeba ji pravidelně aktualizovat, aby se zajistilo zabezpečení a kompatibilita s nejnovějšími funkcemi.

Existují dvě komponenty clusteru AKS, které jsou nezbytné k údržbě:

Upgrady oprav AKS a podverze: Součástí životního cyklu clusteru AKS je provádění upgradů na nejnovější verzi Kubernetes. Je důležité upgradovat, abyste použili nejnovější verze zabezpečení a získali přístup k nejnovějším funkcím Kubernetes a zůstali v okně podpory AKS. Verze fondu clusterů AKS hdInsight se mapuje na podverze AKS.
- Opravy AKS se provádějí pomocí upgradů oprav AKS, které je možné použít u fondu clusterů a clusterů ve službě HDInsight v AKS a spouštět fond clusterů verze 1.1.
- Podverze AKS se provádějí upgradem podverze AKS, který upgraduje fond clusterů a clustery na nejnovější podverzi AKS podporovanou ve službě HDInsight ve službě AKS verze 1.* HDInsight ve službě AKS se zaměřuje na zásady podpory Kubernetes N-2 spolu s kalendářem verzí AKS, abyste mohli i nadále poskytovat možnost provádět místní dílčí upgrady. a doporučujeme vám naplánovat upgrade na nejnovější podverze, jakmile budou k dispozici.
Upgrady operačního systému uzlů: AKS pravidelně poskytuje nové image uzlů s nejnovějšími aktualizacemi operačního systému a modulu runtime. Je výhodné pravidelně upgradovat image uzlů, abyste zajistili podporu nejnovějších funkcí AKS a na vrstvě AKS použili základní opravy zabezpečení a opravy za provozu. Oznámení o upgradu imagí jsou součástí poznámek k verzi AKS a jejich uvedení do všech oblastí může trvat až týden. V tomto upgradu aktualizujeme pouze image fondu uzlů bez upgradu verze Kubernetes. Ve službě HDInsight v AKS se tento upgrade provádí pomocí upgradů operačního systému Node, které je možné použít u fondu clusterů a clusterů a spouštět fond clusterů verze 1.1.

Pokud chcete využívat nejnovější funkce HDInsight v AKS, doporučujeme pravidelně aktualizovat hdInsight v clusterech AKS opravami hotfix a opravami. HDInsight v AKS podporuje místní upgrady, ve kterých je možné upgradovat stávající clustery, novější opravy hotfix a opravy. Pokud je váš cluster způsobilý k upgradu, nemusíte odstraňovat a znovu vytvářet nový cluster, stav aktualizace softwaru odráží čekající upgrade a upgrade můžete provést několika kliknutími a časovými intervaly údržby.

K vydání oprav AKS ve službě HDInsight dochází každých 30 až 60 dnů. Vždy je dobré co nejdříve přejít na nejnovější opravu. Doporučená maximální doba trvání upgradu clusteru je kratší než tři měsíce.

Upgrady oprav hotfix: Vydání oprav hotfix se provádí podle potřeby a obsahují pouze několik oprav pro omezený počet modulů v rámci balíčku clusteru. Opravy hotfix platí pro vaše clustery a pokud jsou tyto aktualizace k dispozici, cluster by odrážel čekající aktualizace stavu aktualizací softwaru, abyste mohli provádět operace údržby s místní upgrade.

Upgrady oprav: Prostředky v Azure jsou zpřístupněny poskytovatelem prostředků. HDInsight na poskytovateli prostředků AKS zodpovídá za vytváření, správu a odstraňování clusterů. HDInsight v AKS průběžně aktualizuje své image v registru kontejneru Azure, aby se daly sestavit opensourcové komponenty softwaru (OSS), které je možné nasadit do clusteru. Tyto image obsahují základní operační systém Azure Linux a základní komponenty, jako je Spark, Flink nebo Trino. Měsíční opravy přinášejí opravy chyb od poskytovatele prostředků a také opensourcové komponenty a další chyby nebo vylepšení funkcí, které jsou specifické pro cluster, který provozujete. Upgrady oprav platí pro vaše clustery a pokud jsou tyto aktualizace k dispozici, budou tyto aktualizace odrážet čekající aktualizace stavu aktualizací softwaru, abyste mohli provádět operace údržby s místní upgrade.

Postup kontroly dostupných upgradů

Než začnete s upgradem, musíte zkontrolovat dostupné upgrady pro hdInsight v clusteru AKS.

Aktualizace závisí na verzi clusteru nebo na verzi fondu clusterů, která je aktuální hdInsight ve verzi AKS a také na verzi AKS.

V okně přehledu části aktualizace softwaru můžete ověřit, jestli máte aktualizace softwaru – aktuální nebo čekající.

V případě, že máte k dispozici aktualizaci softwaru – zjistíte, že váš cluster zobrazuje aktualizaci softwaru ve stavu čekání na vyřízení a můžete se rozhodnout pro upgrade pomocí webu Azure Portal.

Pokud chcete zkontrolovat dostupné aktualizace pomocí webu Azure Portal, postupujte takto:

Přihlaste se k portálu Azure.
Do vyhledávacího pole zadejte HDInsight v AKS.
Výběr služby HDInsight ve fondu clusterů AKS
Na stránce přehledu clusteru zkontrolujte stav aktualizace softwaru.
Klikněte na upgradovat.
V okně upgradu se zobrazí dostupné upgrady.
Na základě dostupného upgradu máte možnost vybrat a provést upgrade.
Po aktivaci upgradu se na portálu zobrazí oznámení služby.
Stav aktualizace clusteru se přesune od čekání na upgrade a stav fondu clusteru se přesune na NodeOSUpgrading.
Když jste se rozhodli aktualizovat fondy clusterů i clustery společně, clustery se také přesunou do podobných stavů.
Po dokončení upgradu se v banneru a stavu aktualizace softwaru projeví všechny fondy clusterů a clustery (pokud se cluster upgradoval také s fondem clusterů) a aktualizace oznámení odrážejí úspěch upgradu.

Plánování upgradu služby HDInsight v clusterech AKS a fondech clusterů

Po kontrole dostupných verzí upgradu a zvolení verze, která vyhovuje vašim potřebám, můžete clustery HDInsight upgradovat v AKS pomocí webu Azure Portal. Proces upgradu může nějakou dobu trvat v závislosti na velikosti a konfiguraci clusterů a počtu clusterů v rámci fondu clusterů.

Během upgradu zůstane cluster funkční a přístupný, ale může docházet k určitému snížení výkonu nebo k dočasným přerušením. Proto doporučujeme upgradovat clustery mimo špičku nebo v případě, že cluster není zatížený velkým zatížením.

Osvědčené postupy pro místní upgrade služby HDInsight v clusterech a fondech clusterů AKS

Pokud chcete zajistit hladký a úspěšný upgrade služby HDInsight v clusterech a fondech clusterů AKS, postupujte podle těchto osvědčených postupů:

Než začnete s upgradem, ujistěte se, že je cluster v pořádku a stabilní a že stav clusteru není chybný.

Před upgradem si projděte poznámky k verzi nové služby HDInsight ve verzi AKS a připravte se na případné potřebné změny aplikací nebo skriptů, které se přizpůsobí novým funkcím nebo změnám. Před přechodem do produkčního prostředí je otestujte v nižším prostředí.
Před upgradem naplánujte časové období údržby, ve kterém můžete provést upgrady clusteru v plánovaném období. Místní upgrady (cluster i fond clusterů) mají vliv na výkon vašeho prostředí a úloh, zatímco probíhá upgrade, může dojít k výpadku.
Během upgradu neprovádějte žádné změny prostředků clusteru, například přidávání nebo odebírání uzlů nebo provádění škálování, aktualizace konfigurací nebo odstraňování. Pokud to uděláte, může dojít k narušení procesu upgradu a způsobit chyby nebo chyby.
Během upgradu monitorujte dostupnost clusteru. Stav aktualizace softwaru můžete zkontrolovat pomocí webu Azure Portal.
Pokud upgrade selže nebo dojde k nějakým problémům, můžete kontaktovat podpora Azure nebo provést ruční operaci vrácení zpět a obnovit upgrade na verzi, kterou jste použili dříve.
Po upgradu ověřte, že cluster funguje podle očekávání. Verzi, stav a konfigurace clusteru můžete zkontrolovat pomocí webu Azure Portal, Azure CLI, Azure PowerShellu nebo Stav služby. Můžete také spustit některé testovací úlohy nebo dotazy a ověřit funkčnost clusteru.

Postup upgradu

Upgrady operačního systému uzlu

Po kliknutí na upgrade v okně přehledu a v podokně upgradu vlevo vyberte Upgrade operačního systému uzlu.
Pokud existuje upgrade operačního systému uzlu, oba fondy clusterů i clustery procházejí upgradem současně.
Po aktivaci upgradu se na portálu zobrazí oznámení služby.
Stav aktualizace clusteru se přesune od čekání na upgrade a stav fondu clusteru se přesune na NodeOSUpgrading.
Když jste se rozhodli aktualizovat fondy clusterů i clustery společně, clustery se také přesunou do podobných stavů.
Po dokončení upgradu se v banneru a stavu aktualizace softwaru projeví všechny fondy clusterů a clustery (pokud se cluster upgradoval také s fondem clusterů) a aktualizace oznámení odrážejí úspěch upgradu.

Upgrady oprav AKS

Po kliknutí na upgrade v okně přehledu a v podokně upgradu vlevo vyberte upgrade oprav AKS.
V upgradu oprav AKS neprocházejí současně upgradem oba fondy clusterů i clustery. Jednotlivé clustery musí použít upgrady oprav AKS na základě časových intervalů plánované údržby pro vaše clustery.
Po aktivaci upgradu se na portálu zobrazí oznámení služby.
Stav aktualizace clusteru se přesune od čekajícího na upgrade a stav fondu clusteru se přesune na AksPatchUpgrading.
Po dokončení upgradu se zobrazí informace o banneru a stavu aktualizace softwaru napříč fondem clusterů a clustery (v případě, že clustery byly upgradovány také s fondem clusterů) a aktualizace oznámení odrážejí úspěch upgradu.
Po použití opravy pro fond clusterů můžete použít opravy AKS na clustery ve fondu clusterů najednou nebo přejít na jednotlivé clustery a použít opravu na základě plánů údržby.
Když použijete upgrade všech clusterů, na stránce fondu clusterů dokončete upgrade všech clusterů ve fondu clusterů najednou.
Podokno upgradu na pravé straně zobrazuje podrobnosti o upgradu ve verzích oprav AKS (aktuální a cesta upgradu).
Po zahájení upgradu se na ikoně oznámení zobrazí probíhající upgrade clusteru.
Podokno přehledu clusteru ve fondu clusterů také odráží stav upgradů.
Po dokončení upgradu se aktualizuje banner s přehledem a oznamovací zásobník.

Upgrady oprav hotfix

Na stránce přehledu clusteru můžete sledovat, že u clusteru čeká upgrade oprav hotfix.
Po kliknutí na upgrade přejděte do části Upgrady clusteru s podrobnostmi o čekající upgradu.
Po zahájení upgradu se v oznámení zobrazí průběh upgradu a na stránce přehledu clusteru se zobrazuje stav upgradu oprav hotfix a změny stavu aktualizace softwaru při upgradu.
Po dokončení upgradu se přehled změn stavu clusteru změní na spuštěný, stav aktualizace softwaru se změní na aktuální a aktualizuje se banner s oznámením v části Přehled.