Automatická oprava uzlu Azure Kubernetes Service (AKS)

Platí pro: ✔️ AKS Automatic ✔️ AKS Standard

Azure Kubernetes Service (AKS) nepřetržitě monitoruje stav pracovních uzlů a automaticky opravuje uzly, které nejsou v pořádku. Platforma virtuálního počítače Azure provádí údržbu na virtuálních počítačích, u kterých dochází k problémům . AKS ve spolupráci s virtuálními počítači Azure pomáhá minimalizovat přerušení služeb clusterů.

Pro většinu produkčních úloh je AKS Automatic doporučeným výchozím řešením pro produkční nasazení v AKS. Clustery AKS Automatic i AKS Standard mají předem nakonfigurovanou automatickou opravu uzlů.

V tomto článku se dozvíte, jak funguje automatická oprava uzlu, kdy se aktivují akce opravy, jaká omezení platí a jak monitorovat události opravy.

Chování automatické opravy uzlů podle režimu clusteru

Oba režimy clusteru AKS jsou předem nakonfigurované s automatickou opravou uzlů:

  • Automatické nastavení AKS: Předkonfigurováno jako součást výchozích hodnot automatického produkčního prostředí AKS.
  • AKS Standard: Předkonfigurováno v clusterech AKS Standard bez dalšího nastavení.

Oba režimy používají stejné kontroly stavu uzlu a stejnou posloupnost oprav popsanou v tomto článku.

Další informace o výchozích hodnotách platformy AKS Automatic najdete v tématu Co je Azure Kubernetes Service (AKS) Automatic?

Jak AKS kontroluje uzly NotReady

AKS používá následující pravidla k určení, jestli uzel není v pořádku a potřebuje opravu:

  • Uzel hlásí stav NotReady v po sobě jdoucích kontrolách během 10minutového časového rámce.
  • Uzel nehlásí žádný stav během 10 minut.

Pomocí příkazu můžete ručně zkontrolovat stav uzlů kubectl get nodes .

Jak funguje automatická oprava

Poznámka:

AKS inicializuje operace oprav pomocí uživatelského účtu aks-remediator.

Pokud AKS identifikuje uzel, který není v pořádku nejméně po dobu pěti minut, provede AKS následující akce:

  1. AKS restartuje uzel.
  2. Pokud uzel zůstane po restartování v nevyhovujícím stavu, AKS uzel přeimageruje.
  3. Pokud uzel po opětovném vytvoření není v pořádku a jedná se o linuxový uzel, služba AKS ho znovu nasadí.

AKS zopakuje sekvenci restartování, opětovného vytvoření bitové kopie a opětovného nasazení až třikrát, pokud uzel zůstane v nezdravém stavu. Dokončení celého procesu automatické opravy může trvat až jednu hodinu.

Důležité informace o produkčním prostředí

Automatická oprava uzlu je základní mechanismus odolnosti, ale zkombinujte ho s postupy odolnosti na úrovni úloh:

  • Spouštění kritických úloh s více replikami
  • Použijte PodDisruptionBudgets a testy připravenosti ke snížení dopadu viditelného pro uživatele.
  • Monitorování aktivit oprav a chybových událostí za účelem zjištění opakovaných problémů s uzly
  • Začleňte dobu automatické opravy do plánování SLO/SLA a reakce na incidenty.

Omezení

Automatická oprava uzlu AKS je služba poskytovaná v režimu best-effort. AKS nezaručuje obnovení uzlu do zdravého stavu v každém scénáři. Pokud uzel není v pořádku, proveďte ruční šetření. Další informace najdete v tématu Řešení potíží se stavem NotReady uzlu.

AKS nemusí provádět automatickou opravu v následujících scénářích:

  • Chyba konfigurace sítě brání hlášení stavu uzlu.
  • Uzel se nepodaří zaregistrovat jako funkční uzel.
  • Uzel má některý z následujících taintů:
    • node.cloudprovider.kubernetes.io/shutdown
    • ToBeDeletedByClusterAutoscaler
  • Uzel se aktualizuje a má následující anotace:
    • "cluster-autoscaler.kubernetes.io/scale-down-disabled": "true"
    • "kubernetes.azure.com/azure-cluster-autoscaler-scale-down-disabled-reason": "upgrade"

Monitorování automatické opravy uzlů pomocí událostí Kubernetes

Když AKS provádí automatickou opravu uzlů, vysílá události Kubernetes ze zdroje aks-auto-repair. Při automatické opravě se na objektu uzlu zobrazí následující události.

Další informace o přístupu, ukládání a upozorňování na události Kubernetes najdete v tématu Použití událostí Kubernetes k řešení potíží v AKS.

Důvod Zpráva o události Popis
Začátek restartu uzlu Automatická oprava uzlu iniciuje akci restartování kvůli zachování stavu NotReady déle než pět minut. Tato událost vás upozorní, když se chystáte provést restartování na vašem uzlu. Tato akce je první v celkové sekvenci automatické opravy uzlu.
Konec restartování uzlu Akce restartování z automatické opravy uzlu je dokončena. Po dokončení restartu uzlu se vysílá. Tato událost neindikuje stav uzlu (v pořádku nebo není v pořádku) po provedení restartování.
NodeReimageStart Automatická oprava uzlu spouští akci opětovného nasazení image, protože stav NotReady přetrvává déle než pět minut. Tato událost vás upozorní, když se na vašem uzlu chystá provést přeinstalace bitové kopie.
NodeReimageEnd Je dokončena akce opětovného nastavení z automatické opravy uzlu. Jakmile je opětovné vytvoření image na uzlu dokončeno, je vyvolán nový signál. Tato událost neurčuje stav uzlu (zdravý nebo nezdravý) po obnovení obrazu.
Začátek znovunasazení uzlu Automatická oprava uzlu iniciuje akci opětovného nasazení kvůli zachování stavu NotReady déle než pět minut. Tato událost vás upozorní, když má být na vašem uzlu provedeno opětovné nasazení. Opětovné nasazení je poslední akce v pořadí automatické opravy uzlu.
Ukončení přenasazení uzlu Je dokončena akce opětovného nasazení z automatické opravy uzlu. Jakmile je na uzlu dokončeno opětovné nasazení, je vyvolán signál. Tato událost neindikuje stav uzlu (v pořádku nebo není v pořádku) po provedení opětovného nasazení.

Pokud během automatické opravy uzlu dojde k chybám, služba AKS vygeneruje následující události s doslovnou chybovou zprávou. Další informace najdete v tématu Řešení běžných chyb automatické opravy uzlů.

Poznámka:

Kód chyby v následujících zprávách událostí se liší v závislosti na hlášené chybě.

Důvod Zpráva o události Popis
Chyba restartování uzlu Akce restartu pro automatickou opravu uzlu selhala kvůli chybě operace. Podrobnosti o chybě najdete tady: Kód chyby Vygenerováno, když dojde k chybě s akcí restartování.
NodeReimageError Akce automatické opravy uzlu selhala kvůli selhání operace. Podrobnosti o chybě najdete tady: Kód chyby Vysílá se, když dojde k chybě u operace znovuvytvoření obrazu.
Chyba přeinstalování uzlu Akce automatické opravy uzlu selhala kvůli selhání operace. Podrobnosti o chybě najdete tady: Kód chyby Vygenerováno, když dojde k chybě s akcí opětovného nasazení.

Související obsah

  • Poslední aktualizace v