Csomópontkimaradási szabályzat a Azure Kubernetes Service (AKS) (előzetes verzió)

Miközben kezeli és karbantartja az AKS-fürtjeit, bizonyos konfigurációs módosítások esetén újra kell telepíteni a csomópontokat. Ez az újraimázselési művelet elindít egy működés közbeni frissítést, amely újra létrehozza a csomópontokat. Az újratervezési művelet során az AKS kordonozza a csomópontot (megakadályozza az új podütemezést), kiüríti a meglévő podokat (kiüríti és átütemezi azokat más elérhető csomópontokon a podkimaradási költségvetések tiszteletben tartása mellett), majd újra megkonfigurálja a csomópontot a frissített konfigurációval. Ez a folyamat a csomópont teljes újralétrehozása, nem újraindításról van szó – a mögöttes virtuális gép újratelepítésre kerül egy új operációsrendszer-képpel. Bár a megfelelően konfigurált állandó kötetek (Azure lemezek, Azure Files vagy egyéb külső tárolók használata) nincsenek hatással, a csomópont helyi rövid élettartamú tárolójában (például EmptyDir-kötetekben vagy helyi elérési utakon) tárolt adatok véglegesen elvesznek. Ezek a műveletek a fontos frissítések alkalmazásához szükségesek, de megzavarhatják a futó számítási feladatokat, és hatással lehetnek az alkalmazások rendelkezésre állására. A csomópontkimaradási szabályzat részletesen szabályozza, hogy mikor folytathatják ezeket a zavaró műveleteket, így a frissítési igény és a működési stabilitás egyensúlyba kerül.

Important

Az AKS előzetes verziójú funkciói önkiszolgáló, opt-in alapon érhetők el. Az előzetes verziókat "ahogy van" és "rendelkezésre állóként" biztosítjuk, és a szolgáltatási szerződésekből és a korlátozott jótállásból kizárjuk őket. Az AKS előzetes verzióihoz részleges támogatást nyújt az ügyfélszolgálat a tőle telhető legjobb módon. Ezért ezek a funkciók nem éles használatra vannak szánva. További információkért tekintse meg az alábbi támogatási cikkeket:

Mi az a csomópontzavar-kezelési szabályzat?

A csomópontkimaradási szabályzat egy fürtszintű konfiguráció, amely szabályozza, hogy mikor hajthatók végre csomópont-újraimálást és újratelepítést igénylő műveletek. Vezérlőkapuként működik, lehetővé téve, hogy:

  • Igazítsa a megszakítással járó műveleteket a karbantartási időablakokhoz.
  • Tiltsa le a konfiguráció változásait a kritikus üzleti időszakokban, miközben továbbra is lehetővé teszi a csomópont lemezképének frissítését és a biztonsági javítások folytatását.
  • Biztosítsa a fürt kiszámítható működését a nagy forgalmú időszakok során.

A szabályzat a felhasználó által kezdeményezett konfigurációs módosításokra vonatkozik, amelyekhez csomópont-rekreáció szükséges, például az egyéni hitelesítésszolgáltatói (CA) megbízhatósági tanúsítványok frissítése, a biztonsági profil beállításainak módosítása vagy a csomópont operációsrendszer-konfigurációjának módosítása.

Note

Fontos, hogy a házirend nem akadályozza sem a csomópontkép verziófrissítéseit (beleértve a SecurityPatch és NodeImage frissítési csatornákat), sem a Kubernetes verziójának frissítését. Ezek a műveletek továbbra is a konfigurált ütemezésüknek megfelelően haladnak, még akkor is, ha a szabályzat értéke Block. További részletekért lásd a csomópontkimaradási szabályzat által nem szabályozott frissítési műveleteket. Emellett bizonyos helyreállítási műveletekre nem vonatkozik ez a szabályzat a fürt állapotának és rendelkezésre állásának biztosítása érdekében. További részletekért lásd a csomópontkimaradási szabályzat által nem szabályozott helyreállítási műveleteket.

A csomópontkimaradási szabályzat működése

A csomópont-megszakítási szabályzatot fürtszinten, a(z) nodeDisruptionProfile tulajdonságon keresztül konfigurálhatja. Amikor csomópont-újraimáztatást igénylő műveletet kísérel meg, az AKS ellenőrzi az aktuális házirend-beállítást:

  • Szabályzat kiértékelése: Az AKS kiértékeli, hogy a művelet engedélyezve van-e az aktuális szabályzat alapján.
  • Karbantartási időszak ellenőrzése (ha van): Ha ezt használja AllowDuringMaintenanceWindow, az AKS ellenőrzi, hogy az aktuális idő a konfigurált karbantartási időszakba esik-e.
  • Művelet végrehajtása vagy blokkolása: A csomópont-megszakító művelet akkor folytatódik, ha engedélyezett, vagy ha blokkolva van, hibaüzenet jelenik meg.

Szabályzatbeállítások

A csomópontkimaradási szabályzat három szabályzatkonfigurációt támogat:

Policy Description Felhasználási eset
Allow Lehetővé teszi a csomópont-újraimázst igénylő műveletek bármikori folytatását. Ez az alapértelmezett viselkedés. Akkor érdemes használni, ha gyorsan szeretné rangsorolni a frissítéseket, és elviseli a számítási feladatok megszakítását.
AllowDuringMaintenanceWindow Letiltja a csomópontok újraimálását igénylő műveleteket, kivéve, ha azok a aksManagedNodeOSUpgradeSchedule karbantartási időszakon belül történnek. A konfiguráció beágyazott ütemezést használhat, vagy hivatkozhat egy megosztott karbantartási időszakra. Akkor érdemes használni, ha a működési ütemtervnek megfelelő karbantartási időszakokra szeretné korlátozni a fennakadásokat.
Block Letiltja az összes olyan műveletet, amely csomópont-újraimázst igényel. Akkor használható, ha meg kell akadályoznia a csomópontok megszakadását, például kritikus üzleti időszakokban vagy nagy forgalmú eseményekben.

Note

Amikor a(z) AllowDuringMaintenanceWindow elemet használja, be kell állítania egy aksManagedNodeOSUpgradeSchedule karbantartási időablakot. A karbantartási konfiguráció meghatározhatja a közvetlenül megadott ütemezést, vagy hivatkozhat egy megosztott karbantartási időszakra. A karbantartási időszakok beállításával kapcsolatos további információkért lásd: Tervezett karbantartás használata a Azure Kubernetes Service-fürt frissítéseinek ütemezéséhez és szabályozásához. Ha nem konfigurálja a karbantartási időszakot, a csomópont-megszakító műveletek engedélyezettek.

Considerations

Tartsa szem előtt az alábbi szempontokat a csomópontkimaradási szabályzat használatakor:

Csomópontkimaradási szabályzat hatálya alá tartozó műveletek

Fürtszintű műveletek

Hálózati házirend engedélyezése és az Azure CNI Overlay frissítése

A szükséges hálózati összetevők telepítéséhez és a podok közötti kommunikációt biztosító és kezelő hálózati szabályok konfigurálásához újra kell telepítenie a csomópontokat.

Az alábbi táblázat az újratelepítést kiváltó hálózati házirend-frissítéseket ismerteti:

Forrás Címzett
Nincs (nincs hálózati szabályzat) Azure hálózati házirend
Nincs (nincs hálózati szabályzat) Calico
Azure CNI Azure CNI-rétegezés
Azure hálózati házirend Nincs (nincs hálózati szabályzat)
Calico Nincs (nincs hálózati szabályzat)

Note

Az Azure és a Calico hálózati házirendjei közötti váltáshoz nincs szükség újratelepítésre, ha az egyik már engedélyezve van.

Csomópont operációsrendszer-frissítési csatornájának változásai

Minden csatorna más operációsrendszer-javítási infrastruktúrát és konfigurációt használ, amelyet nem lehet módosítani a futó csomópontokon.

Az alábbi táblázat az újraimázst kiváltó csomópont operációsrendszer-frissítési csatornájának módosításait ismerteti:

Forrás Címzett
Kezelés nélküli Nincs
Meghatározatlan Kezelés nélküli
Biztonsági javítás Kezelés nélküli
NodeImage Kezelés nélküli
Nincs Kezelés nélküli
Meghatározatlan Kezelés nélküli
Kezelés nélküli Biztonsági javítás
Kezelés nélküli NodeImage

IPv6 kettős protokollverem engedélyezése

A kétveremes kommunikáció támogatásához a csomópontoknak IPv4- és IPv6-IP-konfigurációkra és hálózati veremfrissítésekre (például nftables-szabályokra) van szükségük.

Az alábbi táblázat az IP-konfiguráció és a hálózati verem azon frissítéseit ismerteti, amelyek újratelepítést váltanak ki:

Forrás Címzett
Csak IPv4 IPv4 + IPv6 (dual-stack)

A Cilium adatsíkja megváltozik

Olyan eBPF-programokat kell telepítenie vagy eltávolítania, amelyek a kernel szintjén kezelik a csomagfeldolgozást.

Az alábbi táblázat az újraimázst kiváltó Cilium adatsík-módosításokat vázolja fel:

Forrás Címzett
Nincs Cilium
Cilium Nincs

HTTP-proxy konfigurációs frissítései

Minden csomópont-összetevőnek (tároló, kubelet, rendszerszolgáltatások) szüksége van a rendszerszintű frissített proxykonfigurációra. A HTTP-proxykonfiguráció frissítésekor az AKS automatikusan újrakonfigurálja a fürt összes csomópontkészletét.

A csomópontkimaradási szabályzat az alábbi HTTP-proxykonfigurációs tulajdonságok bármelyikének módosításakor vagy az alábbi műveletek bármelyikének végrehajtásakor aktiválja az újraimálást :

  • httpProxy: Proxy URL HTTP-kapcsolatokhoz
  • httpsProxy: HTTPS-kapcsolatok proxy URL-címe
  • noProxy: A proxyzásból kizárandó célhelyek listája
  • trustedCa: Base64 kódolású alternatív hitelesítésszolgáltatói tanúsítvány
  • HTTP-proxy engedélyezése fürtön (--enable-http-proxy használatával)
  • HTTP-proxy letiltása egy fürtön (a(z) --disable-http-proxy használatával)
  • HTTP-proxy újbóli engedélyezése egy olyan fürtön, amelyen korábban le volt tiltva

Egyéni hitelesítésszolgáltatói tanúsítványok frissítései

Új hitelesítésszolgáltatói tanúsítványokat kell telepítenie az operációsrendszer-megbízhatósági tárolóban, hogy hatással legyen a belső szolgáltatások és a magánregisztrációs adatbázisok TLS-érvényesítésére.

A csomópontkimaradási szabályzat egyéni hitelesítésszolgáltatói tanúsítványok hozzáadásakor, eltávolításakor vagy frissítésekor aktiválja az újraimázást .

A Kubelet identitásának változásai

Új identitás-hitelesítő adatokat kell alkalmaznia a csomópontkonfigurációra. Ez magában foglalja a kezdeti identitás-hozzárendelést, az identitásfrissítéseket és a szolgáltatásnév-profil alaphelyzetbe állítását.

A csomópontmegszakítási szabályzat újraimázsolást indít, amikor frissíti a kubelethez tartozó felügyelt identitást vagy felhasználó által hozzárendelt felügyelt identitást.

saját DNS zónamódosítások

Frissítenie kell a DNS-feloldó beállításait a privát API-kiszolgáló végpontjának az új DNS-zóna használatával történő feloldásához.

A csomópont-megszakítási szabályzat újraépítést indít el, amikor módosítja egy privát fürt privát DNS-zónájának konfigurációját.

API Server VNet-integráció engedélyezése

Újra kell konfigurálnia a csomópontokat, hogy kommunikáljanak az API-kiszolgálóval a delegált alhálózatba vetített belső terheléselosztó IP-címén keresztül.

A csomópont-megszakítási szabályzat újraépítést vált ki, amikor engedélyezi az API Server VNet-integrációt egy olyan meglévő fürtön, amelyen korábban ez nem volt használatban. Ez a módosítás azt jelenti, hogy a apiServerAccessProfile.enableVnetIntegration tulajdonságot (belsőleg a privateConnectProfile.enabled mezőt) false értékről (vagy beállítatlan állapotból) true értékre módosítják:

Forrás Címzett
apiServerAccessProfile.enableVnetIntegration: false vagy nincs beállítva apiServerAccessProfile.enableVnetIntegration: true

EBPF-gazdagép útválasztásának változásai

Olyan eBPF-programokat kell telepítenie vagy eltávolítania, amelyek nagy teljesítményű csomagtovábbítást biztosítanak (BpfVeth gyorsítási mód).

Az alábbi táblázat az újraimázst kiváltó eBPF-gazdagép útválasztási módosításait ismerteti:

Forrás Címzett
Alapértelmezett útválasztás Az eBPF-gazdagép útválasztása engedélyezve van
Az eBPF-gazdagép útválasztása engedélyezve van Alapértelmezett útválasztás

Csomópontkészletszintű műveletek

Ezek a műveletek csak azokat a csomópontkészleteket érintik, ahol módosításokat hajt végre. A csomópontkészletek gördülő újraimázsát aktiválják:

Helyi DNS-profilfrissítések

Módosításokat kell alkalmaznia a DNS gyorsítótárazási démonra és a DNS-továbbítási szabályokra a csomópont szintjén.

A csomópont-megszakítási szabályzat újraimázsolást indít el, amikor módosítja egy LocalDNS-profil konfigurációját.

A Trusted Launch biztonsági módosításai

A virtuális gépek belső vezérlőprogramjának konfigurációja és a rendszerindítási folyamat beállításai nem módosíthatók a futó virtuális gépeken. Ezekhez a módosításokhoz újra létre kell hoznia a virtuális gépeket.

Az alábbi táblázat az újraimázst aktiváló megbízható indítási biztonsági módosításokat ismerteti:

Konfiguráció Forrás Címzett
vTPM (virtuális platformmegbízhatósági modul) Disabled Enabled
vTPM (virtuális platformmegbízhatósági modul) Enabled Disabled
Biztonságos rendszerindítás Disabled Enabled
Biztonságos rendszerindítás Enabled Disabled

Az artefaktumok streamelésének változásai

A tárolólemezképek lemezképrétegeinek igény szerinti streamelésével történő gyorsabb lehúzásának engedélyezéséhez telepítenie vagy el kell távolítania az összetevőstreamelési komponenseket.

Az alábbi táblázat az újraimázsolást aktiváló összetevők streamelési módosításait ismerteti:

Forrás Címzett
Disabled Enabled
Enabled Disabled

Windows GMSA-profilfrissítések (csak Windows csomópontkészletek)

Új GMSA-beállításokat, DNS-kiszolgálókonfigurációt és tartományhoz való csatlakozás hitelesítő adatait kell alkalmaznia Active Directory integrációhoz a Windows csomópontokon.

A csomópontkimaradási szabályzat aktiválja a Windows csomópontkészletek újraimálását, ha a GMSA-módosítás új csomópontkonfigurációt igényel:

Forrás Címzett Triggerek újraimázsolása
GMSA letiltva GMSA engedélyezve Igen
GMSA engedélyezve (DNS-kiszolgáló/ gyökértartomány beállítása vagy módosítása) A GMSA engedélyezve van a frissített DNS-kiszolgálóval vagy gyökértartománysal Igen
GMSA engedélyezve (DNS-kiszolgálókészlet) GMSA letiltva Igen
GMSA engedélyezve (nincs DNS-kiszolgáló beállítva) GMSA letiltva Nem (nincs alkalmazható csomópontkonfiguráció)

Kapacitásfoglalási csoport melléklete

Újra kell létrehoznia a mögöttes virtuális gépeket, hogy azokat a kapacitásfoglalási csoport (CRG) fenntartott kapacitásából osszák ki. A meglévő csomópontok nem a CRG-hez lettek kiépítve, ezért az AKS-nek újra kell telepítenie a csomópontkészletet, hogy azokat a foglalással társítsa.

A csomópontkimaradási szabályzat újraimázsolást vált ki , ha egy kapacitásfoglalási csoportot olyan meglévő csomópontkészlethez csatol, amely még nem rendelkezik ilyenrel.

Forrás Címzett Triggerek újraimázsolása
Nincs csatolva kapacitásfoglalási csoport Kapacitásfoglalási csoport csatolva Igen

A Kubernetes 1.37-ben és újabb verzióiban a csomópontkimaradási szabályzat hatálya alá tartozó műveletek

A Kubernetes 1.37-ben és újabb verzióiban a csomópontkimaradási szabályzat az alábbi konfigurációs módosításokat ismerteti, amelyek csomópont-újraimázást igényelnek. A Kubernetes 1.36-os és korábbi verziókban a konfigurációs módosítások elvégzése után manuálisan kell futtatnia a az aks nodepool upgrade parancsot a --node-image-only használatával, hogy a módosítások érvénybe lépjenek a csomópontjain.

  • SSH-konfigurációváltozások: SSH-hozzáférési módszerek módosítása (letiltott SSH, Entra ID alapú SSH vagy helyi felhasználói SSH) vagy az SSH nyilvános kulcsainak frissítése a csomópontkészleteken.
  • Az IMDS-korlátozás változásai: A példány metaadat-szolgáltatásának (IMDS) korlátozásának engedélyezése vagy letiltása az IMDS-végpont podhozzáférésének letiltásához.
  • A bootstrap-profil változásai: A bootstrap-profil módosítása, például a artifactSource átváltása a Direct és a Cache között, vagy a containerRegistryId módosítása (a hálózatilag elkülönített fürtökhöz használt Azure Container Registry).
  • A kimenő típus módosításai: A fürt kimenő kapcsolat típusának módosítása (loadBalancer, userDefinedRouting, managedNATGateway vagy userAssignedNATGateway).

A csomópontkimaradási szabályzat által nem szabályozott frissítési műveletek

A csomópontkimaradási szabályzat nem szabályozza a következő frissítési műveleteket. Ezek a frissítési műveletek a szabályzatbeállítástól függetlenül folytatódnak. A frissítéseket vagy az ügyfél kezdeményezi, vagy az AKS a tervezett karbantartási időszakokon belül indítja el. Ha engedélyezni szeretné ezeknek a műveleteknek az ütemezés szerinti folytatását, tartsa őket szándékosan távol a csomópontkiszakadási szabályzat hatókörétől. Ha a csomópontkimaradási szabályzat hatálya alá tartozó műveletek a frissítésekkel megegyező konfigurációs módosítások részét képezik, a csomópontkimaradási szabályzat nem fogja őket vezérelni.

  • Csomópontrendszerkép verziófrissítései: Frissítés új csomópont operációsrendszer-lemezképverzióra (manuálisan vagy automatikus frissítési csatornákon keresztül). Ez a művelet a leggyakoribb újraimázsolási művelet, amely tartalmazza a biztonsági javításokat, az operációsrendszer-frissítéseket és az AKS-csomópont lemezképeinek kiadását.
  • A Kubernetes verziófrissítései: A Kubernetes-verzió frissítése egy csomópontkészleten, amely új Kubernetes bináris fájlokat, frissített kubelet-konfigurációt és operációsrendszer-szintű módosításokat alkalmaz.

A csomópontkimaradási szabályzat által nem szabályozott helyreállítási műveletek

A csomópontkimaradási szabályzat nem szabályozza a következő automatikus helyreállítási műveleteket. Ezek a műveletek a házirend beállításától függetlenül is végbemehetnek a fürt egészségének és helyreállításának biztosítása érdekében.

  • Csomópontkészlet konfigurációjának visszaállítása: Ha egy csomópontkészlet frissítési művelete érvénytelen konfigurációs vagy infrastruktúra-problémák miatt meghiúsul, az AKS automatikusan visszaáll az utolsó ismert jó állapotra, és újra megkonfigurálja a csomópontokat a konfiguráció visszaállításához.
  • Felügyeleti fürt-visszaállítási műveletek: Ha Azure-támogatás mérnökei felügyeleti fürt helyreállítását hajtják végre az incidensmegoldás során, a csomópontok újra vannak állítva, hogy biztosítsák a vezérlősík állapota és a csomópont konfigurációja közötti konzisztenciát.
  • Csomóponti identitás hitelesítő adatainak frissítése: Az AKS rendszeresen frissíti a csomóponti identitás hitelesítő adatait a biztonság és a megfelelőség érdekében. Ezek a rendszer által kezdeményezett frissítések aktiválják a csomópontok újrakonimálását, hogy az új hitelesítő adatokat az összes csomópontkészletre alkalmazzák.

Integráció a tervezett karbantartással

A csomópont-megszakítási szabályzat zökkenőmentesen együttműködik az AKS tervezett karbantartási időszakokkal. Ha a szabályzatot AllowDuringMaintenanceWindow értékre állítja, a zavaró műveletek igazodnak a aksManagedNodeOSUpgradeSchedule karbantartási időszakhoz. Az ütemezés lehet beágyazott vagy egy megosztott karbantartási időszakhoz csatolva. Ez az integráció biztosítja, hogy:

  • A módosítások csak jóváhagyott időablakokban történnek.
  • A műveletek más ütemezett karbantartásokkal vannak összehangolva.
  • A csapatok tisztában vannak azzal, hogy mikor fordulhatnak elő fennakadások.

Ez az integráció átfogó megközelítést biztosít a fürtváltozások kezeléséhez és a futó számítási feladatokra gyakorolt hatás minimalizálásához.

Note

Amikor a(z) AllowDuringMaintenanceWindow elemet használja, be kell állítania egy aksManagedNodeOSUpgradeSchedule karbantartási időablakot. A default karbantartási időszak vagy a aksManagedAutoUpgradeSchedule (a fürt automatikus frissítése) használata nem felel meg ennek a követelménynek. A aksManagedNodeOSUpgradeSchedule megosztott karbantartási időszakhoz társított konfiguráció megfelel ennek a követelménynek. Ha a(z) AllowDuringMaintenanceWindow be van állítva, de nincs beállítva aksManagedNodeOSUpgradeSchedule ablak, minden zavaró művelet engedélyezett (a szabályzathoz nincs olyan ablak beállítva, amely korlátozná ezeket). A karbantartási időszakok beállításával kapcsolatos további információkért lásd: Tervezett karbantartás használata a Azure Kubernetes Service-fürt frissítéseinek ütemezéséhez és szabályozásához.

Bevált gyakorlatok

Vegye figyelembe ezeket a javaslatokat a csomópontkimaradási szabályzat megvalósításakor:

  • Használat AllowDuringMaintenanceWindow éles környezetben: A tervezett karbantartási időszakokkal kombinálva szabályozhatja, hogy az éles környezetekben mikor fordulnak elő fennakadások.
  • Beállítás Block kritikus időszakokban: Ideiglenesen letilthatja a zavaró műveleteket nagy forgalmú események, termékindítások vagy incidensválaszok során. Ne használjon Block határozatlan ideig. A Block rövid távú befagyasztások (tervezett események, incidensek elhárítása) esetén is megfelelő.
  • Rugalmasság engedélyezése nem éles környezetben: Olyan fejlesztési és tesztelési környezetekben használható Allow , ahol a gyors iteráció fontosabb a stabilitásnál.
  • Szabályzatmódosítások kommunikálása: Győződjön meg arról, hogy a csapat ismeri az aktuális szabályzatot, és tudja, hogy mikor lehet letiltani a műveleteket.
  • A karbantartási időszakokat megfelelően tervezze meg: Méretezze a karbantartási ablakokat a végrehajtandó műveleteknek megfelelően.
  • A szabályzat működésének tesztelése: Érvényesítse a szabályzat beállításait nem éles környezetekben, mielőtt azokat éles fürtökre alkalmazná.
  • Letiltott műveletek figyelése: Nyomon követheti, hogy a rendszer mikor blokkolja a műveleteket a karbantartási ütemezés optimalizálása érdekében.

Kapcsolódó tartalom

  • Utolsó frissítés időpontja: