Limity prostředků, velikosti virtuálních počítačů a oblasti pro AKS povolené službou Azure Arc
Platí pro: AKS v Azure Local 22H2, AKS na Windows Serveru
Tento článek obsahuje informace o otestovaných konfiguracích, omezeních prostředků, velikostech virtuálních počítačů a oblastech pro službu Azure Kubernetes Service (AKS) povolenou službou Azure Arc. Testy používaly nejnovější verzi AKS v Azure Local.
Maximální specifikace
Služba AKS povolená nasazeními Arc byla ověřena s následujícími konfiguracemi, včetně zadaných maximálních hodnot. Mějte na paměti, že překročení těchto maximálních hodnot je na vašem vlastním riziku a může vést k neočekávanému chování a selháním. Tento článek obsahuje některé pokyny k tomu, jak se vyhnout běžným chybám konfigurace a pomůže vám vytvořit větší konfiguraci. Pokud máte pochybnosti, obraťte se na místní kancelář Microsoftu a požádejte o pomoc nebo odešlete dotaz v místní komunitě Azure.
Prostředek | Maximum |
---|---|
Fyzické servery na cluster | 8 |
Celkový počet virtuálních počítačů | 200 |
Doporučené limity byly testovány s výchozími velikostmi virtuálních počítačů na základě následující tabulky:
Systémová role | Velikost virtuálního počítače |
---|---|
Hostitel AKS | Standard_A4_v2 |
Uzel řídicí roviny cílového clusteru | Výchozí |
Nástroj pro vyrovnávání zatížení haxy cílového clusteru (volitelné) | Standard_A4_v2 |
Cílový pracovní uzel clusteru s Linuxem | Standard_K8S3_v1 |
Cílový pracovní uzel clusteru s Windows | Standard_K8S3_v1 |
Konfigurace hardwaru každého fyzického uzlu v místním clusteru Azure je následující:
- Skříň: Dell PowerEdge R650 Server nebo podobný.
- RAM: RDIMM, 3200 MT/s, Duální pořadí, celkem 256 GB.
- CPU: Dva (2) Intel Xeon Silver 4316 2.3G, 20C/40T, 10.4 GT/s, 30M Cache, Turbo, HT (150 W) DDR4-2666.
- Disk: 8x PEVNÉ disky (2 TB nebo větší) a 2x 1,6 TB NVMe pro podporu konfigurací úložiště S2D.
- Síť: Čtyři (4) 100 Gbitové síťové karty (Mellanox nebo Intel).
Technický tým Microsoftu otestoval AKS povolený službou Arc s využitím výše uvedené konfigurace. Pro jeden uzel. 2 uzly, 4 uzly a 8 uzlů clustery s podporou převzetí služeb při selhání systému Windows. Pokud potřebujete překročit testovanou konfiguraci, přečtěte si téma Škálování AKS v Azure Local.
Důležité
Při upgradu nasazení AKS se dočasně spotřebují další prostředky. Každý virtuální počítač se upgraduje v toku kumulativní aktualizace, počínaje uzly řídicí roviny. Pro každý uzel v clusteru Kubernetes se vytvoří nový virtuální počítač uzlu. Virtuální počítač starého uzlu je omezený, aby se zabránilo nasazení úloh do něj. Omezený virtuální počítač se pak vyprázdní ze všech kontejnerů, aby se kontejnery distribuovaly do jiných virtuálních počítačů v systému. Vyprázdněný virtuální počítač se pak odebere z clusteru, vypne a nahradí novým aktualizovaným virtuálním počítačem. Tento proces se opakuje, dokud se neaktualizují všechny virtuální počítače.
Dostupné velikosti virtuálních počítačů
Následující velikosti virtuálních počítačů pro uzly řídicí roviny, linuxové pracovní uzly a pracovní uzly Windows jsou k dispozici pro AKS v Azure Local. I když jsou velikosti virtuálních počítačů, jako jsou Standard_K8S2_v1 a Standard_K8S_v1 podporované pro testování a nízké požadavky na prostředky, používejte tyto velikosti opatrně a používejte přísné testování, protože můžou mít za následek neočekávané chyby způsobené nedostatkem paměti.
Velikost virtuálního počítače | Procesor | Paměť (GB) | Typ GPU | Počet GPU |
---|---|---|---|---|
Výchozí | 4 | 4 | ||
Standard_A2_v2 | 2 | 4 | ||
Standard_A4_v2 | 4 | 8 | ||
Standard_D2s_v3 | 2 | 8 | ||
Standard_D4s_v3 | 4 | 16 | ||
Standard_D8s_v3 | 8 | 32 | ||
Standard_D16s_v3 | 16 | 64 | ||
Standard_D32s_v3 | 32 | 128 | ||
Standard_DS2_v2 | 2 | 7 | ||
Standard_DS3_v2 | 2 | 14 | ||
Standard_DS4_v2 | 8 | 28 | ||
Standard_DS5_v2 | 16 | 56 | ||
Standard_DS13_v2 | 8 | 56 | ||
Standard_K8S_v1 | 4 | 2 | ||
Standard_K8S2_v1 | 2 | 2 | ||
Standard_K8S3_v1 | 4 | 6 | ||
Standard_NK6 | 6 | 12 | Tesla T4 | 0 |
Standard_NK12 | 12 | 24 | Tesla T4 | 2 |
Podporované oblasti Azure pro registraci Do Azure
Služba AKS povolená službou Arc je podporována v následujících oblastech Azure:
- Austrálie – východ
- USA – východ
- Southeast Asia
- Západní Evropa
Škálování AKS v Azure Local
Škálování nasazení AKS v Azure Local zahrnuje plánování dopředu tím, že zná vaše úlohy a cílové využití clusteru. Kromě toho zvažte hardwarové prostředky ve vaší základní infrastruktuře, jako jsou celková jádra procesoru, celková paměť, úložiště, IP adresy atd.
Následující příklady předpokládají, že se na základní infrastruktuře nasazují jenom úlohy založené na AKS. Nasazení úloh jiných než AKS, jako jsou samostatné nebo clusterované virtuální počítače nebo databázové servery, snižuje prostředky dostupné pro AKS, které je potřeba vzít v úvahu.
Než začnete, zvažte následující body, abyste zjistili maximální škálování a počet cílových clusterů, které potřebujete podporovat:
- PočetIPch
- Počet IP adres dostupných pro služby Kubernetes v cílovém clusteru
- Počet podů, které potřebujete ke spuštění úloh.
Pokud chcete určit velikost virtuálního počítače hostitele služby Azure Kubernetes Service, musíte znát počet pracovních uzlů a cílových clusterů, protože to určuje velikost virtuálního počítače hostitele AKS. Příklad:
- Počet cílových clusterů v konečném nasazeném systému.
- Počet uzlů, včetně řídicí roviny, nástroje pro vyrovnávání zatížení a pracovních uzlů ve všech cílových clusterech.
Poznámka:
Jeden hostitel AKS může spravovat pouze cílové clustery na stejné platformě.
Pokud chcete zjistit velikost uzlu řídicí roviny cílového clusteru, musíte znát počet podů, kontejnerů a pracovních uzlů, které plánujete nasadit do každého cílového clusteru.
Výchozí nastavení, která se momentálně nedají změnit v AKS
V současné době nejsou k dispozici výchozí konfigurace a nastavení pro řízení zákazníků během nebo po nasazení. Tato nastavení můžou omezit škálování pro daný cílový cluster.
- Počet IP adres pro pody Kubernetes v cílovém clusteru je omezený na podsíť
10.244.0.0/16
. To znamená, že pro pody je možné použít 255 IP adres na pracovní uzel ve všech oborech názvů Kubernetes. Pokud chcete zobrazit CIDR podu přiřazený ke každému pracovnímu uzlu v clusteru, použijte v PowerShellu následující příkaz:
kubectl get nodes -o json | findstr 'hostname podCIDR'
"kubernetes.io/hostname": "moc-lip6cotjt0f",
"f:podCIDR": {},
"f:podCIDRs": {
"f:kubernetes.io/hostname": {},
"podCIDR": "10.244.2.0/24",
"podCIDRs": [
"kubernetes.io/hostname": "moc-lmb6zqozk4m",
"f:podCIDR": {},
"f:podCIDRs": {
"f:kubernetes.io/hostname": {},
"podCIDR": "10.244.4.0/24",
"podCIDRs": [
"kubernetes.io/hostname": "moc-wgwhhijxtfv",
"f:podCIDR": {},
"f:podCIDRs": {
"f:kubernetes.io/hostname": {},
"podCIDR": "10.244.5.0/24",
"podCIDRs": [
V tomto příkladu vidíte tři uzly se třemi identifikátoryCIDR, z nichž každý může hostovat 254 podů. Dokumentace ke škálování Kubernetes doporučuje, abyste z důvodů výkonu nepřekročili 110 podů na uzel. Viz důležité informace pro velké clustery.
Další aspekty:
- Počet IP adres pro služby Kubernetes mimo přidělený fond VIP pochází z
10.96.0.0/16
fondu adres. Systém využívá jednu z 255 dostupných adres pro server rozhraní API Kubernetes. - Velikost hostitelského virtuálního počítače AKS se dá nastavit jenom při instalaci, když poprvé spustíte Set-AksHciConfig . Později ho nemůžete změnit.
- Velikost řídicí roviny cílového clusteru a virtuálních počítačů nástroje pro vyrovnávání zatížení můžete nastavit pouze v době vytvoření cílového clusteru.
Příklad škálování
Následující příklad škálování vychází z těchto obecných předpokladů a případů použití:
- Chcete být schopni zcela tolerovat ztrátu jednoho fyzického uzlu v místním clusteru Azure.
- Chcete podporovat upgrade cílových clusterů na novější verze.
- Chcete povolit vysokou dostupnost uzlů řídicí roviny cílového clusteru a uzlů nástroje pro vyrovnávání zatížení.
- Pro tyto případy chcete rezervovat část celkové místní kapacity Azure.
Návrhy
Pro zajištění optimálního výkonu nezapomeňte nastavit alespoň 15 procent (100/8=12,5) kapacity clusteru, aby bylo možné distribuovat všechny prostředky z jednoho fyzického uzlu do dalších sedmi (7) uzlů. Tato konfigurace zajišťuje, že máte k dispozici určitou rezervu pro provedení upgradu nebo jiného dne dvou operací AKS.
Pokud chcete zvětšit nad rámec limitu 200 virtuálních počítačů pro maximální velikost hardwaru osm (8) uzlů Azure Local, zvětšete velikost hostitelského virtuálního počítače AKS. Při zdvojnásobení velikosti se přibližně zdvojnásobí počet virtuálních počítačů, které může spravovat. V místním clusteru Azure s 8 uzly se můžete dostat k virtuálním počítačům 8 192 (8x1024) na základě limitů prostředků doporučených pro Místní prostředí Azure zdokumentované v maximálních podporovaných specifikacích hardwaru. Měli byste si rezervovat přibližně 30 % kapacity, což vám na všech uzlech ponechá teoretické omezení 5 734 virtuálních počítačů.
- Standard_D32s_v3 může hostitel AKS s 32 jádry a 128 GB podporovat maximálně 1 600 uzlů.
Poznámka:
Vzhledem k tomu, že tato konfigurace nebyla důkladně testována, vyžaduje pečlivý přístup a ověřování.
V takovém měřítku můžete chtít prostředí rozdělit na alespoň 8 cílových clusterů s 200 pracovními uzly.
Pokud chcete spustit 200 pracovních uzlů v jednom cílovém clusteru, můžete použít výchozí řídicí rovinu a velikost nástroje pro vyrovnávání zatížení. V závislosti na počtu podů na uzel můžete v řídicí rovině přejít aspoň o jednu velikost a použít Standard_D8s_v3.
V závislosti na počtu služeb Kubernetes hostovaných v každém cílovém clusteru možná budete muset zvětšit velikost virtuálního počítače nástroje pro vyrovnávání zatížení a také při vytváření cílového clusteru, abyste zajistili, že se služby dají dosáhnout s vysokým výkonem a odpovídajícím způsobem se směruje provoz.
Nasazení AKS povolené službou Arc distribuuje pracovní uzly pro každý fond uzlů v cílovém clusteru mezi dostupné místní uzly Azure pomocí logiky místního umístění Azure.
Důležité
Umístění uzlu se během upgradu platformy a AKS nezachová a v průběhu času se změní. Fyzický uzel, který selhal, ovlivní také distribuci virtuálních počítačů mezi zbývající uzly clusteru.
Poznámka:
Pokud je fyzický cluster již plný 50 %, nespustí více než čtyři vytváření cílových clusterů, což může vést k dočasnému kolizí prostředků. Při vertikálním navýšení kapacity fondů cílových uzlů clusteru velkými čísly vezměte v úvahu dostupné fyzické prostředky, protože AKS neověřuje dostupnost prostředků pro paralelní spuštěné procesy vytváření a škálování. Vždy zajistěte dostatečnou rezervu, aby bylo možné provést upgrady a převzetí služeb při selhání. Zvláště ve velmi rozsáhlých prostředích můžou tyto operace při paralelním spuštění vést k rychlému vyčerpání prostředků.
Pokud máte pochybnosti, obraťte se na místní kancelář Microsoftu a požádejte o pomoc nebo příspěvek ve fóru místní komunity Azure.