Osvědčené postupy pro pozorovatelnost GPU pro Azure Kubernetes Service (AKS)

Tento článek obsahuje osvědčené postupy pro monitorování a interpretaci signálů GPU na Azure Kubernetes Service (AKS). Místo toho, abyste se podívali na metriky NVIDIA GPU izolovaně, korelují signály napříč využitím, pamětí a kontextem úloh za účelem zlepšení dlouhodobého výkonu a efektivity uzlů.

Important

Funkce AKS ve verzi Preview jsou k dispozici na bázi samoobsluhy a dobrovolného přihlášení. Verze Preview jsou poskytovány "tak, jak jsou" a "podle dostupnosti" a neplatí pro ně smlouvy o úrovni služeb ani omezená záruka. Předběžné verze AKS jsou částečně pokryty zákaznickou podporou podle možností. Proto tyto funkce nejsou určené pro produkční použití. Další informace najdete v následujících článcích podpory:

Vysvětlení využití GPU a sytosti

Nezacházejte s metrikou NVIDIA DCGM DCGM_FI_DEV_GPU_UTIL jako s přímým ukazatelem efektivity. DCGM_FI_DEV_GPU_UTIL Určuje, jak často jsou jádra aktivní, takže vám neřekne, jestli je úloha výpočetní výkonná. Přesnější pokyny získáte díky korelaci signálů využití místo jejich nezávislého čtení. Porovnejte DCGM_FI_DEV_GPU_UTIL s DCGM_FI_PROF_SM_ACTIVE, a pak porovnejte DCGM_FI_PROF_SM_ACTIVE s DCGM_FI_PROF_DRAM_ACTIVE, a zjistili tak, jestli je vaším úzkým hrdlem výpočetní výkon, paměť, nebo režijní náklady na spuštění a synchronizaci.

Vysoká DCGM_FI_DEV_GPU_UTIL a nízká DCGM_FI_PROF_SM_ACTIVE často ukazují na režii při spuštění, zpoždění synchronizace nebo konflikty paměti. Vysoké DCGM_FI_PROF_SM_ACTIVE s nízkou DCGM_FI_PROF_DRAM_ACTIVE jsou více konzistentní s chováním vázaným na výpočty. Vyšší DCGM_FI_PROF_DRAM_ACTIVE s nižšími DCGM_FI_PROF_SM_ACTIVE obvykle poukazuje na to, že provádění je vázané na paměť.

Note

DCGM_FI_PROF_SM_ACTIVE a DCGM_FI_PROF_DRAM_ACTIVE jsou pole profilace DCGM a nemusí se ve výchozím nastavení zobrazovat pro všechny typy architektury GPU NVIDIA nabízené ve velikostech Azure virtuálních počítačů.

Tento přístup založený na korelaci vám pomůže vyhnout se horizontálnímu škálování v případě, že kořenový problém může být výkonnost jádra nebo vzory přístupu k paměti. Podrobné sémantiky metrik najdete v uživatelské příručce NVIDIA DCGM.

Použití zatížení paměti jako primárního plánovacího signálu

Pokud paměť opakovaně přistupuje k prahovým hodnotám mimo paměť, považuje se tento vzor za počáteční indikátor nestability. Kubernetes nemá žádný nativní signál zatížení paměti GPU, takže vyčerpání paměti VRAM se obvykle projevuje pouze ukončováním kontejnerů (OOM) a narušením běhu podů, a to často až poté, co telemetrie DCGM ukáže trend.

Automatizace akcí životního cyklu uzlů ze signálů stavu GPU

Tento postup je zvláště důležitý pro dlouhodobé pooly uzlů AKS GPU, kde se opotřebení hostitelského uzlu může lišit v závislosti na jednotlivých uzlech.

Sladění signálů pozorovatelnosti s rozhodnutími o škálování

Pro vertikální škálování vytvořte nový fond uzlů na jiné variantě virtuálního počítače Azure s podporou GPU a migrujte úlohy, když výkon nebo tepelné limity omezují propustnost, například když DCGM_FI_DEV_POWER_USAGE zůstává blízko limitu, zatímco DCGM_FI_PROF_SM_ACTIVE zůstává rovná navzdory poptávce.

Oddělené zásady pozorovatelnosti pro MIG a non-MIG

Pokud je povolena MIG, rozsah jednotlivých metrik se mění, proto interpretujte signály odlišně.

Publikujte metriky efektivity GPU se zohledněním nákladů

Optimalizujte viditelnost nákladů, nejen výkon. Vysoce hodnotná odvozená metrika pro týmy platformy AKS je porovnání využitých sekund GPU versus přidělených sekund GPU. Pomocí telemetrie DCGM a kontextových spojení Kubernetes publikujte tuto metriku podle oboru názvů a třídy úloh a pak ji v průběhu času zkontrolujte jako sdílený klíčový ukazatel výkonu pro týmy platforem a financí. Tento přístup definuje běžný zdroj pravdivých informací pro rozhodnutí o optimalizaci a pomáhá zabránit tomu, aby se nadměrné přidělení skrylo agregovanými průměry využití.

Další kroky

  • Poslední aktualizace v