Poznámka:
Přístup k této stránce vyžaduje autorizaci. Můžete se zkusit přihlásit nebo změnit adresáře.
Přístup k této stránce vyžaduje autorizaci. Můžete zkusit změnit adresáře.
Slurm je jedním z nejoblíbenějších a široce používaných opensourcových správců úloh pro AI, HPC a cloud computing. Pomocí slurm můžete spouštět rozsáhlé paralelní a distribuované aplikace napříč sadou výpočetních uzlů. Poskytuje funkce, jako je plánování úloh, správa prostředků, odolnost proti chybám a řízení spotřeby. Mnoho špičkových superpočítačů na světě, výzkumných ústavů, univerzit a podniků používá Slurm.
Nastavení a správa clusterů Slurm v cloudu ale může být náročné a časově náročné, zejména pokud neznáte cloudové prostředí nebo konfiguraci Slurm. Potřebujete zpracovávat úlohy, jako je zřizování a škálování výpočetních uzlů, instalace a aktualizace softwaru Slurm, konfigurace sítě a úložiště, monitorování stavu a výkonu clusteru a řešení potíží. Tyto úkoly vás můžou odvést od základních výzkumných nebo obchodních cílů a snížit produktivitu a efektivitu úloh umělé inteligence a prostředí HPC.
Pracovní prostor Azure CycleCloud pro Slurm je šablona řešení Azure Marketplace, kterou můžete použít k vytváření, konfiguraci a nasazování předdefinovaných clusterů Slurm pomocí CycleCloudu v Azure. K nasazení šablony nepotřebujete předchozí znalosti Azure nebo Slurm, ale provoz a přizpůsobení prostředí tyto dovednosti vyžaduje. Řešení předkonfiguruje clustery Slurm s PMix v4, Pyxis a enroot pro podporu kontejnerizovaných úloh AI/HPC Slurm. K nastavenému přihlašovacímu uzlu se můžete dostat pomocí SSH nebo Visual Studio Code pro běžné úkoly, jako je odesílání a správa Slurm úloh.
I když Azure CycleCloud už umožňuje provádět některé z těchto úloh, nenasazuje infrastrukturu AI/HPC za vás. Musíte řešit úlohy, jako je instalace a konfigurace CycleCloudu, konfigurace sítě a úložiště a vytvoření a konfigurace clusteru Slurm. Pracovní prostor Azure CycleCloud pro Slurm provádí tyto úlohy za vás v šabloně řešení Marketplace, kterou můžete nasadit přímo z webu Azure Portal nebo přes Azure CLI. Jste připraveni během několika minut, ne dnů nebo týdnů.
Zvolte možnost orchestrace v Azure
Vyberte možnost na základě zkušeností s plánovači a úrovně řízení infrastruktury, kterou váš tým potřebuje:
| Option | Nejlepší přizpůsobení | Provozní model |
|---|---|---|
| Pracovní prostor Azure CycleCloud pro Slurm | Týmy, které chtějí připravené prostředí Slurm pro HPC nebo AI zátěže | Řešení Marketplace nasazuje komponenty CycleCloud, Slurm, síťové, úložné a přístupové systémy ve vašem předplatném Azure. |
| Azure CycleCloud | HPC prostředí, která vyžadují plánovač jiný než Slurm, vlastní topologii clusteru nebo těsné sladění s existujícími on-premises pracovními postupy | Nainstalujete CycleCloud a konfigurujete plánovač, cluster, síť a úložiště. CycleCloud zajišťuje a automaticky škáluje infrastrukturu Azure. |
| Azure Batch | Paralelní úlohy a úlohy s vysokou propustností, které nevyžadují, abyste provozovali software plánovače | Azure poskytuje plánování jako službu. Stavíte pomocí Batch API a nástrojů, zatímco Batch spravuje pooly, uzly, úlohy a úkoly. |
Použijte své současné prostředí jako rozhodující faktor:
| Výchozí bod | Upřednostňovat | Proč |
|---|---|---|
| Chcete Slurm a předdefinovaná síťová, úložná a přístupová architektura splní vaše požadavky. | Pracovní prostor Azure CycleCloud pro Slurm | Řešení Marketplace zkracuje cestu k funkčnímu prostředí Slurm, přičemž zdroje zůstávají ve vašem předplatném. |
| Potřebujete plánovač jiný než Slurm, nebo musíte přizpůsobit topologii, plánovací politiky či infrastrukturu nad rámec návrhu řešení. | Azure CycleCloud | CycleCloud zajišťuje kontrolu nad konfigurací plánovače a clusteru. |
| Vaše aplikace může používat pooly, úlohy a úkoly a nevyžaduje kompatibilitu s plánovači. | Azure Batch | Batch poskytuje plánování jako službu a odstraňuje potřebu provozovat Slurm. |
Nevolte Workspace pro Slurm, pokud očekáváte spravovanou platformu. Váš tým stále zodpovídá za nasazené prostředky Azure, konfiguraci Slurm, zabezpečení, monitorování, aktualizace a provoz pracovních zátěží. Vyberte vlastní CycleCloud, pokud předdefinovaná architektura nesplňuje požadovanou topologii nebo integraci.
Před produkční implementací zaznamenejte, proč je Workspace for Slurm vhodný, které alternativy jste zamítli, zda je nasazení zcela nové, nebo znovu využívá stávající prostředky, návrh sítě a správy identit, benchmark úložiště, regionální kvóty a kapacitu virtuálních počítačů, postup obnovení, vlastníka provozu a čas a náklady na jednu reprezentativní úlohu. Začněte plánováním nasazení. Informace o vlastním clusteru CycleCloud najdete v tématu Plánování a dimenzování clusterů HPC.
Výhody pracovního prostoru Azure CycleCloud pro Slurm
Azure CycleCloud je skvělé řešení, když chcete vytvořit prostředí AI/HPC v Azure, a to buď tak, aby se některé místní úlohy AI/HPC přesunuly a vytvořily nové. Vytváření kompletního prostředí AI/HPC ale není snadný úkol. Musíte se rozhodnout, jak navrhnout svou síť, kterou komponentu úložiště použít jako sdílený souborový systém, jaký typ virtuálního počítače použít pro spouštění úloh, a mnoho malých věcí, které mohou zkomplikovat realizaci vašeho projektu.
Pracovní prostor Azure CycleCloud pro Slurm nabízí uživatelům, kteří chtějí spouštět úlohy Slurm v Azure, například:
Snadné a rychlé vytvoření clusteru: Clustery Slurm v Azure můžete během několika minut vytvořit pomocí několika jednoduchých kroků v grafickém uživatelském rozhraní. Tento proces je rychlejší než dny nebo týdny práce v minulosti bez pracovního prostoru Azure CycleCloud pro Slurm. Můžete si vybrat z různých velikostí a typů virtuálních počítačů Azure. Můžete přizpůsobit nastavení clusteru, jako je počet uzlů, konfigurace sítě, možnosti úložiště ze služby Azure NetApp Files do systému souborů Lustre Azure a parametry Slurm.
Flexibilní a dynamická správa clusterů: Azure CycleCloud vertikálně navyšuje nebo snižuje kapacitu clusterů Slurm. Můžete monitorovat stav, výkon a využití clusteru. Protokoly clusteru a metriky můžete zobrazit v grafickém uživatelském rozhraní. Clustery Slurm můžete odstranit také v případě, že už nejsou potřeba a platíte jenom za prostředky, které používáte.
Jak vytvořím pracovní prostor Azure CycleCloud pro Slurm?
Pracovní prostor Azure CycleCloud pro Slurm můžete nasadit z Azure Marketplace nebo pomocí Azure CLI. Pokud chcete provést nasazení z Marketplace, vyhledejte Slurm a pak vyberte Vytvořit. Pokud chcete nasadit pomocí Azure CLI, musíte nejprve vytvořit vstupní soubor parametrů, a poté provést nasazení pomocí příkazu az deployment sub create. Podrobné pokyny najdete v tématu Nasazení prostředí pracovního prostoru CycleCloud Slurm pomocí rozhraní příkazového řádku.
Co není pracovní prostor Azure CycleCloud pro Slurm?
Pracovní prostor Azure CycleCloud pro Slurm není služba PaaS. Ve vašem tenantovi je nasazena celá infrastruktura, což vám umožňuje provést kompletní nasazení (greenfield nasazení) nebo určit existující prostředky k opětovnému využití (brownfield nasazení), jako jsou cílová skupina prostředků, virtuální síť, Azure NetApp Files a další.
Jak vypadá pracovní prostor Azure CycleCloud pro nasazené prostředí Slurm
Tady je typická architektura nasazení pracovního prostoru Azure CycleCloud pro Slurm. Architektura zahrnuje povinné prostředky, jako je virtuální počítač pro spouštění CycleCloudu, sdílený systém souborů pro domovské adresáře uživatelů a účet úložiště pro úložiště projektů CycleCloud.
Pracovní prostor Azure CycleCloud pro Slurm může nasadit virtuální síť, nebo můžete pro vytváření prostředků použít existující virtuální síť. Volitelně můžete vytvořit spravovaný systém souborů Lustre Azure ve vlastní podsíti.
Pokud bezpečnostní pravidla vaší společnosti nepovolují veřejné IP adresy (a mnoho z nich to neumožňuje), můžete vytvořit propojení virtuálních sítí k existující virtuální síti v modelu hub and spoke. Centrum obsahuje všechny služby připojení, jako je brána virtuální sítě nebo Azure Bastion.
Nakonec v prostředí bez veřejné IP adresy a sítě VPN potřebujete Bastion. Bastion poskytuje zabezpečený přístup k webovému portálu CycleCloud a umožňuje používat SSH pro připojení k ověřovacím uzlům.