Cvičení – přidání disku do uzlu plánovače clusteru HPC

30 min

Azure CycleCloud využívá šablony k definování konfigurací clusteru. Její výchozí implementace obsahuje předdefinované šablony pro nejběžnější plánovače, ale v úložišti Azure CycleCloud Na GitHubu můžete najít několik dalších.

Vzpomeňte si, že jste chtěli otestovat proces implementace clusteru pomocí přizpůsobené šablony Azure CycleCloud. K tomuto účelu budete využívat úložiště Azure CycleCloud Na GitHubu, které je hostitelem projektu Slurm kurátorovaného Microsoftem. Existující šablonu clusteru z tohoto úložiště upravíte tak, že změníte konfiguraci úložiště uzlu plánovače, naimportujete nově upravenou šablonu do aplikace Azure CycleCloud, pomocí grafického rozhraní aplikace vytvoříte cluster a nakonec ověříte změnu konfigurace úložiště.

Důležitý

Abyste mohli absolvovat cvičení v tomto modulu, musíte splnit následující požadavky:

Máte předplatné Azure s dostupností jader virtuálních procesorů ve třech skupinách velikostí virtuálních počítačů:
- alespoň 4 jádra vCPU řady DSv3
- alespoň 100 jader vCPU řady FSv2
- alespoň 48 jader vCPU řady NC
Máte účet Microsoft nebo účet Microsoft Entra s rolí Vlastník nebo Přispěvatel v předplatném Azure.
Nasaďte aplikaci Azure CycleCloud na virtuální počítač Azure přístupný s veřejnou IP adresou přidruženou k jeho síťovému rozhraní.
Nakonfigurujte aplikaci Azure CycleCloud s přístupem na úrovni role Vlastník nebo Přispěvatel k předplatnému Azure.
Mít uživatelský účet aplikace Azure CycleCloud s rolí Správce.
Vytvořte podsíť virtuální sítě Azure, do které můžete nasazovat uzly clusteru.
Požádejte privátní klíč páru klíčů SSH, který se používá ke konfiguraci aplikace Azure CycleCloud.

Poznámka

Informace o identifikaci a zvýšení kvót virtuálních procesorů v předplatném Azure najdete v následující dokumentaci:

Poznámka

Privátní klíč budete potřebovat k přímému připojení k uzlům clusteru v posledním cvičení tohoto modulu.

V tomto cvičení provedete následující úlohy:

Úloha 1: Instalace a konfigurace azure CycleCloud CLI
Úkol 2: Konfigurace projektu Slurm Azure CycleCloud
Úloha 3: Implementace vlastní šablony Azure CycleCloudu
Úloha 4: Spuštění nového clusteru a prozkoumání konfigurace úložiště

Úloha 1: Instalace a konfigurace azure CycleCloud CLI

Většina úloh správy v tomto a následných cvičeních používá Rozhraní příkazového řádku Azure CycleCloud, takže ho začnete tím, že ho nainstalujete a připojíte k aplikaci Azure CycleCloud. Ke zjednodušení počátečního nastavení použijete Azure Cloud Shell.

Poznámka

Alternativně se můžete přihlásit k virtuálnímu počítači Azure hostovanému v aplikaci Azure CycleCloud, kde už je nainstalované rozhraní příkazového řádku Azure CycleCloud.

Na počítači spusťte s Azure portal kompatibilní webový prohlížeč, přejděte na portál Azure , a po zobrazení výzvy se ověřte pomocí účtu Microsoft nebo účtu Microsoft Entra, který má v předplatném Azure roli Přispěvatel nebo Vlastník, kterou budete v tomto modulu používat.

Poznámka

Azure Portal podporuje nejběžnější moderní webové prohlížeče, včetně aktuálních verzí Microsoft Edge, Google Chrome, Mozilla Firefoxu a Apple Safari.
Na webu Azure Portal otevřete Cloud Shell výběrem jeho ikony na panelu nástrojů vedle vyhledávacího textového pole.
Pokud se zobrazí výzva k výběru bashe nebo PowerShellu, vyberte Bash.

Poznámka

Pokud azure Cloud Shell spouštíte poprvé a zobrazí se zpráva Nemáte připojené úložiště , vyberte předplatné, které v tomto cvičení používáte, a pak vyberte Vytvořit úložiště.
V relaci Bash v podokně Azure Cloud Shell spusťte následující příkaz, kterým nastavíte hodnotu proměnné na veřejnou IP adresu aplikačního serveru Azure CycleCloud (zástupný symbol <public_ip_address> nahraďte skutečnou veřejnou IP adresou):
```
PIP=<public_ip_address>
```
Spuštěním následujícího příkazu stáhněte soubor .zip obsahující instalační program rozhraní příkazového řádku specifického pro instanci Azure CycleCloud:
```
curl -O --insecure https://$PIP/static/tools/cyclecloud-cli.zip
```
Spuštěním následujících příkazů extrahujte a spusťte skript, který provede instalaci azure CycleCloud CLI:
```
unzip ./cyclecloud-cli.zip
cd ./cyclecloud-cli-installer
./install.sh
```
Poznámka

Ignorujte všechny zprávy týkající se proměnné prostředí cesty a pokračujte dalším krokem.
Spuštěním následujícího příkazu vytvořte připojení k instanci Azure CycleCloud, kde zástupné symboly <username> a <password> označují přihlašovací údaje uživatelského účtu aplikace Azure CycleCloud s rolí správce:
```
cyclecloud initialize --batch --url=https://$PIP --username=<username> --password=<password> --verify-ssl=false
```
Poznámka

Parametr --verify-ssl nastavený na false vyhovuje scénářům, kdy je aplikace Azure CycleCloud nakonfigurovaná pomocí certifikátu podepsaného svým držitelem nebo certifikátu z nedůvěryhodné certifikační autority.
Spuštěním následujícího příkazu ověřte připojení k instanci Azure CycleCloud zobrazením konfigurace nástroje Locker:
```
cyclecloud locker list
```
Poznámka

Výstup by měl obsahovat názvy úložišť pro každé předplatné Azure registrované v CycleCloud a jejich příslušné kontejnery v jednotlivých účtech úložiště Azure. Měli byste si zaznamenat název skříňky odpovídající předplatnému Azure, které chcete pro toto cvičení použít, protože ho budete potřebovat později v tomto cvičení. Výstup příkazu je v následujícím formátu (kde zástupný symbol <locker-name> představuje název nástroje Locker, zástupný symbol <storage_account_name> představuje název účtu úložiště, který je hostitelem tohotolockeru, a zástupný symbol <container_name> představuje název kontejneru nástroje Locker v rámci tohoto účtu úložiště):
```
<locker-name> (az://<storage_account_name>/<container_name>)
```

Úkol 2: Konfigurace projektu Slurm Azure CycleCloud

Dále nakonfigurujete ukázkový projekt Azure CycleCloud Slurm. Použijete existující projekt Slurm z úložiště Azure CycleCloud Na GitHubu. Načtete ho do svého domovského adresáře v Azure Cloud Shellu a pak ho nahrajete dolockeru Azure CycleCloud.

V počítači v relaci Bash v podokně Azure Cloud Shell spusťte následující příkazy, které vytvoří adresář projektu a načte do něj projekt Slurm z odpovídajícího úložiště GitHub.
```
mkdir ~/cyclecloud-slurm && cd ~/cyclecloud-slurm
cyclecloud project fetch https://github.com/Azure/cyclecloud-slurm . 
```
Poznámka

Nezapomeňte na konci druhého příkazu zahrnout závěrečnou tečku.
Spuštěním následujícího příkazu označte výchozí skříňku a nahrajte do ní projekt (zástupný symbol <locker_name> nahraďte názvem skříňky, kterou jste identifikovali v předchozím úkolu, například cc-lab-subscription-storage):
```
cyclecloud project default_locker <locker_name>
cyclecloud project upload 
```
Poznámka

Případně můžete spustit cyclecloud project upload <locker_name>, kde zástupný symbol <locker_name> určí název skříňky.

Poznámka

Ignorujte chybovou zprávu související s nástrojem azcopy, která hlásí Cannot perform sync due to error: sync must happen between source and destination of the same type, e.g., either file <-> file, or directory/container <-> directory/container následovanou Upload failed!, pokud je samotné kopírování souborů projektu úspěšně dokončeno. Pokud to chcete ověřit, ověřte, že je konečný stav úlohy uveden jako Completed, s nulovými neúspěšnými přenosy.

Úloha 3: Implementace vlastní šablony Azure CycleCloudu

Teď si stáhnete a upravíte ukázkovou šablonu Azure CycleCloud, která je kompatibilní s načteným projektem založeným na GitHubu. Použijete ji k definování vlastní konfigurace úložiště, která zahrnuje další disk připojený k uzlu plánovače a exportovaný prostřednictvím systému souborů NFS (Network File System). Po této úpravě ji naimportujete do své aplikace Azure CycleCloud.

Poznámka

Obsah šablony můžete prozkoumat ve webovém prohlížeči tak, že přejdete do úložiště Azure/cyclecloud-slurm.

Na počítači v okně webového prohlížeče, kde je zobrazena relace Bash v podokně Azure Cloud Shell , spusťte následující příkaz ke změně pracovního adresáře na nově načtené úložiště:
```
cd ~/cyclecloud-slurm/templates
```
Spuštěním následujících příkazů vytvořte zálohu původní šablony clusteru:
```
cp slurm.txt slurm.bak.txt
```
Spuštěním následujícího příkazu otevřete staženou šablonu v editoru nano:
```
nano slurm.txt
```
Poznámka

Místo editoru nano můžete použít jakýkoli jiný textový editor, který máte k dispozici, včetně integrovaného editoru Azure Cloud Shellu.
V rozhraní editoru nano přejděte do oddílu [[node scheduler]]. V této části vyhledejte pododdíl [[[volume shared]]], přejděte na řádek Persistent = ${NFSType == "Builtin"}a za něj přidejte následující obsah:
```
    # Add 2 premium disks in a RAID 0 configuration to the NFS export
    [[[volume nfs-1]]]
    Size = 128
    StorageAccountType = Premium_LRS
    Mount = nfs
    Persistent = true

    [[[volume nfs-2]]]
    Size = 128
    StorageAccountType = Premium_LRS
    Mount = nfs
    Persistent = true

    [[[configuration cyclecloud.mounts.nfs]]]
    mountpoint = /mnt/exports/lab
    fs_type = ext4
    raid_level = 0
```
Poznámka

Pokud používáte počítač s Windows, můžete obsah schránky vložit pomocí kombinace kláves Shift + Insert .

Poznámka

Vaše změny definují dva 128GB disky Premium Storage v objemu založeném na stripingu, které se během zřizování automaticky připojí k hlavnímu uzlu. Svazek použije přípojný bod /mnt/export/ a automaticky se naformátuje jako systém souborů ext4. Nastavení Persistent = true indikuje, že disky se po ukončení clusteru zachovají, ale pokud cluster odstraníte, automaticky se odstraní.

Poznámka

Azure CycleCloud implementuje svazky jako spravované disky Azure.
V rozhraní editoru Nano vyberte kombinaci kláves Ctrl + O , vyberte klávesu Enter a pak stisknutím kombinace kláves Ctrl + X uložte provedené změny a zavřete soubor.

Poznámka

V tomto okamžiku můžete k importu šablony použít připojení k aplikaci Azure CycleCloud prostřednictvím rozhraní příkazového řádku.
Spuštěním následujícího příkazu naimportujte šablonu, kterou jste změnili v předchozím úkolu, do aplikace Azure CycleCloud:
```
cyclecloud import_template -f ~/cyclecloud-slurm/templates/slurm.txt
```
Poznámka

Příkaz zobrazí název importované šablony, stav plánovače (scheduler: Off -- --) a celkový počet uzlů (Total nodes: 1).

Úloha 4: Spuštění nového clusteru a prozkoumání konfigurace úložiště

K závěru tohoto cvičení ověříte, že šablona, kterou jste naimportovali do aplikace Azure CycleCloud, poskytuje zamýšlenou funkci vytvořením nového clusteru a kontrolou konfigurace úložiště hlavního uzlu, abyste měli jistotu, že obsahuje svazek skládající se ze dvou trvalých disků.

Na počítači otevřete další okno prohlížeče a přejděte na adresu URL https://< IP_address> (nahraďte <zástupný symbol IP_address> veřejnou IP adresou aplikačního serveru Azure CycleCloud). Pokud se zobrazí výzva, potvrďte, že chcete pokračovat.
Pokud se zobrazí výzva k ověření, přihlaste se zadáním přihlašovacích údajů stejného uživatelského účtu aplikace Azure CycleCloud, který jste použili ke konfiguraci azure CycleCloud CLI.
V grafickém rozhraní Azure CycleCloud přejděte na stránku Clusters a vyberte +.
Na stránce Vytvořit nový cluster vyberte ikonu s popiskem Slurm ve formě trojúhelníku isosceles s malými kruhy na každém z jeho vrcholů.
Na kartě Informace na stránce Nový Slurm cluster zadejte contoso-custom-slurm-lab-cluster do textového pole Název clusteru.

Na kartě Požadovaná nastavení na stránce Nový cluster Slurm nakonfigurujte následující nastavení (ostatní nechte výchozí hodnoty) a vyberte Další:

Nastavení	Hodnota
Kraj	Vyberte název oblasti Azure, ve které chcete cluster nasadit v tomto cvičení.
Typ virtuálního počítače plánovače	V pop-up okně Vyberte typ počítače klikněte na Vybrat. Do textového pole Hledání skladových položek zadejte D4s_v3. V seznamu výsledků zaškrtněte políčko vedle položky D4s_v3 a pak vyberte Použít.

Poznámka

Ujistěte se, že jste vybrali velikost virtuálního počítače, která podporuje úroveň Premium služby Azure Storage, která je nutná ke zřízení disků hlavního uzlu podle vlastní konfigurace.

Nastavení	Hodnota
Maximální jader HPC	Zadejte 100.
Max HTC Cores	Zadejte 100.
Maximální počet virtuálních počítačů na škálovací sadu	Zadejte 40.
ID podsítě	Vyberte cyclecloud-rg: cyclecloud-rg-vnet-contoso-slurm-lab-cluster-subnet.

Na kartě Úložiště připojené k síti na stránce Nový Slurm Cluster ověřte, že NFS typ je nastaven na Vestavěný, přijměte výchozí hodnotu Velikost (GB) nastavenou na 100 a vyberte Další.
Na kartě Upřesnit nastavení na stránce Nový cluster Slurm zkontrolujte dostupné možnosti bez provedení změn a vyberte Další.
Na kartě Cloud-init na stránce Nový cluster Slurm zkontrolujte dostupné možnosti, aniž byste museli provádět žádné změny, a vyberte Uložit.
Na stránce contoso-custom-slurm-lab-cluster vyberte odkaz Start . Po zobrazení výzvy k potvrzení vyberte OK.
Monitorujte proces spuštění.

Poznámka

Tento proces zahrnuje zřízení virtuálního počítače Azure obsluhující roli hlavního uzlu clusteru, instalace a konfigurace plánovače Swarm a vytváření a připojení svazků disků. Může to trvat asi pět minut.
Jakmile se stav uzlu plánovače změní na Připraveno, vyberte jeho položku na kartě Uzly a pak výběrem možnosti Zobrazit podrobnosti zobrazte jeho podrobné zobrazení.
Ve vyskakovacím okně Zobrazení plánovače v clusteru contoso-custom-slurm-lab-cluster přepněte na kartu Uzel, posuňte se do části Svazky a ověřte, že se položky nfs-1 a nfs-2 zobrazují v seznamu svazků.

Blahopřejeme! Úspěšně jste dokončili první cvičení tohoto modulu. V tomto cvičení jste implementovali cluster založený na přizpůsobené šabloně Azure CycleCloud. Azure CycleCloud CLI jste použili k importu ukázkového projektu hostovaného v úložišti Azure CycleCloud Na GitHubu, včetně přizpůsobené kopie jedné ze šablon. Dále jste vytvořili cluster založený na importované šabloně s grafickým rozhraním Azure CycleCloud, spustili ho a ověřili, že se vlastní změna projevila.

Poznámka

Pokud plánujete spustit další cvičení v tomto modulu, neodstraňovat prostředky, které jste nasadili a nakonfigurovali v tomto cvičení. Tyto prostředky jsou potřeba k dokončení dalšího cvičení.

Váš názor

Byla tato stránka užitečná?