CycleCloud GridEngine Cluster

Tato stránka se zabývá možnostmi a konfigurací použití (Altair) GridEngine s CycleCloudem.

Konfigurace prostředků

Aplikace cyclecloud-gridengine porovnává prostředky sge s cloudovými prostředky Azure, aby poskytovala bohaté nástroje pro automatické škálování a konfiguraci clusteru. Aplikace se nasadí automaticky pro clustery vytvořené prostřednictvím uživatelského rozhraní CycleCloud nebo ji lze nainstalovat na libovolného hostitele správce gridengine v existujícím clusteru.

Instalace nebo upgrade cyclecloud-gridengine

Sada cyclecloud-gridengine je k dispozici na GitHubu jako artefakt vydané verze. Instalace a upgrade bude stejný proces. Aplikace vyžaduje python3 s virtualenv.

tar xzf cyclecloud-gridengine-pkg-*.tar.gz
cd cyclecloud-gridengine
./install.sh

Důležité soubory

Aplikace analyzuje konfiguraci sge pokaždé, když je volána – úlohy, fronty, komplexy. Informace jsou uvedeny v stderr a stdout příkazu a také v souboru protokolu, a to jak na konfigurovatelných úrovních. Všechny příkazy pro správu gridengine s argumenty jsou také protokolovány do souboru.

Description	Umístění
Konfigurace automatického škálování	/opt/cycle/gridengine/autoscale.json
Protokol automatického škálování	/opt/cycle/jetpack/logs/autoscale.log
Protokol trasování qconf	/opt/cycle/jetpack/logs/qcmd.log

Fronty SGE, skupiny hostitelů a paralelní prostředí

Nástroj azgeautomatického škálování cyclecloud-gridengine přidá hostitele do clusteru podle konfigurace clusteru. Operace automatického škálování provádějí následující akce.

1. Přečtěte si žádost o prostředek úlohy a vyhledejte vhodný virtuální počítač, který chcete spustit.
2. Spusťte virtuální počítač a počkejte, až bude připravený.
3. Čtení fronty a paralelního prostředí z úlohy
4. Na základě fronty nebo prostředí přiřaďte hostitele k příslušné skupině hostitelů.
5. Přidejte hostitele do clusteru a také do jakékoli jiné fronty obsahující skupinu hostitelů.

Zvažte následující definici fronty pro frontu s názvem short.q.

hostlist              @allhosts @mpihg01 @mpihg02 @lowprio 
...
seq_no                10000,[@lowprio=10],[@mpihg01=100],[@mpihg02=200]
pe_list               NONE,[@mpihg01=mpi01], \
                      [@mpihg02=mpi02]

Odeslání úlohy do začne zapůjčením qsub -q short.q -pe mpi02 12 my-script.sh jednoho virtuálního počítače, a když se přidá do clusteru, připojí se ke skupině hostitelů @mpihg02 , protože je to skupina hostitelů dostupná pro frontu i pro paralelní prostředí. Přidá se také do @allhosts, což je speciální skupina hostitelů.

Bez zadání prostředí se qsub -q short.q my-script.sh výsledný virtuální počítač přidá do @allhosts a @lowpriority to jsou skupiny hostitelů ve frontě, které nemají přiřazené pes.

Nakonec úloha odeslaná pomocí qsub -q short.q -pe mpi0* 12 my-script.sh způsobí přidání virtuálního počítače do @mpihg01 nebo @mpihg02 v závislosti na předpovědích přidělení CycleCloudu.

Paralelní prostředí se implicitně rovna skupině umístění v cyklcloudu. Virtuální počítače v pe jsou omezené tak, aby byly ve stejné síti. Pokud chcete použít prostředí PE, které nezachovává skupinu umístění, použijte k odhlášení použití souboru autoscale.json .

Tady se odhlásíme ze skupin umístění pro make pe:

"gridengine": {
    "pes": {
      "make": {
        "requires_placement_groups": false
      }
    },

Skupiny umístění CycleCloud

Skupiny umístění CycleCloud mapují 1:1 na VMSS Azure s SinglePlacementGroup – virtuální počítače ve skupině umístění sdílejí prostředky infrastruktury Infiniband a sdílejí je jenom s virtuálními počítači v rámci skupiny umístění. Aby se tato sila intuitivně zachovala, mapují skupiny umístění 1:1 také s paralelním prostředím gridengine.

Zadání paralelního prostředí pro úlohu omezí spuštění úlohy ve skupině umístění prostřednictvím logiky přiřazení skupiny inteligentních hostitelů. Z tohoto chování se můžete odhlásit pomocí výše uvedené konfigurace v souboru autoscale.json : "required_placement_groups" : false.

Konfigurace automatického škálování

Tento modul plug-in automaticky škáluje mřížku tak, aby splňovala požadavky úloh. Konfigurační soubor autoscale.json určuje chování automatického škálování modulu mřížky.

• Nastavení podrobností o připojení k cyclecloudu
• Nastavení časovače ukončení pro nečinné uzly
• Je možné provést vícerozměrné automatické škálování, které atributy se mají použít v balení úloh, jako jsou sloty, paměť.
• Registrace front, paralelních prostředí a skupin hostitelů ke správě

Konfigurace	Typ	Description
url	Řetězec	Adresa URL kopie
uživatelské jméno a heslo	Řetězec	Podrobnosti o připojení cc
cluster_name	Řetězec	Název clusteru CC
default_resources	Mapa	Propojení prostředku uzlu s hostitelským prostředkem modulu mřížky pro automatické škálování
idle_timeout	Int	Doba čekání před ukončením nečinných uzlů
boot_timeout	Int	Doba čekání před ukončením uzlů během dlouhých fází konfigurace
gridengine.relevant_complexes	Seznam (řetězec)	Komplexy modulu mřížky, které je potřeba vzít v úvahu při automatickém škálování, jako jsou sloty, mem_free
gridengine.logging	Soubor	Umístění konfiguračního souboru protokolování
gridengine.pes	Struktura	Určete chování PE, např. requires_placement_group = false

Program automatického škálování bude brát v úvahu pouze relevantní prostředek.

Další prostředek automatického škálování

Ve výchozím nastavení se cluster škáluje na základě počtu slotů požadovaných úlohami. Automatickému škálování můžeme přidat další dimenzi.

Řekněme, že chceme automaticky škálovat podle žádosti o prostředek úlohy pro m_mem_free.

1. Přidání m_mem_free do souboru gridengine.relevant_resourcesautoscale.json
2. Propojení m_mem_free s prostředkem paměti na úrovni uzlu v souboru autoscale.json

Tyto atributy můžou být odkazy na node.*hodnotu v _default/resources.

Uzel	Typ	Description
nodearray	Řetězec	Název uzlu cycleclouduarray
placement_group	Řetězec	Název skupiny umístění v cyklcloudu v rámci nodearray
vm_size	Řetězec	Název produktu virtuálního počítače, například "Standard_F2s_v2"
vcpu_count	Int	Virtuální procesory dostupné na uzlu, jak je uvedeno na stránkách jednotlivých produktů
pcpu_count	Int	Fyzické procesory dostupné na uzlu
paměť	Řetězec	Přibližná fyzická paměť dostupná na virtuálním počítači s indikátorem jednotky, například 8,0 g

Další atributy jsou v node.resources.* oboru názvů, například node.resources.

Uzel	Typ	Description
ncpus	Řetězec	Počet procesorů dostupných ve virtuálním počítači
pcpus	Řetězec	Počet fyzických procesorů dostupných na virtuálním počítači
ngpus	Integer	Počet grafických procesorů (GPU) dostupných na virtuálním počítači
memb	Řetězec	Přibližná fyzická paměť dostupná na virtuálním počítači s indikátorem jednotky, například 8.0b
memkb	Řetězec	Přibližná fyzická paměť dostupná na virtuálním počítači s indikátorem jednotky, například 8,0k
memmb	Řetězec	Přibližná fyzická paměť dostupná na virtuálním počítači s indikátorem jednotky, například "8,0 m"
memgb	Řetězec	Přibližná fyzická paměť dostupná na virtuálním počítači s indikátorem jednotky, například 8,0 g
memtb	Řetězec	Přibližná fyzická paměť dostupná na virtuálním počítači s indikátorem jednotky, například 8,0t
Sloty	Integer	Stejné jako ncpus
slot_type	Řetězec	Popisek přidání pro rozšíření. Obecně se nepoužívá.
m_mem_free	Řetězec	Očekávaná volná paměť na hostiteli spouštění, například "3,0g"
mfree	Řetězec	Stejné jako _m/_mem/free

Mapování prostředků

K dispozici jsou také matematiky pro default_resources – zmenšete sloty konkrétního pole uzlů o dva a přidejte prostředek Dockeru do všech uzlů:

    "default_resources": [
    {
      "select": {"node.nodearray": "beegfs"},
      "name": "slots",
      "value": "node.vcpu_count",
      "subtract": 2
    },
    {
      "select": {},
      "name": "docker",
      "value": true
    },

Mapování virtuálních procesorů uzlů na komplexní sloty a memmb na mem_free jsou běžně používané výchozí hodnoty. Vyžaduje se první přidružení.

    "default_resources": [
    {
      "select": {},
      "name": "slots",
      "value": "node.vcpu_count"
    },
    {
      "select": {},
      "name": "mem_free",
      "value": "node.resources.memmb"
    }
 ],

Všimněte si, že pokud má komplex zástupce, který se nerovná celé hodnotě, definujte obě hodnoty v default_resources kde physical_cpu je název komplexu:

"default_resources": [
    {
      "select": {},
      "name": "physical_cpu",
      "value": "node.pcpu_count"
    },
    {
      "select": {},
      "name": "pcpu",
      "value": "node.resources.physical_cpu"
    }
]

Řazení je důležité, pokud chcete mít konkrétní chování pro konkrétní atribut. Přidělení jednoho slotu pro konkrétní nodearray při zachování výchozího počtu slotů pro všechny ostatní nodearray:

    "default_resources": [
    {
      "select": {"node.nodearray": "FPGA"},
      "name": "slots",
      "value": "1",
    },
    {
      "select": {},
      "name": "slots",
      "value": "node.vcpu_count"
    },
]

Skupiny hostitelů

Automatické škálování CycleCloud při pokusu o splnění požadavků úlohy namapuje uzly na příslušnou skupinu hostitelů. Zvažují se fronty, paralelní prostředí a komplexy. Velká část logiky odpovídá příslušnému kontejneru cyklcloudu (a množství uzlu) s příslušnou skupinou hostitelů sge.

Pro úlohu odeslanou jako: qsub -q "cloud.q" -l "m_mem_free=4g" -pe "mpi*" 48 ./myjob.sh

CycleCloud najde průnik mezi skupinami hostitelů, které:

1. Jsou součástí pe_list pro cloud.q a odpovídají názvu pe, například pe_list [@allhosts=mpislots],[@hpc1=mpi].
2. Mít odpovídající prostředky a kvótu předplatného, abyste mohli poskytnout všechny prostředky úloh.
3. Nejsou filtrovány konfigurací omezení skupiny hostitelů.

Je možné, že tyto požadavky bude splňovat více skupin hostitelů. V takovém případě bude potřeba zvolit logiku. Existují tři způsoby, jak vyřešit nejednoznačnost členství ve skupině hostitelů:

1. Nakonfigurujte fronty tak, aby nebyly nejednoznačné.
2. Přidejte omezení do souboru autoscale.json.
3. Nechte CycleCloud zvolit odpovídající skupiny hostitelů v názvovém pořadí úpravou weight_queue_host_sort < weight_queue_seqno v konfiguraci plánovače.
4. Nastavením seq_no 10000,[@hostgroup1=100],[@hostgroup2=200] v konfiguraci fronty označíte předvolbu skupiny hostitelů.

Omezení skupiny hostitelů

Pokud je více skupin hostitelů definováno frontou nebo xprojectem, všechny tyto skupiny hostitelů mohou být potenciálně přidány do těchto hostitelů. Nastavením omezení skupin hostitelů můžete omezit, jaké druhy hostitelů je možné přidat do kterých front. Nastavte omezení na základě vlastností uzlu.

"gridengine": {
    "hostgroups": {
      "@mpi": {
        "constraints": {
          "node.vm_size": "Standard_H44rs"
        }
      },
      "@amd-mem": {
        "constraints" : { 
            "node.vm_size": "Standard_D2_v3",
            "node.nodearray": "hpc" 
            }
        },
    }
  }

HINT: Zkontrolujte všechny dostupné vlastnosti uzlu pomocí azge buckets.

azge

Tento balíček se dodává s příkazovým řádkem azge. Tento program by se měl použít k automatickému škálování a rozložil všechny podprocesy v rámci automatického škálování. Tyto příkazy závisí na nastavení proměnných prostředí gridengine – musíte být schopni volat qconf a qsub ze stejného profilu, ve kterém azge se volá.

příkazy azge	Description
ověření	Kontroluje známé chyby konfigurace v automatickém škálování nebo gridengine.
Úlohy	Zobrazí všechny úlohy ve frontě.
Kbelíky	Zobrazuje dostupné fondy zdrojů pro automatické škálování.
Uzly	Zobrazuje hostitele a vlastnosti clusteru.
Poptávky	Odpovídá požadavkům úloh s kontejnery cyklcloudu a poskytuje výsledek automatického škálování.
automatické škálování	Probíhá úplné automatické škálování, spouštění a odebírání uzlů podle konfigurací

Při úpravě konfigurací plánovače (qconf) nebo konfigurace automatického škálování (autoscale.json) nebo dokonce při prvním nastavení můžete pomocí azge zkontrolovat, že chování automatického škálování odpovídá očekáváním. Jako root můžete spustit následující operace. Doporučujeme se s nimi seznámit, abyste porozuměli chování automatického škálování.

1. Spuštěním příkazu azge validate ověřte konfigurace známých problémů.
2. Spuštěním příkazu azge buckets zkontrolujte, jaké prostředky nabízí cluster CycleCloud.
3. Spuštěním příkazu azge jobs zkontrolujte podrobnosti úlohy ve frontě.
4. Spuštěním azge demand příkazu proveďte úlohu a zkontrolujte, které úlohy se spárují s kontejnery a skupinami hostitelů.
5. Spuštěním příkazu azge autoscale zahájíte proces přidělování uzlů nebo přidáte uzly, které jsou připravené k připojení.

Když se pak tyto příkazy chovají podle očekávání, povolte průběžné automatické škálování přidáním azge autoscale příkazu do kořenového crontab. (Souce s proměnnými prostředí gridengine)

* * * * * . $SGE_ROOT/common/settings.sh && /usr/local/bin/azge autoscale -c /opt/cycle/gridengine/autoscale.json

Vytvoření hybridního clusteru

CycleCloud bude podporovat scénář shlukování do cloudu. Základní konfigurace předpokládá, že $SGE_ROOT adresář je dostupný pro cloudové uzly. Tento předpoklad lze uvolnit nastavením gridengine.shared.spool = falsegridengine.shared.bin = false a místní instalací GridEngine. V jednoduchém případě byste měli zadat systém souborů, který lze připojit pomocí uzlů spouštění obsahujících $SGE_ROOT adresář, a nakonfigurovat toto připojení v volitelném nastavení. Po uvolnění závislosti adresářů sched a sdílených adresářů můžete ve výchozím nastavení vypnout uzel plánovače, který je součástí clusteru, a použít konfigurace z externího systému souborů.

1. Vytvořte nový cluster gridengine.
2. Zakažte proxy pro vrácení.
3. Nahraďte /sched a /shared externími systémy souborů.
4. Uložte cluster.
5. Odeberte uzel plánovače jako akci v uživatelském rozhraní.
6. Spusťte cluster. Zpočátku se nespustí žádné uzly.
7. Konfigurace cyclecloud-gridengine pomocí souboru autoscale.json pro použití nového clusteru

Použití modulu Univa Grid v CycleCloudu

Projekt CycleCloud pro GridEngine ve výchozím nastavení používá sge-2011.11 . Můžete používat vlastní instalační programy Altair GridEngine podle vaší licenční smlouvy Altair.
Tato část popisuje, jak používat Altair GridEngine s projektem CycleCloud GridEngine.

Požadavky

V tomto příkladu se použije demo verze 8.6.1, ale podporují se všechny verze > 8.4.0.

1. Uživatelé musí zadat binární soubory UGE.

• ge-8.6.x-bin-lx-amd64.tar.gz
• ge-8.6.x-common.tar.gz

2. Musí být nakonfigurované rozhraní příkazového řádku CycleCloud. Dokumentace je k dispozici tady.

Zkopírování binárních souborů do cloudového zámku

Doplňková verze AGE (8.6.7 demo) je distribuovaná s CycleCloudem. Pokud chcete použít jinou verzi, nahrajte binární soubory do účtu úložiště, který používá CycleCloud.

$ azcopy cp ge-8.6.12-bin-lx-amd64.tar.gz https://<storage-account-name>.blob.core.windows.net/cyclecloud/gridengine/blobs/
$ azcopy cp ge-8.6.12-common.tar.gz https://<storage-account-name>.blob.core.windows.net/cyclecloud/gridengine/blobs/

Úprava konfigurací šablony clusteru

Vytvořte místní kopii šablony gridengine a upravte ji tak, aby místo výchozího používala instalační programy UGE.

wget https://raw.githubusercontent.com/Azure/cyclecloud-gridengine/master/templates/gridengine.txt

V souborugridengine.txt vyhledejte první výskyt [[[configuration]]] a vložte text tak, aby odpovídal následujícímu fragmentu kódu. Tento soubor není citlivý na odsazení.

POZNÁMKA: Podrobnosti v konfiguraci, zejména verze, by se měly shodovat s názvem instalačního souboru.

[[[configuration gridengine]]]
    make = ge
    version = 8.6.12-demo
    root = /sched/ge/ge-8.6.12-demo
    cell = "default"
    sge_qmaster_port = "537"
    sge_execd_port = "538"
    sge_cluster_name = "grid1"
    gid_range = "20000-20100"
    qmaster_spool_dir = "/sched/ge/ge-8.6.12-demo/default/spool/qmaster" 
    execd_spool_dir = "/sched/ge/ge-8.6.12-demo/default/spool"
    spooling_method = "berkeleydb"
    shadow_host = ""
    admin_mail = ""
    idle_timeout = 300

    managed_fs = true
    shared.bin = true

    ignore_fqdn = true
    group.name = "sgeadmin"
    group.gid = 536
    user.name = "sgeadmin"
    user.uid = 536
    user.gid = 536
    user.description = "SGE admin user"
    user.home = "/shared/home/sgeadmin"
    user.shell = "/bin/bash"

Tyto konfigurace přepíšou výchozí verzi gridengine a umístění instalace při spuštění clusteru. Není bezpečné přejít z objektu /sched , protože se jedná o konkrétně sdílené umístění nfs v clusteru.