CycleCloud GridEngine-fürt

Ez az oldal az (Altair) GridEngine CycleClouddal való használatának képességeit és konfigurációját érinti.

Erőforrások konfigurálása

A cyclecloud-gridengine alkalmazás az azure-felhőbeli erőforrásokhoz illeszkedő sge-erőforrásokat biztosít gazdag automatikus skálázási és fürtkonfigurációs eszközök biztosításához. Az alkalmazás automatikusan üzembe lesz helyezve a CycleCloud felhasználói felületén létrehozott fürtökre, vagy bármely hálózati rendszergazdai gazdagépre telepíthető egy meglévő fürtön.

Cyclecloud-gridengine telepítése vagy frissítése

A cyclecloud-gridengine csomag kiadási összetevőként érhető el a GitHubon . A telepítés és a frissítés ugyanaz a folyamat lesz. Az alkalmazáshoz python3 és virtualenv szükséges.

tar xzf cyclecloud-gridengine-pkg-*.tar.gz
cd cyclecloud-gridengine
./install.sh

Fontos fájlok

Az alkalmazás minden híváskor elemzi az sge-konfigurációt – feladatokat, üzenetsorokat, összetetteket. Az információkat a parancs stderr- és stdout-fájljában, valamint egy naplófájlban adták meg, mindkettő konfigurálható szinten. A rendszer az argumentumokat tartalmazó összes rácsengine felügyeleti parancsot is naplózza a fájlba.

Description	Hely
Automatikus skálázási konfiguráció	/opt/cycle/gridengine/autoscale.json
Automatikus skálázási napló	/opt/cycle/jetpack/logs/autoscale.log
qconf nyomkövetési napló	/opt/cycle/jetpack/logs/qcmd.log

SGE-üzenetsorok, gazdagépcsoportok és párhuzamos környezetek

A cyclecloud-gridengine automatikus skálázási segédprogram () azgea fürt konfigurációjának megfelelően ad hozzá gazdagépeket a fürthöz. Az automatikus skálázási műveletek a következő műveleteket hajtják végre.

1. Olvassa el a feladat erőforrás-kérelmét, és keresse meg a megfelelő virtuális gépet az indításhoz
2. Indítsa el a virtuális gépet, és várja meg, amíg készen áll
3. Az üzenetsor és a párhuzamos környezet beolvasása a feladatból
4. A queue/pe alapján rendelje hozzá a gazdagépet egy megfelelő gazdagépcsoporthoz
5. Adja hozzá a gazdagépet a fürthöz, valamint a gazdagépcsoportot tartalmazó többi üzenetsorhoz

Fontolja meg a következő üzenetsor-definíciót egy short.q nevű üzenetsorhoz

hostlist              @allhosts @mpihg01 @mpihg02 @lowprio 
...
seq_no                10000,[@lowprio=10],[@mpihg01=100],[@mpihg02=200]
pe_list               NONE,[@mpihg01=mpi01], \
                      [@mpihg02=mpi02]

A feladat qsub -q short.q -pe mpi02 12 my-script.sh elküldése egy virtuális gép bérletével kezdődik, és amikor hozzáadja a fürthöz, csatlakozik a gazdagépcsoporthoz @mpihg02 , mivel ez az a gazdagépcsoport, amely az üzenetsor és a párhuzamos környezet számára is elérhető. A @allhosts is hozzá lesz adva, amely egy speciális gazdagépcsoport.

Pe qsub -q short.q my-script.sh megadása nélkül a rendszer hozzáadja az eredményül kapott virtuális gépet a @allhosts , és @lowpriority ezek az üzenetsorban lévő gazdagépcsoportok, amelyek nincsenek pes-hez rendelve.

Végül a következővel qsub -q short.q -pe mpi0* 12 my-script.sh elküldött feladat egy virtuális gépet ad hozzá @mpihg01 vagy @mpihg02 a CycleCloud foglalási előrejelzéseitől függően.

A párhuzamos környezetek implicit módon egyenértékűek a cyclecloud elhelyezési csoporttal. A PE-ben lévő virtuális gépek ugyanazon a hálózaton belülre vannak korlátozva. Ha olyan PE-t szeretne használni, amely nem tart meg elhelyezési csoportot, akkor az autoscale.json fájl használatával tiltsa le a beállítást.

Itt kikapcsoljuk az elhelyezési csoportokat a make pe esetében :

"gridengine": {
    "pes": {
      "make": {
        "requires_placement_groups": false
      }
    },

CycleCloud elhelyezési csoportok

A CycleCloud-elhelyezési csoportok egy-az-egyhez rendelhetők az Azure VMSS-hez a SinglePlacementGroup használatával – Az elhelyezési csoport virtuális gépei infiniband hálót osztanak meg, és csak az elhelyezési csoportban lévő virtuális gépekkel osztanak meg. A silók intuitív megőrzése érdekében az elhelyezési csoportok az 1:1-et rácsengine párhuzamos környezettel is leképezik.

Ha egy feladathoz párhuzamos környezetet ad meg, az intelligens gazdagépcsoport-hozzárendelési logikával korlátozza a feladat futtatását egy elhelyezési csoportban. Ezt a viselkedést az autoscale.json fájl fent említett konfigurációjával tilthatja le: "required_placement_groups" : false.

Automatikus skálázási konfiguráció

Ez a beépülő modul automatikusan skálázza a rácsot a számítási feladat igényeinek megfelelően. Az autoscale.json konfigurációs fájl határozza meg a rácsmotor automatikus skálázási eszközének viselkedését.

• A cyclecloud kapcsolat részleteinek beállítása
• Üresjárati csomópontok leállítási időzítőjének beállítása
• Többdimenziós automatikus skálázás is lehetséges, megadhatja, hogy mely attribútumokat használja a feladat csomagolásához, például tárolóhelyek, memória
• A felügyelni kívánt üzenetsorok, párhuzamos környezetek és gazdagépcsoportok regisztrálása

Konfiguráció	Típus	Description
url	Sztring	MÁSOLATOT KAP URL-cím
felhasználónév/jelszó	Sztring	Másolatot kap kapcsolat részletei
cluster_name	Sztring	CC-fürt neve
default_resources	Térkép	Csomóponterőforrás összekapcsolása hálózati motor gazdagép-erőforrásával az automatikus skálázáshoz
idle_timeout	Int	Várakozási idő a tétlen csomópontok (csomópontok) megszüntetése előtt
boot_timeout	Int	Várakozási idő a csomópontok hosszú konfigurációs fázisok (ok) során történő leállításához
gridengine.relevant_complexes	Lista (sztring)	Az automatikus skálázás során figyelembe veendő rácsmotor-komplexumok, például tárolóhelyek, mem_free
gridengine.logging	Fájl	A naplózási konfigurációs fájl helye
gridengine.pes	Struktúra	A számítógépek viselkedésének megadása, például requires_placement_group = hamis

Az automatikus skálázási program csak a releváns erőforrást veszi figyelembe

További automatikus skálázási erőforrás

Alapértelmezés szerint a feladatok által kért tárolóhelyek száma alapján skálázható fürt. Az automatikus skálázáshoz hozzáadhatunk egy másik dimenziót.

Tegyük fel, hogy a feladat erőforrás-kérelme alapján szeretnénk automatikusan skálázni.m_mem_free

1. Hozzáadás m_mem_free az gridengine.relevant_resourcesautoscale.json fájlhoz
2. Hivatkozás m_mem_free a csomópontszintű memóriaerőforrásra az autoscale.json fájlban

Ezek az attribútumok lehetnek a _default/erőforrásokban szereplő értékeknode.*.

Csomópont	Típus	Description
csomópontarray	Sztring	A cyclecloud nodearray neve
placement_group	Sztring	A cyclecloud elhelyezési csoport neve csomóponton belül
vm_size	Sztring	Virtuális gép termékneve, például "Standard_F2s_v2"
vcpu_count	Int	A csomóponton elérhető virtuális CPU-k az egyes termékoldalakon látható módon
pcpu_count	Int	A csomóponton elérhető fizikai CPU-k
memória	Sztring	A virtuális gépen rendelkezésre álló hozzávetőleges fizikai memória egységjelzővel, például "8,0g"

További attribútumok találhatók a node.resources.* névtérben, például :node.resources.

Csomópont	Típus	Description
ncpus	Sztring	A virtuális gépen elérhető CPU-k száma
pcpus	Sztring	A virtuális gépen elérhető fizikai CPU-k száma
ngpus	Egész szám	A virtuális gépen elérhető GPU-k száma
memb	Sztring	A virtuális gépen elérhető hozzávetőleges fizikai memória egységjelzővel, például "8,0b"
memkb	Sztring	A virtuális gépen elérhető hozzávetőleges fizikai memória egységjelzővel, például "8,0k"
memmb	Sztring	A virtuális gépen elérhető hozzávetőleges fizikai memória egységjelzővel, például "8,0m"
memgb	Sztring	A virtuális gépen rendelkezésre álló hozzávetőleges fizikai memória egységjelzővel, például "8,0g"
memtb	Sztring	A virtuális gépen elérhető hozzávetőleges fizikai memória egységjelzővel, például "8,0t"
Bővítőhely	Egész szám	Ugyanaz, mint az ncpus
slot_type	Sztring	Bővítmények összeadási címkéje. Általánosan nem használatos.
m_mem_free	Sztring	A végrehajtási gazdagépen a várt szabad memória, például "3,0g"
mfree	Sztring	Ugyanaz, mint a _m/_mem/free

Erőforrás-leképezés

A default_resources matematikai adatok is elérhetők : csökkentse az egyes csomóponttömbök tárolóhelyeit kettővel, és adja hozzá a Docker-erőforrást az összes csomóponthoz:

    "default_resources": [
    {
      "select": {"node.nodearray": "beegfs"},
      "name": "slots",
      "value": "node.vcpu_count",
      "subtract": 2
    },
    {
      "select": {},
      "name": "docker",
      "value": true
    },

A csomópont vCPU-jának leképezése az összetett tárolóhelyekhez, és memmb a mem_free gyakran használt alapértelmezett értékekhez. Az első társítás szükséges.

    "default_resources": [
    {
      "select": {},
      "name": "slots",
      "value": "node.vcpu_count"
    },
    {
      "select": {},
      "name": "mem_free",
      "value": "node.resources.memmb"
    }
 ],

Vegye figyelembe, hogy ha egy komplexum parancsikonja nem egyenlő a teljes értékkel, akkor mindkettőt default_resources adja meg, ahol physical_cpu a komplex neve:

"default_resources": [
    {
      "select": {},
      "name": "physical_cpu",
      "value": "node.pcpu_count"
    },
    {
      "select": {},
      "name": "pcpu",
      "value": "node.resources.physical_cpu"
    }
]

A rendezés akkor fontos, ha egy adott attribútumhoz egy adott viselkedést szeretne. Ha egyetlen pontot szeretne lefoglalni egy adott csomópontarrayhoz, miközben megtartja az összes többi csomópontarray alapértelmezett pontszámát:

    "default_resources": [
    {
      "select": {"node.nodearray": "FPGA"},
      "name": "slots",
      "value": "1",
    },
    {
      "select": {},
      "name": "slots",
      "value": "node.vcpu_count"
    },
]

Gazdagépcsoportok

A CycleCloud automatikus skálázási eszköz a feladatkövetelményeknek való megfelelés érdekében leképezi a csomópontokat a megfelelő gazdagépcsoportra. Az üzenetsorok, a párhuzamos környezetek és az összetettek mind figyelembe vannak véve. A logika nagy része megfelel a megfelelő cyclecloud-gyűjtőnek (és csomópontmennyiségnek) a megfelelő sge gazdagépcsoporttal.

A következőként elküldött feladat esetén: qsub -q "cloud.q" -l "m_mem_free=4g" -pe "mpi*" 48 ./myjob.sh

A CycleCloud megtalálja a gazdagépcsoportok metszetét, amelyek:

1. A cloud.qpe_list tartalmazza, és megegyezik a pe nevével, például: pe_list [@allhosts=mpislots],[@hpc1=mpi].
2. Megfelelő erőforrásokkal és előfizetési kvótával rendelkezik az összes feladat-erőforrás biztosításához.
3. A gazdagépcsoport kényszerkonfigurációja nem szűri őket.

Előfordulhat, hogy több gazdagépcsoport is megfelel ezeknek a követelményeknek, ebben az esetben a logikának választania kell. A gazdagépcsoport-tagság kétértelműségeit háromféleképpen oldhatja meg:

1. Konfigurálja az üzenetsorokat úgy, hogy ne legyenek kétértelműek.
2. Adjon hozzá korlátozásokat az autoscale.json fájlhoz.
3. Hagyja, hogy a CycleCloud névsorrendbe rendezve válassza ki az egyező gazdagépcsoportokat az ütemező konfigurációjának módosításával weight_queue_host_sort < weight_queue_seqno .
4. Állítsa be seq_no 10000,[@hostgroup1=100],[@hostgroup2=200] az üzenetsor konfigurációjában a gazdagépcsoport-beállítások megadásához.

Gazdagépcsoport-korlátozások

Ha egy üzenetsor vagy xproject több gazdagépcsoportot határoz meg, akkor az összes gazdagépcsoporthoz hozzá lehet adni a gazdagépeket. A gazdagépcsoport-korlátozások beállításával korlátozhatja, hogy milyen típusú gazdagépek adhatók hozzá az üzenetsorokhoz. Állítson be egy korlátozást a csomópont tulajdonságai alapján.

"gridengine": {
    "hostgroups": {
      "@mpi": {
        "constraints": {
          "node.vm_size": "Standard_H44rs"
        }
      },
      "@amd-mem": {
        "constraints" : { 
            "node.vm_size": "Standard_D2_v3",
            "node.nodearray": "hpc" 
            }
        },
    }
  }

TIPP: Vizsgálja meg az összes elérhető csomóponttulajdonságt a használatával azge buckets.

azge

Ez a csomag tartalmaz egy parancssort, azge-t. Ezt a programot az automatikus skálázás végrehajtására kell használni, és az automatikus skálázás alatt lévő összes alfolyamatot szétbontotta. Ezek a parancsok a beállítandó gridengine környezeti változókra támaszkodnak – ugyanabból a profilból kell meghívnia qconf a és qsub a parancsot, ahol azge a rendszer meghívja.

azge parancsok	Description
érvényesítés	Az automatikus skálázási vagy rácshálózati ismert konfigurációs hibák ellenőrzése
Munkahelyek	Az üzenetsor összes feladatának megjelenítése
Vödör	Az automatikus skálázáshoz elérhető erőforráskészletek megjelenítése
Csomópontok	Fürt gazdagépeinek és tulajdonságainak megjelenítése
Kereslet	Megfelel a feladatkövetelményeknek a cyclecloud gyűjtőknek, és automatikus skálázási eredményt ad
automatikus skálázás	Teljes automatikus skálázás, csomópontok indítása és eltávolítása a konfigurációknak megfelelően

Az ütemező konfigurációinak (qconf) vagy az automatikus skálázási konfigurációk (autoscale.json) módosításakor, vagy akár az első beállításkor az azge használatával ellenőrizheti, hogy az automatikus skálázás viselkedése megfelel-e az elvárásoknak. Gyökérként a következő műveleteket futtathatja. Az automatikus skálázási viselkedés megértéséhez célszerű megismerkedni ezekkel.

1. Futtassa a parancsot azge validate az ismert problémák konfigurációinak ellenőrzéséhez.
2. Futtassa a parancsot azge buckets annak vizsgálatához, hogy milyen erőforrásokat kínál a CycleCloud-fürt.
3. Futtassa a parancsot azge jobs az üzenetsorba helyezett feladat részleteinek vizsgálatához.
4. Futtassa azge demand a feladatot a gyűjtőegyeztetés végrehajtásához, és vizsgálja meg, hogy mely feladatok lesznek megfeleltetve a gyűjtőknek és a gazdagépcsoportoknak.
5. Futtassa a parancsot azge autoscale a csomópontfoglalási folyamat elindításához, vagy vegyen fel olyan csomópontokat, amelyek készen állnak a csatlakozásra.

Ezután, amikor ezek a parancsok a várt módon viselkednek, engedélyezze a folyamatos automatikus skálázást úgy, hogy hozzáadja a azge autoscale parancsot a gyökér crontabhoz. (A gridengine környezeti változók souce)

* * * * * . $SGE_ROOT/common/settings.sh && /usr/local/bin/azge autoscale -c /opt/cycle/gridengine/autoscale.json

Hibrid fürt létrehozása

A CycleCloud támogatja a felhőbe való felszakadás forgatókönyvét. Az alapkonfiguráció feltételezi, hogy a $SGE_ROOT címtár elérhető a felhőcsomópontok számára. Ez a feltételezés enyhíthető a Beállítás beállításával gridengine.shared.spool = falsegridengine.shared.bin = false és a GridEngine helyi telepítésével. Egyszerű esetben meg kell adnia egy fájlrendszert, amelyet a címtárat tartalmazó $SGE_ROOT végrehajtási csomópontok csatlakoztathatnak, és konfigurálhatja a csatlakoztatást az opcionális beállítások között. Az sched és a megosztott könyvtárak függőségének kiadásakor alapértelmezés szerint leállíthatja a fürt részét képező ütemezőcsomópontot, és használhatja a külső fájlrendszer konfigurációit.

1. Hozzon létre egy új rácshálózati fürtöt.
2. A visszatérési proxy letiltása.
3. Cserélje le a /sched és a /shared parancsot külső fájlrendszerekre.
4. Mentse a fürtöt.
5. Távolítsa el az ütemező csomópontot műveletként a felhasználói felületen.
6. Indítsa el a fürtöt, kezdetben nem indulnak el csomópontok.
7. Konfigurálás cyclecloud-gridengineaz autoscale.json használatával az új fürt használatára

Az Univa Grid Engine használata a CycleCloudban

A GridEngine-hez készült CycleCloud-projekt alapértelmezés szerint az sge-2011.11-et használja. Az Altair-licencszerződésnek megfelelően használhatja saját Altair GridEngine-telepítőit .
Ez a szakasz bemutatja, hogyan használható az Altair GridEngine a CycleCloud GridEngine projekttel.

Előfeltételek

Ez a példa a 8.6.1-es demo verziót fogja használni, de a 8.4.0-s ge-verziók > támogatottak.

1. A felhasználóknak meg kell adniuk az UGE bináris fájljait

• ge-8.6.x-bin-lx-amd64.tar.gz
• ge-8.6.x-common.tar.gz

2. A CycleCloud CLI-t konfigurálni kell. A dokumentáció itt érhető el

A bináris fájlok másolása a felhőtárolóba

Az AGE (8.6.7-demo) kiegészítő verzióját a CycleCloud terjeszti. Egy másik verzió használatához töltse fel a bináris fájlokat a CycleCloud által használt tárfiókba.

$ azcopy cp ge-8.6.12-bin-lx-amd64.tar.gz https://<storage-account-name>.blob.core.windows.net/cyclecloud/gridengine/blobs/
$ azcopy cp ge-8.6.12-common.tar.gz https://<storage-account-name>.blob.core.windows.net/cyclecloud/gridengine/blobs/

Konfigurációk módosítása a fürtsablonra

Készítsen helyi másolatot a gridengine sablonról, és módosítsa úgy, hogy az alapértelmezett helyett az UGE-telepítőket használja.

wget https://raw.githubusercontent.com/Azure/cyclecloud-gridengine/master/templates/gridengine.txt

A gridengine.txt fájlban keresse meg a fájl első előfordulását [[[configuration]]] , és szúrjon be olyan szöveget, amely megfelel az alábbi kódrészletnek. Ez a fájl nem érzékeny a behúzásra.

MEGJEGYZÉS: A konfiguráció részleteinek, különösen a verziónak meg kell egyeznie a telepítő fájlnevével.

[[[configuration gridengine]]]
    make = ge
    version = 8.6.12-demo
    root = /sched/ge/ge-8.6.12-demo
    cell = "default"
    sge_qmaster_port = "537"
    sge_execd_port = "538"
    sge_cluster_name = "grid1"
    gid_range = "20000-20100"
    qmaster_spool_dir = "/sched/ge/ge-8.6.12-demo/default/spool/qmaster" 
    execd_spool_dir = "/sched/ge/ge-8.6.12-demo/default/spool"
    spooling_method = "berkeleydb"
    shadow_host = ""
    admin_mail = ""
    idle_timeout = 300

    managed_fs = true
    shared.bin = true

    ignore_fqdn = true
    group.name = "sgeadmin"
    group.gid = 536
    user.name = "sgeadmin"
    user.uid = 536
    user.gid = 536
    user.description = "SGE admin user"
    user.home = "/shared/home/sgeadmin"
    user.shell = "/bin/bash"

Ezek a konfigurációk felülbírálják az alapértelmezett rácsverziót és telepítési helyet a fürt indításakor. Nem biztonságos a fürtről való letérés /sched , mivel ez egy kifejezetten megosztott nfs-hely a fürtben.