Klaster CycleCloud GridEngine

Ta strona dotyczy możliwości i konfiguracji używania (Altair) GridEngine z usługą CycleCloud.

Konfigurowanie zasobów

Aplikacja cyclecloud-gridengine pasuje do zasobów sge do zasobów w chmurze platformy Azure, aby zapewnić zaawansowane narzędzia do skalowania automatycznego i konfiguracji klastra. Aplikacja zostanie wdrożona automatycznie dla klastrów utworzonych za pośrednictwem interfejsu użytkownika usługi CycleCloud lub może zostać zainstalowana na dowolnym hoście administracyjnym gridengine w istniejącym klastrze.

Instalowanie lub uaktualnianie cyklucloud-gridengine

Pakiet cyclecloud-gridengine jest dostępny w serwisie github jako artefakt wydania. Instalowanie i uaktualnianie będzie tym samym procesem. Aplikacja wymaga języka Python3 z programem virtualenv.

tar xzf cyclecloud-gridengine-pkg-*.tar.gz
cd cyclecloud-gridengine
./install.sh

Ważne pliki

Aplikacja analizuje konfiguracjęge za każdym razem, gdy jest wywoływana — zadania, kolejki, kompleksy. Informacje są dostarczane w stderr i stdout polecenia, a także do pliku dziennika, zarówno na konfigurowalnych poziomach. Wszystkie polecenia zarządzania gridengine z argumentami są również rejestrowane w pliku.

Opis	Lokalizacja
Autoskaluj konfigurację	/opt/cycle/gridengine/autoscale.json
Dziennik automatycznego skalowania	/opt/cycle/jetpack/logs/autoscale.log
dziennik śledzenia qconf	/opt/cycle/jetpack/logs/qcmd.log

Kolejki, grupy hostów i środowiska równoległe SGE

Narzędzie autoskalowania azgecyclecloud-gridengine , doda hosty do klastra zgodnie z konfiguracją klastra. Operacje skalowania automatycznego wykonują następujące akcje.

1. Przeczytaj żądanie zasobu zadania i znajdź odpowiednią maszynę wirtualną do uruchomienia
2. Uruchom maszynę wirtualną i poczekaj na jej gotowość
3. Odczytywanie kolejki i środowiska równoległego z zadania
4. Na podstawie kolejki/pe przypisz hosta do odpowiedniej grupy hostów
5. Dodaj hosta do klastra, a także do innej kolejki zawierającej grupę hostów

Rozważ następującą definicję kolejki dla kolejki o nazwie short.q

hostlist              @allhosts @mpihg01 @mpihg02 @lowprio 
...
seq_no                10000,[@lowprio=10],[@mpihg01=100],[@mpihg02=200]
pe_list               NONE,[@mpihg01=mpi01], \
                      [@mpihg02=mpi02]

Przesyłanie zadania przez qsub -q short.q -pe mpi02 12 my-script.sh program rozpocznie się od dzierżawy jednej maszyny wirtualnej, a po dodaniu go do klastra dołączy do grupy hostów @mpihg02 , ponieważ jest to grupa hostów dostępna zarówno dla kolejki, jak i do środowiska równoległego. Zostanie również dodana do @allhosts, która jest specjalną grupą hostów.

Bez określenia pe wynikowa qsub -q short.q my-script.sh maszyna wirtualna zostanie dodana do @allhosts i @lowpriority są to grupy hostów w kolejce, które nie są przypisane pes.

Na koniec przesłane qsub -q short.q -pe mpi0* 12 my-script.sh zadanie spowoduje dodanie maszyny wirtualnej do @mpihg01 lub @mpihg02 w zależności od przewidywań alokacji usługi CycleCloud.

Środowiska równoległe niejawnie utożsamiają się z grupą umieszczania w chmurze. Maszyny wirtualne w środowisku PE są ograniczone do bycia w tej samej sieci. Jeśli chcesz użyć pe, który nie przechowuje grupy umieszczania, użyj pliku autoscale.json , aby zrezygnować.

W tym miejscu zrezygnujemy z grup umieszczania dla aplikacji make pe:

"gridengine": {
    "pes": {
      "make": {
        "requires_placement_groups": false
      }
    },

Grupy umieszczania w usłudze CycleCloud

Grupy umieszczania cycleCloud mapuj jeden do jednego do usługi Azure VMSS z singlePlacementGroup — maszyny wirtualne w grupie umieszczania współużytkować sieć szkieletową Infiniband i udostępniać tylko maszynom wirtualnym w grupie umieszczania. Aby intuicyjnie zachować te silosy, grupach umieszczania mapuje również 1:1 ze środowiskiem równoległym gridengine.

Określenie środowiska równoległego dla zadania spowoduje ograniczenie zadania do uruchomienia w grupie umieszczania za pomocą logiki przypisania grupy hostów inteligentnych. Możesz zrezygnować z tego zachowania za pomocą wyżej wymienionej konfiguracji w pliku autoscale.json : "required_placement_groups" : false.

Konfiguracja autoskalu

Ta wtyczka automatycznie skaluje siatkę, aby zaspokoić wymagania obciążenia. Plik konfiguracji autoskalowania.json określa zachowanie autoskalatora aparatu siatki.

• Ustawianie szczegółów połączenia cyclecloud
• Ustawianie czasomierza zakończenia dla bezczynnych węzłów
• Możliwe jest skalowanie automatyczne wielowymiarowe, ustawienie atrybutów używanych w zadaniu pakowania, np. miejsc, pamięci
• Rejestrowanie kolejek, środowisk równoległych i grup hostów do zarządzania

Konfiguracja	Typ	Opis
url	Ciąg	CC URL
nazwa użytkownika/hasło	Ciąg	Szczegóły połączenia CC
cluster_name	Ciąg	Nazwa klastra CC
default_resources	Mapa	Łączenie zasobu węzła z zasobem hosta aparatu siatki w celu automatycznego skalowania
idle_timeout	int	Czas oczekiwania przed zakończeniem bezczynnych węzłów (s)
boot_timeout	int	Czas oczekiwania przed kończeniem węzłów w długich fazach konfiguracji (s)
gridengine.relevant_complexes	Lista (ciąg)	Aparat siatki złożony do rozważenia w autoskalowaniu, np. gniazda, mem_free
gridengine.logging	Plik	Lokalizacja pliku konfiguracji rejestrowania
gridengine.pes	Struktura	Określ zachowanie pEs, np. requires_placement_group = false

Program skalowania automatycznego będzie uwzględniał tylko odpowiedni zasób

Dodatkowy zasób skalowania automatycznego

Domyślnie klaster z skalowaniem na podstawie liczby miejsc żądanych przez zadania. Możemy dodać kolejny wymiar do skalowania automatycznego.

Załóżmy, że chcemy automatycznie skalować według żądania zasobu zadania dla m_mem_freepolecenia .

1. Dodaj m_mem_free do pliku w pliku gridengine.relevant_resourcesautoscale.json
2. Łącze m_mem_free do zasobu pamięci na poziomie węzła w pliku autoscale.json

Te atrybuty mogą być odwołaniami jako node.*wartością w _default/zasobach.

Węzeł	Typ	Opis
nodearray	Ciąg	Nazwa cyklu nodearray nodearray
placement_group	Ciąg	Nazwa grupy umieszczania w usłudze cyclecloud w środowisku nodearray
vm_size	Ciąg	Nazwa produktu maszyny wirtualnej, np. "Standard_F2s_v2"
vcpu_count	int	Wirtualne procesory CPU dostępne w węźle, jak wskazano na poszczególnych stronach produktu
pcpu_count	int	Fizyczne procesory CPU dostępne w węźle
pamięć	Ciąg	Przybliżona pamięć fizyczna dostępna na maszynie wirtualnej ze wskaźnikiem jednostki, np. "8,0g"

Dodatkowe atrybuty znajdują się w node.resources.* przestrzeni nazw, np. "node.resources".

Węzeł	Typ	Opis
ncpus	Ciąg	Liczba procesorów CPU dostępnych na maszynie wirtualnej
pcpus	Ciąg	Liczba fizycznych procesorów CPU dostępnych na maszynie wirtualnej
ngpus	Liczba całkowita	Liczba procesorów GPU dostępnych na maszynie wirtualnej
memb	Ciąg	Przybliżona pamięć fizyczna dostępna na maszynie wirtualnej ze wskaźnikiem jednostki, np. "8,0b"
memkb	Ciąg	Przybliżona pamięć fizyczna dostępna na maszynie wirtualnej ze wskaźnikiem jednostki, np. "8,0 tys."
memmb	Ciąg	Przybliżona ilość pamięci fizycznej dostępnej na maszynie wirtualnej ze wskaźnikiem jednostki, np. "8,0 mln"
memgb	Ciąg	Przybliżona pamięć fizyczna dostępna na maszynie wirtualnej ze wskaźnikiem jednostki, np. "8,0g"
memtb	Ciąg	Przybliżona pamięć fizyczna dostępna na maszynie wirtualnej ze wskaźnikiem jednostki, np. "8,0t"
Slotów	Liczba całkowita	Tak samo jak ncpus
slot_type	Ciąg	Etykieta dodawania dla rozszerzeń. Zazwyczaj nie jest używany.
m_mem_free	Ciąg	Oczekiwano wolnej pamięci na hoście wykonywania, np. "3.0g"
mfree	Ciąg	Taki sam jak _m/_mem/bezpłatny

Mapowanie zasobów

Istnieją również matematyki dostępne dla default_resources — zmniejsz miejsca w określonej tablicy węzłów o dwa i dodaj zasób platformy Docker do wszystkich węzłów:

    "default_resources": [
    {
      "select": {"node.nodearray": "beegfs"},
      "name": "slots",
      "value": "node.vcpu_count",
      "subtract": 2
    },
    {
      "select": {},
      "name": "docker",
      "value": true
    },

Mapowanie wirtualnych procesorów wirtualnych węzła na złożone gniazda i memmbmem_free często używane wartości domyślne. Pierwsze skojarzenie jest wymagane.

    "default_resources": [
    {
      "select": {},
      "name": "slots",
      "value": "node.vcpu_count"
    },
    {
      "select": {},
      "name": "mem_free",
      "value": "node.resources.memmb"
    }
 ],

Należy pamiętać, że jeśli złożony skrót nie jest równy całej wartości, zdefiniuj obie wartości w default_resources gdzie physical_cpu jest nazwą złożoną:

"default_resources": [
    {
      "select": {},
      "name": "physical_cpu",
      "value": "node.pcpu_count"
    },
    {
      "select": {},
      "name": "pcpu",
      "value": "node.resources.physical_cpu"
    }
]

Kolejność jest ważna, jeśli chcesz mieć określone zachowanie dla określonego atrybutu. Aby przydzielić jedno miejsce dla określonego węzłaarray, zachowując domyślną liczbę miejsc dla wszystkich innych węzłów:

    "default_resources": [
    {
      "select": {"node.nodearray": "FPGA"},
      "name": "slots",
      "value": "1",
    },
    {
      "select": {},
      "name": "slots",
      "value": "node.vcpu_count"
    },
]

Grupy hostów

Narzędzie do automatycznego skalowania Usługi CycleCloud, próbując spełnić wymagania dotyczące zadania, zamapuje węzły na odpowiednią grupę hostów. Wszystkie kolejki, środowiska równoległe i kompleksy są brane pod uwagę. Większość logiki jest zgodna z odpowiednim zasobnikiem cyclecloud (i ilością węzłów) z odpowiednią grupą hostów sge.

Dla zadania przesłanego jako: qsub -q "cloud.q" -l "m_mem_free=4g" -pe "mpi*" 48 ./myjob.sh

Usługa CycleCloud znajdzie skrzyżowanie grup hostów, które:

1. Są uwzględniane w pe_list dla pliku cloud.q i pasują do nazwy pe, np. pe_list [@allhosts=mpislots],[@hpc1=mpi].
2. Mieć odpowiednie zasoby i limit przydziału subskrypcji, aby zapewnić wszystkie zasoby zadań.
3. Nie są filtrowane przez konfigurację ograniczeń grupy hostów.

Istnieje możliwość, że wiele grup hostów spełni te wymagania, w takim przypadku logika będzie musiała wybrać. Istnieją trzy sposoby rozpoznawania niejednoznaczności w członkostwie w grupie hostów:

1. Skonfiguruj kolejki, aby nie było niejednoznaczności.
2. Dodaj ograniczenia do pliku autoscale.json.
3. Let CycleCloud wybierz amoungst pasujących grup hostów w sposób uporządkowany według nazwy, dostosowując się weight_queue_host_sort < weight_queue_seqno do konfiguracji harmonogramu.
4. Ustaw seq_no 10000,[@hostgroup1=100],[@hostgroup2=200] w konfiguracji kolejki, aby wskazać preferencję grupy hostów.

Ograniczenia grupy hostów

Gdy wiele grup hostów jest definiowanych przez kolejkę lub xproject, wszystkie te grupy hostów mogą potencjalnie mieć dodane do nich hosty. Można ograniczyć rodzaje hostów, które można dodać do kolejek, ustawiając ograniczenia grupy hostów. Ustaw ograniczenie na podstawie właściwości węzła.

"gridengine": {
    "hostgroups": {
      "@mpi": {
        "constraints": {
          "node.vm_size": "Standard_H44rs"
        }
      },
      "@amd-mem": {
        "constraints" : { 
            "node.vm_size": "Standard_D2_v3",
            "node.nodearray": "hpc" 
            }
        },
    }
  }

WSKAZÓWKA: Sprawdź wszystkie dostępne właściwości węzła według .azge buckets

azge

Ten pakiet jest dostarczany z wierszem polecenia, azge. Ten program powinien służyć do automatycznego skalowania i rozbił wszystkie podprocesy w ramach autoskalowania. Te polecenia polegają na ustawieniu zmiennych środowiskowych gridengine — musisz mieć możliwość wywołania qconf i qsub z tego samego profilu, w którym azge jest wywoływana.

polecenia azge	Opis
walidacja	Sprawdza znane błędy konfiguracji w narzędziu autoscaler lub gridengine
Zadania	Pokazuje wszystkie zadania w kolejce
Wiadra	Pokazuje dostępne pule zasobów na potrzeby skalowania automatycznego
Węzłów	Pokazuje hosty i właściwości klastra
Żądanie	Spełnia wymagania dotyczące zadań w zasobnikach cyclecloud i zapewnia wynik autoskalowania
autoscale	Wykonuje pełne autoskalowanie, uruchamianie i usuwanie węzłów zgodnie z konfiguracjami

Podczas modyfikowania konfiguracji harmonogramu (qconf) lub konfiguracji autoskalowania (autoskalowanie.json), a nawet skonfigurowania po raz pierwszy, azge może służyć do sprawdzania zachowania autoskalowania jest zgodne z oczekiwaniami. Jako główny możesz uruchomić następujące operacje. Zaleca się zapoznanie się z tymi elementami w celu zrozumienia zachowania autoskalowania.

1. Uruchom polecenie , azge validate aby zweryfikować konfiguracje pod kątem znanych problemów.
2. Uruchom polecenie , azge buckets aby sprawdzić, jakie zasoby oferuje klaster CycleCloud.
3. Uruchom polecenie , azge jobs aby sprawdzić szczegóły zadania w kolejce.
4. Uruchom azge demand zadanie, aby dopasować zasobnik, sprawdź, które zadania są zgodne z zasobnikami i grupami hostów.
5. Uruchom polecenie azge autoscale , aby rozpocząć proces alokacji węzłów lub dodać węzły, które są gotowe do przyłączenia.

Następnie, gdy te polecenia zachowują się zgodnie z oczekiwaniami, włącz trwające autoskalowanie, dodając azge autoscale polecenie do głównej tabeli crontab. (Souce gridengine zmienne środowiskowe)

* * * * * . $SGE_ROOT/common/settings.sh && /usr/local/bin/azge autoscale -c /opt/cycle/gridengine/autoscale.json

Tworzenie klastra hybrydowego

Usługa CycleCloud będzie obsługiwać scenariusz rozszerzenia chmury. Podstawowa konfiguracja zakłada, że $SGE_ROOT katalog jest dostępny dla węzłów w chmurze. To założenie może być złagodzone przez ustawienie gridengine.shared.spool = false, gridengine.shared.bin = false i zainstalowanie usługi GridEngine lokalnie. W przypadku prostego przypadku należy podać system plików, który można zainstalować przez węzły wykonywania zawierające $SGE_ROOT katalog i skonfigurować instalację w ustawieniach opcjonalnych. Po wydaniu zależności katalogów sched i udostępnionych można zamknąć węzeł harmonogramu, który jest częścią klastra domyślnie i używać konfiguracji z zewnętrznego systemu plików.

1. Utwórz nowy klaster gridengine.
2. Wyłącz zwrotny serwer proxy.
3. Zastąp /sched i /shared z zewnętrznymi systemami plików.
4. Zapisz klaster.
5. Usuń węzeł harmonogramu jako akcję w interfejsie użytkownika.
6. Uruchom klaster. Początkowo nie będą uruchamiane żadne węzły.
7. Konfigurowanie cyclecloud-gridengine za pomocą pliku autoscale.json do korzystania z nowego klastra

Korzystanie z aparatu siatki Univa w usłudze CycleCloud

Projekt CycleCloud dla GridEngine domyślnie używa sge-2011.11 . Możesz użyć własnych instalatorów Altair GridEngine zgodnie z umową licencyjną Altair.
W tej sekcji opisano sposób korzystania z usługi Altair GridEngine z projektem CycleCloud GridEngine.

Wymagania wstępne

W tym przykładzie zostanie użyta wersja demonstracyjna 8.6.1, ale obsługiwane są wszystkie wersje ge w wersji > 8.4.0.

1. Użytkownicy muszą podać pliki binarne UGE

• ge-8.6.x-bin-lx-amd64.tar.gz
• ge-8.6.x-common.tar.gz

2. Należy skonfigurować interfejs wiersza polecenia CycleCloud. Dokumentacja jest dostępna tutaj

Kopiowanie plików binarnych do funkcji locker w chmurze

Uzupełniająca wersja AGE (8.6.7-demo) jest dystrybuowana z usługą CycleCloud. Aby użyć innej wersji, przekaż pliki binarne na konto magazynu używane przez usługę CycleCloud.

$ azcopy cp ge-8.6.12-bin-lx-amd64.tar.gz https://<storage-account-name>.blob.core.windows.net/cyclecloud/gridengine/blobs/
$ azcopy cp ge-8.6.12-common.tar.gz https://<storage-account-name>.blob.core.windows.net/cyclecloud/gridengine/blobs/

Modyfikowanie konfiguracji do szablonu klastra

Utwórz lokalną kopię szablonu gridengine i zmodyfikuj go, aby zamiast domyślnego używać instalatorów UGE.

wget https://raw.githubusercontent.com/Azure/cyclecloud-gridengine/master/templates/gridengine.txt

W pliku gridengine.txt znajdź pierwsze wystąpienie [[[configuration]]] i wstaw tekst, tak aby był zgodny z poniższym fragmentem kodu. Ten plik nie jest wrażliwy na wcięcie.

UWAGA: Szczegóły konfiguracji, szczególnie wersji, powinny być zgodne z nazwą pliku instalatora.

[[[configuration gridengine]]]
    make = ge
    version = 8.6.12-demo
    root = /sched/ge/ge-8.6.12-demo
    cell = "default"
    sge_qmaster_port = "537"
    sge_execd_port = "538"
    sge_cluster_name = "grid1"
    gid_range = "20000-20100"
    qmaster_spool_dir = "/sched/ge/ge-8.6.12-demo/default/spool/qmaster" 
    execd_spool_dir = "/sched/ge/ge-8.6.12-demo/default/spool"
    spooling_method = "berkeleydb"
    shadow_host = ""
    admin_mail = ""
    idle_timeout = 300

    managed_fs = true
    shared.bin = true

    ignore_fqdn = true
    group.name = "sgeadmin"
    group.gid = 536
    user.name = "sgeadmin"
    user.uid = 536
    user.gid = 536
    user.description = "SGE admin user"
    user.home = "/shared/home/sgeadmin"
    user.shell = "/bin/bash"

Te konfiguracje zastąpią domyślną wersję i lokalizację instalacji gridengine po uruchomieniu klastra. Nie można bezpiecznie przenieść się z /sched klastra, ponieważ jest to specjalnie udostępniona lokalizacja nfs w klastrze.