CycleCloud GridEngine Kümesi

CycleCloud GridEngine Kümesi Projesi README

Bu sayfa, CycleCloud ile (Altair) GridEngine kullanma olanakları ve yapılandırmasıyla ilgilidir.

Kaynakları Yapılandırma

Cyclecloud-gridengine uygulaması, zengin otomatik ölçeklendirme ve küme yapılandırma araçları sağlamak için sge kaynaklarını Azure bulut kaynaklarıyla eşleştirir. Uygulama CycleCloud kullanıcı arabirimi aracılığıyla oluşturulan kümeler için otomatik olarak dağıtılır veya mevcut bir kümedeki herhangi bir GridEngine yönetici konağına yüklenebilir.

CycleCloud-GridEngine kurulumu veya güncellenmesi

Cyclecloud-gridengine paketi GitHub'da yayın yapıtı olarak kullanılabilir. Yükleme ve yükseltme aynı işlemi izler. Uygulama virtualenv ile python3 gerektirir.

tar xzf cyclecloud-gridengine-pkg-*.tar.gz
cd cyclecloud-gridengine
./install.sh

Önemli Dosyalar

Uygulama her çalıştığında sge yapılandırmasını ayrıştırıyor - işler, kuyruklar, karmaşıklıklar. Bilgiler, komutun stderr ve stdout çıktılarında ve ayrıca yapılandırılabilir düzeyde bir günlük dosyasına kaydedilir. Bağımsız değişkenler içeren tüm GridEngine yönetim komutları da dosyaya kaydedilir.

Açıklama	Yer
Otomatik Ölçeklendirme Yapılandırması	/opt/cycle/gridengine/autoscale.json
Otomatik Ölçeklendirme Güncesi	/opt/cycle/jetpack/logs/autoscale.log
qconf iz günlüğü	/opt/cycle/jetpack/logs/qcmd.log

SGE kuyrukları, sunucu grupları ve paralel ortamlar

cyclecloud-gridengine otomatik ölçeklendirme yardımcı programı, azgeküme yapılandırmasına göre kümeye konaklar ekler. Otomatik ölçeklendirme işlemleri aşağıdaki eylemleri gerçekleştirir.

1. İş kaynağı isteğini okuyun ve başlamak için uygun bir VM bulun
2. VM'yi başlatın ve hazır olmasını bekleyin
3. Kuyruğu ve paralel ortamı işten oku
4. Kuyruğa/pe'ye bağlı olarak ana bilgisayarı uygun bir ana bilgisayar grubuna atayın
5. Konağı kümeye ve konak grubunu içeren başka bir kuyruğa ekleyin

short.q adlı bir kuyruk için aşağıdaki kuyruk tanımını göz önünde bulundurun

hostlist              @allhosts @mpihg01 @mpihg02 @lowprio 
...
seq_no                10000,[@lowprio=10],[@mpihg01=100],[@mpihg02=200]
pe_list               NONE,[@mpihg01=mpi01], \
                      [@mpihg02=mpi02]

qsub -q short.q -pe mpi02 12 my-script.sh bir iş gönderildiğinde en az bir VM başlatılır. Küme eklendiğinde, hem kuyruğa hem de paralel ortama uygun olan konak grubu @mpihg02'ye katılır. @allhosts, özel bir konak grubuna da katılır.

qsub -q short.q my-script.sh ile bir iş gönderir ve bir paralel ortam pe belirtmezseniz, elde edilen VM @allhosts ve @lowpriority konak gruplarına katılır, bu gruplar pes atanmamış bir kuyruğa bağlıdır.

Son olarak, qsub -q short.q -pe mpi0* 12 my-script.sh ile gönderilmiş bir iş, CycleCloud ayırma tahminlerine bağlı olarak @mpihg01 veya @mpihg02'ye bir VM eklenmesi sonucunu doğurur.

Paralel ortamlar, CycleCloud yerleştirme grubuna örtük olarak eşittir. PE'deki VM'ler aynı ağ içinde olacak şekilde kısıtlanır. Yerleştirme grubunu tutmayan bir PE kullanmak istiyorsanız autoscale.json kullanarak çıkış yapın.

Burada make pe için yerleştirme gruplarından vazgeçiyoruz.

"gridengine": {
    "pes": {
      "make": {
        "requires_placement_groups": false
      }
    },

CycleCloud Yerleştirme Grupları

CycleCloud yerleştirme grupları, SinglePlacementGroup ile Azure VMSS ile birebir eşleşir - Bir yerleştirme grubundaki VM'ler bir Infiniband ağını paylaşır ve yalnızca kendi yerleştirme grubundaki VM'lerle paylaşır. Bu siloların sezgisel olarak korunmasını sağlamak için, yerleştirme grupları GridEngine paralel ortamıyla 1:1 oranında eşleştirilir.

Bir iş için paralel bir ortam belirtmek, işin akıllı bir konak grubu atama mantığı kullanarak bir yerleştirme grubunda çalıştırılmasını kısıtlar. bu davranışı autoscale.jsoniçindeki ilgili yapılandırma aracılığıyla devre dışı bırakabilirsiniz: "required_placement_groups" : false.

Otomatik ölçeklendirme yapılandırması

Bu eklenti, iş yükünün taleplerini karşılamak için ızgarayı otomatik olarak ölçeklendirir. autoscale.json yapılandırma dosyası, Kılavuz Altyapısı otomatik ölçeklendiricisinin davranışını belirler.

• Cyclecloud bağlantı ayrıntılarını ayarlama
• Boşta düğümler için sonlandırma zamanlayıcısını ayarlama
• Çok boyutlu otomatik ölçeklendirme desteklenir. İş paketlemesinde hangi özniteliklerin kullanılacağını yapılandırabilirsiniz, örneğin yuvalar veya bellek
• Yönetilecek kuyrukları, paralel ortamları ve konak gruplarını kaydetme

Konfigürasyon	Türü	Açıklama
URL	Dize	Creative Commons URL'si
kullanıcı adı/parola	Dize	CC Bağlantı Ayrıntıları
küme_adı	Dize	CC Küme Adı
varsayılan_kaynaklar	Harita	Otomatik ölçeklendirme için düğüm kaynağını Kılavuz Altyapısı konak kaynağına bağlama
boşta kalma süresi	Int	Boşta düğümleri sonlandırmadan önce bekleme süresi (saniye cinsinden)
başlatma_zaman_aşımı	Int	Uzun yapılandırma aşamaları (lar) sırasında düğümleri sonlandırmadan önce bekleme süresi
gridengine.relevant_complexes	Liste (Dize)	Otomatik ölçeklendirmede göz önünde bulundurulacak grid motoru bileşenleri, örneğin yuvalar, mem_free
gridengine.logging	Dosya	Günlük yapılandırma dosyasının konumu
gridengine.pes	Yapı	PE'lerin davranışını belirtin, örneğin requires_placement_group = false

Otomatik ölçeklendirme programı yalnızca İlgili Kaynağı dikkate alır

Başka bir otomatik ölçeklendirme kaynağı

Varsayılan olarak, işler birçok slot talep eder ve küme bu talepler doğrultusunda ölçeklendirilir.

m_mem_free için iş kaynağı isteğine göre otomatik ölçeklendirme yapmak istediğimizi düşünelim.

1. m_mem_free öğesini gridengine.relevant_resources'e autoscale.json içine ekle
2. m_mem_free'ı autoscale.json düğüm düzeyinde bellek kaynağına bağlayın.

Bu öznitelikler, _default/node.* içinde değer olarak ile referans alınabilir.

Düğüm	Türü	Açıklama
nodearray	Dize	Cyclecloud nodearray adı
yerleşim_grubu	Dize	Nodearray içindeki cyclecloud yerleştirme grubunun adı
vm_size	Dize	VM ürün adı, örneğin, "Standard_F2s_v2"
vcpu_count	Int	Tek tek ürün sayfalarında gösterildiği gibi düğümde kullanılabilen sanal CPU'lar
pcpu_count	Int	Düğümde kullanılabilen fiziksel CPU'lar
hafıza	Dize	VM'de birim göstergesiyle yaklaşık fiziksel bellek miktarı, örneğin "8,0g"

Diğer öznitelikler ad alanındadır node.resources.* , örneğin, 'node.resources.

Düğüm	Türü	Açıklama
ncpus	Dize	VM'de kullanılabilir CPU sayısı
pcpus	Dize	VM'de kullanılabilen fiziksel CPU sayısı
ngpus	Tam sayı	VM'de kullanılabilen GPU sayısı
üye	Dize	VM'deki birim göstergesiyle yaklaşık fiziksel bellek miktarı, örneğin "8,0b"
memkb	Dize	VM'de birim göstergesiyle mevcut yaklaşık fiziksel bellek, örneğin "8,0k"
memmb	Dize	VM'de yaklaşık olarak birim göstergesiyle mevcut fiziksel bellek, örneğin, "8,0m"
memgb	Dize	VM'de birim göstergesiyle yaklaşık fiziksel bellek miktarı, örneğin "8,0g"
memtb	Dize	Vm'de birim göstergesiyle yaklaşık fiziksel bellek kullanılabilir; örneğin, "8,0t"
Slotlar	Tam sayı	Ncpus ile aynı
slot_türü	Dize	Uzantılar için ek etiket. Kullanılmadı.
m_mem_free	Dize	Yürütme ana bilgisayarında boş bellek bekleniyor, örneğin, "3.0g"
mfree	Dize	_m/_mem/ücretsiz ile aynı

Kaynak Eşleme

ayrıca default_resources için kullanılabilen matematik işlemleri de vardır. Belirli bir düğüm dizisinde yuvaları ikiye düşürün ve docker kaynağını tüm düğümlere ekleyin:

    "default_resources": [
    {
      "select": {"node.nodearray": "beegfs"},
      "name": "slots",
      "value": "node.vcpu_count",
      "subtract": 2
    },
    {
      "select": {},
      "name": "docker",
      "value": true
    },

Düğüm vCPU'larını slot kompleksine ve memmb'dan mem_free'e eşleme, yaygın olarak kullanılan varsayılan değerlerdir. İlk ilişkilendirme gereklidir.

    "default_resources": [
    {
      "select": {},
      "name": "slots",
      "value": "node.vcpu_count"
    },
    {
      "select": {},
      "name": "mem_free",
      "value": "node.resources.memmb"
    }
 ],

Bir karmaşık değerin tamamına eşit olmayan bir kısayola sahipse, her ikisini de default_resources içinde tanımlayın; burada physical_cpu karmaşık ad:

"default_resources": [
    {
      "select": {},
      "name": "physical_cpu",
      "value": "node.pcpu_count"
    },
    {
      "select": {},
      "name": "pcpu",
      "value": "node.resources.physical_cpu"
    }
]

Belirli bir öznitelik için belirli bir davranış istediğinizde sıralama önemlidir. Diğer tüm nodearray'ler için varsayılan yuva sayısını korurken belirli bir nodearray için tek bir yuva ayırmak için:

    "default_resources": [
    {
      "select": {"node.nodearray": "FPGA"},
      "name": "slots",
      "value": "1",
    },
    {
      "select": {},
      "name": "slots",
      "value": "node.vcpu_count"
    },
]

Konak grupları

CycleCloud otomatik ölçeklendiricisi, iş gereksinimlerini karşılamaya çalışırken düğümleri uygun konak grubuna eşler. Kuyruklar, paralel ortamlar ve karmaşıklıklar dikkate alınır. Mantığın büyük kısmı uygun cyclecloud demetini (ve düğüm miktarını) uygun sge konak grubuyla eşleştirmektir.

Şu şekilde gönderilen bir iş için: qsub -q "cloud.q" -l "m_mem_free=4g" -pe "mpi*" 48 ./myjob.sh

CycleCloud aşağıdaki konak gruplarının kesişimini bulur:

1. cloud.q için pe_list içerir ve pe adıyla eşleşir, örneğin, pe_list [@allhosts=mpislots],[@hpc1=mpi].
2. Tüm iş kaynaklarını sağlamak için yeterli kaynaklara ve abonelik kotasına sahip olun.
3. Konak grubu kısıtlamaları yapılandırması bunları filtrelemez.

Birden çok konak grubu bu gereksinimleri karşılayabilir. Bu durumda, hangisinin kullanılacağına sistem karar vermelidir. Konak grubu üyeliği çakışmalarını çözmenin üç yolu vardır:

1. Belirsizlikleri önlemek için kuyrukları yapılandırın.
2. autoscale.jsonkısıtlamaları ekleyin.
3. CycleCloud'un eşleşen konak gruplarını ad sıralı bir şekilde seçmesine imkan tanımak için zamanlayıcı yapılandırmasında weight_queue_host_sort < weight_queue_seqno ayarlayın.
4. Bir konak grubu tercihini belirtmek için kuyruk yapılandırmasında ayarlayın seq_no 10000,[@hostgroup1=100],[@hostgroup2=200] .

Konak grubu kısıtlamaları

Bir kuyruk veya xproject birden çok konak grubunu tanımladığında, bu grupların herhangi biri potansiyel olarak yeni konaklar alabilir. Hangi konakların hangi kuyruklar için uygun olduğunu denetlemek için düğüm özelliklerine göre konak grubu kısıtlamaları uygulayabilirsiniz.

"gridengine": {
    "hostgroups": {
      "@mpi": {
        "constraints": {
          "node.vm_size": "Standard_H44rs"
        }
      },
      "@amd-mem": {
        "constraints" : { 
            "node.vm_size": "Standard_D2_v3",
            "node.nodearray": "hpc" 
            }
        },
    }
  }

İpucu: Tüm kullanılabilir düğüm özelliklerini azge buckets inceleyin.

azge

Bu paket , azge adlı bir komut satırıyla birlikte gelir. Bu program otomatik ölçeklendirme gerçekleştirmek için kullanılır ve otomatik ölçeklendirme altındaki tüm alt işlemleri ayrı bileşenlere böler. Bu komutlar, GridEngine ortam değişkenlerinin ayarlanmasını gerektirir. Aynı profilden qconf çağırabildiğiniz şekilde, qsub ve azge de çağırabilmelisiniz.

azge komutları	Açıklama
Doğrulamak	Otomatik ölçeklendiricide veya GridEngine'de bilinen yapılandırma hatalarını denetler
Işleri	Kuyruktaki tüm işleri gösterir
Kovalar	Otomatik ölçeklendirme için kullanılabilir kaynak havuzlarını gösterir
düğümler	Küme konaklarını ve özelliklerini gösterir
talep	Cyclecloud kapanlarıyla iş gereksinimlerini eşleştirir ve otomatik ölçeklendirme neticesi sağlar.
otomatik ölçeklendirme	Düğümleri yapılandırmalara göre başlatıp kaldırarak tam otomatik ölçeklendirme gerçekleştirir

Zamanlayıcı yapılandırmalarını (qconf) veya otomatik ölçeklendirme yapılandırmalarını (autoscale.json) değiştirirken veya hatta ilk kez ayarlarken, otomatik ölçeklendirme davranışının beklentileri karşılayıp eşleştirmeyebileceğini denetlemek için azge kullanılabilir. Kök kullanıcı olarak, aşağıdaki işlemleri çalıştırabilirsiniz. Otomatik ölçeklendirmenin nasıl çalıştığını anlamak için bu kavramlara alışmak önemlidir.

1. Bilinen sorunların yapılandırmalarını doğrulamak için komutunu çalıştırın azge validate .
2. CycleCloud kümesi tarafından sunulan kaynakları denetlemek için komutunu çalıştırın azge buckets .
3. Kuyruğa alınan iş ayrıntılarını incelemek için komutunu çalıştırın azge jobs .
4. Komutunu çalıştırarak azge demand demet eşleştirme işini gerçekleştirin. Ardından hangi işlerin hangi kovalar ve host grupları ile eşleştiklerini inceleyin.
5. Düğüm ayırma işlemini başlatmak veya birleştirmeye hazır düğümler eklemek için komutunu çalıştırın azge autoscale .

Komutlar beklendiği gibi çalıştıktan sonra, komutu kök crontab'a ekleyerek azge autoscale devam eden otomatik ölçeklendirmeyi etkinleştirin. GridEngine ortam değişkenlerini önceden kaynak olarak sağladığından emin olun.

* * * * * . $SGE_ROOT/common/settings.sh && /usr/local/bin/azge autoscale -c /opt/cycle/gridengine/autoscale.json

Karma küme oluşturma

CycleCloud, bulutta ani artış senaryolarını destekler. Temel yapılandırma, $SGE_ROOT dizininin bulut düğümleri tarafından erişilebilir olduğunu varsayar. Bu varsayım, gridengine.shared.spool = false, gridengine.shared.bin = false ayarlanarak ve GridEngine yerel olarak yüklenerek gevşetilebilir.

Basit bir durum için , 'execute' düğümlerinin bağlanabileceği bir dosya sistemi sağlamanız gerekir. Bu dosya sistemi, ... içermelidir. dizinini seçin ve bağlamayı isteğe bağlı ayarlarda yapılandırabilirsiniz. Sched ve paylaşılan dizinlerin bağımlılıkları serbest bırakıldığında, kümenin parçası olan zamanlayıcı düğümünü varsayılan olarak kapatabilir ve dış dosya sisteminden yapılandırmaları kullanabilirsiniz.

1. Yeni bir gridengine kümesi oluşturun.
2. Dönüş proxy'sini devre dışı bırakın.
3. /sched ve /shared değerlerini dış dosya sistemleriyle değiştirin.
4. Kümeyi kaydedin.
5. Zamanlayıcı düğümünü kullanıcı arabiriminde eylem olarak kaldırın.
6. Kümeyi başlatın, ancak başlangıçta hiçbir düğüm başlamaz.
7. Yeni kümeyi kullanmak için cyclecloud-gridengine ile yapılandırma

CycleCloud'da Univa Grid Altyapısını Kullanma

GridEngine için CycleCloud projesi varsayılan olarak sge-2011.11 kullanır. Altair lisans sözleşmenize göre kendi Altair GridEngine yükleyicilerinizi kullanabilirsiniz. Bu bölümde CycleCloud GridEngine projesiyle Altair GridEngine'in nasıl kullanılacağı belgelenmektedir.

Önkoşullar

Bu örnek 8.6.1-demo sürümünü kullanır, ancak 8.4.0'dan büyük tüm GE sürümleri desteklenir.

1. Kullanıcıların UGE ikili dosyaları sağlaması gerekir

• ge-8.6.x-bin-lx-amd64.tar.gz
• ge-8.6.x-common.tar.gz

2. CycleCloud CLI yapılandırılmalıdır. Belgelere buradan ulaşabilirsiniz

İkili dosyaları bulut dolabına kopyalayın

AGE'nin tamamlayıcı bir sürümü (8.6.7-demo) CycleCloud ile dağıtılır. Başka bir sürüm kullanmak için ikili dosyaları CycleCloud'un kullandığı depolama hesabına yükleyin.

$ azcopy cp ge-8.6.12-bin-lx-amd64.tar.gz https://<storage-account-name>.blob.core.windows.net/cyclecloud/gridengine/blobs/
$ azcopy cp ge-8.6.12-common.tar.gz https://<storage-account-name>.blob.core.windows.net/cyclecloud/gridengine/blobs/

Küme şablonunda yapılandırmaları değiştirme

GridEngine şablonunun yerel bir kopyasını alın ve bunu varsayılan yerine UGE yükleyicilerini kullanacak şekilde değiştirin.

wget https://raw.githubusercontent.com/Azure/cyclecloud-gridengine/master/templates/gridengine.txt

gridengine.txt dosyasında ilk geçtiği yeri [[[configuration]]] bulun ve aşağıdaki kod parçacığıyla eşleşecek şekilde metin ekleyin. Dosya girintiye duyarlı değil.

Uyarı

Yapılandırmadaki ayrıntılar, özellikle sürüm, yükleyici dosya adıyla eşleşmelidir.

[[[configuration gridengine]]]
    make = ge
    version = 8.6.12-demo
    root = /sched/ge/ge-8.6.12-demo
    cell = "default"
    sge_qmaster_port = "537"
    sge_execd_port = "538"
    sge_cluster_name = "grid1"
    gid_range = "20000-20100"
    qmaster_spool_dir = "/sched/ge/ge-8.6.12-demo/default/spool/qmaster" 
    execd_spool_dir = "/sched/ge/ge-8.6.12-demo/default/spool"
    spooling_method = "berkeleydb"
    shadow_host = ""
    admin_mail = ""
    idle_timeout = 300

    managed_fs = true
    shared.bin = true

    ignore_fqdn = true
    group.name = "sgeadmin"
    group.gid = 536
    user.name = "sgeadmin"
    user.uid = 536
    user.gid = 536
    user.description = "SGE admin user"
    user.home = "/shared/home/sgeadmin"
    user.shell = "/bin/bash"

Bu GridEngine yapılandırmaları, küme başlatıldığında varsayılan GridEngine sürümünü ve yükleme konumunu geçersiz kılar. Paylaşılan bir NFS konumu olduğu için kümedeki /sched üzerinden taşınmak güvenli değildir.