BukaPBS

Menyambungkan PBS dengan CycleCloud

CycleCloud mengelola kluster OpenPBS melalui agen yang dapat diinstal yang disebut azpbs. Agen ini terhubung ke CycleCloud untuk membaca konfigurasi kluster dan VM dan juga terintegrasi dengan OpenPBS untuk memproses informasi pekerjaan dan host secara efektif. Semua azpbs konfigurasi ditemukan dalam autoscale.json file, biasanya /opt/cycle/pbspro/autoscale.json.

  "password": "260D39rWX13X",
  "url": "https://cyclecloud1.contoso.com",
  "username": "cyclecloud_api_user",
  "logging": {
    "config_file": "/opt/cycle/pbspro/logging.conf"
  },
  "cluster_name": "mechanical_grid",

File Penting

Agen azpbs mengurai konfigurasi PBS setiap kali disebut - pekerjaan, antrean, sumber daya. Informasi disediakan dalam stderr dan stdout perintah serta ke file log, keduanya pada tingkat yang dapat dikonfigurasi. Semua perintah manajemen PBS (qcmd) dengan argumen juga dicatat ke file.

Semua file ini dapat ditemukan di direktori /opt/cycle/pbspro/ tempat agen diinstal.

File	Lokasi	Deskripsi
Konfigurasi Skala Otomatis	autoscale.json	Konfigurasi untuk informasi akses Autoscale, Peta Sumber Daya, CycleCloud
Log Skala Otomatis	autoscale.log	Pengelogan utas utama agen termasuk manajemen host CycleCloud
Log Permintaan	demand.log	Log terperinci untuk pencocokan sumber daya
qcmd Trace Log	qcmd.log	Mencatat panggilan agen qcmd
Konfigurasi Pengelogan	logging.conf	Konfigurasi untuk masker pengelogan dan lokasi file

Menentukan Sumber Daya OpenPBS

Proyek ini memungkinkan asosiasi umum sumber daya OpenPBS dengan sumber daya Azure VM melalui proyek cyclecloud-pbspro (azpbs). Hubungan sumber daya ini didefinisikan dalam autoscale.json.

Sumber daya default yang ditentukan dengan templat kluster yang kami kirimkan adalah

{"default_resources": [
   {
      "select": {},
      "name": "ncpus",
      "value": "node.vcpu_count"
   },
   {
      "select": {},
      "name": "group_id",
      "value": "node.placement_group"
   },
   {
      "select": {},
      "name": "host",
      "value": "node.hostname"
   },
   {
      "select": {},
      "name": "mem",
      "value": "node.memory"
   },
   {
      "select": {},
      "name": "vm_size",
      "value": "node.vm_size"
   },
   {
      "select": {},
      "name": "disk",
      "value": "size::20g"
   }]
}

Sumber daya OpenPBS bernama mem disamakan dengan atribut node bernama node.memory, yang merupakan memori total komputer virtual apa pun. Konfigurasi ini memungkinkan azpbs untuk memproses permintaan sumber daya seperti -l mem=4gb dengan membandingkan nilai persyaratan sumber daya pekerjaan dengan sumber daya simpul.

Perhatikan bahwa disk saat ini dikodekan secara permanen ke size::20g. Berikut adalah contoh penanganan ukuran disk spesifik Ukuran VM

   {
      "select": {"node.vm_size": "Standard_F2"},
      "name": "disk",
      "value": "size::20g"
   },
   {
      "select": {"node.vm_size": "Standard_H44rs"},
      "name": "disk",
      "value": "size::2t"
   }

Skala Otomatis dan Set Skala

CycleCloud memperlakukan pekerjaan yang mencakup dan serial secara berbeda dalam kluster OpenPBS. Pekerjaan yang mencakup akan mendarat di simpul yang merupakan bagian dari grup penempatan yang sama. Grup penempatan memiliki arti platform tertentu (VirtualMachineScaleSet dengan SinglePlacementGroup=true) dan CC akan mengelola grup penempatan bernama untuk setiap set simpul yang membentang. Gunakan sumber daya group_id PBS untuk nama grup penempatan ini.

hpc Antrean menambahkan setara -l place=scatter:group=group_id dengan dengan menggunakan default antrean asli.

Menginstal Agen CycleCloud OpenPBS azpbs

Kluster OpenPBS CycleCloud akan mengelola penginstalan dan konfigurasi agen pada simpul server. Persiapan ini mencakup pengaturan sumber daya PBS, antrean, dan kait. Penginstalan berskrip juga dapat dilakukan di luar CycleCloud.

# Prerequisite: python3, 3.6 or newer, must be installed and in the PATH
wget https://github.com/Azure/cyclecloud-pbspro/releases/download/2.0.5/cyclecloud-pbspro-pkg-2.0.5.tar.gz
tar xzf cyclecloud-pbspro-pkg-2.0.5.tar.gz
cd cyclecloud-pbspro

# Optional, but recommended. Adds relevant resources and enables strict placement
./initialize_pbs.sh

# Optional. Sets up workq as a colocated, MPI focused queue and creates htcq for non-MPI workloads.
./initialize_default_queues.sh

# Creates the azpbs autoscaler
./install.sh  --venv /opt/cycle/pbspro/venv

# Otherwise insert your username, password, url, and cluster name here.
./generate_autoscale_json.sh --install-dir /opt/cycle/pbspro \
                             --username user \
                             --password password \
                             --url https://fqdn:port \
                             --cluster-name cluster_name

azpbs validate

CycleCloud mendukung sekumpulan atribut autostop standar di seluruh penjadwal:

Atribut	Deskripsi
cyclecloud.cluster.autoscale.stop_enabled	Apakah autostop diaktifkan pada simpul ini? [benar/salah]
cyclecloud.cluster.autoscale.idle_time_after_jobs	Jumlah waktu (dalam detik) untuk simpul untuk duduk diam setelah menyelesaikan pekerjaan sebelum diturunkan skalanya.
cyclecloud.cluster.autoscale.idle_time_before_jobs	Jumlah waktu (dalam detik) untuk simpul untuk duduk diam sebelum menyelesaikan pekerjaan sebelum diturunkan skalanya.

Catatan

CycleCloud tidak mendukung konfigurasi bursting dengan Open PBS.

Catatan

Meskipun Windows adalah platform Open PBS yang didukung secara resmi, CycleCloud tidak mendukung menjalankan Open PBS di Windows saat ini.