OpenPBS

使用 CycleCloud 连接 PBS

CycleCloud 通过名为 的可安装代理管理 azpbs 群集。 此代理连接到 CycleCloud 以读取群集和 VM 配置，还与 OpenPBS 集成，以有效处理作业和主机信息。 所有 azpbs 配置都在 autoscale.json 文件中，通常位于 /opt/cycle/pbspro/autoscale.json。

  "password": "260D39rWX13X",
  "url": "https://cyclecloud1.contoso.com",
  "username": "cyclecloud_api_user",
  "logging": {
    "config_file": "/opt/cycle/pbspro/logging.conf"
  },
  "cluster_name": "mechanical_grid",

重要文件

每次 azpbs代理被调用时，它都会解析 PBS 配置 - 作业、队列、资源。 信息在命令的 stderr 和 stdout 中提供，并提供到日志文件中，两者都处于可配置级别。 所有带参数的 PBS 管理命令（qcmd）也记录到文件中。

所有这些文件都可以在安装了代理的 /opt/cycle/pbspro/ 目录中找到。

文件	位置	DESCRIPTION
自动缩放配置	autoscale.json	自动缩放、资源映射、CycleCloud 访问信息的配置
自动缩放日志	autoscale.log	包括 CycleCloud 主机管理在内的代理主线程日志记录
需求日志	需求日志 (demand.log)	资源匹配的详细日志
qcmd 跟踪日志	qcmd.log	记录代理 qcmd 调用
日志记录配置	logging.conf	记录掩码和文件位置的配置

定义 OpenPBS 资源

此项目允许通过 cyclecloud-pbspro （azpbs） 项目将 OpenPBS 资源与 Azure VM 资源进行常规关联。 此资源关系在autoscale.json中定义。 使用我们随附的群集模板定义的默认资源为

{"default_resources": [
   {
      "select": {},
      "name": "ncpus",
      "value": "node.vcpu_count"
   },
   {
      "select": {},
      "name": "group_id",
      "value": "node.placement_group"
   },
   {
      "select": {},
      "name": "host",
      "value": "node.hostname"
   },
   {
      "select": {},
      "name": "mem",
      "value": "node.memory"
   },
   {
      "select": {},
      "name": "vm_size",
      "value": "node.vm_size"
   },
   {
      "select": {},
      "name": "disk",
      "value": "size::20g"
   }]
}

命名 mem 的 OpenPBS 资源等同于名为 node.memory节点属性，该属性是任何虚拟机的总内存。 此配置允许 azpbs 处理资源请求，例如 -l mem=4gb 将作业资源要求的值与节点资源进行比较。

目前，磁盘大小已硬编码为 size::20g。 下面是处理 VM 大小特定磁盘大小的示例

   {
      "select": {"node.vm_size": "Standard_F2"},
      "name": "disk",
      "value": "size::20g"
   },
   {
      "select": {"node.vm_size": "Standard_H44rs"},
      "name": "disk",
      "value": "size::2t"
   }

自动缩放和规模集

CycleCloud 在 OpenPBS 群集中以不同的方式处理跨越和串行作业。 生成作业出现在属于同一放置组的节点上。 放置组具有特定的平台含义（SinglePlacementGroup=true 的 VirtualMachineScaleSet），并且 CycleCloud 会为每个生成的节点集管理命名放置组。 请使用 PBS 资源 group_id 作为此放置组的名称。

队列hpc 通过使用原生队列默认值来追加与-l place=scatter:group=group_id等效的项。

安装 CycleCloud OpenPBS 代理 azpbs

OpenPBS CycleCloud 群集管理服务器节点上代理的安装和配置。 准备工作包括设置 PBS 资源、队列和挂钩。 脚本安装也可以在 CycleCloud 外部完成。

# Prerequisite: python3, 3.6 or newer, must be installed and in the PATH
wget https://github.com/Azure/cyclecloud-pbspro/releases/download/2.0.5/cyclecloud-pbspro-pkg-2.0.5.tar.gz
tar xzf cyclecloud-pbspro-pkg-2.0.5.tar.gz
cd cyclecloud-pbspro

# Optional, but recommended. Adds relevant resources and enables strict placement
./initialize_pbs.sh

# Optional. Sets up workq as a colocated, MPI focused queue and creates htcq for non-MPI workloads.
./initialize_default_queues.sh

# Creates the azpbs autoscaler
./install.sh  --venv /opt/cycle/pbspro/venv

# Otherwise insert your username, password, url, and cluster name here.
./generate_autoscale_json.sh --install-dir /opt/cycle/pbspro \
                             --username user \
                             --password password \
                             --url https://fqdn:port \
                             --cluster-name cluster_name

azpbs validate

CycleCloud 支持在不同计划程序之间通用的标准自动停止属性集。

特征	DESCRIPTION
cyclecloud.cluster.autoscale.stop_enabled（停止自动扩展已启用）	是否在此节点上启用自动停止？ [真/假]
自动缩放集群的作业后空闲时间	节点在完成作业后处于空闲状态的时间（以秒为单位），然后再进行缩减规模。
自动扩展.集群.作业前的空闲时间	节点在完成作业前处于空闲状态的时间（以秒为单位），然后进行缩减。

注释

CycleCloud 不支持使用 Open PBS 的突发配置。

注释

尽管 Windows 是正式支持的开放 PBS 平台，但 CycleCloud 目前不支持在 Windows 上运行 Open PBS。