Кластер CycleCloud GridEngine

Эта страница касается возможностей и конфигурации использования GridEngine (Altair) с CycleCloud.

Настройка ресурсов

Приложение cyclecloud-gridengine сопоставляет ресурсы sge с облачными ресурсами Azure, предоставляя широкие возможности автомасштабирования и настройки кластера. Приложение будет развернуто автоматически для кластеров, созданных с помощью пользовательского интерфейса CycleCloud, или может быть установлено на любом узле администратора gridengine в существующем кластере.

Установка или обновление cyclecloud-gridengine

Пакет cyclecloud-gridengine доступен в GitHub в качестве артефакта выпуска. Установка и обновление будут выполняться одинаково. Приложению требуется Python3 с virtualenv.

tar xzf cyclecloud-gridengine-pkg-*.tar.gz
cd cyclecloud-gridengine
./install.sh

Важные файлы

Приложение анализирует конфигурацию sge при каждом вызове — задания, очереди, комплексы. Сведения предоставляются в stderr и stdout команды, а также в файле журнала на настраиваемых уровнях. Все команды управления gridengine с аргументами также записываются в файл.

Описание	Расположение
Конфигурация автомасштабирования	/opt/cycle/gridengine/autoscale.json
Журнал автомасштабирования	/opt/cycle/jetpack/logs/autoscale.log
Журнал трассировки qconf	/opt/cycle/jetpack/logs/qcmd.log

Очереди SGE, группы узлов и параллельные среды

Служебная программа azgeавтомасштабирования cyclecloud-gridengine добавит узлы в кластер в соответствии с конфигурацией кластера. Операции автомасштабирования выполняют следующие действия.

1. Чтение запроса ресурса задания и поиск подходящей виртуальной машины для запуска
2. Запустите виртуальную машину и дождитесь ее готовности
3. Чтение очереди и параллельной среды из задания
4. На основе очереди или pe назначьте узел соответствующей группе узлов.
5. Добавление узла в кластер, а также в любую другую очередь, содержащую группу узлов.

Рассмотрим следующее определение очереди для очереди с именем short.q.

hostlist              @allhosts @mpihg01 @mpihg02 @lowprio 
...
seq_no                10000,[@lowprio=10],[@mpihg01=100],[@mpihg02=200]
pe_list               NONE,[@mpihg01=mpi01], \
                      [@mpihg02=mpi02]

Отправка задания начинается qsub -q short.q -pe mpi02 12 my-script.sh с аренды одной виртуальной машины, а при добавлении в кластер она присоединяется к группе узлов @mpihg02 , так как это группа узлов, доступная как в очереди, так и в параллельной среде. Она также будет добавлена в @allhosts, которая является специальной группой узлов.

Без указания pe qsub -q short.q my-script.sh результирующая виртуальная машина будет добавлена в @allhosts и @lowpriority это группы узлов в очереди, которым не назначены pes.

Наконец, задание, отправленное с qsub -q short.q -pe mpi0* 12 my-script.sh , приведет к добавлению виртуальной машины в @mpihg01 или @mpihg02 в зависимости от прогнозов выделения CycleCloud.

Параллельные среды неявно приравниваются к группе размещения cyclecloud. Виртуальные машины в среде предустановки ограничены тем, что находятся в одной сети. Если вы хотите использовать PE, в котором не хранится группа размещения, используйте autoscale.json , чтобы отказаться.

Здесь мы отказываемся от групп размещения для make pe:

"gridengine": {
    "pes": {
      "make": {
        "requires_placement_groups": false
      }
    },

Группы размещения CycleCloud

Группы размещения CycleCloud сопоставляют один к одному с VMSS Azure с SinglePlacementGroup . Виртуальные машины в группе размещения совместно используют Infiniband Fabric и совместно используют только виртуальные машины в группе размещения. Чтобы интуитивно сохранить эти разрозненности, группы размещения сопоставляют 1:1 с параллельной средой gridengine.

Указание параллельной среды для задания ограничит выполнение задания в группе размещения с помощью логики назначения смарт-группы узлов. Вы можете отказаться от этого поведения с помощью упомянутой выше конфигурации в autoscale.json : "required_placement_groups" : false.

Конфигурация автомасштабирования

Этот подключаемый модуль автоматически масштабирует сетку в соответствии с требованиями рабочей нагрузки. Файл конфигурации autoscale.json определяет поведение автомасштабирования подсистемы сетки.

• Настройка сведений о подключении cyclecloud
• Установка таймера завершения для неактивных узлов
• Возможно многомерное автомасштабирование. Укажите, какие атрибуты следует использовать в упаковке заданий, например слоты, память.
• Регистрация очередей, параллельных сред и групп узлов для управления

Параметр Configuration	Тип	Описание
url	Строковый тип	URL-адрес cc
имя пользователя и пароль	Строка	Сведения о подключении CC
cluster_name	Строковый тип	Имя кластера CC
default_resources	Карта	Связывание ресурса узла с ресурсом узла ядра сетки для автомасштабирования
idle_timeout	Int	Время ожидания перед прекращением бездействующих узлов (ов)
boot_timeout	Int	Время ожидания перед прекращением завершения узлов на длительных этапах (ы) конфигурации
gridengine.relevant_complexes	List (String)	Комплексы подсистемы сетки, которые следует учитывать при автомасштабировании, например слоты, mem_free
gridengine.logging	Файловый	Расположение файла конфигурации ведения журнала
gridengine.pes	Структура	Укажите поведение PE, например requires_placement_group = false

Программа автомасштабирования будет учитывать только соответствующий ресурс

Дополнительный ресурс автомасштабирования

По умолчанию кластер с масштабированием зависит от того, сколько слотов запрашивается заданиями. К автомасштабированию можно добавить еще одно измерение.

Предположим, мы хотим выполнить автомасштабирование по запросу ресурса задания для m_mem_free.

1. Добавьте m_mem_free в gridengine.relevant_resources файл в файле autoscale.json.
2. Связывание m_mem_free с ресурсом памяти на уровне узла в autoscale.json

Эти атрибуты могут быть ссылками с node.* в качестве значения в _default/resources.

Узел	Тип	Описание
Массив узлов	Строковый тип	Имя узла cyclecloudarray
placement_group	Строка	Имя группы размещения cyclecloud в пределах объекта nodearray
vm_size	Строковый тип	Имя продукта виртуальной машины, например "Standard_F2s_v2"
vcpu_count	Int	Виртуальные ЦП, доступные на узле, как указано на страницах отдельных продуктов
pcpu_count	Int	Физические ЦП, доступные на узле
Память	Строковый тип	Приблизительная физическая память, доступная на виртуальной машине с индикатором единицы измерения, например "8.0g"

Дополнительные атрибуты находятся в node.resources.* пространстве имен, например node.resources.

Узел	Тип	Описание
ncpus	Строковый тип	Количество ЦП, доступных в виртуальной машине
pcpus	Строка	Количество физических ЦП, доступных на виртуальной машине
ngpus	Целое число	Количество gpu, доступных на виртуальной машине
memb	Строковый тип	Приблизительная физическая память, доступная на виртуальной машине с индикатором единицы измерения, например "8.0b"
memkb	Строка	Приблизительная физическая память, доступная на виртуальной машине с индикатором единицы измерения, например "8,0k"
memmb	Строковый тип	Приблизительная физическая память, доступная на виртуальной машине с индикатором единицы измерения, например "8,0 м"
memgb	Строка	Приблизительная физическая память, доступная на виртуальной машине с индикатором единицы измерения, например "8.0g"
memtb	Строка	Примерная физическая память, доступная на виртуальной машине с индикатором единицы измерения, например "8.0t"
slots	Целое число	То же, что и ncpus
slot_type	Строка	Добавление метки для расширений. Обычно не используется.
m_mem_free	Строковый тип	Ожидаемая свободная память на узле выполнения, например "3.0g"
mfree	Строка	Совпадает с _m/_mem/free

Сопоставление ресурсов

Для default_resources также доступны математические вычисления: сократите слоты в определенном массиве узлов на два и добавьте ресурс Docker на все узлы:

    "default_resources": [
    {
      "select": {"node.nodearray": "beegfs"},
      "name": "slots",
      "value": "node.vcpu_count",
      "subtract": 2
    },
    {
      "select": {},
      "name": "docker",
      "value": true
    },

Сопоставление виртуальных ЦП узла со сложными слотами и memmb с mem_free часто используемыми значениями по умолчанию. Первая связь является обязательной.

    "default_resources": [
    {
      "select": {},
      "name": "slots",
      "value": "node.vcpu_count"
    },
    {
      "select": {},
      "name": "mem_free",
      "value": "node.resources.memmb"
    }
 ],

Обратите внимание, что если сочетание клавиш не равно всему значению, определите оба значения в default_resources где physical_cpu — это комплексное имя:

"default_resources": [
    {
      "select": {},
      "name": "physical_cpu",
      "value": "node.pcpu_count"
    },
    {
      "select": {},
      "name": "pcpu",
      "value": "node.resources.physical_cpu"
    }
]

Порядок важен, если требуется определенное поведение для определенного атрибута. Чтобы выделить один слот для определенного массива узлов с сохранением количества слотов по умолчанию для всех остальных узлов, выполните указанные ниже действия.

    "default_resources": [
    {
      "select": {"node.nodearray": "FPGA"},
      "name": "slots",
      "value": "1",
    },
    {
      "select": {},
      "name": "slots",
      "value": "node.vcpu_count"
    },
]

Группы узлов

Средство автомасштабирования CycleCloud в попытке удовлетворить требования задания будет сопоставлять узлы с соответствующей группой узлов. Учитываются очереди, параллельные среды и комплексы. Большая часть логики соответствует соответствующему контейнеру cyclecloud (и количеству узлов) с соответствующей группой узлов sge.

Для задания, отправленного как: qsub -q "cloud.q" -l "m_mem_free=4g" -pe "mpi*" 48 ./myjob.sh

CycleCloud найдет пересечение групп узлов, которые:

1. Включены в pe_list для cloud.q и соответствуют имени pe, например pe_list [@allhosts=mpislots],[@hpc1=mpi].
2. Иметь достаточные ресурсы и квоту подписки для предоставления всех ресурсов задания.
3. Не фильтруются по конфигурации ограничений группы узлов.

Вполне возможно, что несколько групп узлов будут соответствовать этим требованиям, и в этом случае логика потребуется выбрать. Существует три способа устранения неоднозначности в членстве в группе узлов:

1. Настройте очереди, чтобы не было неоднозначности.
2. Добавьте ограничения в файл autoscale.json.
3. Позвольте CycleCloud выбрать подходящие группы узлов в порядке упорядочения weight_queue_host_sort < weight_queue_seqno имен путем настройки в конфигурации планировщика.
4. Задайте seq_no 10000,[@hostgroup1=100],[@hostgroup2=200] в конфигурации очереди, чтобы указать предпочтения группы узлов.

Ограничения группы узлов

Если очередь или xproject определяет несколько групп узлов, то все эти группы узлов потенциально могут быть добавлены в них. Вы можете ограничить типы узлов, в которые можно добавлять очереди, задав ограничения группы узлов. Задайте ограничение на основе свойств узла.

"gridengine": {
    "hostgroups": {
      "@mpi": {
        "constraints": {
          "node.vm_size": "Standard_H44rs"
        }
      },
      "@amd-mem": {
        "constraints" : { 
            "node.vm_size": "Standard_D2_v3",
            "node.nodearray": "hpc" 
            }
        },
    }
  }

ПОДСКАЗКА. Проверьте все доступные свойства узла с помощью azge buckets.

azge

Этот пакет поставляется с командной строкой azge. Эта программа должна использоваться для выполнения автомасштабирования и разорвана все подпроцессы в режиме автомасштабирования. Эти команды зависят от заданных переменных среды gridengine. Вы должны иметь возможность вызывать qconf и qsub из того же профиля, где azge вызывается .

команды azge	Описание
validate	Проверяет наличие известных ошибок конфигурации в автомасштабировании или gridengine
jobs	Отображение всех заданий в очереди
контейнеры	Отображение доступных пулов ресурсов для автомасштабирования
Узлы	Отображение узлов и свойств кластера
demand (потребление)	Соответствует требованиям задания к контейнерам cyclecloud и предоставляет результат автомасштабирования
Автомасштабирование	Выполняет полное автомасштабирование, запуск и удаление узлов в соответствии с конфигурациями

При изменении конфигураций планировщика (qconf) или конфигураций автомасштабирования (autoscale.json) или даже при первой настройке можно использовать azge для проверки соответствия поведения автомасштабирования ожиданиям. В качестве привилегированного пользователя можно выполнять следующие операции. Рекомендуется ознакомиться с этими параметрами, чтобы понять поведение автомасштабирования.

1. Запустите azge validate , чтобы проверить конфигурации на наличие известных проблем.
2. Выполните команду azge buckets , чтобы проверить, какие ресурсы предлагает кластер CycleCloud.
3. Запустите azge jobs , чтобы проверить сведения о задании в очереди.
4. Выполните azge demand задание для сопоставления контейнеров, проверьте, какие задания сопоставляются с контейнерами и группами узлов.
5. Запустите azge autoscale для запуска процесса выделения узлов или добавьте узлы, готовые к присоединению.

Затем, когда эти команды ведут себя должным образом, включите текущее автомасштабирование, добавив azge autoscale команду в корневой crontab. (С помощью переменных среды gridengine)

* * * * * . $SGE_ROOT/common/settings.sh && /usr/local/bin/azge autoscale -c /opt/cycle/gridengine/autoscale.json

Создание гибридного кластера

CycleCloud будет поддерживать сценарий ускорения перехода в облако. Базовая конфигурация предполагает, что $SGE_ROOT каталог доступен облачным узлам. Это предположение можно смягчить, задав gridengine.shared.spool = falsegridengine.shared.bin = false и установив GridEngine локально. В простом случае необходимо предоставить файловую систему, которую можно подключить с помощью узлов выполнения, содержащих $SGE_ROOT каталог, и настроить это подключение в дополнительных параметрах. После освобождения зависимости каталогов sched и общих каталогов можно завершить работу узла планировщика, который по умолчанию является частью кластера, и использовать конфигурации из внешней файловой системы.

1. Создайте новый кластер gridengine.
2. Отключите прокси-сервер возврата.
3. Замените /sched и /shared внешними файловыми системами.
4. Сохраните кластер.
5. Удалите узел планировщика как действие в пользовательском интерфейсе.
6. Запустите кластер, узлы не будут запускаться изначально.
7. Настройка cyclecloud-gridengine с помощью autoscale.json для использования нового кластера

Использование модуля Сетки Univa в CycleCloud

Проект CycleCloud для GridEngine по умолчанию использует sge-2011.11 . Вы можете использовать собственные установщики Altair GridEngine в соответствии с лицензионным соглашением Altair.
В этом разделе описано, как использовать Altair GridEngine с проектом CycleCloud GridEngine.

Предварительные условия

В этом примере будет использоваться демонстрационная версия 8.6.1, но поддерживаются все версии > ge 8.4.0.

1. Пользователи должны предоставлять двоичные файлы UGE

• ge-8.6.x-bin-lx-amd64.tar.gz
• ge-8.6.x-common.tar.gz

2. Необходимо настроить интерфейс командной строки CycleCloud. Документация доступна здесь.

Копирование двоичных файлов в облачное хранилище

Дополнительная версия AGE (8.6.7-demo) распространяется вместе с CycleCloud. Чтобы использовать другую версию, отправьте двоичные файлы в учетную запись хранения, используемую CycleCloud.

$ azcopy cp ge-8.6.12-bin-lx-amd64.tar.gz https://<storage-account-name>.blob.core.windows.net/cyclecloud/gridengine/blobs/
$ azcopy cp ge-8.6.12-common.tar.gz https://<storage-account-name>.blob.core.windows.net/cyclecloud/gridengine/blobs/

Изменение конфигураций в шаблоне кластера

Создайте локальную копию шаблона gridengine и измените ее, чтобы использовать установщики UGE вместо стандартного.

wget https://raw.githubusercontent.com/Azure/cyclecloud-gridengine/master/templates/gridengine.txt

В файлеgridengine.txt найдите первое вхождение [[[configuration]]] и вставьте текст таким образом, чтобы он соответствовал приведенному ниже фрагменту. Этот файл не чувствителен к отступам.

ПРИМЕЧАНИЕ. Сведения в конфигурации, в частности версия, должны соответствовать имени файла установщика.

[[[configuration gridengine]]]
    make = ge
    version = 8.6.12-demo
    root = /sched/ge/ge-8.6.12-demo
    cell = "default"
    sge_qmaster_port = "537"
    sge_execd_port = "538"
    sge_cluster_name = "grid1"
    gid_range = "20000-20100"
    qmaster_spool_dir = "/sched/ge/ge-8.6.12-demo/default/spool/qmaster" 
    execd_spool_dir = "/sched/ge/ge-8.6.12-demo/default/spool"
    spooling_method = "berkeleydb"
    shadow_host = ""
    admin_mail = ""
    idle_timeout = 300

    managed_fs = true
    shared.bin = true

    ignore_fqdn = true
    group.name = "sgeadmin"
    group.gid = 536
    user.name = "sgeadmin"
    user.uid = 536
    user.gid = 536
    user.description = "SGE admin user"
    user.home = "/shared/home/sgeadmin"
    user.shell = "/bin/bash"

Эти конфигурации переопределяют версию gridengine по умолчанию и расположение установки при запуске кластера. Отходить от /sched небезопасно, так как это специально общее расположение nfs в кластере.