Поделиться через

Пакет Microsoft HPC

  • Статья

Пакет Microsoft HPC — это бесплатное решение HPC, созданное на основе Microsoft Azure с технологиями Windows Server и поддерживающее широкий спектр рабочих нагрузок HPC. На этой странице описаны возможности и сведения о конфигурации для интеграции пакета HPC с Cyclecloud.

Ограничения и поддерживаемые версии

Пакет Microsoft HPC 2016 (с обновлением 3) и пакет Microsoft HPC 2019 поддерживаются в CycleCloud со следующими ограничениями:

  • Кластер должен быть создан в домен Active Directory.
  • Кластер может содержать только один головной узел.
  • Высокий уровень доступности на головном узле пока не поддерживается.
  • Настройка образа виртуальной машины головного узла не поддерживается.
  • Вычислительные узлы Linux пока не поддерживаются.
  • Головному узлу требуется исходящий доступ к Интернету для скачивания двоичных файлов Nuget и Python3.
  • Интерфейс командной строки и конфигурация cloud-init пока не поддерживаются.

Предварительные требования

Домен Active Directory

В настоящее время все узлы пакета HPC должны быть присоединены к домен Active Directory. При развертывании кластера пакета HPC в виртуальной сети с VPN-подключением типа "сеть — сеть" или ExpressRoute к корпоративной сети обычно уже существует домен Active Directory. Если у вас еще нет домена AD в виртуальной сети, вы можете создать новый домен AD, продвигая головной узел в качестве контроллера домена.

Azure Key Vault

Пакет Microsoft HPC требует сертификат PFX для защиты обмена данными с узлом, а также учетные данные пользователя домена AD для присоединения узлов к домену AD. Хотя в шаблоне можно напрямую указать PFX-файл, пароль защиты и пароль пользователя, настоятельно рекомендуется использовать Azure Key Vault для безопасной обработки сертификата и пароля пользователя. См. статью "Создание сертификата Key Vault Azure".

Кластеру также требуется имя пользователя и пароль учетной записи администратора AD для присоединения узлов к домену по мере их создания. Настоятельно рекомендуется использовать Key Vault Azure.

Управляемое удостоверение, назначаемое пользователем Azure

Чтобы использовать Azure Key Vault для сертификата и учетных данных, необходимо создать управляемое удостоверение, назначаемое пользователем Azure, и предоставить разрешение Get для секрета и сертификата Key Vault Azure.

Вы можете ознакомиться с этим Key Vault учебником по созданию Key Vault и управляемого удостоверения с доступом Key Vault.

Мы рекомендуем использовать Azure Role-Based контроль доступа для назначения разрешений Key Vault управляемому удостоверению.

Роли узла пакета HPC

В кластере пакета HPC есть три разных роли узлов:

  • Головной узел: предоставляет службы управления кластерами и планирования заданий. В настоящее время поддерживается только один головной узел с локальными базами данных.
  • Узел брокера: получает запросы от клиента SOA, распространяет их на узлы служб на вычислительных узлах, а затем собирает ответы и отправляет их обратно клиенту. Узлы брокера будут созданы в массиве узлов брокера . Если вы хотите запустить рабочую нагрузку SOA в кластере, необходимо создать узлы брокера.
  • Вычислительный узел: принимает и запускает задания кластера. Вычислительные узлы будут созданы в массиве cn node.

Создание нового кластера пакета HPC

Щелкните значок пакета Microsoft HPC в разделе "Планировщики" , чтобы создать кластер пакета Microsoft HPC.

На странице "О программе " укажите уникальное имя кластера , так как оно будет использоваться в качестве имени компьютера NetBIOS головного узла, убедитесь, что оно уникально в домене AD и соответствует соглашениям об именовании.

Основные параметры

  • Версия пакета HPC: можно выбрать пакет HPC 2019 или пакет HPC2016 (с обновлением 3). Рекомендуется использовать последнюю версию пакета HPC, т. е. пакет HPC 2019.
  • Виртуальные машины. Вы можете выбрать регион Azure, в котором нужно создать кластер пакета HPC, и тип виртуальной машины для каждой роли узла кластера. Можно также указать число. Брокеры создают один или несколько узлов брокера, если вы хотите запускать рабочие нагрузки SOA в кластере.

Автомасштабирование

Кластер запускается без вычислительных узлов. Автомасштабирование можно включить для автоматического увеличения и уменьшения масштаба вычислительных узлов в зависимости от рабочих нагрузок кластера, чтобы указать максимальное количество ядер вычислительных виртуальных ЦП кластера. Средство автомасштабирования выполняется каждую минуту в качестве запланированной задачи Windows на головном узле.

Существует два варианта уменьшения масштаба для вычислительных узлов: освобождение или завершение. Если выбран параметр "Завершить работу ", кластер пакета HPC всегда удаляет виртуальные машины вычислительного узла при уменьшении масштаба. Если выбран параметр "Освобождение ", кластер пакета HPC освободит виртуальные машины вычислительного узла в горизонтальном масштабе и сохранит их до настраиваемого количества дней (дней хранения виртуальных машин). Освобожденные вычислительные узлы не будут удалены из кластера пакета HPC, пока они по-прежнему сохраняются. Однако они будут отключены и показаны как недоступные в кластере пакета HPC. Параметр "Освобождение " рекомендуется использовать для кластера пакета HPC, так как он может значительно сократить время подготовки узла в вертикальном масштабе, и вы платите только за хранилище дисков освобожденных виртуальных машин.

Параметры инфраструктуры

  • виртуальная сеть. Вы можете выбрать существующую виртуальную сеть и подсеть, в которой будет создан кластер пакета HPC.
  • домен Active Directory. Если в виртуальной сети уже есть домен AD, укажите полное доменное имя и путь подразделения, в котором будут присоединены узлы кластера. Или выберите новый домен AD , чтобы создать новый домен AD, продвигая головной узел в качестве контроллера домена.
  • Секреты и сертификаты. Настоятельно рекомендуется выбрать "Использовать KeyVault", чтобы использовать Azure Key Vault для передачи сертификата связи узла и пароля пользователя. В удостоверении MSI выберите удостоверение, назначаемое пользователем Azure, созданное в раскрывающемся списке предварительных требований , и укажите имя Azure Key Vault, созданное в предварительных требованиях.
  • Учетные данные пользователя: в поле "Имя пользователя" укажите имя пользователя домена. В поле "Секрет пароля" укажите имя секрета Azure Key Vault, созданное в предварительных требованиях для хранения пароля пользователя домена.
  • PFX-сертификат: в имени сертификата укажите имя сертификата azure Key Vault, созданное в предварительных требованиях.

Дополнительные параметры

  • Параметры Azure: выберите учетные данные облака Azure в раскрывающемся списке.
  • Кластерное программное обеспечение: укажите операционную систему (ОС) для каждой роли узла кластера.
  • Расширенная сеть. По умолчанию DNS-серверы, настроенные в виртуальной сети, будут применяться ко всем узлам HPC, при необходимости можно указать DNS-сервер , если вы хотите использовать другой DNS-сервер. Также можно также выбрать общедоступный IP-адрес HN , чтобы назначить общедоступный IP-адрес головного узла.

интерфейс командной строки azhpcpack

Интерфейс командной строкиazhpcpack.ps1 является основным интерфейсом для всех режимов автомасштабирования (вызовы azhpcpack.ps1 autoscaleзапланированных задач). Интерфейс командной строки доступен в папке C:\cycle\hpcpack-autoscaler\bin)

Cli можно использовать для диагностики проблем с автомасштабированием или для управления масштабированием кластера вручную из головного узла.

Команда Описание
Автомасштабирование Комплексный процесс автомасштабирования, включая создание, удаление и присоединение узлов.
контейнеры Выводит сведения о контейнерах автомасштабирования, например ограничения и т. д.
config Записывает эффективную конфигурацию автомасштабирования после предварительной обработки в stdout.
create_nodes Создайте набор узлов с учетом различных ограничений. Версия ИНТЕРФЕЙСА CLI интерфейса nodemanager.
default_output_columns Выводит выходные столбцы по умолчанию для необязательной команды.
delete_nodes Удалите узел и вытесние из кластера.
initconfig Создает начальную конфигурацию автомасштабирования. Записывает в stdout.
ограничения Записывает подробный набор ограничений для каждого сегмента. По умолчанию используется json из-за количества полей.
Узлы Узлы запросов.
refresh_autocomplete Обновляет сведения о локальной автозаполнения для конкретных ресурсов и узлов кластера.
retry_failed_nodes Повторите попытку всех узлов в состоянии сбоя.
validate_constraint Затем проверяет выходные данные в виде одного или нескольких ограничений JSON.