Что такое Azure CycleCloud?

Azure CycleCloud — это удобное для бизнеса средство для оркестрации сред высокопроизводительных вычислений (HPC) и управления ими в Azure. С помощью CycleCloud можно подготовить инфраструктуру для систем HPC, развернуть знакомые планировщики HPC и автоматически масштабировать инфраструктуру для эффективного выполнения заданий в любом масштабе. С помощью CycleCloud можно создавать различные типы файловых систем и подключать их к узлам вычислительного кластера для поддержки рабочих нагрузок HPC.

Администраторы и пользователи HPC, которые хотят настроить среду HPC с определенным планировщиком, используют Azure CycleCloud. Она поддерживает популярные планировщики, такие как Slurm, PBSPro, LSF, Grid Engine и HT-Condor. CycleCloud — это сестра продукта пакетной службы Azure, которая предоставляет планировщик в качестве службы в Azure.

Сведения о сравнении CycleCloud с другими решениями Azure HPC см. в статье "Высокопроизводительные вычисления" в Azure.

Выберите сервис Azure для пакетных и HPC рабочих нагрузок

Выберите услугу в зависимости от возможностей планирования и уровня контроля над инфраструктурой, которые требуются вашим рабочим нагрузкам:

Service	Оптимальный сценарий	Операционная модель
пакетная служба Azure	Параллельные и высокопроизводительные рабочие нагрузки, которые не требуют работы с программным обеспечением планировщика	Azure предоставляет планирование как сервис. Вы работаете с API Batch и инструментами, а Batch управляет пулами, узлами, заданиями и задачами.
Azure CycleCloud	HPC-среды, требующие конкретного планировщика, пользовательской топологии кластера или тесного согласования с существующими локальными рабочими процессами	Вы развёртаете и управляете планировщиком и конфигурацией кластера. CycleCloud предоставляет и автоматически масштабирует инфраструктуру Azure.
Azure CycleCloud Workspace for Slurm	Команды, которые хотят создать готовую к развертыванию среду Slurm для HPC или AI рабочих нагрузок	Решение Marketplace развертывает CycleCloud, Slurm, сетевые компоненты, хранилище и компоненты доступа в вашей подписке Azure.

Используйте текущую среду как решающий фактор:

Начальная точка	Возможно, предпочтительно	Почему
Необходимо сохранить скрипты заданий, очереди, политики и интеграции, относящиеся к конкретному планировщику.	Azure CycleCloud	CycleCloud позволяет управлять поддерживаемым планировщиком и настраивать кластер под существующие рабочие процессы.
Вам нужен Slurm, но заранее определённая среда соответствует вашим требованиям по топологии и интеграции.	Рабочая область Azure CycleCloud для Slurm	Решение Marketplace сокращает работу по проектированию инфраструктуры и интеграции, необходимых для отправки вакансий.
Вы создаёте приложение, которое может подавать независимые задачи или MPI-задачи через API и не зависит от поведения планировщика.	пакетная служба Azure	Batch предоставляет планирование задач как услугу, поэтому вашей команде не нужно управлять программным обеспечением планировщика.

Не выбирайте CycleCloud только потому, что рабочая нагрузка использует Slurm. Если заранее определённая среда Slurm соответствует вашим требованиям, Workspace for Slurm сокращает работу по настройке. Если рабочая нагрузка не зависит от планировщика, Batch может избежать операционной ответственности за запуск планировщика и конфигурации кластера.

Перед внедрением в производство укажите, почему CycleCloud подходит, какие альтернативы вы отклонили, тест совместимости планировщика, топологию кластера, пиковую ёмкость и квоту, бенчмарк хранения, подход к восстановлению отказов, а также время и стоимость на одну задачу представителя. Для рекомендаций см. раздел «Планирование и размер HPC-кластеров».

Зачем использовать Azure CycleCloud?

Организации с давними средами HPC часто накапливают глубокие знания и создают пользовательские инструменты для конкретного планировщика. Перенос или перенастройка этих конфигураций в Azure может казаться сложным. CycleCloud упрощает основные стандартные блоки Azure, такие как виртуальные машины, масштабируемые наборы, сетевые интерфейсы и диски. Это упрощение позволяет администратору HPC сосредоточиться на том, что известно: кластер HPC, включающий узлы и планировщик, которые они могут настроить так, как им нравится.

CycleCloud добавляет плагины автомасштабирования в поддерживаемые планировщики. С помощью этой функции пользователям не нужно создавать сложные процедуры автомасштабирования. Они просто работают с параметрами планировщика, которые они уже знают.

Благодаря богатому декларативному формату шаблонов CycleCloud предоставляет мощные средства для создания полных сред HPC в Azure. Пользователи могут развертывать среды, в том числе серверы NFS, параллельные файловые системы, узлы проверки подлинности, серверы лицензий и службы каталогов , в основном все компоненты, необходимые в системе HPC, через один уровень управления.

CycleCloud интегрируется со службами Azure, такими как Azure Monitor и средства управления затратами Майкрософт.

Возможности CycleCloud

Способность	Изображение
Планировщик Agnostic Используйте стандартные планировщики HPC, такие как Slurm, PBS Pro, LSF, Grid Engine и HTCondor, или расширьте плагины автомасштабирования CycleCloud для работы с вашим собственным планировщиком.
Управление вычислительными ресурсами Управление виртуальными машинами и масштабируемыми наборами для обеспечения гибкого набора вычислительных ресурсов, удовлетворяющих вашим динамическим требованиям к рабочей нагрузке
Ресурсы автоматического масштабирования Автоматическое изменение размера кластера и компонентов на основе нагрузки задания, доступности и времени
Мониторинг и анализ Сбор и анализ данных о производительности с помощью средств визуализации
Кластеры шаблонов Использование шаблонов CycleCloud для совместного использования топологий кластера с сообществом
Настройка и расширение функциональных возможностей Использование комплексного API RESTful для настройки и расширения функциональных возможностей, развертывания собственного планировщика и поддержки в существующих диспетчерах рабочих нагрузок
Интеграция с существующими рабочими процессами Интеграция с существующими рабочими процессами и инструментами с помощью встроенного интерфейса командной строки

Как использовать Azure CycleCloud?

Azure CycleCloud — это устанавливаемое веб-приложение, которое можно запускать локально или на виртуальной машине Azure. После установки вы можете настроить CycleCloud для использования вычислительных ресурсов и ресурсов данных в подготовленной подписке Azure. CycleCloud предоставляет множество официальных шаблонов кластеров для планировщиков (PBSPro, LSF, Grid Engine, Slurm, HTCondor) и файловых систем. Сообщество CycleCloud также предоставляет шаблоны кластеров. Вы можете использовать эти шаблоны кластера, не измененные или настроить их для конкретных потребностей.

При создании кластера автоматически масштабируется для обработки вычислительных заданий, которые вы отправляете планировщику. Административные функции CycleCloud управляют доступом к кластеру CycleCloud для других пользователей в организации.

С помощью инструментов, включающих шаблоны и скрипты конфигурации, можно быстро создавать сложные среды HPC и реплицировать эти настройки для разных команд в организации.

Что не такое CycleCloud

CycleCloud не включает функции планирования заданий. Другими словами, CycleCloud не является планировщиком. Вместо этого это платформа, которая позволяет развертывать ресурсы HPC и управлять ими в Azure. CycleCloud имеет встроенную поддержку нескольких часто используемых планировщиков, включая PBSPro, Slurm, IBM LSF, Grid Engine и HTCondor. Однако пользователи CycleCloud также могут реализовать собственный планировщик поверх предоставленного API автомасштабирования.

CycleCloud не блокирует вас в определенной топологии кластера. Он включает шаблоны, помогающие быстро запускать системы HPC в Azure, и вы можете настроить эти шаблоны в соответствии с вашими потребностями. Сообщество HPC Azure предоставляет шаблоны, оптимизированные для разных планировщиков и различных типов рабочих нагрузок.

Как выглядит развернутая среда CycleCloud

Вы можете развернуть всю систему HPC CycleCloud в инфраструктуре Azure. Вы устанавливаете CycleCloud в качестве сервера приложений на виртуальной машине в Azure, для этого требуется исходящий доступ к API поставщика ресурсов Azure. CycleCloud запускает и управляет виртуальными машинами, составляющими систему HPC. Эти виртуальные машины обычно включают головные узлы планировщика и вычислительные узлы. Вы также можете добавить другие компоненты, такие как серверы NFS, узлы проверки подлинности или узлы бастиона в зависимости от ваших потребностей. Вы можете определить полную настройку в шаблонах CycleCloud. Вы также можете подключиться к службам Azure, таким как NetApp Files или Службы идентификаторов Microsoft Entra.

Дальнейшие шаги

• Попробуйте использовать Azure CycleCloud с помощью виртуальной машины Marketplace
• Установка Azure CycleCloud с помощью шаблона ARM
• Установка CycleCloud вручную
• Изучение функций CycleCloud с помощью руководства
• Создать новый кластер
• Планирование развертывания в рабочей среде