Что такое Azure CycleCloud?

Azure CycleCloud — это удобное для бизнеса средство для оркестрации сред высокопроизводительных вычислений (HPC) и управления ими в Azure. С помощью CycleCloud можно подготовить инфраструктуру для систем HPC, развернуть знакомые планировщики HPC и автоматически масштабировать инфраструктуру для эффективного выполнения заданий в любом масштабе. С помощью CycleCloud можно создавать различные типы файловых систем и подключать их к узлам вычислительного кластера для поддержки рабочих нагрузок HPC.

Администраторы и пользователи HPC, которые хотят настроить среду HPC с определенным планировщиком, используют Azure CycleCloud. Она поддерживает популярные планировщики, такие как Slurm, PBSPro, LSF, Grid Engine и HT-Condor. CycleCloud — это сестра продукта пакетной службы Azure, которая предоставляет планировщик в качестве службы в Azure.

Сведения о сравнении CycleCloud с другими решениями Azure HPC см. в статье "Высокопроизводительные вычисления" в Azure.

Зачем использовать Azure CycleCloud?

Организации с давними средами HPC часто накапливают глубокие знания и создают пользовательские инструменты для конкретного планировщика. Перенос или перенастройка этих конфигураций в Azure может казаться сложным. CycleCloud упрощает основные стандартные блоки Azure, такие как виртуальные машины, масштабируемые наборы, сетевые интерфейсы и диски. Это упрощение позволяет администратору HPC сосредоточиться на том, что известно: кластер HPC, включающий узлы и планировщик, которые они могут настроить так, как им нравится.

CycleCloud добавляет плагины автомасштабирования в поддерживаемые планировщики. С помощью этой функции пользователям не нужно создавать сложные процедуры автомасштабирования. Они просто работают с параметрами планировщика, которые они уже знают.

Благодаря богатому декларативному формату шаблонов CycleCloud предоставляет мощные средства для создания полных сред HPC в Azure. Пользователи могут развертывать среды, в том числе серверы NFS, параллельные файловые системы, узлы проверки подлинности, серверы лицензий и службы каталогов , в основном все компоненты, необходимые в системе HPC, через один уровень управления.

CycleCloud интегрируется со службами Azure, такими как Azure Monitor и средства управления затратами Майкрософт.

Возможности CycleCloud

Способность	Изображение
Планировщик Agnostic Используйте стандартные планировщики HPC, такие как Slurm, PBS Pro, LSF, Grid Engine и HTCondor, или расширьте плагины автомасштабирования CycleCloud для работы с вашим собственным планировщиком.
Управление вычислительными ресурсами Управление виртуальными машинами и масштабируемыми наборами для обеспечения гибкого набора вычислительных ресурсов, удовлетворяющих вашим динамическим требованиям к рабочей нагрузке
Ресурсы автоматического масштабирования Автоматическое изменение размера кластера и компонентов на основе нагрузки задания, доступности и времени
Мониторинг и анализ Сбор и анализ данных о производительности с помощью средств визуализации
Кластеры шаблонов Использование шаблонов CycleCloud для совместного использования топологий кластера с сообществом
Настройка и расширение функциональных возможностей Использование комплексного API RESTful для настройки и расширения функциональных возможностей, развертывания собственного планировщика и поддержки в существующих диспетчерах рабочих нагрузок
Интеграция с существующими рабочими процессами Интеграция с существующими рабочими процессами и инструментами с помощью встроенного интерфейса командной строки

Как использовать Azure CycleCloud?

Azure CycleCloud — это устанавливаемое веб-приложение, которое можно запускать локально или на виртуальной машине Azure. После установки вы можете настроить CycleCloud для использования вычислительных ресурсов и ресурсов данных в подготовленной подписке Azure. CycleCloud предоставляет множество официальных шаблонов кластеров для планировщиков (PBSPro, LSF, Grid Engine, Slurm, HTCondor) и файловых систем. Сообщество CycleCloud также предоставляет шаблоны кластеров. Вы можете использовать эти шаблоны кластера, не измененные или настроить их для конкретных потребностей.

При создании кластера автоматически масштабируется для обработки вычислительных заданий, которые вы отправляете планировщику. Административные функции CycleCloud управляют доступом к кластеру CycleCloud для других пользователей в организации.

С помощью инструментов, включающих шаблоны и скрипты конфигурации, можно быстро создавать сложные среды HPC и реплицировать эти настройки для разных команд в организации.

Что не такое CycleCloud

CycleCloud не включает функции планирования заданий. Другими словами, CycleCloud не является планировщиком. Вместо этого это платформа, которая позволяет развертывать ресурсы HPC в Azure и управлять ими. CycleCloud имеет встроенную поддержку нескольких часто используемых планировщиков, включая PBSPro, Slurm, IBM LSF, Grid Engine и HTCondor. Однако CycleCloud также может реализовать собственный планировщик поверх предоставленного API автомасштабирования.

CycleCloud не блокирует вас в определенной топологии кластера. Он включает шаблоны, помогающие быстро запускать системы HPC в Azure, и вы можете настроить эти шаблоны в соответствии с вашими потребностями. Сообщество Azure HPC предоставляет шаблоны, оптимизированные для различных типов рабочих нагрузок и отраслей.

Как выглядит развернутая среда CycleCloud

Вы можете развернуть всю систему HPC CycleCloud в инфраструктуре Azure. Вы устанавливаете CycleCloud в качестве сервера приложений на виртуальной машине в Azure, для этого требуется исходящий доступ к API поставщика ресурсов Azure. CycleCloud запускает и управляет виртуальными машинами, составляющими систему HPC. Эти виртуальные машины обычно включают головные узлы планировщика и вычислительные узлы. Вы также можете добавить другие компоненты, такие как серверы NFS, узлы проверки подлинности или узлы бастиона в зависимости от ваших потребностей. Вы можете определить полную настройку в шаблонах CycleCloud. Вы также можете подключиться к службам Azure, таким как NetApp Files или Службы идентификаторов Microsoft Entra.

Дальнейшие шаги

• Попробуйте использовать Azure CycleCloud с помощью виртуальной машины Marketplace
• Установка Azure CycleCloud с помощью шаблона ARM
• Установка CycleCloud вручную
• Изучение функций CycleCloud с помощью руководства
• Планирование развертывания в рабочей среде