Поделиться через


What is Azure CycleCloud? (Что такое Azure CycleCloud)

Azure CycleCloud — это доступное для предприятий средство для оркестрации сред высокопроизводительных вычислений (HPC) в Azure и управления ими. С помощью CycleCloud пользователи могут подготавливать инфраструктуру для систем HPC, развертывать знакомые планировщики HPC и автоматически масштабировать инфраструктуру для эффективного выполнения заданий в любом масштабе. С помощью CycleCloud пользователи могут создавать различные типы файловых систем и подключать их к узлам вычислительного кластера для поддержки рабочих нагрузок HPC.

Azure CycleCloud предназначен для администраторов HPC и пользователей, которые хотят развернуть среду HPC с учетом определенного планировщика. Часто используемые планировщики, такие как Slurm, PBSPro, LSF, Grid Engine и HT-Condor, поддерживаются готовыми. CycleCloud — это дочерний продукт для пакетная служба Azure, который предоставляет планировщик как услугу в Azure.

Сведения о сравнении CycleCloud с другими решениями Azure HPC см. в статье Высокопроизводительные вычисления (HPC) в Azure .

Почему следует использовать Azure CycleCloud?

Организации, которые некоторое время управляли средами HPC, обычно накапливают многолетний опыт и внутренние инструменты вокруг определенного планировщика, и перепроектирование или развертывание этих сред в Azure может быть сложной задачей. CycleCloud абстрагирует основные стандартные блоки Azure, такие как виртуальные машины, масштабируемые наборы, сетевые интерфейсы и диски. Это позволяет администратору HPC сосредоточиться на привычном кластере HPC, состоящем из узлов, и настраиваемом планировщике на выбор.

CycleCloud развертывает подключаемые модули автомасштабирования поверх поддерживаемых планировщиков, поэтому пользователям не нужно самостоятельно реализовывать сложные функции и подпрограммы автомасштабирования, а использовать только знакомые им конфигурации уровня планировщика.

Благодаря богатому декларативному формату шаблонов CycleCloud предоставляет мощные инструменты для создания полных сред HPC в Azure. Пользователи могут развертывать среды, включающие серверы NFS, параллельные файловые системы, узлы входа, серверы лицензий и службы каталогов ( по сути, все компоненты, необходимые в системе HPC), через одну плоскость управления.

CycleCloud интегрируется со службами Azure, такими как Azure Monitor и средства управления затратами Azure.

Введение в обзор

Возможности CycleCloud

Планировщик не зависит от
Используйте стандартные планировщики HPC, такие как Slurm, PBS Pro, LSF, Grid Engine и HTCondor, или расширьте подключаемые модули автомасштабирования CycleCloud для работы с собственным планировщиком.
Пример планировщиков
Управление вычислительными ресурсами
Управление виртуальными машинами и масштабируемыми наборами для предоставления гибкого набора вычислительных ресурсов, которые могут соответствовать требованиям динамической рабочей нагрузки.
Пример вычислительных ресурсов
Автомасштабирование ресурсов
Автоматическая настройка размера кластера и компонентов в зависимости от нагрузки заданий, доступности и требований к времени
Пример автомасштабирования
Мониторинг и анализ
Сбор и анализ данных о производительности с помощью средств визуализации
Пример монитора
Кластеры шаблонов
Использование шаблонов CycleCloud для предоставления общего доступа к топологиям кластера сообществу
Пример шаблона
Настройка и расширение функциональных возможностей
Используйте комплексный API RESTful для настройки и расширения функциональных возможностей, развертывания собственного планировщика и поддержки в существующих диспетчерах рабочих нагрузок.
Пример REST
Интеграция с существующими рабочими процессами
Интеграция с существующими рабочими процессами и инструментами с помощью встроенного интерфейса командной строки
Пример интерфейса командной строки
Планировщик не зависит от
Используйте стандартные планировщики HPC, такие как Slurm, PBS Pro, LSF, Grid Engine и HTCondor, или расширьте подключаемые модули автомасштабирования CycleCloud для работы с собственным планировщиком.
Пример планировщиков
Управление вычислительными ресурсами
Управление виртуальными машинами и масштабируемыми наборами для предоставления гибкого набора вычислительных ресурсов, которые могут соответствовать требованиям динамической рабочей нагрузки.
Пример вычислительных ресурсов
Автомасштабирование ресурсов
Автоматическая настройка размера кластера и компонентов в зависимости от нагрузки заданий, доступности и требований к времени
Пример автомасштабирования
Мониторинг и анализ
Сбор и анализ данных о производительности с помощью средств визуализации
Пример монитора
Кластеры шаблонов
Использование шаблонов CycleCloud для предоставления общего доступа к топологиям кластера сообществу
Пример шаблона
Настройка и расширение функциональных возможностей
Используйте комплексный API RESTful для настройки и расширения функциональных возможностей, развертывания собственного планировщика и поддержки в существующих диспетчерах рабочих нагрузок.
Пример REST
Интеграция с существующими рабочими процессами
Интеграция с существующими рабочими процессами и инструментами с помощью встроенного интерфейса командной строки
Пример интерфейса командной строки

Как использовать Azure CycleCloud?

Azure CycleCloud — это устанавливаемое веб-приложение, которое можно запускать локально или на виртуальной машине Azure. После установки CycleCloud можно настроить для использования вычислительных ресурсов и ресурсов данных в подготовленной подписке Azure. CycleCloud предоставляет ряд официальных шаблонов кластеров для планировщиков (PBSPro, LSF, Grid Engine, Slurm, HTCondor) и файловых систем (NFS, BeeGFS). Также доступны шаблоны кластеров, предоставляемые сообществом CycleCloud. Вы можете использовать эти шаблоны кластеров без изменений или настроить их в соответствии с конкретными потребностями.

После создания кластера автоматически настраивается автомасштабирование по умолчанию для обработки вычислительных заданий, отправляемых в планировщик. Административные функции CycleCloud управляют доступом к кластеру CycleCloud для других пользователей в организации.

Инструменты с помощью шаблонов и скриптов конфигурации позволяют быстро создавать сложные среды HPC и реплицировать их для отдельных команд в организации.

Что такое CycleCloud?

В CycleCloud нет функций планирования заданий. Другими словами, CycleCloud — это не планировщик, а платформа, которая позволяет пользователям развертывать собственный планировщик в Azure. CycleCloud поставляется со встроенной поддержкой ряда часто используемых планировщиков (PBSPro, Slurm, IBM LSF, Grid Engine и HT Condor), но пользователи CycleCloud часто реализуют собственный планировщик поверх предоставленного API автомасштабирования.

CycleCloud не диктует топологию кластера; установка поставляется с шаблонами, предназначенными для быстрого запуска и запуска систем HPC в Azure, но операторы HPC могут настроить эти шаблоны для адаптации инфраструктуры в соответствии с их требованиями. Сообщество Azure HPC предоставляет шаблоны с мнением, оптимизированные для различных типов рабочих нагрузок и отраслей.

Как выглядит развернутая среда CycleCloud

Развертывание CycleCloud

В инфраструктуре Azure можно развернуть всю систему CycleCloud HPC. CycleCloud устанавливается в качестве сервера приложений на виртуальной машине в Azure, которая требует исходящего доступа к API поставщика ресурсов Azure. Затем CycleCloud запускает и управляет виртуальными машинами, образующими системы HPC, которые обычно состоят из головных узлов планировщика HPC и вычислительных узлов, но могут также включать в себя сетевое хранилище на основе виртуальных машин, например сервер NFS или кластер BeeGFS, узлы входа, узлы-бастионы и другие компоненты, необходимые для поддержки инфраструктуры HPC. Состав системы HPC полностью определяется с помощью шаблонов CycleCloud. Кроме того, среды CycleCloud HPC могут использовать другие службы PaaS, такие как Azure NetApp Files, Azure HPC Cache и Azure домен Active Directory Service.

Next Steps