Обзор сквозной архитектуры лифта и смены

Процесс "лифт и шифт" в контексте высокопроизводительных вычислений (HPC) в основном относится к процессу переноса локальной среды и вычислительных нагрузок в облако. В идеале изменения сохраняются до минимума (например, приложения, планировщики заданий и их конфигурации должны оставаться в основном одинаковыми). Корректировки хранилища и оборудования естественно происходят, так как ресурсы отличаются от локальных и облачных платформ. Благодаря подходу "перенос без изменений" организации могут более оперативно воспользоваться преимуществами облака.

На следующем рисунке представлен типичный локальный кластер HPC в рабочей среде, которая часто поставляется производителем оборудования. Такая локальная среда состоит из набора вычислительных узлов, которые могут или не работать с образами и контейнерами виртуальных машин. Такие узлы выполняют рабочие нагрузки, управляемые планировщиком заданий, который обычно может быть Slurm, PBS или LSF. Рабочие нагрузки приходят от нескольких пользователей, имеющих связь с системой управления идентификацией. Как правило, есть домашние каталоги, временные диски и долгосрочное хранилище. Также доступна некоторая форма мониторинга для проверки производительности заданий и работоспособности вычислительных узлов. Пользователи могут получить доступ к среде с помощью командной строки, браузеров или какой-либо технологии удаленной визуализации. Вся среда размещается в частной сети, поэтому пользователи имеют некоторый механизм доступа к вычислительному объекту через VPN или через портал.

Как мы видим в этом документе, среда в облаке после модели "Инфраструктура как услуга", концептуально говоря, не отличается. Некоторые технологии нуждаются в некоторых обновлениях и некоторых шагах во время миграции из локальной среды в облако.

Поэтому этот документ:

• Рассматривает опции для процесса миграции.
• Предоставляет указатели на продукты и рекомендации по каждому компоненту;
• И предоставляет рекомендации, чтобы избежать ошибок в процессе.

Прежде чем перейти к описанию архитектуры, важно понимать различные лица в этом контексте, их потребности и ожидания.

Персоны и пользовательский опыт

Существуют разные пользователи, которым требуется доступ к среде HPC. Их действия и то, как они взаимодействуют с средой, отличаются довольно немного.

Конечный пользователь (инженер / ученый / исследователь)

Эта персона представляет эксперта по теме (например, биолога, физика, инженера и т. д.), который хочет запустить эксперименты (то есть отправить задания) и проанализировать результаты. Конечные пользователи взаимодействуют с системными администраторами для точной настройки вычислительной среды при необходимости. У них может быть некоторый опыт использования средств на основе ИНТЕРФЕЙСА командной строки, но некоторые из них могут полагаться только на веб-порталы или графические пользовательские интерфейсы через VDI для отправки заданий и взаимодействия с созданными результатами.

Новые обязанности в облачной среде HPC:

• Конечный пользователь не должен иметь никаких новых обязанностей на основе работы администратора HPC и администратора облака. В зависимости от локальной среды конечные пользователи имеют доступ к большей емкости и различным вычислительным ресурсам, чтобы стать более продуктивным.

Администратор HPC

Этот человек представляет собой тех, кто имеет опыт HPC и отвечает за развертывание начальной вычислительной инфраструктуры и адаптацию его в соответствии с потребностями бизнеса и конечных пользователей. Эта персона также отвечает за проверку работоспособности системы и устранение неполадок. Администраторы HPC обладают навыками доступа к архитектуре и ее компонентам через интерфейс командной строки, SDK и веб-порталы. Они также являются первой точкой контакта, когда конечные пользователи сталкиваются с любой проблемой в вычислительной среде.

Новые обязанности в облачной среде HPC:

• Управление облачными ресурсами и службами (например, виртуальными машинами, хранилищем, сетью) с помощью платформ управления облаком.
• Реализация кластеров и ресурсов и управление ими с помощью новых средств оркестрации ресурсов (например, CycleCloud).
• Оптимизация развертывания приложений путем понимания сведений о инфраструктуре (то есть типов виртуальных машин, хранилища и сетевых параметров).
• Оптимизация использования ресурсов и затрат с помощью облачных функций, таких как автомасштабирование и точечные экземпляры.

Администратор облака

Эта персона работает с администратором HPC для развертывания и обслуживания вычислительной инфраструктуры. Этот человек не является (обязательно) экспертом HPC, но специалистом по облачным службам с глубокими знаниями о общей ИТ-инфраструктуре компании, включая конфигурации сети и политики, права доступа пользователей и устройства пользователей. В зависимости от ситуации администратор HPC и администратор облака могут быть одинаковыми.

Новые обязанности в облачной среде HPC:

• Совместная работа с администраторами HPC для обеспечения простой интеграции рабочих нагрузок HPC с облачной инфраструктурой.
• Мониторинг производительности облачной инфраструктуры, безопасности и соответствия требованиям.
• Помощь в настройке облачных сетевых решений и решений хранилища для поддержки рабочих нагрузок HPC.

Бизнес-менеджер / владелец

Этот человек представляет того, кто отвечает за бизнес, который включает в себя заботу о бюджете и проектах для удовлетворения организационных целей. Для этой персоны важен компонент архитектуры, связанный с бухгалтерским учетом, для понимания затрат по каждому проекту. Эта персона работает с администраторами HPC и конечными пользователями для понимания потребностей платформы, включая хранение, сеть, вычислительные ресурсы. Они также планируют будущие рабочие нагрузки.

Новые обязанности в облачной среде HPC:

• Анализ подробных отчетов о затратах и метрик использования, предоставляемых поставщиками облачных служб для управления бюджетами и прогнозируемыми расходами.
• Принятие стратегических решений на основе возможностей оптимизации использования облачных ресурсов и оптимизации затрат.
• Планирование и утверждение инвестиций в облачную инфраструктуру для поддержки будущих рабочих нагрузок HPC и бизнес-целей.

Обзор архитектуры переноса и перемещения

Рабочая среда HPC в облаке состоит из нескольких компонентов. Существуют некоторые основные компоненты для создания среды, например планировщик заданий, поставщика ресурсов, указателя входа для пользователя для доступа к среде, вычислительным устройствам и устройствам хранения. По мере того как среда вводится в эксплуатацию, мониторинг, наблюдаемость, проверки работоспособности, безопасность, управление удостоверениями, подотчетность, различные варианты хранения, и другие компоненты начинают играть важную роль.

Существуют также расширения, которые могут быть использованы, например, узлы входа, перемещение данных, использование контейнеров, диспетчеры лицензий и другие, которые зависят от установки.

В этой рабочей среде могут быть настроены различные компоненты. Таким образом, специалисты по развертыванию и менеджеры играют ключевую роль в автоматизации первоначального развертывания системы и ее обновления на последующих этапах соответственно. Более сложные установки также могут иметь шаблоны среды (или спецификации) с версиями программного обеспечения и конфигурациями, которые являются более оптимальными и проверенными должным образом. После того как среда будет работать со всеми необходимыми компонентами, с течением времени может потребоваться корректировка для удовлетворения потребностей пользователей, включая изменения типов виртуальных машин или параметров хранилища или возможностей.

Реализация облачной архитектуры HPC с переносом без изменений

Здесь мы предоставляем дополнительные сведения о каждом компоненте архитектуры, включая указатели на официальные продукты Azure, технические блоги с некоторыми рекомендациями, репозиториями Git и ссылками на решения, отличные от продуктов.

Быстрый старт. Чтобы быстро запустить решение для создания среды HPC в облаке с основными стандартными блоками, рекомендуется использовать рабочую область Azure CycleCloud Slurm.