Запуск моделирований CFD

В этой архитектуре демонстрируется выполнение вычислительного моделирования гидродинамики с помощью Azure. Узнайте, как создавать, администрировать и оптимизировать кластеры с помощью Azure CycleCloud.

Архитектура

Скачайте файл Visio этой архитектуры.

Рабочий процесс

На этой схеме показан общий обзор типичной гибридной структуры, обеспечивающей мониторинг заданий узлов по запросу в Azure.

1. Подключитесь к серверу Azure CycleCloud , чтобы настроить кластер.
2. Настройте и создайте головной узел кластера с помощью компьютеров с поддержкой RDMA для MPI.
3. Добавьте и настройте локальный головной узел.
4. Если ресурсов недостаточно, Azure CycleCloud масштабирует вычислительные ресурсы Azure вверх (или вниз). Во избежание чрезмерного распределения можно установить предопределенное ограничение.
5. Задачи выделяются узлам выполнения.
6. Данные кэшируются в Azure с локального сервера NFS.
7. Данные считываются из кэша Avere vFXT для Azure .
8. Сведения о задании и задаче передаются на сервер Azure CycleCloud.

Компоненты

• Azure CycleCloud — инструмент для создания, управления, обработки и оптимизации HPC и кластеров больших вычислений в Azure.
• Avere vFXT в Azure используется для предоставления кластеризованной файловой системы корпоративного масштаба, построенной для облака.
• Azure Виртуальные машины (виртуальные машины) используется для создания статического набора вычислительных экземпляров.
• Масштабируемые наборы виртуальных машин предоставляют группу идентичных виртуальных машин, поддерживающих масштабирование, проводимое в Azure CycleCloud.
• Учетные записи хранения Azure используются для хранения данных и синхронизации.
• Виртуальные сети Azure позволяют многим типам ресурсов Azure, таким как виртуальные машины, безопасно взаимодействовать друг с другом, с Интернетом и локальными сетями.

Альтернативные варианты

Клиенты также могут использовать Azure CycleCloud, чтобы полностью создать сетку в Azure. В такой конфигурации сервер Azure CycleCloud запускается в подписке Azure.

Для современного подхода к приложению, при котором управление планировщиком рабочих нагрузок не требуется, пакетная служба Azure может помочь. Пакетная служба Azure может эффективно запускать приложения для крупномасштабных параллельных и высокопроизводительных вычислений (HPC) в облаке. Пакетная служба Azure позволяет определить вычислительные ресурсы Azure для выполнения приложений в параллельном режиме или с масштабированием без необходимости настраивать инфраструктуру и управлять ею вручную. Пакетная служба Azure планирует ресурсоемкие задачи и динамически добавляет и удаляет вычислительные ресурсы в зависимости от требований.

Сведения о сценарии

Для моделирования вычислительной гидродинамики (CFD) требуется значительное время вычислений наряду со специализированным оборудованием. По мере увеличения использования кластера время моделирования и общее использование сетки увеличиваются, вызывая проблемы со свободным местом и длительным временем в очереди. Добавление физического оборудования может быть дорогостоящим и не соответствовать пику использования и долинам, которые проходит бизнес. Используя преимущества Azure, многие из этих проблем можно преодолеть без капитальных затрат.

Azure предоставляет оборудование, необходимое для выполнения заданий CFD на обеих виртуальных машинах GPU. Размеры виртуальных машин с поддержкой RDMA (удаленный прямой доступ к памяти) имеют сеть на основе FDR InfiniBand, что обеспечивает взаимодействие с MPI (интерфейс передачи сообщений) с низкой задержкой. При объединении этих решений с Avere vFXT, который предоставляет кластеризованную файловую систему корпоративного масштаба, клиенты могут обеспечить максимальную пропускную способность для операций чтения в Azure.

Чтобы упростить создание, управление и оптимизацию кластеров HPC, можно использовать Azure CycleCloud для подготовки кластеров и оркестрации данных в гибридных и облачных сценариях. При мониторинге ожидающих заданий CycleCloud автоматически запустит вычисления по запросу, где вы платите только за то, что используете, подключенное к планировщику рабочих нагрузок по вашему выбору.

Потенциальные варианты использования

Другие соответствующие отрасли для приложений CFD:

• Аэронавтика и аэрокосмическая промышленность/самолеты
• Автомобилестроение
• Здание кондиционирования (оборудование)
• Нефть и газ (энергетика)
• Естественные науки и здравоохранение

Рекомендации

Эти рекомендации реализуют основные принципы Azure Well-Architected Framework, которая представляет собой набор руководящих принципов, которые можно использовать для повышения качества рабочей нагрузки. Дополнительные сведения см. в статье Microsoft Azure Well-Architected Framework.

Масштабируемость и безопасность

Масштабирование узлов выполнения в Azure CycleCloud возможно либо вручную, либо с помощью автоматического масштабирования. Дополнительные сведения см. в статье AutoScale Your Clusters (Автомасштабирование кластеров).

Общие рекомендации по разработке безопасных решений см. в разделе Документация по системе безопасности Azure.

Оптимизация затрат

Оптимизация затрат заключается в поиске способов уменьшения ненужных расходов и повышения эффективности работы. Дополнительные сведения см. в разделе Обзор критерия "Оптимизация затрат".

Стоимость запуска реализации HPC с помощью сервера CycleCloud будет зависеть от ряда факторов. Например, в CycleCloud оплачивается количество времени, затраченного на вычисления. При этом главный сервер и сервер CycleCloud обычно постоянно выделены и находятся в рабочем состоянии. Стоимость запуска узлов выполнения будет зависеть от того, как долго они выполняются, а также от используемого размера. Обычная плата Azure за использование хранилища и сетевые подключения также взимается.

В этом сценарии показано, как CFD-приложения могут выполняться в Azure, чтобы компьютеры требовали наличие функции RDMA, которая доступна только для определенных размерах виртуальных машин. Ниже приведены примеры платы, взымаемой за масштабируемый набор, который непрерывно выделяется на восемь часов в день на месяц с исходящим трафиком данных 1 ТБ. Сюда также входят цены на сервер Azure CycleCloud и vFXT Avere для установки Azure.

• Регион: Северная Европа.
• Сервер Azure CycleCloud: 1 x Standard D3 (4 x ЦП, 14 ГБ памяти, диск HDD категории "Стандартный" на 32 ГБ).
• Главный сервер Azure CycleCloud: 1 x Standard D12 (4 x ЦП, 28 ГБ памяти, диск HDD категории "Стандартный" на 32 ГБ).
• Массив узлов Azure CycleCloud: 10 x Стандартный H16r (16 x ЦП, 112 ГБ памяти).
• Avere vFXT в кластере Azure: 3 x D16s v3 (200 ГБ ОС, диск SSD категории "Премиум" на 1 ТБ).
• Исходящий трафик данных: 1 ТБ.

Ознакомьтесь с ценами для оборудования, перечисленного выше.

Развертывание этого сценария

Предварительные требования

Перед развертыванием шаблона Resource Manager выполните следующие действия.

1. Создайте субъект-службу для получения appId, displayName, имени, пароля и клиента.

2. Создайте пару ключей SSH для безопасного входа на сервер CycleCloud.

3. Щелкните ссылку ниже, чтобы развернуть решение.

   

4. Войдите на сервер CycleCloud для настройки и создания нового кластера.

5. Создание кластера.

Кэш Avere — это дополнительное решение, которое может существенно увеличить пропускную способность при чтении для данных заданий приложения. Avere vFXT для Azure позволяет решить проблему запуска этих корпоративных HPC-приложений в облаке, используя данные, хранящиеся локально или в хранилище BLOB-объектов Azure.

Для организаций, в которых запланировано использование гибридной инфраструктуры как с локальным хранилищем, так и с облачными вычислениями, HPC-приложения могут "прорываться" в Azure, используя данные, хранящиеся на NAS-устройствах, и при необходимости развертывать виртуальные ЦП. Набор данных никогда полностью не переносится в облако. Запрошенные байты временно кэшируются, используя кластер Avere во время обработки.

Чтобы начать и настроить процесс установки Avere vFXT, выполните инструкции, приведенные в Avere Setup and Configuration guide (Руководство по установке и настройке Avere).

Соавторы

Эта статья поддерживается корпорацией Майкрософт. Первоначально она была написана следующими участниками.

Основной автор:

• Майк Уоррингтон | FastTrack для инженера Azure

Дальнейшие действия

Документация по продуктам:

• What is Azure CycleCloud? (Что такое Azure CycleCloud)
• Виртуальные машины Azure (виртуальные машины)
• Введение в хранилище Azure
• Что такое виртуальная сеть Azure?

Ознакомьтесь со следующими статьями о виртуальных машинах:

• Экземпляры с поддержкой RDMA
• Customizing an RDMA Instance VM (Настройка RDMA-экземпляра виртуальной машины)

Связанные ресурсы

• Запуск программного обеспечения моделирования резервуаров в Azure
• Прогнозирование уровня нефти и газа в резервуаре