Изменить

Share via

Запуск программного обеспечения моделирования резервуаров в Azure

Azure CycleCloud
Azure Key Vault
Виртуальные машины Azure

Моделирование коллектора использует компьютерные модели с интенсивной обработкой данных для прогнозирования сложных потоков жидкостей (например, нефти, воды или газа) под землей. В этом примере выполняется настройка ПО моделирования коллектора в инфраструктуре высокопроизводительных вычислений (HPC) Azure. Azure позволяет выполнять рабочие нагрузки такого типа с максимальной производительностью, масштабируемостью и экономичностью.

Архитектура

Схема, демонстрирующая архитектуру моделирования резервуара.

Скачайте файл Visio этой архитектуры.

Рабочий процесс

На этой схеме приведен общий обзор архитектуры, которая используется в этом примере. Рабочий процесс выглядит следующим образом:

  1. Пользователи входят в головной узел по SSH для подготовки своих моделей для вычислительных ресурсов.

  2. PBS Pro 19.1 запускается на головном узле и задает расписание заданий на вычислительных узлах.

  3. OPM Flow выполняется на вычислительных узлах. Виртуальные машины вычислений развертываются в составе масштабируемого набора виртуальных машин, группы одинаковых виртуальных машин, которые масштабируются для удовлетворения требований вычислительных задач.

  4. OPM Flow отправляет полученные результаты в общую папку на головном узле. Диск уровня "Премиум" затем подключается к головному узлу и настраивается как NFS-сервер для вычислительных узлов и виртуальной машины визуализации.

  5. OPM ResInsight выполняется на виртуальной машине Standard-NV6 с Windows и отображает трехмерные визуализации результатов. Пользователи могут получить доступ к виртуальной машине визуализации по протоколу удаленного рабочего стола (RDP).

Компоненты

Основные технологии, используемые для реализации этой архитектуры:

Сведения о сценарии

Архитектура в этом примере поддерживает OPM Flow, популярный пакет для моделирования коллекторов нефти и газа с открытым кодом, который был создан в рамках инициативы Open Porous Media (OPM). ПО OPM Flow выполняется на виртуальных машинах высокопроизводительных вычислений Azure, которые обеспечивают производительность на уровне, аналогичном или выше уровня локальных инфраструктур.

Пользователи подключаются к виртуальной машине головного узла Linux для отправки моделей в ресурсы HPC через ПО для планирования заданий PBS Pro 19.1. Ресурсы HPC выполняют OPM Flow и отправляют полученные результаты в общую папку. В этом примере общая папка — это пространство NFS размером 4 ТБ на виртуальной машине головного узла. В зависимости от модели и требований к входным и выходным (ввод-вывод) данным вы можете использовать другие варианты службы хранилища.

Виртуальная машина Microsoft Azure под управлением OPM ResInsight, инструмент визуализации с открытым кодом, обращается к общей папке для моделирования и визуализации вычисляемых результатов. Пользователи могут подключиться к виртуальной машине по протоколу RDP для просмотра визуализаций.

Использование виртуальной машины Azure позволяет сэкономить на дорогостоящих рабочих станциях визуализации. Приложения OPM работают быстрее на оборудовании HPC и с использованием расположения общего хранилища для входных и выходных файлов.

Потенциальные варианты использования

  • Трехмерное моделирование коллектора и визуализация сейсмических данных.

  • Тестирование INTERSECT, симулятора коллектора с высоким разрешением от Schlumberger. Пример реализации INTERSECT см. на GitHub.

  • Тестирование Nexus от Landmark-Halliburton с использованием аналогичной конфигурации в Azure.

Рекомендации

Эти рекомендации реализуют основные принципы Azure Well-Architected Framework, которая представляет собой набор руководящих принципов, которые можно использовать для повышения качества рабочей нагрузки. Дополнительные сведения см. в статье Microsoft Azure Well-Architected Framework.

В этом примере используются высокопроизводительные виртуальные машины серии HB. Серия HB оптимизирована для приложений, которым важна пропускная способность памяти, например расчетной гидродинамики (РГД). Последняя в серии — виртуальная машина Standard_HB120rs_v2. Для оборудования на основе Intel представляется виртуальная машина Standard_HC44rs.

Чтобы протестировать эту архитектуру OPM Flow в Azure, пример реализации на GitHub устанавливает случай Norne, представляющий собой общедоступный типовой случай реального нефтяного месторождения в Норвежском море. Для запуска этого типового случая вам нужно сделать следующее:

  • Использовать Azure Key Vault для хранения ключей и секретов (требование скриптов настройки GitHub).

  • Установить библиотеки LAPACK на всех вычислительных узлах. Скрипты установки GitHub включают этот шаг.

  • Установить HP Remote Graphics Software (RGS) на всех компьютерах, которые вы хотите использовать в качестве получателей визуализаций. В этом примере пользователь подключается к виртуальной машине визуализации для запуска ResInsight и просмотра случая Norne.

планировщик заданий;

ПО оркестрации HPC ускоряет рабочие нагрузки с высокой интенсивностью вычислений и может развертывать и администрировать инфраструктуру вычислений и хранения для высокопроизводительных вычислений. Пример архитектуры включает два способа для развертывания вычислений: платформа HPC в Azure или Azure CycleCloud.

Azure CycleCloud — это инструмент для создания, администрирования, обработки и оптимизации кластеров HPC и крупных вычислений в Azure. Вы можете использовать его для динамической подготовки кластеров HPC в Azure, а также для оркестрации данных и заданий для гибридных и облачных рабочих процессов. Azure CycleCloud также поддерживает несколько диспетчеров рабочих нагрузок для рабочих нагрузок HPC в Azure, например Grid Engine, HPC Pack, HTCondor, LSF, PBS Pro, Slurm и Symphony.

Сеть

В этом примере рабочая нагрузка развертывает виртуальные машины в разных подсетях. Для обеспечения дополнительной безопасности можно определить группы безопасности сети для каждой подсети. Например, вы можете задать правила безопасности, которые позволяют разрешать или блокировать сетевой трафик для различных узлов. Если вам не нужен такой уровень безопасности, не создавайте отдельные подсети для этой реализации.

Служба хранилища

Хранилище данных и требования к доступу могут быть самыми разными и зависеть от масштаба рабочей нагрузки. Azure поддерживает несколько подходов для управления скоростью и емкостью приложений HPC. Репозиторий azurehpc на GitHub включает примеры скриптов для высокопроизводительных вычислений в Azure.

Приведенные ниже подходы часто используются в нефтегазовой отрасли. Выберите решение, оптимально соответствующее вашим уникальным требованиям к вводу-выводу и емкости.

  • Для рабочих нагрузок небольшого масштаба (например, как в текущем примере) мы рекомендуем использовать NFS на головном узле на основе оптимизированных для хранения виртуальных машин серии Lsv2 с крупными временными дисками или на основе виртуальных машин серии D со службой хранилища Azure уровня "Премиум" (в зависимости от ваших требований). Это решение подходит для рабочих нагрузок с 500 или меньше ядер, пропускной способностью не более 1,5 ГиБ/с, не более чем 19 ТБ ОЗУ и 100 ТБ хранилища.

  • Рабочие нагрузки среднего или крупного масштаба с высокой интенсивностью чтения — рекомендуем использовать Avere vFXT для Azure (от 6 до 24 узлов). Это решение подходит для рабочих нагрузок с 50 000 или меньше ядер, пропускной способностью не более 2 ГиБ/с для операций записи и не более 14 ГиБ/с для операций чтения, кэшем размером не более 192 ТБ и файловым сервером размером не более 2 ПБ.

  • Сбалансированные или ресурсоемкие рабочие нагрузки среднего масштаба: Рассмотрите возможность использования Azure NetApp Files для рабочих нагрузок до 4000 ядер с пропускной способностью до 6,5 ГиБ/с, хранилищем до 100 ТБ на том и максимальным размером файла в 12 ТБ.

  • Рабочие нагрузки крупного масштаба — используйте оркестрируемую параллельную файловую службу, например Lustre или BeeGFS. Такой вариант подходит для рабочих нагрузок с 50 000 или меньше ядер, скоростью чтения и записи не более 50 ГиБ/с и хранилищем размером не более 500 ТБ. Для еще более крупных кластеров более экономичным может быть подход без операционной системы. Например, Cray ClusterStor — это управляемое решение хранения для HPC, которое динамически поддерживает крупные эластичные кластеры.

Развертывание этого сценария

Пример реализации такой архитектуры OPM Flow см. на GitHub.

Дальнейшие действия