Поделиться через


Рекомендации по высокопроизводительной вычислительной нагрузке (HPC)

В этом руководстве представлены рекомендации и рекомендации по решению хранилища, которое лучше всего подходит для вашей рабочей нагрузки высокопроизводительных вычислений (HPC).

Обычно существует компромисс между оптимизацией затрат и оптимизацией производительности. Эта серия рекомендаций рабочей нагрузки ориентирована на получение оптимального решения для хранения рабочих нагрузок HPC на виртуальных машинах Azure. Если рабочая нагрузка не так велика, могут потребоваться не все рекомендуемые варианты оптимизации. При оценке этих рекомендаций учитывайте актуальные потребности в производительности, затраты и характер рабочих нагрузок.

Обзор

Хранилище для рабочих нагрузок HPC состоит из основного хранилища и в некоторых случаях акселератора.

Основное хранилище выступает в качестве постоянного дома для ваших данных. Он содержит широкие возможности управления данными и является устойчивым, доступным, масштабируемым, эластичным и безопасным. Акселератор улучшает основное хранилище, предоставляя высокопроизводительный доступ к данным. Акселератор может быть подготовлен по требованию и обеспечивает вычислительные рабочие нагрузки гораздо быстрее доступа к данным.

Начальное рассмотрение

Если вы начинаете с нуля, ознакомьтесь с разделом "Общие сведения о моделях хранилища данных", чтобы выбрать хранилище данных и выбрать службу хранилища Azure или введение в служба хранилища Azure, чтобы получить представление о вариантах службы хранилища.

Вкратце

Начните с объема данных, которые планируется хранить. Затем рассмотрим количество ядер ЦП, используемых рабочей нагрузкой, и размер файлов. Эти факторы помогают сузить, какую службу хранилища ядер лучше всего подходит вашей рабочей нагрузке и использовать акселератор для повышения производительности.

Настройка Ядра ЦП Размеры файлов Рекомендация по основному хранилищу Рекомендация по акселератору
До 50 ТиБ Неприменимо Неприменимо Файлы Azure или Azure NetApp Files. Нет акселератора
50 ТиБ - 5000 ТиБ Менее 500 Н/П Файлы Azure или Azure NetApp Files. Нет акселератора
50 ТиБ - 5000 ТиБ Более 500 1 МиБ и больше Большой двоичный объект Azure уровня "Стандартный". Она поддерживается всеми акселераторами, поддерживает множество протоколов и экономии. Управляемый Azure Lustre.
50 ТиБ - 5000 ТиБ Более 500 Меньше 1 МиБ Большой двоичный объект Azure уровня "Премиум" или большой двоичный объект Azure уровня "Стандартный". Управляемый Azure Lustre.
50 ТиБ - 5000 ТиБ Более 500 Меньше 512 КИБ Azure NetApp Files. Нет акселератора
Более 5000 ТиБ Неприменимо Неприменимо Поговорите с вашей командой по полю или учетной записи.

Описание решения

Если вы по-прежнему застряли между параметрами после использования деревьев принятия решений, дополнительные сведения о каждом решении:

Решение Оптимальная производительность и масштабирование Доступ к данным (протокол доступа) Модель оплаты Основное хранилище или акселератор
Большой двоичный объект Azure уровня "Стандартный" Хорошо подходит для больших файлов, ресурсоемких рабочих нагрузок с пропускной способностью. Подходит для традиционных (файлов) и облачных приложений HPC.

Простой доступ, совместное использование и управление наборами данных.

Работает со всеми акселераторами.
Платите только за те ресурсы, которые используете. Основное хранилище.
Большой двоичный объект Azure Premium Операции ввода-вывода в секунду и задержка лучше, чем стандартный БОЛЬШОЙ двоичный объект.

Хорошо подходит для наборов данных с большим количеством файлов среднего размера и смешанных размеров файлов.
Подходит для традиционных (файлов) и облачных приложений HPC.

Простой доступ, совместное использование и управление наборами данных.

Работает со всеми акселераторами.
Платите только за те ресурсы, которые используете. Основное хранилище.
Файлы Azure уровня "Премиум" Емкость и пропускная способность, подходящие для меньшего масштаба (<1 кб ядер).

Операции ввода-вывода в секунду и задержка для файлов среднего размера (>512 КиБ).
Простая интеграция с Linux (NFS) и Windows (SMB), но не может использовать оба NFS+SMB для доступа к одинаковым данным. Платите за то, что вы подготавливаете. Основное хранилище.
Azure NetApp Files Емкость и пропускная способность хорошо подходит для заданий среднего уровня (1k-10k ядер).

Операции ввода-вывода в секунду и задержка для наборов данных малого файла (<512 КИБ).

Отлично подходит для небольших, многофаковых рабочих нагрузок.
Легко интегрировать для Linux и Windows, поддерживает многопротокол для рабочих процессов с помощью Linux и Windows. Платите за то, что вы подготавливаете. Каждый.
Управляемый Lustre в Azure Пропускная способность для поддержки всех размеров заданий (1k – >10k ядер).

Количество операций ввода-вывода в секунду и задержка для тысяч файлов среднего размера (>512 КИБ).

Лучше всего подходит для рабочих нагрузок чтения и записи с интенсивным объемом пропускной способности.
Lustre, CSI. Платите за то, что вы подготавливаете. Достаточно устойчивый для запуска как автономного (ядра) хранилища, наиболее экономичного в качестве акселератора.

Сравнение цен на основное хранилище

В порядке наименьшего минимума цены на основное хранилище:

  • Azure NetApp Files
  • Blob-объект Azure premium и файлы Azure Premium
  • Большой двоичный объект Azure уровня "Стандартный"

Дополнительные сведения о ценах см. в разделе о ценах на продукты Azure.