Рекомендации по высокопроизводительной вычислительной нагрузке (HPC)

В этом руководстве приведены лучшие практики и советы по выбору решения для хранения данных, которое оптимально соответствует вашей рабочей нагрузке в области высокопроизводительных вычислений (HPC).

Обычно существует компромисс между оптимизацией затрат и оптимизацией производительности. Эта серия рекомендаций рабочей нагрузки ориентирована на получение оптимального решения для хранения рабочих нагрузок HPC на виртуальных машинах Azure. Если рабочая нагрузка не так велика, могут потребоваться не все рекомендуемые варианты оптимизации. При оценке этих рекомендаций учитывайте актуальные потребности в производительности, затраты и характер рабочих нагрузок.

Обзор

Хранилище для рабочих нагрузок HPC состоит из основного хранилища и в некоторых случаях акселератора.

Основное хранилище выступает в качестве постоянного дома для ваших данных. Он содержит широкие возможности управления данными и является устойчивым, доступным, масштабируемым, эластичным и безопасным. Акселератор улучшает основное хранилище, предоставляя высокопроизводительный доступ к данным. Акселератор может быть предоставлен по запросу и значительно ускоряет доступ вычислительных задач к данным.

Начальное рассмотрение

Если вы начинаете с нуля, ознакомьтесь с разделом "Общие сведения о моделях хранилища данных " для выбора хранилища данных и выбора службы хранилища Azure или "Введение в службу хранилища Azure ", чтобы получить представление о вариантах службы хранилища.

Вкратце

Начните с объема данных, которые планируется хранить. Затем рассмотрим количество ядер ЦП, используемых рабочей нагрузкой, и размер файлов. Эти факторы помогают определить, какая основная служба хранения лучше всего подходит вашей рабочей нагрузке, и решить, использовать ли акселератор для повышения производительности.

Конфигурация	Ядра ЦП	Размеры файлов	Рекомендация по основному хранилищу	Рекомендация по акселератору
До 50 ТиБ	Не применимо	Не применимо	Файлы Azure или Azure NetApp Files.	Нет акселератора
50 ТиБ - 5000 ТиБ	Менее 500	Не применимо	Файлы Azure или Azure NetApp Files.	Нет акселератора
50 ТиБ - 5000 ТиБ	Более 500	1 МиБ и больше	Стандартный Blob Azure. Он поддерживается всеми акселераторами, поддерживает множество протоколов и экономична.	Управляемый Azure Lustre.
50 ТиБ - 5000 ТиБ	Более 500	Меньше 1 МиБ	Большой двоичный объект Azure уровня "Премиум" или большой двоичный объект Azure уровня "Стандартный".	Управляемый Azure Lustre.
50 ТиБ - 5000 ТиБ	Более 500	Меньше 512 КИБ	Azure NetApp Files.	Нет акселератора
Более 5000 ТиБ	Не применимо	Не применимо		Поговорите с командой по работе с полевыми проектами или аккаунтами.

Описание решения

Если вы по-прежнему колеблетесь между вариантами после использования деревьев принятия решений, вот более подробная информация о каждом решении.

Решение	Оптимальная производительность и масштабирование	Доступ к данным (протокол доступа)	Модель выставления счетов	Основное хранилище или акселератор
Стандартный блоб Azure	Хорошо подходит для больших файлов и нагрузок, требующих высокой пропускной способности.	Подходит для традиционных (файловых) и нативных для облака (REST) приложений HPC. Простой доступ, совместное использование и управление наборами данных. Работает со всеми акселераторами.	Платите за то, что вы используете.	Основное хранилище.
Большой двоичный объект Azure Premium	Операции ввода-вывода в секунду (IOPS) и задержка ниже, чем у стандартного объекта BLOB. Хорошо подходит для наборов данных с большим количеством файлов среднего размера и смешанных размеров файлов.	Подходит для традиционных (файловых) и облачно-ориентированных (REST) приложений HPC. Простой доступ, совместное использование и управление наборами данных. Работает со всеми акселераторами.	Платите за то, что вы используете.	Основное хранилище.
Файлы Azure уровня "Премиум"	Емкость и пропускная способность, подходящие для меньшего масштаба (<1000 ядер). IOPS и задержка хороши для файлов среднего размера (>512 КиБ).	Простая интеграция с Linux (NFS) и Windows (SMB), но не может использовать оба NFS+SMB для доступа к одинаковым данным.	Платите за то, что вы подготавливаете.	Основное хранилище.
Azure NetApp Files	Емкость и пропускная способность хорошо подходит для заданий среднего уровня (1k-10k ядер). Операции ввода-вывода в секунду (IOPS) и задержка являются подходящими для наборов данных с небольшими файлами (<512 КиБ). Отлично подходит для небольших задач с множеством файлов.	Легко интегрировать для Linux и Windows, поддерживает многопротокол для рабочих процессов с помощью Linux и Windows.	Платите за то, что вы подготавливаете.	Каждый.
Управляемый Lustre в Azure	Пропускная способность для поддержки всех размеров заданий (1k – >10k ядер). IOPS и задержка подходят для тысяч файлов среднего размера (>512 KiB). Лучше всего подходит для рабочих нагрузок чтения и записи с интенсивным объемом пропускной способности.	Lustre, CSI.	Платите за то, что вы подготавливаете.	Достаточно прочный для работы как самостоятельной основной системы хранения, наиболее рентабельный в качестве ускорителя.

Сравнение цен на основное хранилище

В порядке от самого дорогого к самому дешёвому, цены на основное хранилище следующие:

• Файлы Azure NetApp
• Azure Premium Blob и Azure Premium Files
• Стандартный объект хранения Azure

Дополнительные сведения о ценах см. в разделе о ценах на продукты Azure.