служба хранилища для HPC в финансовом секторе
В этой статье приведены рекомендации по реализации хранилища в средах HPC для финансового сектора. Крупномасштабные рабочие нагрузки HPC в финансовых средах создают требования к хранилищу данных и доступу, превышающим возможности традиционных облачных файловых систем.
Рекомендации по проектированию
Чтобы решить, какое решение хранилища следует использовать, необходимо учитывать следующие требования к приложению.
- Задержка
- ОПЕРАЦИЙ ВВОДА-ВЫВОДА
- Пропускная способность
- Размеры и число файлов
- Среда выполнения задания
- Связанные затраты
- Сходство с расположением хранилища: локальная среда и Azure
Рекомендации по проектированию
Используйте Хранилище BLOB-объектов Azure уровня "Стандартный" или "Премиум" для хранилища с высокой пропускной способностью и низкой задержкой. Он предлагает следующие преимущества:
- Он предоставляет высокопроизводительный, высокопроизводительный, низкий уровень задержки, доступ к знакомой файловой системе и доступ с несколькими протоколами (REST, HDFS, NFS).
- Это экономично.
- С помощью BLOB-объекта можно подключить служба хранилища как файловую систему с помощью BLOBFuse. Это упрощает подключение нескольких узлов к одному контейнеру для сценариев только для чтения.
- Она поддерживает NFS 3.0 в конечной точке службы BLOB-объектов для высокопроизводительных рабочих нагрузок с высокой пропускной способностью.
- Вы можете оптимизировать затраты, переместив данные на более холодные уровни с помощью возможности управления жизненным циклом с помощью интеллектуального распределения времени последнего обновления и доступа с настраиваемыми политиками.
Используйте Azure NetApp Files для ReadWriteMany (уникальные) или однократные приложения для чтения. Он предоставляет следующие преимущества:
- Широкий выбор протоколов файлов (NFSv3, NFSv4.1, S МБ 3).
- Производительность, сравнимая с локальной производительностью, с несколькими уровнями (Ультра, Премиум, Стандартный).
- Развертывается в минутах и предлагает широкий спектр уровней и гибкости.
- Гибкие типы пула емкости и производительность, где QoS для каждого тома автоматически назначается на основе уровня пула и квоты тома.
В следующей таблице приведено сравнение служба хранилища BLOB-объектов, Файлы Azure, Управляемого Lustre Azure и Azure NetApp Files.
Хранилище BLOB-объектов | Файлы Azure | Управляемый Lustre в Azure | Azure NetApp Files | |
---|---|---|---|---|
Варианты использования | Лучше всего подходит для крупномасштабных рабочих нагрузок последовательного доступа с большим объемом чтения, в которых данные получаются один раз и минимально изменены. Низкая общая стоимость владения, если есть легкое обслуживание. |
Высокодоступная служба, которая лучше всего подходит для рабочих нагрузок случайного доступа. Для общих папок NFS Файлы Azure предоставляет полную поддержку файловой системы POSIX. Встроенный драйвер CSI позволяет легко использовать его с платформ контейнеров, таких как Экземпляры контейнеров Azure и Служба Azure Kubernetes (AKS), помимо платформ на основе виртуальных машин. |
Управляемый Lustre Azure — это полностью управляемая параллельная файловая система, подходящая для средних и больших рабочих нагрузок HPC. Позволяет приложениям HPC в облаке без нарушения совместимости приложений, предоставляя знакомые функции параллельной файловой системы Lustre, поведение и производительность, обеспечивая долгосрочные инвестиции в приложения. |
Полностью управляемая файловая служба в облаке с поддержкой NetApp с расширенными возможностями управления. Azure NetApp Files подходит для рабочих нагрузок, требующих случайного доступа. Она обеспечивает широкую поддержку протокола и улучшенную защиту данных. |
Доступные протоколы | NFS 3.0 ОСТАЛЬНЫЕ Azure Data Lake Storage |
S МБ NFS 4.1 (Взаимодействие между протоколом отсутствует.) |
Блеск | NFS 3.0 и 4.1 S МБ |
Ключевые функции | Интегрирована с Azure HPC Cache для рабочих нагрузок с низкой задержкой. Интегрированное управление, включая управление жизненным циклом, неизменяемые большие двоичные объекты, отработка отказа данных и индекс метаданных. |
Зональная избыточность для обеспечения высокой доступности. Стабильная задержка в несколько миллисекунд. Прогнозируемая производительность и затраты, которые масштабируются с учетом емкости. |
Высокая емкость хранилища до 2,5PB. Низкая задержка (~2 мс). Создание новых кластеров в минутах. Поддерживает контейнерные рабочие нагрузки с помощью AKS. |
Крайне низкая задержка (не ниже миллисекунда). Возможности управления Rich NetApp ONTAP, такие как SnapMirror Cloud. Согласованная работа в гибридном облаке. |
Производительность (на один том) | До 20 000 операций ввода-вывода в секунду. До 100 ГиБ/с пропускной способности. | До 100 000 операций ввода-вывода в секунду. 80 ГиБ/с пропускной способности. | До 100 000 операций ввода-вывода в секунду до 500 ГиБ/с. | До 460 000 операций ввода-вывода в секунду. До 36 ГиБ/с пропускной способности. |
Масштабировать | До 2 PiB для одного тома. До 4,75 ТиБ для одного файла. Минимальные требования к емкости отсутствуют. |
До 100 ТиБ для одного тома. До 4 ТиБ для одного файла. Минимальная емкость 100 ГиБ. |
До 2,5 PiB для одного тома. 32 PB для одного файла. Минимальная емкость 4 ТиБ. |
До 100 ТиБ для одного тома. До 16 ТиБ для одного файла. Согласованная работа в гибридном облаке. |
Цены | Цены на Хранилище BLOB-объектов | Цены на Файлы Azure | Цены на Управляемые Lustre в Azure | Цены на Azure NetApp Files |
Следующие шаги
В следующих статьях приведены рекомендации, которые могут оказаться полезными в различных точках во время процесса внедрения облака. Они помогут вам добиться успеха в сценарии внедрения облака для HPC в финансовом секторе.
- Предложения по выставлению счетов Azure и клиенты Active Directory для финансирования HPC
- Финансы управления удостоверениями и доступом в Azure HPC
- Управление HPC в финансовом секторе
- Топология сети и подключение для HPC в финансовом секторе
- Автоматизация платформы и DevOps для HPC в финансовом секторе
- Организация ресурсов для Azure HPC в финансовом секторе
- Управление финансами HPC
- Безопасность HPC в финансовом секторе
- Акселератор целевой зоны azure с высокой производительностью (HPC)