Бөлісу құралы:

Поддержка протокола NFS 3.0 в Хранилище BLOB-объектов Azure

Хранилище BLOB-объектов теперь поддерживает протокол сетевой файловой системы (NFS) версии 3.0. Эта поддержка обеспечивает совместимость файловой системы Linux на уровне масштабов и цен хранилища объектов, а также позволяет клиентам Linux подключать контейнер в Blob-хранилище из виртуальной машины Azure или локального компьютера.

Выполнение крупномасштабных устаревших рабочих нагрузок, например высокопроизводительных вычислений (HPC) в облаке, всегда было трудной задачей. Одна из причин заключается в том, что приложения часто используют традиционные протоколы файлов, такие как сетевая файловая система (NFS) для доступа к данным. Кроме того, собственные службы облачного хранилища обычно нацелены на хранение объектов с неструктурированным пространством имен и обширными метаданными вместо файловых систем, предоставляющих иерархическое пространство имен и более эффективные операции с метаданными.

Хранилище BLOB-объектов теперь поддерживает иерархическое пространство имен, а в сочетании с поддержкой протокола NFS 3.0 Azure значительно упрощает выполнение устаревших приложений на основе крупномасштабного облачного хранилища объектов.

Приложения и рабочие нагрузки, подходящие для использования NFS 3.0 с хранилищем BLOB-объектов

Функция протокола NFS 3.0 оптимизирована для высокопроизводительных, крупномасштабных рабочих нагрузок с большим количеством операций чтения с последовательным вводом-выводом. Это идеально подходит для сценариев с несколькими средствами чтения и многочисленными потоками, где пропускная способность является более критической, чем низкая задержка. Распространенные примеры:

  • Вычисления высокой производительности (HPC) — HPC-задания часто включают тысячи ядер, осуществляющих единовременное считывание одних и тех же больших наборов данных. Функция протокола NFS 3.0 использует пропускную способность хранилища объектов для устранения традиционных узких мест файлового сервера. Примеры.

  • Секвенирование геномики: обработка огромных наборов данных ДНК.

  • Моделирование финансовых рисков: моделирование Монте-Карло на исторических данных.

  • Сейсмический анализ: геологические данные для разведки нефти и газа.

  • Прогнозирование погоды: моделирование атмосферных данных для прогнозирования климата и шторма.

  • Большие данные и аналитика (Озера данных) — для многих средств аналитики требуются иерархические каталоги. BlobNFS (через Azure Data Lake Storage 2-го поколения) обеспечивает эту структуру, поддерживая стандартные протоколы файлов. Примеры.

    • Машинное обучение: передача обучающих данных в кластеры GPU с помощью стандартного ввода-вывода файлов.

    • Log Analytics: агрегирование журналов из тысяч источников.

  • Расширенные системы поддержки драйверов (ADAS) — рабочие процессы ADAS создают петабайты последовательных данных датчика , таких как облака точек LiDAR и каналы камер с высоким разрешением, которые должны быть эффективно и проанализированы в масштабе для моделирования и обучения моделей. Пример:

    • Хранение необработанных сканов LiDAR и многокамерных видеопотоков с автономных тестовых транспортных средств с помощью NFS 3.0, а затем выполнение крупномасштабных имитационных воспроизведений на тысячах вычислительных узлов для проверки алгоритмов перцепции.

  • Медиа и развлечения — фермы рендеринга нуждаются в эффективном доступе к большим библиотекам ресурсов. NFS 3.0 через blob предоставляет файловый интерфейс для устаревших инструментов рендеринга, ожидающих пути к файлам. Примеры.

  • Визуализация видео: распределенные узлы считывают исходные ресурсы.

  • Транскодирование. Преобразование больших необработанных видеофайлов в формат потоковой передачи.

  • Резервное копирование базы данных — эта функция предлагает экономически эффективное решение с высокой пропускной способностью для цели NFS 3.0, без сложных соединителей или дорогостоящих моментальных снимков. Примеры.

    • Oracle RMAN может записывать большие резервные копии непосредственно для долгосрочного архивирования и включать прямое восстановление с любой виртуальной машины Linux, подключенной к NFS.

Когда не следует использовать NFS 3.0 с хранилищем BLOB-объектов

Избегайте общих папок общего назначения или транзакционных рабочих нагрузок из-за характеристик хранилища объектов:

Тип рабочей нагрузки Reason Лучший альтернативный вариант
Транзакционные базы данных Требует гранулярной блокировки, субмиллисекундной задержки и частой случайной записи. Управляемые диски или Azure NetApp Files или Файлы Azure
Редактирование файлов на месте Редактирование файлов приводит к полной перезаписи бинарных больших объектов (BLOB), делая операции неэффективными. Файлы Azure

Иерархическое пространство имен NFS 3.0

Поддержка протокола NFS 3.0 требует, чтобы BLOB-объекты были организованы в иерархическое пространство имен. Вы можете включить иерархическое пространство имен при создании учетной записи хранения. Возможность использования иерархического пространства имен была представлена Azure Data Lake Storage. Эта функция позволяет собирать объекты (файлы) и упорядочивать их в иерархию директорий и поддиректорий таким же образом, как организована файловая система на вашем компьютере. Иерархическое пространство имен масштабируется линейно и не снижает объем данных и производительность. Различные протоколы проистекают из иерархического пространства имен. Протокол NFS 3.0 является одним из доступных протоколов.

Иерархическое пространство имен

Данные, хранящиеся в виде блочных блобов

Когда ваше приложение делает запрос с помощью протокола NFS 3.0, этот запрос преобразуется в сочетание операций блоб-объектов. Например, запросы на чтение NFS 3.0 удаленного вызова процедур (RPC) преобразуются в операцию Get Blob. Запросы NFS 3.0 на запись RPC переводятся в виде комбинации команд Get Block List, Put Block и Put Block List.

Блочные BLOB-объекты оптимизируются для эффективной обработки больших объемов данных, предназначенных для чтения. Блочные BLOB-объекты состоят из блоков. Каждый блок определяется по идентификатору блока. Блочный BLOB-объект может включать до 50 000 блоков. Каждый блок в BLOB может иметь разный размер, вплоть до максимального размера, разрешённого для используемой вашей учетной записью версии службы.

Общие моменты рабочего процесса: подключение контейнера учетной записи хранения

Клиенты Linux могут монтировать контейнер в блочном хранилище Azure из виртуальной машины Azure или локального компьютера. Чтобы подключить контейнер учетной записи хранения, необходимо выполнить эти действия.

  1. Создайте виртуальную сеть Azure.

  2. Настройка защиты сети.

  3. Создайте и настройте учетную запись хранения, которая принимает трафик только из виртуальной сети.

  4. Создайте контейнер в учетной записи хранения.

  5. Смонтируйте контейнер.

Пошаговое руководство см. в статье Подключение хранилища BLOB-объектов с помощью протокола NFS 3.0.

Безопасность сети

Трафик должен исходить из виртуальной сети. Виртуальная сеть позволяет клиентам безопасно подключаться к учетной записи хранения. Единственный способ защитить данные в учетной записи — использовать виртуальную сеть и другие параметры безопасности сети. Любое другое средство, используемое для защиты данных, включая авторизацию ключа учетной записи, безопасность Microsoft Entra и списки управления доступом (ACL), нельзя использовать для авторизации запроса NFS 3.0.

Дополнительные сведения см. в статье Рекомендации по сетевой безопасности для хранилища BLOB-объектов.

Поддерживаемые сетевые подключения

Клиент может подключаться через общедоступную или частную конечную точку и также может подключаться из любого из следующих сетевых расположений:

Внимание

Протокол NFS 3.0 использует порты 111 и 2048. Если вы подключаетесь из локальной сети, убедитесь, что клиент разрешает исходящий обмен данными через эти порты. Если у вас есть доступ к определенным виртуальным сетям, убедитесь, что все группы безопасности сети, связанные с этими виртуальными сетями, не содержат правил безопасности, которые блокируют входящий обмен данными через эти порты.

Известные проблемы и ограничения

Полный список проблем и ограничений текущего выпуска поддержки NFS 3.0 см. в статье Известные проблемы.

Цены

См. страницу с ценами на Azure Blob Storage для получения информации о стоимости хранения данных и транзакций.

См. также

  • Last updated on