Экспортировать данные в Хранилище BLOB-объектов Azure

Данные из файловой системы Управляемая Azure система Lustre можно скопировать в долгосрочное хранилище в Хранилище BLOB-объектов Azure. В этой статье рассматриваются два метода экспорта данных:

Экспорт вручную — экспорт данных по запросу с помощью однократного задания экспорта.
Автоматический экспорт — непрерывно синхронизируйте новые и измененные файлы из файловой системы в Хранилище BLOB-объектов автоматически.

Замечание

Задания экспорта доступны только при интеграции хранилища BLOB-объектов Azure с управляемой файловой системой Lustre Azure во время создания файловой системы. Дополнительные сведения см. в статье об интеграции хранилища BLOB-объектов Azure. Если при создании файловой системы контейнер больших двоичных объектов не был интегрирован, можно использовать команды клиентской файловой системы для копирования данных без создания задания экспорта.

Limitations

Следующие ограничения применяются к операциям экспорта:

Одновременно может выполняться только одно действие импорта или экспорта. Например, если выполняется задание экспорта и вы пытаетесь запустить другое задание экспорта, появится сообщение об ошибке.
Задания экспорта копируют только файлы, которые являются новыми или были изменены. Если файл, импортированный из контейнера BLOB-объектов во время создания файловой системы, не изменяется, задание экспорта не экспортирует файл.
Файлы, в которых изменены только метаданные, не экспортируются. Изменения метаданных включают смену владельца, изменение разрешений, расширенных атрибутов и имени (переименование). Это ограничение применяется как к экспорту вручную, так и к автоматическому экспорту.
Файлы, которые вы удаляете в файловой системе Управляемая Azure система Lustre, не удаляются в исходном контейнере BLOB-объектов во время задания экспорта. Задание на экспорт не удаляет файлы из контейнера BLOB-объектов.
Имена BLOB-объектов должны соответствовать определенным правилам именования. Допустимые имена BLOB-объектов немного отличаются от допустимых имен файлов POSIX. Процесс экспорта сохраняет специальные символы в именах файлов, путём корректного экранирования их при экспорте в BLOBs. Однако имя файла, которое нарушает правило именования блобов (например, превышает максимально допустимую длину имени), приведет к ошибке при попытке экспорта этого файла.
Для автоматического экспорта: изменения метаданных, такие как переименование, обновления владения или корректировки разрешений в настоящее время не синхронизируются.
Для автоматического экспорта: при удалении файлов, каталогов или символьных ссылок в файловой системе они не удаляются из контейнера Хранилище BLOB-объектов.
Хранилище BLOB-объектов Azure не поддерживает жесткие ссылки. Каждая жесткая ссылка экспортируется в виде уникального блоба. При импорте этих BLOB-объектов они становятся независимыми файлами.

Задание ручного экспорта

Задание ручного экспорта копирует новые или измененные файлы из файловой системы в контейнер BLOB-объектов, указанный при создании файловой системы.

Создание задания экспорта

Выполните следующие действия, чтобы создать задание экспорта на портале Azure:

На портале Azure откройте файловую систему Управляемая Azure система Lustre. В разделе "Параметры" выберите интеграцию BLOB-объектов.
Нажмите кнопку "+ Создать задание".
В раскрывающемся меню "Тип задания " выберите "Экспорт".
В поле пути к файловой системе введите строку, чтобы указать, что нужно экспортировать.

Задание экспорта экспортирует все новые или измененные файлы в файловой системе, имена файлов которых начинаются с этой строки. Задание записывает файлы в контейнер BLOB с тем же путем к файлу (или префиксом), что и в файловой системе Lustre. Чтобы избежать перезаписи существующих файлов в контейнере BLOB-объектов, убедитесь, что путь к файлу в файловой системе Lustre не перекрывает существующий путь к файлу в контейнере BLOB-объектов.

На следующем снимке экрана показаны параметры конфигурации для задания экспорта на портале Azure.

Мониторинг или отмена задания экспорта

Вы можете отслеживать или отменять задания экспорта в разделе "Последние задания " области интеграции BLOB-объектов .

Одновременно выполняется только одно архивное задание. Чтобы отменить задание, которое выполняется, выберите ссылку "Отмена " для этого задания в таблице "Последние задания ". Ссылка "Отмена" недоступна для завершенных заданий.

Повторите задание экспорта

Если задание экспорта не завершено успешно, можно повторить экспорт, создав новое задание экспорта. Новое задание копирует только файлы, которые не были скопированы во время предыдущего задания.

Повторные попытки могут быть частыми при попытке экспортировать данные из активных файловых систем, в которых данные часто меняются. Дополнительные сведения об этих сценариях см. в статье "Запуск заданий экспорта" в активных файловых системах.

Выполнение заданий экспорта в активных файловой системах

В активных файловых системах изменения файлов во время задания экспорта могут привести к сбою задания. Этот статус сбоя указывает, что не все данные в файловой системе были экспортированы в Хранилище BLOB-объектов. В этой ситуации повторите экспорт, создав новое задание экспорта. Новое задание копирует только файлы, которые не были скопированы в предыдущем задании.

В файловых системах с высокой активностью повторные попытки могут несколько раз завершиться неудачей, так как файлы часто изменяются. Чтобы убедиться, что файл успешно экспортирован в хранилище BLOB-объектов, проверьте метку времени в соответствующем BLOB-объекте. После завершения задания можно также просмотреть контейнер ведения журнала, настроенный во время развертывания, чтобы просмотреть подробные сведения о задании экспорта. Контейнер журналов содержит диагностическую информацию о том, какие файлы не удалось обработать и почему.

Если вы готовитесь к выводу кластера из эксплуатации и хотите выполнить окончательный экспорт в Хранилище BLOB-объектов, убедитесь, что все действия ввода-вывода остановлены перед запуском задания экспорта. Этот подход помогает гарантировать экспорт всех данных, так как позволяет избежать ошибок из-за действий файловой системы.

Узнайте о метаданных для экспортированных файлов

При экспорте файлов из файловой системы Управляемая Azure система Lustre в контейнер BLOB-объектов задание экспорта сохраняет дополнительные метаданные, чтобы упростить повторный импорт содержимого в файловую систему.

В следующей таблице перечислены атрибуты POSIX из файловой системы Lustre, которые задание экспорта сохраняет в метаданных большого двоичного объекта в виде пар "ключ-значение":

Атрибут POSIX	Type
`owner`	int
`group`	int
`permissions`	восьмеричное или `rwxrwxrwx` форматное значение; поддерживается липкий бит

Задание экспорта сохраняет атрибуты каталога в пустом BLOB. Этот большой двоичный объект имеет то же имя, что и путь к каталогу, и содержит следующую пару "ключ-значение" в метаданных большого двоичного объекта: hdi_isfolder : true

Вы можете вручную изменить атрибуты POSIX перед использованием контейнера для гидратации нового кластера Lustre. Измените или добавьте метаданные BLOB с использованием пар «ключ-значение», описанных ранее.

Копирование контейнера объектов BLOB Lustre с помощью azcopy или Обозреватель службы хранилища

Вы можете переместить или скопировать контейнер BLOB, который используется файловой системой Lustre, с помощью azcopy или Обозреватель службы хранилища.

Для azcopy этого можно включить атрибуты каталога, добавив следующий флаг.

--include-directory-stub

При включении этого флага атрибуты POSIX каталога сохраняются во время передачи (например, owner, groupи permissions). Если вы используете azcopy для контейнера хранилища без этого флага или с флагом, установленным на false, передача включает данные и каталоги. Однако каталоги не сохраняют свои атрибуты POSIX.

В Обозреватель службы хранилища можно включить этот флаг в параметрах, выбрав Переносы и отметив пункт Включить заглушки каталога.

Автоматический экспорт

Функция автоматического экспорта для Управляемого Lustre от Azure — это возможность, которая автоматически синхронизирует изменения в файловой системе Управляемая Azure система Lustre с связанным объектным хранилищем Azure Blob.

С помощью этой функции можно обеспечить, что новые и измененные файлы в файловой системе отражаются в связанном контейнере Хранилище BLOB-объектов без вмешательства вручную. Эта функция упрощает управление данными и улучшает синхронизацию для долгосрочного хранения.

Функции автоматического экспорта

Автоматическое экспортирование работает путем непрерывного мониторинга изменений в файловой системе Управляемая Azure система Lustre. На основе настроенной политики экспорта он обновляет содержимое связанного контейнера Хранилище BLOB-объектов, чтобы отразить эти изменения. Эта функция обеспечивает простой и автоматизированный процесс репликации данных.

Ниже показано, как автоматическое экспортирование обрабатывает различные типы изменений:

Создание нового файла, новый каталог и изменения содержимого файлов: процесс интеграции больших двоичных объектов определяет новые файлы, каталоги и данные, которые изменились. Он автоматически запускает задание экспорта. Автоэкспорт гарантирует, что последняя версия файла передается в хранилище Blob.

Автоматический экспорт работает за счет непрерывных циклов экспорта. После завершения итерации процесс интеграции BLOB-объектов сканирует файловую систему для любых новых файлов, каталогов или изменений содержимого. Он запускает новую итерацию задания экспорта.

Экспорт журналов заданий в настроенном контейнере ведения журнала может помочь выявить проблемы синхронизации и понять, почему операции завершаются сбоем.

Настроить автоматический экспорт

Включите автоматический экспорт для существующей файловой системы Управляемая Azure система Lustre с настроенным контейнером Хранилище BLOB-объектов. Вы можете настроить автоматический экспорт с помощью параметров интеграции BLOB-объектов на портале Azure.

Чтобы создать задание автоматического экспорта, выполните следующие действия.

На портале Azure откройте файловую систему Управляемая Azure система Lustre. В разделе "Параметры" выберите интеграцию BLOB-объектов.
Нажмите кнопку "+ Создать задание".
В раскрывающемся списке "Тип задания " выберите "Автоматический экспорт".
В поле пути к файловой системе укажите путь к каталогу, введя строку.

Система постоянно экспортирует все новые или измененные файлы в файловой системе по этому префиксу пути. Система записывает файлы в контейнер BLOB с тем же путем к файлу (или префиксом), что и в файловой системе Lustre. Единственным исключением является случай, если ваш файл Lustre был импортирован из того пути в контейнере BLOB-объектов.

Мониторьте и управляйте автоматическим экспортом

Используйте портал Azure для отслеживания действий автоматического экспорта и управления конфигурациями.

В панели Blob интеграции отображаются подробности действий экспорта в разделе "Последние задания", включая статус последних заданий и метрики, связанные с автоматической синхронизацией.

Чтобы отменить задание в процессе, выберите ссылку "Отмена " для этого задания в таблице "Последние задания ". Ссылка "Отмена" доступна только для текущего задания.

Чтобы просмотреть метрики задания автоматического экспорта, выберите значение "Имя " задания. Панель метрик отображается на боковой панели портала.

Метрики автоматического экспорта

На портале метрики группируются в две основные категории: общая и текущая итерация.

Общая статистика

Статистика после включения автоматического экспорта

Общий объем экспортированных файлов

Количество файлов, успешно скопированных в связанный контейнер BLOB-объектов после включения автоматического экспорта.

Общий экспорт МиБ

Совокупный размер файла (в MiB) успешно скопирован в связанный контейнер BLOB после включения автоматического экспорта данных.

Итерации завершены

Количество раз, когда процесс интеграции больших двоичных объектов определил новые или измененные данные и инициировал новое задание экспорта.

Последняя успешная итерация

Метка времени окончания последней успешно завершённой итерации, экспортировавшей все данные в связанный облачный контейнер.

Текущая статистика итерации

Статистика текущей деятельности

Обнаруженные файлы

Количество файлов, экспортируемых в данный момент заданием экспорта, включая файлы, которые уже успешно скопированы в связанный контейнер BLOB-объектов в этой итерации.*

Обнаружено MiB

Совокупный размер файлов в MiB, который в настоящее время экспортируется заданием экспорта, включая файлы, уже успешно скопированные в связанный контейнер BLOB-объектов в этой итерации.*

Экспортированные файлы

Количество новых и измененных файлов, успешно скопированных в связанный контейнер BLOB.

Экспорт МиБ

Совокупный размер новых и изменённых данных в MiB, успешно скопированных в связанный контейнер BLOB-объектов.

Сбой файлов

Общее количество файлов, которые не удалось скопировать во время текущей итерации. Выберите эту ссылку, чтобы перейти на страницу "Контейнер ведения журнала ", чтобы просмотреть журналы, связанные с этим заданием автоматического экспорта.

* Метрики для текущей итерации отражают данные на данный момент. Например, обнаруженные файлы — это количество файлов, обнаруженных для экспорта в момент создания отчетов. Следующий цикл отчетности может показать, что обнаружены дополнительные файлы.

Соображения и рекомендации по автоматическому экспорту

При использовании функции автоматического экспорта рассмотрите следующие рекомендации для обеспечения плавной работы:

Управление конфликтами: если файл изменяется как в файловой системе, так и в хранилище BLOB-объектов, возникает риск перезаписи. Используйте координацию на уровне приложения, чтобы предотвратить конфликтующие изменения.
Отключите автоматический экспорт перед удалением: Перед удалением файловой системы или процесса интеграции с BLOB убедитесь, что все обновления в очереди были синхронизированы. Убедитесь, что время последней успешной итерации последнее, а метрика "Файлы не удалось " равна нулю, чтобы избежать потери данных. Затем отключите автоматическое экспортирование.

Обратная связь

Были ли сведения на этой странице полезными?

Последнее обновление: 2026-10-17