Поделиться через

Что такое Azure Managed Lustre?

  • Статья

Служба Azure Managed Lustre позволяет быстро создать файловую систему Lustre на основе Azure для использования в облачных высокопроизводительных вычислительных заданиях.

Lustre — это параллельная файловая система с открытым кодом, которая может масштабироваться до больших размеров хранилища, а также обеспечивает высокую пропускную способность. Lustre используется самыми быстрыми в мире суперкомпьютерами и в рабочих процессах, ориентированных на данные для многих типов отраслей. Для получения дополнительной информации см. https://www.lustre.org.

Azure Managed Lustre экономит работу по подготовке, настройке и управлению собственной файловой системой Lustre. С помощью команды Create в портал Azure можно быстро развернуть файловую систему Lustre нужного размера, подключить клиенты и быть готовым к использованию системы.

Microsoft Хранилище BLOB-объектов Azure интегрирована с Azure Managed Lustre, что позволяет указать файлы для импорта из контейнера BLOB-объектов для использования файловой системой. После завершения высокопроизводительных вычислительных заданий вы можете экспортировать измененные данные в Хранилище BLOB-объектов Azure и удалить систему Azure Managed Lustre. Дополнительные сведения см. в разделе интеграция Хранилище BLOB-объектов Azure далее в этой статье.

Вы также можете использовать файловую систему Azure Managed Lustre с контейнерами Служба Azure Kubernetes (AKS). Дополнительные сведения см. в статье Использование Azure Managed Lustre с Kubernetes.

Безопасность данных в Управляемом Azure Lustre

Все данные, хранящиеся в Azure, по умолчанию шифруются с помощью управляемых ключей Azure. Если вы хотите управлять ключами, используемыми для шифрования данных, хранящихся в кластере Azure Managed Lustre, следуйте инструкциям в разделе Шифрование хранилища дисков Azure на стороне сервера.

Вся информация в файловой системе Lustre, управляемой Azure, также защищена шифрованием узла виртуальной машины на управляемых дисках, на которых хранятся данные, даже если для дисков Lustre добавлен ключ, управляемый клиентом. Добавление ключа, управляемого клиентом, обеспечивает дополнительный уровень безопасности для клиентов с высокими требованиями к безопасности. Дополнительные сведения см. в статье Шифрование хранилища дисков Azure на стороне сервера.

Примечание

Azure Managed Lustre не хранит данные клиентов за пределами региона, в котором развертывается экземпляр службы.

Устойчивость данных в Управляемом Azure Lustre

Файловая система Azure Managed Lustre использует управляемые диски Azure в качестве целевых дисков данных хранилища объектов (OST).

Все файловые системы Lustre, управляемые Azure, которые создаются как "устойчивый" тип файловой системы, используют диски SSD (твердотельный накопитель) Azure класса Premium, настроенные как локально избыточное хранилище (LRS). Содержимое диска LRS реплицируется три раза в локальном центре обработки данных для защиты от сбоев дисков и серверов в стойку.

Сама файловая система Azure Managed Lustre также способствует обеспечению устойчивости данных с помощью процессов хранения объектов, которые она использует для хранения данных на этих дисках.

Если требуется региональная или глобальная избыточность данных, можно интегрировать файловую систему с Хранилище BLOB-объектов Azure. После интеграции можно инициировать задание экспорта для экспорта файлов в контейнер Хранилище BLOB-объектов Azure с другой политикой избыточности для долгосрочного хранения. Настройте избыточность Хранилище BLOB-объектов Azure для учетной записи хранения. При создании учетной записи хранения можно выбрать зональную избыточность данных (ZRS) или глобальную избыточность данных (GRS). Дополнительные сведения о параметрах избыточности данных для управляемых файлов Lustre Azure см. в статье Поддерживаемые типы учетных записей хранения.

интеграция Хранилище BLOB-объектов Azure

Microsoft Хранилище BLOB-объектов Azure интегрирована с Azure Managed Lustre, что позволяет указать файлы для импорта из контейнера BLOB-объектов для использования файловой системой. Хранилище BLOB-объектов Azure интеграция — это приложение иерархического управления хранилищами (HSM) Lustre. Нет необходимости импортировать весь набор данных для каждого задания. Вместо этого можно создать другую файловую систему для разных заданий и хранить данные в недорогих контейнерах BLOB-объектов Azure между использованием. После завершения высокопроизводительных вычислительных заданий вы можете экспортировать измененные данные в Хранилище BLOB-объектов Azure и удалить систему Azure Managed Lustre.

Azure Managed Lustre настраивается для эффективной работы с Хранилище BLOB-объектов Azure. Вы можете указать существующий контейнер BLOB-объектов, чтобы сделать его существующие данные доступными из файловой системы Lustre, управляемой Azure, или указать пустой контейнер, который вы заполняете данными или используете для хранения выходных данных. Настройка и обслуживание выполняются за вас. Вы просто указываете, какой контейнер BLOB-объектов следует использовать.

При интеграции Хранилище BLOB-объектов Azure при создании файловой системы Lustre можно использовать функции Lustre HSM. Если вы не хотите использовать преимущества Lustre HSM, вы можете импортировать и экспортировать данные для файловой системы Azure Managed Lustre с помощью клиентских команд напрямую.

Использование Azure Managed Lustre с Kubernetes

Если вы хотите использовать систему хранения Azure Managed Lustre с контейнерами Kubernetes, можно использовать драйвер интерфейса поддержки контейнеров Azure Lustre (CSI) для Kubernetes, совместимый с Служба Azure Kubernetes (AKS). Другие типы установки Kubernetes в настоящее время не поддерживаются.

Kubernetes может упростить настройку и развертывание конечных точек виртуальных клиентов для рабочей нагрузки Azure Managed Lustre, автоматив такие задачи настройки, как:

  • Создание azure Масштабируемые наборы виртуальных машин используется Служба Azure Kubernetes (AKS) для запуска модулей pod.
  • Загрузка правильного клиентского программного обеспечения Lustre на экземплярах виртуальных машин.
  • Указание точки подключения Azure Managed Lustre и распространение этой информации на клиентские модули pod.

Драйвер Azure Lustre CSI для Kubernetes может автоматизировать установку клиентского программного обеспечения и подключенных дисков. Драйвер предоставляет подключаемый модуль контроллера CSI в виде развертывания с двумя репликами по умолчанию и подключаемый модуль узла CSI в виде DaemonSet. Количество реплик можно изменить.

Чтобы узнать, какие версии драйверов использовать, см. статью Совместимые версии Kubernetes.

Дальнейшие действия