Compartilhar via

O que é o Azure Managed Lustre?

  • Artigo

O serviço Lustre Gerenciado do Azure oferece a capacidade de criar rapidamente um sistema de arquivos Lustre baseado no Azure para trabalhos de computação de alto desempenho baseados em nuvem.

O Lustre é um sistema de arquivos paralelos de software livre que pode ser dimensionado para grandes tamanhos de armazenamento, ao mesmo tempo em que fornece uma taxa de transferência de alto desempenho. O Lustre é usado pelos supercomputadores mais rápidos do mundo e em fluxos de trabalho centrados em dados para muitos tipos de indústrias. Para obter mais informações, consulte https://www.lustre.org.

O Azure Managed Lustre poupa o trabalho de provisionamento, configuração e gerenciamento de seu próprio sistema de arquivos do Lustre. Usando um comando Create no portal do Azure, você pode implantar rapidamente um sistema de arquivos Lustre no tamanho necessário, conectar seus clientes e estar pronto para usar o sistema.

O Armazenamento de Blobs do Microsoft Azure é integrado ao Azure Managed Lustre, que permite especificar arquivos a serem importados de um contêiner de blob para uso do sistema de arquivos. Quando os trabalhos de computação de alto desempenho forem concluídos, você poderá exportar os dados alterados para o Armazenamento de Blobs do Azure e excluir o sistema Managed Lustre do Azure. Para obter mais informações, consulte Integração do Armazenamento de Blobs do Azure, mais adiante neste artigo.

Você também pode usar o sistema de arquivos do Azure Managed Lustre com os contêineres do AKS (Serviço de Kubernetes do Azure). Para obter mais informações, consulte Usar o Azure Managed Lustre com o Kubernetes.

Segurança de dados no Azure Managed Lustre

Todos os dados armazenados no Azure são criptografados em repouso usando chaves gerenciadas do Azure por padrão. Se você quiser gerenciar as chaves usadas para criptografar os dados armazenados no cluster do Azure Managed Lustre, siga as instruções em Criptografia do lado do servidor do armazenamento em disco do Azure.

Todas as informações em um sistema de arquivos do Azure Managed Lustre também são protegidas pela criptografia de host de VM nos discos gerenciados que armazenam seus dados, mesmo que você adicione uma chave gerenciada pelo cliente para os discos do Lustre. A adição de uma chave gerenciada pelo cliente oferece um nível extra de segurança para clientes com altas necessidades de segurança. Para obter mais informações, consulte Criptografia do lado do servidor do armazenamento em disco do Azure.

Observação

O Azure Managed Lustre não armazena dados do cliente fora da região na qual você implanta a instância de serviço.

Resiliência de dados no Azure Managed Lustre

Seu sistema de arquivos do Azure Managed Lustre usa discos gerenciados do Azure como discos de dados OST (destino de armazenamento de objetos).

Todos os sistemas de arquivos do Azure Managed Lustre criados como um tipo de sistema de arquivos "durável" usam discos SSD Premium do Azure (unidade de estado sólido) configurados como LRS (armazenamento com redundância local). O conteúdo do disco LRS é replicado três vezes no data center local para proteger contra falhas de unidade e rack de servidor.

O próprio sistema de arquivos do Azure Managed Lustre também contribui para a resiliência de dados por meio dos processos de armazenamento de objetos que ele usa para armazenar dados nesses discos.

Se você precisar de redundância de dados regional ou global, poderá integrar seu sistema de arquivos ao Armazenamento de Blobs do Azure. Depois de integrado, você pode iniciar um trabalho de exportação para exportar arquivos para um contêiner de Armazenamento de Blobs do Azure com uma política de redundância diferente para armazenamento de longo prazo. Configure a redundância do Armazenamento de Blobs do Azure para a conta de armazenamento. Você pode escolher ZRS (redundância de dados zonal) ou GRS (redundância de dados global) ao criar a conta de armazenamento. Para saber mais sobre as opções de redundância de dados para seus arquivos do Azure Managed Lustre, consulte Tipos de conta de armazenamento com suporte.

Integração do Armazenamento de Blobs do Azure

O Armazenamento de Blobs do Microsoft Azure é integrado ao Azure Managed Lustre, que permite especificar arquivos a serem importados de um contêiner de blob para uso do sistema de arquivos. A integração do Armazenamento de Blobs do Azure é um aplicativo do HSM (gerenciamento de armazenamento hierárquico) do Lustre. Não há necessidade de importar todo o conjunto de dados para cada trabalho. Em vez disso, você pode criar um sistema de arquivos diferente para trabalhos diferentes e armazenar dados em contêineres de blob do Azure de baixo custo entre os usos. Quando os trabalhos de computação de alto desempenho forem concluídos, você poderá exportar os dados alterados para o Armazenamento de Blobs do Azure e excluir o sistema Managed Lustre do Azure.

O Azure Managed Lustre é personalizado para funcionar perfeitamente com o Armazenamento de Blobs do Azure. Você pode especificar um contêiner de blob existente para tornar seus dados existentes acessíveis do sistema de arquivos do Azure Managed Lustre ou especificar um contêiner vazio que você preenche com dados ou usa para armazenar sua saída. A configuração e a manutenção são feitas para você. Basta especificar qual contêiner de blob usar.

Se você integrar o Armazenamento de Blobs do Azure ao criar um sistema de arquivos Lustre, poderá usar os recursos do HSM Lustre. Se você não quiser os benefícios do HSM do Lustre, poderá importar e exportar dados para o sistema de arquivos Lustre Gerenciado do Azure usando diretamente os comandos do cliente.

Usar o Azure Managed Lustre com o Kubernetes

Se você quiser usar um sistema de armazenamento do Azure Managed Lustre com seus contêineres do Kubernetes, poderá usar o driver CSI (interface de suporte de contêiner) do Azure Lustre para Kubernetes, que é compatível com o AKS (Serviço de Kubernetes do Azure). No momento, não há suporte para outros tipos de instalação do Kubernetes.

O Kubernetes pode simplificar a configuração e a implantação de pontos de extremidade de cliente virtual para sua carga de trabalho do Azure Managed Lustre, automatizando tarefas de instalação, como:

  • Criando Conjuntos de Dimensionamento de Máquinas Virtuais do Azure usados pelo AKS (Serviço de Kubernetes do Azure) para executar os pods.
  • Carregando o software cliente Lustre correto em instâncias de VM.
  • Especificando o ponto de montagem do Azure Managed Lustre e propagando essas informações para os pods do cliente.

O driver CSI do Azure Lustre para Kubernetes pode automatizar a instalação do software cliente e a montagem de unidades. O driver fornece um plug-in do controlador CSI como uma implantação com duas réplicas por padrão e um plug-in de nó CSI, como um DaemonSet. É possível alterar o número de réplicas.

Para descobrir quais versões de driver usar, consulte Versões compatíveis do Kubernetes.

Próximas etapas