Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Você pode copiar dados do sistema de arquivos Lustre Gerenciado do Azure para o armazenamento de longo prazo no Armazenamento de Blobs do Azure. Este artigo aborda dois métodos para exportar dados:
- Tarefa de exportação manual — Exporte dados sob demanda usando uma tarefa de exportação única.
- Exportação automática — sincroniza continuamente arquivos novos e alterados do seu sistema de arquivos para o Armazenamento de Blobs automaticamente.
Observação
As tarefas de exportação estão disponíveis somente quando você integra o Armazenamento de Blobs do Azure com o seu sistema de arquivos Lustre Gerenciado do Azure durante a criação do sistema de arquivos. Para obter mais informações, consulte a integração do Armazenamento de Blobs do Azure. Se você não integrou um contêiner de blob ao criar o sistema de arquivos, poderá usar comandos do sistema de arquivos cliente para copiar os dados sem criar um trabalho de exportação.
Limitations
As seguintes limitações se aplicam às operações de exportação:
- Somente uma ação de importação ou exportação pode ser executada por vez. Por exemplo, se um trabalho de exportação estiver em andamento e você tentar iniciar outro trabalho de exportação, receberá um erro.
- Os trabalhos de exportação copiam somente arquivos novos ou alterados. Se o arquivo que você importou do contêiner de blob durante a criação do sistema de arquivos não for alterado, o trabalho de exportação não exportará o arquivo.
- Os arquivos com alterações de metadados apenas não são exportados. As alterações de metadados incluem proprietário, permissões, atributos estendidos e alterações de nome (renomeação). Essa limitação se aplica à exportação manual e à exportação automática.
- Os arquivos que você exclui no sistema de arquivos Lustre Gerenciado do Azure não são excluídos no contêiner de blob original durante o trabalho de exportação. O trabalho de exportação não exclui arquivos no contêiner de blob.
- Os nomes de blob devem estar em conformidade com determinadas regras de nomenclatura. Nomes de blob aceitáveis diferem ligeiramente dos nomes de arquivo POSIX aceitáveis. O processo de exportação preserva caracteres especiais em nomes de arquivo, aplicando o escape de forma adequada ao exportar para blobs. No entanto, um nome de arquivo que viola uma regra de nomenclatura de blob (por exemplo, excedendo o tamanho máximo do nome do blob) resulta em um erro ao tentar exportar esse arquivo.
- Para exportação automática: alterações de metadados, como renomeações, atualizações de propriedade ou ajustes de permissão atualmente , não são sincronizadas.
- Para exportação automática: quando você exclui arquivos, diretórios ou links simbólicos no sistema de arquivos, eles não são removidos do contêiner Armazenamento de Blobs.
- O Armazenamento de Blobs do Azure não oferece suporte a links físicos. Cada link físico é exportado como um blob exclusivo. Se você importar esses blobs, eles se tornarão arquivos independentes.
Tarefa de exportação manual
Um trabalho de exportação manual copia arquivos novos ou alterados do sistema de arquivos para o contêiner de blob que você especificou ao criar o sistema de arquivos.
Criar um trabalho de exportação
Siga estas etapas para criar um trabalho de exportação no portal do Azure:
No portal do Azure, abra seu sistema de arquivos Lustre Gerenciado do Azure. Em Configurações, selecione Integração de Blobs.
Selecione + Criar novo trabalho.
No menu suspenso Tipo de Trabalho , selecione Exportar.
No campo Caminho do sistema de arquivos, insira uma cadeia de caracteres para especificar o que você deseja exportar.
O trabalho de exportação exporta todos os arquivos novos ou alterados no sistema de arquivos cujos nomes de arquivo começam com essa cadeia de caracteres. O trabalho grava arquivos no contêiner de blob com o mesmo caminho de arquivo (ou prefixo) que eles têm no sistema de arquivos Lustre. Para evitar substituir arquivos existentes no contêiner de blob, verifique se o caminho do arquivo em seu sistema de arquivos Lustre não se sobrepõe ao caminho existente do arquivo no contêiner de blob.
A captura de tela a seguir mostra as configurações de um trabalho de exportação no portal do Azure.
Monitorar ou cancelar um trabalho de exportação
Você pode monitorar ou cancelar trabalhos de exportação na seção Trabalhos recentes do painel Integração de Blob.
Apenas uma tarefa de arquivamento é executada por vez. Para cancelar o trabalho em andamento, selecione o link Cancelar para esse trabalho na tabela Trabalhos Recentes . O link Cancelar não está disponível para trabalhos concluídos.
Tentar novamente um trabalho de exportação
Se um trabalho de exportação não for concluído com êxito, você poderá repetir a exportação criando um novo trabalho de exportação. O novo trabalho copia apenas os arquivos que não foram copiados durante o trabalho anterior.
As novas tentativas podem ser comuns quando você tenta exportar dados de sistemas de arquivos ativos em que os dados são alterados com frequência. Para saber mais sobre esses cenários, consulte Executar trabalhos de exportação em sistemas de arquivos ativos.
Executar trabalhos de exportação em sistemas de arquivos ativos
Em sistemas de arquivos ativos, as alterações nos arquivos durante o trabalho de exportação podem causar falha no trabalho. Esse status de falha indica que nem todos os dados no sistema de arquivos foram exportados para Armazenamento de Blobs. Nessa situação, tente novamente a exportação criando um novo trabalho de exportação. O novo trabalho copia apenas os arquivos que não foram copiados no trabalho anterior.
Em sistemas de arquivos com muita atividade, as tentativas podem falhar várias vezes porque os arquivos são alterados com frequência. Para verificar se um arquivo foi exportado com êxito para o Armazenamento de Blobs, verifique o carimbo de data/hora no blob correspondente. Após a conclusão do trabalho, você também pode exibir o contêiner de log configurado no momento da implantação para ver informações detalhadas sobre o trabalho de exportação. O contêiner de registro fornece informações de diagnóstico sobre quais arquivos falharam e por que falharam.
Se você estiver se preparando para desativar um cluster e quiser realizar uma exportação final para o Armazenamento de Blobs, certifique-se de que todas as atividades de E/S sejam interrompidas antes de iniciar a tarefa de exportação. Essa abordagem ajuda a garantir que todos os dados sejam exportados, pois evita erros devido à atividade do sistema de arquivos.
Saiba mais sobre metadados para arquivos exportados
Quando você exporta arquivos do sistema de arquivos Lustre Gerenciado do Azure para o contêiner de blob, o trabalho de exportação salva metadados extras para simplificar o reimportamento do conteúdo para um sistema de arquivos.
A tabela a seguir lista atributos POSIX do sistema de arquivos Lustre que o trabalho de exportação salva nos metadados de blob como pares chave/valor:
| Atributo POSIX | Tipo |
|---|---|
owner |
int |
group |
int |
permissions |
octal ou formato rwxrwxrwx; o bit pegajoso é suportado |
A tarefa de exportação salva atributos de diretório em um blob vazio. Esse blob tem o mesmo nome do caminho do diretório e contém o seguinte par chave/valor nos metadados do blob: hdi_isfolder : true.
Você pode modificar os atributos POSIX manualmente antes de usar o contêiner para hidratar um novo cluster Lustre. Edite ou adicione metadados de blob usando os pares chave/valor descritos anteriormente.
Copiar um contêiner de blob do Lustre com o azcopy ou o Gerenciador de Armazenamento
Você pode mover ou copiar o contêiner de blob que o sistema de arquivos Lustre usa usando azcopy ou o Gerenciador de Armazenamento.
Para azcopy, você pode incluir atributos de diretório adicionando o seguinte sinalizador:
--include-directory-stub
Quando você inclui esse sinalizador, os atributos POSIX do diretório são preservados durante uma transferência (por exemplo, ownere grouppermissions). Se você usar azcopy no contêiner de armazenamento sem esse sinalizador ou com o sinalizador definido como false, a transferência incluirá os dados e os diretórios. No entanto, os diretórios não retêm seus atributos POSIX.
No Gerenciador de Armazenamento, você pode habilitar esse sinalizador em Configurações selecionando Transferências e selecionando a caixa para Incluir Stubs de Diretório.
Exportação automática
O recurso de autoexportação para o Lustre Gerenciado do Azure é uma funcionalidade que sincroniza automaticamente as alterações no seu sistema de arquivos Lustre Gerenciado do Azure com um contêiner ligado no Armazenamento de Blobs do Azure.
Usando esse recurso, você pode ajudar a garantir que arquivos novos e modificados no sistema de arquivos sejam refletidos no contêiner de Armazenamento de Blobs associado sem intervenção manual. Esse recurso simplifica o gerenciamento de dados e melhora a sincronização para o armazenamento de longo prazo.
Funcionalidade de exportação automática
A exportação automática funciona por monitorar continuamente as alterações no sistema de arquivos Lustre Gerenciado do Azure. Com base na política de exportação configurada, ela atualiza o conteúdo do contêiner de Armazenamento de Blobs associado para refletir essas alterações. Esse recurso fornece um processo contínuo e automatizado para replicar dados.
Veja como a exportação automática lida com diferentes tipos de alterações:
- Nova criação de arquivo, novo diretório e alterações de conteúdo de arquivo: o processo de integração de blob identifica novos arquivos, diretórios e dados que foram alterados. Ele inicia um trabalho de exportação automaticamente. A exportação automática garante que a versão mais recente do arquivo seja transferida para o Armazenamento de Blobs.
A exportação automática funciona por meio de iterações contínuas de exportação. Quando uma iteração é concluída, o processo de integração de blob verifica o sistema de arquivos em busca de novos arquivos, diretórios ou alterações de conteúdo. Ele inicia uma nova iteração de um trabalho de exportação.
Logs de trabalhos de exportação em seu contêiner de log configurado podem ajudá-lo a identificar problemas de sincronização e entender por que as operações falham.
Configurar a exportação automática
Habilite a exportação automática em um sistema de arquivos Lustre Gerenciado do Azure existente que tenha um contêiner de Armazenamento de Blobs associado configurado. Você pode configurar a exportação automática usando as configurações de integração de Blobs no portal do Azure.
Para criar um novo trabalho de exportação automática, siga estas etapas:
No portal do Azure, abra seu sistema de arquivos Lustre Gerenciado do Azure. Em Configurações, selecione Integração de Blobs.
Selecione + Criar novo trabalho.
Na lista suspensa Tipo de Tarefa, selecione Exportação Automática.
No campo Caminho do sistema de arquivos, especifique um caminho de diretório inserindo uma cadeia de caracteres.
O sistema exporta continuamente todos os arquivos novos ou alterados no sistema de arquivos nesse caminho (prefixo). O sistema grava arquivos no contêiner de blob com o mesmo caminho de arquivo (ou prefixo) que eles têm no sistema de arquivos Lustre. A única exceção é se o arquivo Lustre foi importado desse caminho no contêiner de blob.
Monitorar e gerenciar a exportação automática
Use o portal Azure para monitorar atividades de exportação automática e gerenciar configurações.
O painel de integração de Blobs exibe detalhes das atividades de exportação na seção Trabalhos recentes , incluindo o status de trabalhos e métricas recentes relacionados à sincronização automática.
Para cancelar um trabalho em processo, selecione o link Cancelar para esse trabalho na tabela Trabalhos Recentes . O link Cancelar está disponível apenas para o trabalho atual.
Para exibir as métricas de um trabalho de exportação automática, selecione o valor nome do trabalho. O painel Métricas aparece no painel lateral no portal.
Métricas de exportação automática
No portal, as métricas são agrupadas em duas categorias principais: IteraçãoGeral e Atual.
Estatísticas gerais
Estatísticas após habilitar a exportação automática
Total de arquivos exportados
Contagem de arquivos copiados com êxito para o contêiner de blob associado depois de habilitar a exportação automática.
Total de MiB Exportados
Tamanho do arquivo agregado (em MiB) copiado com êxito para o contêiner de blob associado depois de habilitar a exportação automática.
Iterações concluídas
Contagem de vezes que o processo de integração de blob identificou dados novos ou alterados e iniciou um novo trabalho de exportação.
Última iteração bem-sucedida
O carimbo de data/hora de término da última iteração que exportou com êxito todos os dados para o contêiner de blobs associado.
Estatísticas de iteração atuais
Estatísticas sobre a atividade atual
Arquivos descobertos
Contagem de arquivos que o trabalho de exportação está exportando no momento, incluindo arquivos já copiados com êxito para o contêiner de blob associado nesta iteração.*
MiB descoberto
Tamanho do arquivo agregado no MiB que o trabalho de exportação está exportando no momento, incluindo arquivos já copiados com êxito para o contêiner de blob associado nesta iteração.*
Arquivos exportados
Contagem de arquivos novos e alterados copiados com êxito para o contêiner de blob associado.
MiB Exportados
O tamanho agregado em MiB de dados novos e alterados copiados com êxito para o contêiner de blob associado.
Falha nos arquivos
Número total de arquivos que não foram copiados durante a iteração atual. Selecione este link para acessar a página Contêiner de Log e visualizar os logs associados a este trabalho de exportação automática.
* As métricas para a iteração atual em andamento representam até o momento. Por exemplo, Arquivos Descobertos é o número de arquivos descobertos para exportação no momento do relatório. O próximo ciclo de relatórios pode mostrar que mais arquivos são descobertos.
Considerações e práticas recomendadas para exportação automática
Ao usar o recurso de exportação automática, considere as seguintes práticas recomendadas para garantir uma operação suave:
- Gerenciamento de conflitos: se um arquivo for modificado no sistema de arquivos e no Armazenamento de Blobs, haverá um risco de substituição. Use a coordenação no nível do aplicativo para evitar edições conflitantes.
- Desabilitar a exportação automática antes da exclusão: antes de excluir um sistema de arquivos ou seu processo de integração de blobs, verifique se todas as atualizações enfileiradas estão sincronizadas. Verifique se a hora da última iteração bem-sucedida é recente e se a métrica arquivos com falha é zero para evitar a perda de dados. Em seguida, desabilite a exportação automática.