Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
Pode copiar dados do seu sistema de ficheiros Azure Managed Lustre para armazenamento a longo prazo no Armazenamento de Blobs do Azure. Este artigo aborda dois métodos para exportar dados:
- Tarefa de exportação manual — Exportar dados a pedido usando uma tarefa de exportação única.
- Auto-exportação — Sincronize continuamente os ficheiros novos e alterados do seu sistema de ficheiros para o Armazenamento de Blobs automaticamente.
Note
As tarefas de exportação só estão disponíveis quando integra o Armazenamento de Blobs do Azure com o sistema de ficheiros Azure Managed Lustre durante a criação do sistema de ficheiros. Para mais informações, consulte integração com Armazenamento de Blobs do Azure. Se não integraste um contentor de blob quando criaste o sistema de ficheiros, podes usar comandos do sistema de ficheiros cliente para copiar os dados sem criar um trabalho de exportação.
Limitations
As seguintes limitações aplicam-se às operações de exportação:
- Apenas uma ação de importação ou exportação pode ser executada de cada vez. Por exemplo, se um trabalho de exportação estiver em curso e tentar iniciar outro trabalho de exportação, recebe um erro.
- Os trabalhos de exportação só copiam ficheiros que sejam novos ou alterados. Se o arquivo importado do contêiner de blob durante a criação do sistema de arquivos não for alterado, o trabalho de exportação não exportará o arquivo.
- Os ficheiros apenas com alterações de metadados não são exportados. As alterações de metadados incluem propriedade, permissões, atributos estendidos e alterações de nome (renomeado). Esta limitação aplica-se tanto à exportação manual como à exportação automática.
- Os ficheiros que elimina no sistema de ficheiros Azure Managed Lustre não são eliminados no contentor original do blob durante o trabalho de exportação. A tarefa de exportação não elimina ficheiros no contentor de blobs.
- Os nomes dos blobs devem cumprir certas regras de nomeação. Os nomes de blob aceitáveis diferem ligeiramente dos nomes aceitáveis de ficheiros POSIX. O processo de exportação preserva caracteres especiais em nomes de ficheiro, realizando o escape deles corretamente ao exportar para blobs. No entanto, um nome de ficheiro que viole uma regra de nomeação de blobs (por exemplo, exceder o comprimento máximo do nome do blob) resulta num erro quando tenta exportar esse ficheiro.
- Para exportação automática: Alterações de metadados como renomeações, atualizações de propriedade ou ajustes de permissões não estão atualmente sincronizadas.
- Para auto-exportação: Quando elimina ficheiros, diretórios ou ligações simbólicas no sistema de ficheiros, eles não são removidos do contentor Armazenamento de Blobs.
- O Armazenamento de Blobs do Azure não suporta ligações físicas. Cada ligação física é exportada como um blob único. Se importares esses blobs, eles tornam-se ficheiros independentes.
Tarefa de exportação manual
Um trabalho de exportação manual copia ficheiros novos ou alterados do sistema de ficheiros para o contentor de blob que especificou quando criou o sistema de ficheiros.
Criar um emprego de exportação
Siga estes passos para criar um trabalho de exportação no portal Azure:
No portal Azure, abra o seu sistema de ficheiros Azure Managed Lustre. Em Definições, selecione integração com Blob.
Selecione + Criar novo trabalho.
No menu suspenso Tipo de Trabalho, selecione Exportar.
No campo do caminho do sistema de ficheiros , introduza uma string para especificar o que quer exportar.
O trabalho de exportação exporta todos os ficheiros novos ou alterados no sistema de ficheiros cujos nomes de ficheiros começam com esta cadeia. O trabalho escreve ficheiros no contentor de blob com o mesmo caminho de ficheiro (ou prefixo) que os ficheiros têm no sistema de ficheiros Lustre. Para evitar sobrescrever ficheiros existentes no contentor de blobs, certifique-se de que o caminho do ficheiro no seu sistema de ficheiros Lustre não se sobrepõe ao caminho existente do ficheiro no contentor de blobs.
A captura de ecrã seguinte mostra as definições de configuração para um trabalho de exportação no portal Azure.
Monitorizar ou cancelar um trabalho de exportação
Pode monitorizar ou cancelar trabalhos de exportação na secção de Empregos Recentes do painel de integração do Blob .
Apenas um trabalho de arquivo é executado de cada vez. Para cancelar o trabalho em andamento, selecione o link Cancelar para esse trabalho na tabela Trabalhos recentes . O link Cancelar não está disponível para trabalhos concluídos.
Repetir um trabalho de exportação
Se um trabalho de exportação não for concluído com sucesso, podes tentar novamente criar um novo trabalho de exportação. O novo trabalho copia apenas os ficheiros que não foram copiados durante o trabalho anterior.
Tentativas repetidas podem ser comuns ao tentar exportar dados de sistemas de ficheiros ativos onde os dados frequentemente mudam. Para saber mais sobre estes cenários, consulte Executar trabalhos de exportação em sistemas de ficheiros ativos.
Executar trabalhos de exportação em sistemas de ficheiros ativos
Em sistemas de ficheiros ativos, alterações nos ficheiros durante o trabalho de exportação podem causar a falha do trabalho. Este estado de falha indica que nem todos os dados do sistema de ficheiros foram exportados para o Armazenamento de Blobs. Nesta situação, tente novamente a exportação criando uma nova tarefa de exportação. O novo trabalho copia apenas os arquivos que não foram copiados no trabalho anterior.
Em sistemas de arquivos com muita atividade, as novas tentativas podem falhar várias vezes porque os arquivos são alterados com frequência. Para verificar se um ficheiro foi exportado com sucesso para o Armazenamento de Blobs, verifique o carimbo temporal do blob correspondente. Depois do trabalho terminar, pode também visualizar o contentor de registo que configurou no momento da implantação para obter informações detalhadas sobre o trabalho de exportação. O contêiner de log fornece informações de diagnóstico sobre quais arquivos falharam e por que eles falharam.
Se estiver a preparar-se para desativar um cluster e quiser realizar uma exportação final para o Armazenamento de Blobs, certifique-se de que todas as atividades de I/O estão interrompidas antes de iniciar o trabalho de exportação. Esta abordagem ajuda a garantir que todos os dados são exportados, pois evita erros devido à atividade do sistema de ficheiros.
Aprenda sobre metadados para ficheiros exportados
Quando exportas ficheiros do sistema de ficheiros Azure Managed Lustre para o contentor de blobs, o trabalho de exportação guarda metadados extra para simplificar a reimportação do conteúdo para um sistema de ficheiros.
A tabela seguinte lista os atributos POSIX do sistema de ficheiros Lustre que o trabalho de exportação guarda nos metadados do blob como pares chave/valor:
| Atributo POSIX | Tipo |
|---|---|
owner |
int |
group |
int |
permissions |
octal ou rwxrwxrwx format; suporta-se bit fixo |
O trabalho de exportação guarda os atributos do diretório num blob vazio. Este blob tem o mesmo nome do caminho do diretório e contém o seguinte par chave/valor nos metadados do blob: hdi_isfolder : true.
Você pode modificar os atributos POSIX manualmente antes de usar o contêiner para hidratar um novo cluster Lustre. Edite ou adicione metadados de blob usando os pares chave/valor descritos anteriormente.
Copiar um contentor de blobs do Lustre com AzCopy ou Explorador de Armazenamento
Podes mover ou copiar o contentor de blob que o sistema de ficheiros Lustre usa usando azcopy o Explorador de Armazenamento.
Para azcopy, pode incluir atributos de diretório adicionando a seguinte bandeira:
--include-directory-stub
Quando se inclui esta flag, os atributos POSIX do diretório são preservados durante uma transferência (por exemplo, owner, group, e permissions). Se usar azcopy no contentor de armazenamento sem esta bandeira, ou com a flag definida para false, a transferência inclui os dados e diretórios. No entanto, os diretórios não mantêm os seus atributos POSIX.
No Explorador de Armazenamento, pode ativar esta bandeira nas Definições selecionando Transferências e selecionando a caixa Incluir Esboços de Diretório.
Exportação automática
A funcionalidade de auto-exportação do Azure Managed Lustre é uma funcionalidade que sincroniza automaticamente as alterações no seu sistema de ficheiros Azure Managed Lustre com um contentor Armazenamento de Blobs do Azure ligado.
Ao utilizar esta funcionalidade, pode ajudar a garantir que ficheiros novos e modificados no sistema de ficheiros sejam refletidos no contentor Armazenamento de Blobs associado sem intervenção manual. Esta funcionalidade simplifica a gestão de dados e melhora a sincronização para armazenamento a longo prazo.
Funcionalidade de auto-exportação
A autoexportação funciona monitorizando continuamente as alterações no sistema de ficheiros Azure Managed Lustre. Com base na política de exportação que configura, atualiza o conteúdo do contentor Armazenamento de Blobs associado para refletir estas alterações. Esta funcionalidade proporciona um processo fluido e automatizado para replicar dados.
Veja como a exportação automática lida com diferentes tipos de alterações:
- Criação de novos ficheiros, novo diretório e alterações ao conteúdo dos ficheiros: O processo de integração do blob identifica novos ficheiros, diretórios e dados que mudaram. Inicia automaticamente um trabalho de exportação. A auto-exportação garante que a versão mais recente do ficheiro é transferida para o Armazenamento de Blobs.
A exportação automática funciona através de iterações contínuas de exportação. Quando uma iteração termina, o processo de integração do blob analisa o sistema de ficheiros à procura de novos ficheiros, diretórios ou alterações de conteúdo. Inicia uma nova iteração de um trabalho de exportação.
Exportar registos de tarefas no seu contentor de registo configurado pode ajudá-lo a identificar problemas de sincronização e a compreender porque é que as operações falham.
Configurar exportação automática
Ative a auto-exportação num sistema de ficheiros Azure Managed Lustre existente que tenha um contentor Armazenamento de Blobs associado configurado. Pode configurar a auto-exportação usando as definições de integração do Blob no portal Azure.
Para criar um novo trabalho de auto-exportação, siga estes passos:
No portal Azure, abra o seu sistema de ficheiros Azure Managed Lustre. Em Definições, selecione integração com Blob.
Selecione + Criar novo trabalho.
Na lista suspensa Tipo de trabalho , selecione Exportação automática.
No campo do caminho do sistema de ficheiros , especifique um caminho de diretório introduzindo uma cadeia.
O sistema exporta continuamente todos os ficheiros novos ou alterados no sistema de ficheiros sob este caminho (prefixo). O sistema escreve ficheiros no contentor blob com o mesmo caminho de ficheiro (ou prefixo) que têm no sistema de ficheiros Lustre. A única exceção é se o teu ficheiro Lustre foi importado desse caminho no contentor de blobs.
Monitorizar e gerir a exportação automática
Utilize o portal do Azure para monitorizar as atividades de exportação automática e gerir configurações.
O painel de integração do Blob apresenta detalhes das atividades de exportação na secção de Empregos Recentes , incluindo o estado dos empregos recentes e métricas relacionadas com sincronização automática.
Para cancelar um trabalho em andamento, selecione o link Cancelar desse trabalho na tabela de Trabalhos Recentes . O link de Cancelar está disponível apenas para o trabalho atual.
Para visualizar as métricas de um trabalho de auto-exportação, selecione o valor Nome do trabalho. O painel de Métricas aparece no painel lateral do portal.
Métricas de exportação automática
No portal, as métricas estão agrupadas em duas categorias principais: Geral e Iteração Atual.
Estatísticas gerais
Estatísticas após ativar a Auto-Exportação
Total de ficheiros exportados
Contagem de ficheiros copiados com sucesso para o contentor de blob associado após ativar a auto-exportação.
MiB Total Exportado
O tamanho agregado do ficheiro (em MiB) foi copiado com sucesso para o contentor de blob associado após ativar a auto-exportação.
Iterações Concluídas
Contagem de vezes em que o processo de integração do blob identificou dados novos ou alterados e iniciou um novo trabalho de exportação.
Última Iteração Bem-Sucedida
O carimbo temporal de fim da última iteração que exportou com sucesso todos os dados para o contentor de blobs associado.
Estatísticas de iteração atuais
Estatísticas sobre a atividade atual
Ficheiros Descobertos
Contagem de ficheiros que o trabalho de exportação está atualmente a exportar, incluindo ficheiros já copiados com sucesso para o contentor de blob associado nesta iteração.*
MiB Descobertos
Tamanho agregado dos ficheiros em MiB que o trabalho de exportação está atualmente a exportar, incluindo ficheiros já copiados com sucesso para o contentor de blob associado nesta iteração.*
Ficheiros Exportados
Contagem de ficheiros novos e alterados copiados com sucesso para o contentor de blob associado.
MiB Exportados
O tamanho total agregado dos ficheiros em MiB de dados novos e alterados copiados com sucesso para o contentor de blobs associado.
Ficheiros Falhados
Número total de arquivos que não conseguiram copiar durante a iteração atual. Selecione este link para aceder à página Contentor de Logging e visualizar os registos associados a este trabalho de autoexportação.
* As métricas para a iteração atual representam até agora. Por exemplo, Ficheiros Descobertos é o número de ficheiros descobertos para exportação no momento do relatório. O próximo ciclo de reporte pode mostrar que mais ficheiros são descobertos.
Considerações e melhores práticas para a exportação automática
Ao utilizar a funcionalidade de auto-exportação, considere as seguintes boas práticas para garantir um funcionamento fluido:
- Gestão de conflitos: Se um ficheiro for modificado tanto no sistema de ficheiros como no Armazenamento de Blobs, existe o risco de sobrescrever. Use a coordenação no nível do aplicativo para evitar edições conflitantes.
- Desative a exportação automática antes da eliminação: Antes de eliminar um sistema de ficheiros ou o seu processo de integração de blobs, certifique-se de que todas as atualizações em fila estão sincronizadas. Verifique se o Tempo da Última Iteração Bem Sucedida é recente e se a métrica Arquivos com Falha é zero para evitar a perda de dados. Depois, desative a exportação automática.