Partilhar via

Armazenamento para HPC no setor financeiro

  • Artigo

Este artigo fornece recomendações para a implementação de armazenamento em ambientes HPC para o setor financeiro. As cargas de trabalho HPC em grande escala em ambientes financeiros criam exigências de armazenamento e acesso a dados que excedem as capacidades dos sistemas de ficheiros na nuvem tradicionais.

Considerações de design

Para decidir qual solução de armazenamento usar, você precisa levar em conta os seguintes requisitos de aplicativo.

  • Latência
  • IOPS
  • Débito
  • Tamanhos e número de ficheiros
  • Tempo de execução do trabalho
  • Custos associados
  • Afinidade para local de armazenamento: local versus Azure

Recomendações de design

  • Use o Armazenamento de Blob do Azure Standard ou Premium para armazenamento de alta taxa de transferência e baixa latência. Oferece os seguintes benefícios:

    • Ele fornece acesso em escala de exabytes, alta taxa de transferência, baixa latência quando necessário, um sistema de arquivos familiar e acesso multiprotocolo (REST, HDFS, NFS).
    • É rentável.
    • Você pode montar o Armazenamento de Blob como um sistema de arquivos usando o BlobFuse. Isso facilita a montagem de vários nós no mesmo contêiner para cenários somente leitura.
    • Ele suporta NFS 3.0 no ponto de extremidade do serviço de blob para cargas de trabalho de alta taxa de transferência e leitura pesada.
    • Você pode otimizar os custos movendo os dados para níveis mais frios por meio da capacidade de executar o gerenciamento do ciclo de vida com hierarquização inteligente do último tempo de atualização/acesso, com políticas personalizáveis.

  • Use os Arquivos NetApp do Azure para aplicativos ReadWriteMany (exclusivos) ou write-once, read-once. Proporciona os seguintes benefícios:

    • Uma ampla escolha de protocolos de arquivo (NFSv3, NFSv4.1, SMB3).
    • Desempenho comparável ao desempenho local, com vários níveis (Ultra, Premium, Standard).
    • Implanta em minutos e oferece uma ampla gama de níveis e flexibilidade.
    • Tipos flexíveis de pool de capacidade e desempenho, em que a QoS por volume é atribuída automaticamente com base na camada do pool e na cota de volume.

A tabela a seguir fornece uma comparação de Armazenamento de Blob, Arquivos do Azure, Azure Managed Lustre e Arquivos NetApp do Azure.

Armazenamento de Blobs Ficheiros do Azure Azure Managed Lustre Azure NetApp Files
Casos de utilização Ideal para cargas de trabalho de acesso sequencial de leitura pesada em grande escala, onde os dados são ingeridos uma vez e minimamente modificados.

Baixo custo total de propriedade, se houver manutenção leve.		 Um serviço altamente disponível que é mais adequado para cargas de trabalho de acesso aleatório.

Para compartilhamentos NFS, o Azure Files fornece suporte completo ao sistema de arquivos POSIX. O driver CSI interno permite que você o use facilmente de plataformas de contêiner, como Instâncias de Contêiner do Azure e Serviço Kubernetes do Azure (AKS), além de plataformas baseadas em VM.		 O Azure Managed Lustre é um sistema de ficheiros paralelo totalmente gerido mais adequado para cargas de trabalho HPC de média a grande dimensão.

Permite aplicativos HPC na nuvem sem interromper a compatibilidade de aplicativos, fornecendo funcionalidade, comportamentos e desempenho familiares do sistema de arquivos paralelo Lustre, garantindo investimentos em aplicativos de longo prazo.		 Um serviço de arquivos totalmente gerenciado na nuvem, alimentado pela NetApp, com recursos avançados de gerenciamento.

Os Arquivos NetApp do Azure são adequados para cargas de trabalho que exigem acesso aleatório. Ele fornece amplo suporte a protocolos e melhor proteção de dados.
Protocolos disponíveis NFS 3,0

DESCANSO

Azure Data Lake Storage		 PME

NFS 4,1

(Não há interoperabilidade entre nenhum dos protocolos.)		 Brilho NFS 3.0 e 4.1

PME


Principais Funcionalidades     Integrado com o Cache HPC do Azure para cargas de trabalho de baixa latência.

Gerenciamento integrado, incluindo gerenciamento do ciclo de vida, blobs imutáveis, failover de dados e índice de metadados.		 Zonalmente redundante para alta disponibilidade.

Latência consistente de milissegundos de um dígito.

Desempenho e custo previsíveis que se adaptam à capacidade.		 Alta capacidade de armazenamento de até 2,5 PB.

Baixa latência (~2ms).

Gire novos clusters em minutos.

Suporta cargas de trabalho em contêineres com AKS.		 Latência extremamente baixa (tão baixa quanto submilissegundos).

Rico recurso de gerenciamento NetApp ONTAP, como o SnapMirror Cloud.

Experiência consistente de nuvem híbrida.
Desempenho (por volume) Até 20.000 IOPS. Até 100 GiB/s de taxa de transferência. Até 100.000 IOPS. Até 80 GiB/s de taxa de transferência. Até 100.000 IOPS, até 500 GiB/s de taxa de transferência. Até 460.000 IOPS. Até 36 GiB/s de taxa de transferência.
Escala Tanto quanto 2 PiB para um único volume.

Tanto quanto ~ 4,75 TiB para um único arquivo.

Sem requisitos mínimos de capacidade.		 Até 100 TiB para um único volume.

Até 4 TiB para um único ficheiro.

Capacidade mínima de 100 GiB.		 Tanto quanto 2,5 PiB para um único volume.

Tanto quanto 32 PB para um único arquivo.

Capacidade mínima de 4 TiB.		 Até 100 TiB para um único volume.

Tanto quanto 16 TiB para um único arquivo.

Experiência consistente de nuvem híbrida.
Preços Preços do Armazenamento de Blobs do Azure Preços dos Arquivos do Azure Preços do Azure Managed Lustre Preços dos Arquivos NetApp do Azure

Próximos passos

Os artigos a seguir fornecem orientações que você pode considerar úteis em vários pontos durante o processo de adoção da nuvem. Eles podem ajudá-lo a ter sucesso em seu cenário de adoção de nuvem para HPC no setor financeiro.