Compartilhar via


Metas de desempenho e escala do Migrador de Armazenamento do Azure

O desempenho de um serviço de migração de armazenamento é um aspecto fundamental para qualquer migração. Neste artigo, compartilhamos resultados de teste de desempenho, embora como o Azure Storage Mover é um novo serviço, sua experiência pode variar.

Destinos de escala

O Migrador de Armazenamento do Azure é testado com 100 milhões de itens de namespace (arquivos e pastas), migrados de uma origem com suporte para um destino com suporte no Azure.

Como testamos

O Migrador de Armazenamento do Azure é um serviço de nuvem híbrida. Os serviços híbridos têm um componente de serviço em nuvem e um componente de infraestrutura que o administrador do serviço executa no ambiente corporativo. Para o Migrador de Armazenamento, esse componente híbrido é um agente de migração. Os agentes são máquinas virtuais, executadas em um host próximo ao armazenamento de origem.

A diagram illustrating a migration's path by showing two arrows. The first arrow represents data traveling to a storage account from the source or agent and a second arrow represents only the management or control info to the storage mover resource or service.

Apenas o agente é uma parte relevante do serviço para teste de desempenho. Para omitir preocupações com privacidade e desempenho, os dados trafegam diretamente do agente do Migrador de Armazenamento para o armazenamento de destino no Azure. Somente mensagens de controle e telemetria são enviadas para o serviço de nuvem.

Linhas de base de desempenho

Esses resultados de teste são criados em condições ideais. Eles servem como uma linha de base dos componentes que o serviço e o agente do Migrador de Armazenamento podem influenciar diretamente. Neste teste, não foram consideradas as diferenças em dispositivos de origem, discos e conexões de rede. O desempenho no mundo real varia.

A migração da montagem SMB para os testes de compartilhamento de arquivos do Azure foi executada da seguinte maneira:

A tabela a seguir descreve as características dos ambientes de teste que produziram os resultados do teste de desempenho de uma montagem SMB em um compartilhamento de arquivos do Azure.

Teste nº. Não. de arquivos Peso total dos arquivos Tamanho do arquivo Estrutura de pastas
1 12 milhões 12 GB 1 KB cada 12 pastas, cada uma com 100 subpastas contendo 10.000 arquivos
2 30 20 GB 1 pasta
3 1 milhão 100 GB 100 KB cada 1.000 pastas, cada uma com 1.000 arquivos
4 1 4 TB
5 117 milhões 117 GB 1 KB cada 117 pastas, cada uma com 100 subpastas contendo 10.000 arquivos
6 1 1 TB
7 3,3 milhões 45 GB 13 KB cada 200.000 pastas, cada uma contém 16\17 arquivos
8 50 milhões 1 TB 20 KB cada 2.940.000 pastas, cada uma contém 17 arquivos
9 100 milhões 2 TB 20 KB cada 5.880.000 pastas, cada uma contém 17 arquivos

Diferentes configurações de recursos de agente são testadas em pontos de extremidade SMB:

  1. Minspec: 4 CPU / 8 GB de RAM 4 núcleos de CPU virtuais a 2,7 GHz cada e 8 GiB de memória (RAM ) é a especificação mínima para um agente do Azure Storage Movers.

    Teste nº. Tempo de execução Tempo de varredura
    6 16 min, 42 seg 1,2 seg
    7 55 min, 4 seg 1 min, 17 seg
    8
    9
  2. Bootspec: 8 CPU / 16 GiB RAM, 8 núcleos de CPU virtuais a 2,7 GHz cada e 16 GiB de memória (RAM ) é a especificação mínima para um agente do Azure Storage Movers.

    Resultados: Conta de armazenamento padrão

    Teste nº. Tempo de execução Tempo de varredura
    1 15 h, 59 min 2 h, 36 min, 34 seg
    2 1 min, 54 seg 3,34 seg
    3 1 h, 19 min, 27 seg 57,62 seg
    4 1 h, 5 min, 57 seg 2,89 seg

    Resultados: Conta de armazenamento padrão com arquivos grandes habilitados

    Teste nº. Tempo de execução Tempo de varredura
    1 3 h, 51 min, 31 seg 41 min e 45 seg
    5 25 horas, 47 min 23 horas, 35 min
    6 11 min, 11 seg 0,7 seg
    7 55 min, 10 seg 1 min, 3 seg
    8
    9

    Resultados: Conta de armazenamento Premium

    Teste nº. Tempo de execução Tempo de varredura
    1 2 h, 35 min, 14 seg 24 min, 46 seg
    5 23 horas, 34 minutos 21 h, 34 min

Examine os recursos de agente recomendados para o escopo de migração no artigo de implantação do agente.

Por que o desempenho da migração varia

Fundamentalmente, a qualidade da rede e a capacidade de processar os arquivos, as pastas e os metadados afetam a velocidade de migração.

Nas duas principais áreas de rede e computação, vários aspectos têm impacto:

  • Cenário de migração
    Copiar para um destino vazio é mais rápido em comparação com um destino com conteúdo. Esse comportamento é devido ao mecanismo de migração avaliar não apenas a origem, mas também o destino para tomar decisões de cópia.
  • Contagem de itens de namespace
    A migração de 1 GiB de arquivos pequenos leva mais tempo do que a migração de 1 GiB de arquivos maiores.
  • Forma de namespace
    Uma hierarquia de pastas ampla permite um processamento mais paralelo do que uma estrutura de diretório estreita ou profunda. A taxa de arquivo para pasta também reproduz um roll.
  • Rotatividade de namespace
    Quantos arquivos, pastas e metadados foram alterados entre duas execuções de cópia da mesma origem para o mesmo destino.
  • Rede
    • largura de banda e latência entre a origem e o agente de migração.
    • largura de banda e latência entre o agente de migração e o destino no Azure.
  • Recursos do agente de migração
    A quantidade de memória (RAM), o número de núcleos de computação e até mesmo a quantidade de capacidade de disco local disponível no agente de migração podem ter um impacto profundo na velocidade de migração. Mais recursos de computação ajudam a otimizar a utilização da largura de banda disponível, especialmente quando for necessário processar grandes quantidades de arquivos menores em uma migração.

Por exemplo, uma migração tradicional exige uma estratégia para minimizar o tempo de inatividade da carga de trabalho que depende do armazenamento a ser migrado. O Migrador de Armazenamento do Azure dá suporte a essa estratégia. É chamada de migração n-pass e convergente.

Nessa estratégia, você copia da origem para o destino várias vezes. Durante essas iterações de cópia, a origem permanecerá disponível para leitura e gravação na carga de trabalho. Pouco antes da iteração de cópia final, você fica com a origem offline. O esperado é que a cópia final conclua mais rápido do que a primeira cópia que você fez e demore aproximadamente o mesmo tempo que a imediatamente anterior. Após a cópia final, a carga de trabalho passará por failover para usar o novo armazenamento de destino no Azure e ficará disponível para uso novamente.

Durante a primeira cópia da origem para o destino, o destino provavelmente estará vazio e todo o conteúdo de origem deverá trafegar para o destino. Como resultado, a primeira cópia provavelmente será mais restrita pelos recursos de rede disponíveis.

No final de uma migração, quando você já copiou a origem para o destino várias vezes, apenas alguns arquivos, pastas e metadados foram alterados desde a última cópia. Nessa última iteração de cópia, comparar cada arquivo na origem e no destino para verificar se atualizações serão necessárias exigirá mais recursos de computação e menos recursos de rede. As execuções de cópia nesse estágio final de uma migração geralmente são mais restritas à computação. O recurso adequado do agente do Storage Mover torna-se cada vez mais importante.

Próximas etapas

Os artigos a seguir podem ajudar com uma implantação do Migrador de Armazenamento do Azure bem-sucedida.