Metas de escala e desempenho do Azure Storage Mover
O desempenho de um serviço de migração de armazenamento é um aspeto fundamental para qualquer migração. Neste artigo, compartilhamos os resultados do teste de desempenho, porém, como o Azure Storage Mover é um serviço novo, sua experiência pode variar.
Metas de escala
O Azure Storage Mover é testado com 100 milhões de itens de namespace (arquivos e pastas), migrados de uma origem com suporte para um destino com suporte no Azure.
Como testamos
O Azure Storage Mover é um serviço de nuvem híbrida. Os serviços híbridos têm um componente de serviço de nuvem e um componente de infraestrutura que o administrador do serviço executa em seu ambiente corporativo. Para o Storage Mover, esse componente híbrido é um agente de migração. Os agentes são máquinas virtuais, executadas em um host próximo ao armazenamento de origem.
Apenas o agente é uma parte relevante do serviço para testes de desempenho. Para omitir preocupações de privacidade e desempenho, os dados viajam diretamente do agente do Storage Mover para o armazenamento de destino no Azure. Apenas mensagens de controle e telemetria são enviadas para o serviço de nuvem.
Linhas de base de desempenho
Estes resultados de teste são criados em condições ideais. Eles são destinados como uma linha de base dos componentes que o serviço e o agente do Storage Mover podem influenciar diretamente. As diferenças nos dispositivos de origem, discos e conexões de rede não são consideradas neste teste. O desempenho no mundo real varia.
A migração da montagem SMB para os testes de compartilhamento de arquivos do Azure foi executada da seguinte maneira:
A tabela a seguir descreve as características dos ambientes de teste que produziram os resultados do teste de desempenho de uma montagem SMB para um compartilhamento de arquivos do Azure.
| Teste nº. | Não Número de ficheiros | Peso total dos ficheiros | Tamanho do ficheiro | Estrutura de pastas |
|---|---|---|---|---|
| 1 | 12 milhões | 12 GB | 1 KB cada | 12 pastas, cada uma com 100 subpastas contendo 10.000 arquivos |
| 2 | 30 | 20 GB | 1 pasta | |
| 3 | 1 milhão | 100 GB | 100 KB cada | 1.000 pastas, cada uma com 1.000 arquivos |
| 4 | 1 | 4 TB | ||
| 5 | 117 milhões | 117 GB | 1 KB cada | 117 pastas, cada uma com 100 subpastas contendo 10.000 arquivos |
| 6 | 1 | 1 TB | ||
| 7 | 3,3 milhões | 45 GB | 13 KB cada | 200.000 pastas, cada uma contém 16\17 arquivos |
| 8 | 50 milhões | 1 TB | 20 KB cada | 2.940.000 pastas, cada uma contém 17 arquivos |
| 9 | 100 milhões | 2 TB | 20 KB cada | 5.880.000 pastas, cada uma contém 17 arquivos |
Diferentes configurações de recursos do agente são testadas em pontos de extremidade SMB:
Minspec: 4 CPU / 8 GB RAM 4 núcleos de CPU virtual a 2,7 GHz cada e 8 GiB de memória (RAM ) é a especificação mínima para um agente do Azure Storage Mover.
Teste nº. Tempo de execução Tempo de digitalização 6 16 min, 42 seg 1,2 seg 7 55 min, 4 seg 1 min, 17 seg 8 9 Bootspec: 8 CPU / 16 GiB RAM 8 núcleos de CPU virtual a 2,7 GHz cada e 16 GiB de memória (RAM ) é a especificação mínima para um agente do Azure Storage Mover.
Resultados: Conta de armazenamento padrão
Teste nº. Tempo de execução Tempo de digitalização 1 15 h, 59 min 2 h, 36 min, 34 seg 2 1 min, 54 seg 3,34 seg 3 1 h, 19 min, 27 seg 57,62 seg 4 1 h, 5 min, 57 seg 2,89 seg Resultados: Conta de armazenamento padrão com arquivos grandes habilitados
Teste nº. Tempo de execução Tempo de digitalização 1 3 h, 51 min, 31 seg 41 min e 45 seg 5 25 h, 47 min 23 h, 35 min 6 11 min, 11 seg 0,7 seg 7 55 min, 10 seg 1 min, 3 seg 8 9 Resultados: Conta de armazenamento Premium
Teste nº. Tempo de execução Tempo de digitalização 1 2 h, 35 min, 14 seg 24 min, 46 seg 5 23 h, 34 min 21 h, 34 min
Analise os recursos recomendados do agente para seu escopo de migração no artigo de implantação do agente.
Por que o desempenho da migração varia
Fundamentalmente, a qualidade da rede e a capacidade de processar arquivos, pastas e seus metadados afetam sua velocidade de migração.
Nas duas áreas principais de rede e computação, vários aspetos têm impacto:
- Cenário de migração
Copiar para um destino vazio é mais rápido em comparação com um destino com conteúdo. Esse comportamento é devido ao mecanismo de migração avaliar não apenas a origem, mas também o destino para tomar decisões de cópia. - Contagem de itens de namespace
Migrar 1 GiB de arquivos pequenos leva mais tempo do que migrar 1 GiB de arquivos maiores. - Forma de namespace
Uma hierarquia de pastas ampla presta-se a mais processamento paralelo do que uma estrutura de diretórios estreita ou profunda. A relação arquivo/pasta também reproduz um rolo. - Rotatividade de namespace
Quantos arquivos, pastas e metadados foram alterados entre duas execuções de cópia da mesma origem para o mesmo destino. - Rede
- largura de banda e latência entre a origem e o agente de migração
- largura de banda e latência entre o agente de migração e o destino no Azure
- Recursos do agente de migração
A quantidade de memória (RAM), o número de núcleos de computação e até mesmo a quantidade de capacidade de disco local disponível no agente de migração podem ter um impacto profundo na velocidade de migração. Mais recursos de computação ajudam a otimizar a utilização da largura de banda disponível, especialmente quando grandes quantidades de arquivos menores precisam ser processados em uma migração.
Por exemplo, uma migração tradicional requer uma estratégia para minimizar o tempo de inatividade da carga de trabalho que depende do armazenamento a ser migrado. O Azure Storage Mover dá suporte a essa estratégia. É a chamada migração convergente, n-pass.
Nessa estratégia, você copia da origem para o destino várias vezes. Durante essas iterações de cópia, a fonte permanece disponível para leitura e gravação na carga de trabalho. Pouco antes da iteração de cópia final, você coloca a fonte offline. Espera-se que a cópia final termine mais rápido do que a primeira cópia que você já fez e demore tanto quanto a imediatamente anterior. Após a cópia final, é feito failover da carga de trabalho para usar o novo armazenamento de destino no Azure e disponível para uso novamente.
Durante a primeira cópia da origem para o destino, o destino provavelmente está vazio e todo o conteúdo de origem deve viajar para o destino. Como resultado, a primeira cópia é provavelmente mais limitada pelos recursos de rede disponíveis.
No final de uma migração, quando você já copiou a origem para o destino várias vezes, apenas alguns arquivos, pastas e metadados foram alterados desde a última cópia. Nesta última iteração de cópia, comparar cada arquivo na origem e no destino para ver se ele precisa ser atualizado, requer mais recursos de computação e menos recursos de rede. As execuções de cópia neste estágio final de uma migração geralmente são mais restritas à computação. Os recursos adequados do agente do Storage Mover tornam-se cada vez mais importantes.
Próximos passos
Os artigos a seguir podem ajudar com uma implantação bem-sucedida do Azure Storage Mover.
Comentários
Brevemente: Ao longo de 2024, vamos descontinuar progressivamente o GitHub Issues como mecanismo de feedback para conteúdos e substituí-lo por um novo sistema de feedback. Para obter mais informações, veja: https://aka.ms/ContentUserFeedback.
Submeter e ver comentários