Compartilhar via

Transferência de dados para grandes conjuntos de dados com largura de banda de rede moderada a alta

Este artigo fornece uma visão geral das soluções de transferência de dados quando você tem largura de banda de rede moderada a alta em seu ambiente e planeja transferir grandes conjuntos de dados. O artigo também descreve as opções de transferência de dados recomendadas e a matriz de funcionalidade de chave respectiva para esse cenário.

Para entender uma visão geral de todas as opções de transferência de dados disponíveis, acesse Escolher uma solução de transferência de dados do Azure.

Descrição do cenário

Conjuntos de dados grandes referem-se a tamanhos de dados na ordem de TBs para PBs. Largura de banda de rede moderada a alta refere-se a 100 Mbps a 10 Gbps.

As opções recomendadas neste cenário dependem de se você tem largura de banda de rede moderada ou alta.

Largura de banda da rede moderada (100 Mbps a 1 Gbps)

Com largura de banda de rede moderada, você precisa projetar o tempo de transferência de dados pela rede.

Use a tabela a seguir para estimar a hora e, com base nisso, escolha entre uma transferência offline ou sobre a transferência de rede. A tabela mostra o tempo projetado para transferência de dados de rede, para várias larguras de banda de rede disponíveis (supondo 90% da utilização).

Transferência de rede ou transferência offline

  • Se a transferência de rede for projetada para ser muito lenta, você deverá usar um dispositivo físico. As opções recomendadas nesse caso são os dispositivos de transferência offline da família Azure Data Box ou Azure Import/Export usando seus próprios discos.

    • Família do Azure Data Box para transferências offline – use dispositivos de dispositivos Data Box fornecidos pela Microsoft para mover grandes quantidades de dados para o Azure quando você estiver limitado por tempo, disponibilidade de rede ou custos. Copie dados locais usando ferramentas como o Robocopy. Dependendo do tamanho dos dados destinados à transferência, você pode escolher entre Data Box Disk, Data Box ou Data Box Heavy.
    • Importação/Exportação do Azure – use o serviço de Importação/Exportação do Azure enviando suas próprias unidades de disco para importar com segurança grandes quantidades de dados para o Armazenamento de Blobs do Azure e arquivos do Azure. Este serviço também pode ser usado para transferir dados do armazenamento de Blobs do Azure para as unidades de disco e enviar para seu site local.

  • Se a transferência de rede for projetada como razoável, você poderá usar qualquer uma das ferramentas a seguir detalhadas na largura de banda de rede alta.

Largura de banda de rede de alta (1 Gbps – 100 Gbps)

Se a largura de banda de rede disponível for alta, use uma das ferramentas a seguir.

  • AzCopy – Use essa ferramenta de linha de comando para copiar facilmente dados de e para Blobs do Azure, Arquivos e Armazenamento de Tabelas com desempenho ideal. O AzCopy dá suporte à simultaneidade e ao paralelismo e à capacidade de retomar as operações de cópia quando elas forem interrompidas.
  • APIs REST do Armazenamento do Azure/SDKs – ao criar um aplicativo, você pode desenvolver o aplicativo em relação às APIs REST do Armazenamento do Azure e usar os SDKs do Azure oferecidos em vários idiomas.
  • Família do Azure Data Box para transferências online – o Azure Stack Edge e o Data Box Gateway são dispositivos de rede online que podem mover dados para dentro e para fora do Azure. Use o dispositivo físico do Azure Stack Edge quando houver uma necessidade simultânea de ingestão contínua e pré-processamento dos dados antes do upload. O Data Box Gateway é uma versão virtual do dispositivo com os mesmos recursos de transferência de dados. Em cada caso, a transferência de dados é gerenciada pelo dispositivo.
  • O Azure Data Factory – Data Factory deve ser usado para dimensionar uma operação de transferência e, se houver necessidade de recursos de orquestração e monitoramento de nível empresarial. Use o Data Factory para transferir regularmente arquivos entre vários serviços do Azure localmente ou usando uma combinação dos dois. com o Data Factory, você pode criar e agendar fluxos de trabalho conduzidos por dados (chamados pipelines) que ingerem dados de armazenamentos de dados diferentes e automatizam a movimentação e a transformação de dados.

Comparação dos principais recursos

As tabelas a seguir resumem as diferenças nos principais recursos para as opções recomendadas.

Largura de banda de rede moderada

Se estiver usando a transferência de dados offline, use a tabela a seguir para entender as diferenças nos principais recursos.

Data Box Disk Caixa de Dados Data Box Heavy Importar/Exportar
Tamanho dos dados Até 35 TBs Até 80 TBs por dispositivo Até 800 TB por dispositivo Variável
Tipo de dados Blobs do Azure
Arquivos do Azure*		 Blobs do Azure
Arquivos do Azure		 Blobs do Azure
Arquivos do Azure		 Blobs do Azure
Arquivos do Azure
Fator de forma 5 SSDs por pedido 1 X 50 lb dispositivo do tamanho da área de trabalho por pedido 1 X aproximadamente 500 libras dispositivo grande por pedido Até 10 HDDs/SSDs por ordem
Tempo de instalação inicial Baixo
(15 minutos)		 Baixo a moderado
(<30 minutos)		 Moderado
(1 a 2 horas)		 Moderado a difícil
(variável)
Enviar dados para o Azure Sim Sim Sim Sim
Exportar dados do Azure Não Não Não Sim
Encriptação AES de 128 bits AES de 256 bits AES de 256 bits AES de 128 bits
Hardware Microsoft forneceu Microsoft forneceu Microsoft forneceu Fornecido pelo cliente
Interface de rede USB 3.1/SATA RJ 45, SFP+ RJ45, QSFP+ SATA II/SATA III
Integração de parceiros Alguns Alto Alto Alguns
Transporte Gerenciado pela Microsoft Gerenciado pela Microsoft Gerenciado pela Microsoft Gerenciado pelo cliente
Use quando os dados são movidos Dentro de um limite de comércio Dentro de um limite de comércio Dentro de um limite de comércio Entre fronteiras geográficas, por exemplo, dos EUA para a UE
Preços Preços Preços Preços Preços

* O Data Box Disk não dá suporte a compartilhamentos de arquivos grandes e não preserva metadados de arquivo

Se estiver usando a transferência de dados online, use a tabela na seção a seguir para alta largura de banda de rede.

Largura de banda de rede alta

Ferramentas do AzCopy,
Azure PowerShell,
Azure CLI (Interface de Linha de Comando do Azure)		 APIs REST do Armazenamento do Azure, SDKs Data Box Gateway ou Azure Stack Edge Fábrica de dados do Azure
Tipo de dados Blobs do Azure, Arquivos do Azure, Tabelas do Azure Blobs do Azure, Arquivos do Azure, Tabelas do Azure Blobs do Azure, Arquivos do Azure Dá suporte a mais de 70 conectores de dados para armazenamentos e formatos de dados
Fator de forma Ferramentas de linha de comando Interface programática A Microsoft fornece uma solução virtual.
ou dispositivo físico		 Serviço no portal do Azure
Configuração única inicial Fácil Moderado Fácil (<30 minutos) a moderado (1 a 2 horas) Amplo
Pré-processamento de dados Não Não Sim (com computação de borda) Sim
Transferência de outras nuvens Não Não Não Sim
Tipo de usuário Profissional de TI ou desenvolvedor Desenvolvimento Profissional de TI Profissional de TI
Preços Gratuito, são cobrados encargos de saída de dados Gratuito, são cobrados encargos de saída de dados Preços do Azure Stack Edge
Preços do Data Box Gateway		 Preços

Próximas etapas