Partilhar via


Data transfer for large datasets with moderate to high network bandwidth (Transferência de dados para conjuntos de dados grandes com largura de banda de rede moderada ou alta)

Este artigo fornece uma descrição geral das soluções de transferência de dados quando tem largura de banda de rede moderada a alta no seu ambiente e está a planear transferir grandes conjuntos de dados. O artigo também descreve as opções de transferência de dados recomendadas e a respetiva matriz de capacidade de chave para este cenário.

Para compreender uma descrição geral de todas as opções de transferência de dados disponíveis, aceda a Escolher uma solução de transferência de dados do Azure.

Descrição do cenário

Os conjuntos de dados grandes referem-se aos tamanhos de dados pela ordem dos TBs para PBs. Largura de banda de rede moderada a alta refere-se a 100 Mbps a 10 Gbps.

As opções recomendadas neste cenário dependem do facto de ter largura de banda de rede moderada ou alta.

Largura de banda de rede moderada (100 Mbps - 1 Gbps)

Com largura de banda de rede moderada, tem de projetar o tempo para a transferência de dados através da rede.

Utilize a tabela seguinte para estimar a hora e, com base nisso, escolher entre uma transferência offline ou através da transferência de rede. A tabela mostra a hora prevista para a transferência de dados de rede, para várias larguras de banda de rede disponíveis (assumindo uma utilização de 90%).

Transferência de rede ou transferência offline

  • Se se prevê que a transferência de rede seja demasiado lenta, deve utilizar um dispositivo físico. Neste caso, as opções recomendadas são os dispositivos de transferência offline da família do Azure Data Box ou a Importação/Exportação do Azure com os seus próprios discos.

    • Família do Azure Data Box para transferências offline – utilize dispositivos de dispositivos Data Box fornecidos pela Microsoft para mover grandes quantidades de dados para o Azure quando estiver limitado por tempo, disponibilidade de rede ou custos. Copie dados no local com ferramentas como o Robocopy. Conforme o tamanho dos dados que se pretende transferir, escolha entre Data Box Disk, Data Box ou Data Box Heavy.
    • Importação/Exportação do Azure – utilize o serviço Importar/Exportar do Azure ao enviar as suas próprias unidades de disco para importar em segurança grandes quantidades de dados para o armazenamento de Blobs do Azure e Ficheiros do Azure. Este serviço também pode ser utilizado para transferir dados do Armazenamento de blobs do Azure para unidades de disco rígido e enviar para os sites no local.
  • Se a transferência de rede for projetada como razoável, pode utilizar qualquer uma das seguintes ferramentas detalhadas em Largura de banda de rede elevada.

Largura de banda de rede alta (1 Gbps - 100 Gbps)

Se a largura de banda de rede disponível for elevada, utilize uma das seguintes ferramentas.

  • AzCopy – utilize esta ferramenta de linha de comandos para copiar facilmente dados de e para o armazenamento de Blobs, Ficheiros e Tabelas do Azure com um desempenho ideal. O AzCopy suporta simultaneidade e paralelismo, além da capacidade de retomar operações de cópia interrompidas.
  • APIs REST/SDKs do Armazenamento do Azure – ao criar uma aplicação, pode desenvolver a aplicação com as APIs REST do Armazenamento do Azure e utilizar os SDKs do Azure oferecidos em vários idiomas.
  • Família do Azure Data Box para transferências online – o Azure Stack Edge e o Data Box Gateway são dispositivos de rede online que podem mover dados para dentro e para fora do Azure. Utilize o dispositivo físico do Azure Stack Edge quando existir uma necessidade simultânea de ingestão contínua e de pré-processamento dos dados antes do carregamento. O Data Box Gateway é uma versão virtual do dispositivo com as mesmas capacidades de transferência de dados. Em ambos os casos, a transferência de dados é gerida pelo dispositivo.
  • Azure Data Factory – o Data Factory deve ser utilizado para aumentar horizontalmente uma operação de transferência e, se for necessário, para capacidades de orquestração e monitorização de nível empresarial. Utilize o Data Factory para transferir regularmente ficheiros entre vários serviços do Azure, no local ou uma combinação dos dois. Com o Data Factory, pode criar e agendar fluxos de trabalho condicionados por dados (denominados pipelines) que ingerem dados a partir de diferentes arquivos de dados e automatizam o movimento e a transformação de dados.

Comparação das principais capacidades

As tabelas seguintes resumem as diferenças nas principais capacidades das opções recomendadas.

Moderar largura de banda de rede

Se utilizar a transferência de dados offline, utilize a tabela seguinte para compreender as diferenças nas principais capacidades.

Data Box Disk Data Box Data Box Heavy Importação/Exportação
Tamanho dos dados Até 35 TBs Até 80 TBs por dispositivo Até 800 TB por dispositivo Variável
Tipo de dados Blobs do Azure
Ficheiros do Azure*
Blobs do Azure
Ficheiros do Azure
Blobs do Azure
Ficheiros do Azure
Blobs do Azure
Ficheiros do Azure
Fator de formulário 5 SSDs por encomenda 1 X 50 lbs. dispositivo do tamanho do ambiente de trabalho por encomenda 1 X ~500 lbs. dispositivo grande por encomenda Até 10 HDDs/SSDs por encomenda
Hora de configuração inicial Baixo
(15 minutos)
Baixo a moderado
(<30 minutos)
Moderado
(1 a 2 horas)
Moderado a difícil
(variável)
Enviar dados para o Azure Yes Yes Yes Yes
Exportar dados do Azure No No No Yes
Encriptação AES de 128 bits AES de 256 bits AES de 256 bits AES de 128 bits
Hardware Microsoft fornecida Microsoft fornecida Microsoft fornecida Cliente fornecido
Interface de rede USB 3.1/SATA RJ 45, SFP+ RJ45, QSFP+ SATA II/SATA III
Integração de parceiros Algum Alto Alto Algum
Envio Gerido pela Microsoft Gerido pela Microsoft Gerido pela Microsoft Gerido pelo cliente
Utilizar quando os dados são movidos Dentro de um limite comercial Dentro de um limite comercial Dentro de um limite comercial Além dos limites geográficos, por exemplo, EUA para a UE
Preços Preços Preços Preços Preços

* Data Box Disk não suporta Partilhas de Ficheiros Grandes e não preserva metadados de ficheiros

Se estiver a utilizar a transferência de dados online, utilize a tabela na secção seguinte para uma largura de banda de rede elevada.

Largura de banda de rede elevada

Ferramentas AzCopy,
Azure PowerShell,
CLI do Azure
APIs REST do Armazenamento do Azure, SDKs Data Box Gateway ou Azure Stack Edge Azure Data Factory
Tipo de dados Blobs do Azure, Ficheiros do Azure, Tabelas do Azure Blobs do Azure, Ficheiros do Azure, Tabelas do Azure Blobs do Azure, Ficheiros do Azure Suporta mais de 70 conectores de dados para arquivos e formatos de dados
Fator de formulário Ferramentas de linha de comandos Interface programática A Microsoft fornece um virtual
ou dispositivo físico
Serviço no portal do Azure
Configuração única inicial Fácil Moderado Fácil (<30 minutos) para moderar (1-2 horas) Extenso
Pré-processamento de dados No No Sim (com computação do Edge) Yes
Transferir de outras clouds No No No Yes
Tipo de utilizador It Pro ou dev Dev Profissional de TI Profissional de TI
Preços São aplicáveis custos de saída de dados gratuitos São aplicáveis custos de saída de dados gratuitos Preços do Azure Stack Edge
Preços do Data Box Gateway
Preços

Passos seguintes