Data transfer for large datasets with moderate to high network bandwidth (Transferência de dados para conjuntos de dados grandes com largura de banda de rede moderada ou alta)
Este artigo fornece uma descrição geral das soluções de transferência de dados quando tem largura de banda de rede moderada a alta no seu ambiente e está a planear transferir grandes conjuntos de dados. O artigo também descreve as opções de transferência de dados recomendadas e a respetiva matriz de capacidade de chave para este cenário.
Para compreender uma descrição geral de todas as opções de transferência de dados disponíveis, aceda a Escolher uma solução de transferência de dados do Azure.
Descrição do cenário
Os conjuntos de dados grandes referem-se aos tamanhos de dados pela ordem dos TBs para PBs. Largura de banda de rede moderada a alta refere-se a 100 Mbps a 10 Gbps.
Opções recomendadas
As opções recomendadas neste cenário dependem do facto de ter largura de banda de rede moderada ou alta.
Largura de banda de rede moderada (100 Mbps - 1 Gbps)
Com largura de banda de rede moderada, tem de projetar o tempo para a transferência de dados através da rede.
Utilize a tabela seguinte para estimar a hora e, com base nisso, escolher entre uma transferência offline ou através da transferência de rede. A tabela mostra a hora prevista para a transferência de dados de rede, para várias larguras de banda de rede disponíveis (assumindo uma utilização de 90%).
Se se prevê que a transferência de rede seja demasiado lenta, deve utilizar um dispositivo físico. Neste caso, as opções recomendadas são os dispositivos de transferência offline da família do Azure Data Box ou a Importação/Exportação do Azure com os seus próprios discos.
- Família do Azure Data Box para transferências offline – utilize dispositivos de dispositivos Data Box fornecidos pela Microsoft para mover grandes quantidades de dados para o Azure quando estiver limitado por tempo, disponibilidade de rede ou custos. Copie dados no local com ferramentas como o Robocopy. Conforme o tamanho dos dados que se pretende transferir, escolha entre Data Box Disk, Data Box ou Data Box Heavy.
- Importação/Exportação do Azure – utilize o serviço Importar/Exportar do Azure ao enviar as suas próprias unidades de disco para importar em segurança grandes quantidades de dados para o armazenamento de Blobs do Azure e Ficheiros do Azure. Este serviço também pode ser utilizado para transferir dados do Armazenamento de blobs do Azure para unidades de disco rígido e enviar para os sites no local.
Se a transferência de rede for projetada como razoável, pode utilizar qualquer uma das seguintes ferramentas detalhadas em Largura de banda de rede elevada.
Largura de banda de rede alta (1 Gbps - 100 Gbps)
Se a largura de banda de rede disponível for elevada, utilize uma das seguintes ferramentas.
- AzCopy – utilize esta ferramenta de linha de comandos para copiar facilmente dados de e para o armazenamento de Blobs, Ficheiros e Tabelas do Azure com um desempenho ideal. O AzCopy suporta simultaneidade e paralelismo, além da capacidade de retomar operações de cópia interrompidas.
- APIs REST/SDKs do Armazenamento do Azure – ao criar uma aplicação, pode desenvolver a aplicação com as APIs REST do Armazenamento do Azure e utilizar os SDKs do Azure oferecidos em vários idiomas.
- Família do Azure Data Box para transferências online – o Azure Stack Edge e o Data Box Gateway são dispositivos de rede online que podem mover dados para dentro e para fora do Azure. Utilize o dispositivo físico do Azure Stack Edge quando existir uma necessidade simultânea de ingestão contínua e de pré-processamento dos dados antes do carregamento. O Data Box Gateway é uma versão virtual do dispositivo com as mesmas capacidades de transferência de dados. Em ambos os casos, a transferência de dados é gerida pelo dispositivo.
- Azure Data Factory – o Data Factory deve ser utilizado para aumentar horizontalmente uma operação de transferência e, se for necessário, para capacidades de orquestração e monitorização de nível empresarial. Utilize o Data Factory para transferir regularmente ficheiros entre vários serviços do Azure, no local ou uma combinação dos dois. Com o Data Factory, pode criar e agendar fluxos de trabalho condicionados por dados (denominados pipelines) que ingerem dados a partir de diferentes arquivos de dados e automatizam o movimento e a transformação de dados.
Comparação das principais capacidades
As tabelas seguintes resumem as diferenças nas principais capacidades das opções recomendadas.
Moderar largura de banda de rede
Se utilizar a transferência de dados offline, utilize a tabela seguinte para compreender as diferenças nas principais capacidades.
| Data Box Disk | Data Box | Data Box Heavy | Importação/Exportação | |
|---|---|---|---|---|
| Tamanho dos dados | Até 35 TBs | Até 80 TBs por dispositivo | Até 800 TB por dispositivo | Variável |
| Tipo de dados | Blobs do Azure Ficheiros do Azure* |
Blobs do Azure Ficheiros do Azure |
Blobs do Azure Ficheiros do Azure |
Blobs do Azure Ficheiros do Azure |
| Fator de formulário | 5 SSDs por encomenda | 1 X 50 lbs. dispositivo do tamanho do ambiente de trabalho por encomenda | 1 X ~500 lbs. dispositivo grande por encomenda | Até 10 HDDs/SSDs por encomenda |
| Hora de configuração inicial | Baixo (15 minutos) |
Baixo a moderado (<30 minutos) |
Moderado (1 a 2 horas) |
Moderado a difícil (variável) |
| Enviar dados para o Azure | Yes | Yes | Yes | Yes |
| Exportar dados do Azure | No | No | No | Yes |
| Encriptação | AES de 128 bits | AES de 256 bits | AES de 256 bits | AES de 128 bits |
| Hardware | Microsoft fornecida | Microsoft fornecida | Microsoft fornecida | Cliente fornecido |
| Interface de rede | USB 3.1/SATA | RJ 45, SFP+ | RJ45, QSFP+ | SATA II/SATA III |
| Integração de parceiros | Algum | Alto | Alto | Algum |
| Envio | Gerido pela Microsoft | Gerido pela Microsoft | Gerido pela Microsoft | Gerido pelo cliente |
| Utilizar quando os dados são movidos | Dentro de um limite comercial | Dentro de um limite comercial | Dentro de um limite comercial | Além dos limites geográficos, por exemplo, EUA para a UE |
| Preços | Preços | Preços | Preços | Preços |
* Data Box Disk não suporta Partilhas de Ficheiros Grandes e não preserva metadados de ficheiros
Se estiver a utilizar a transferência de dados online, utilize a tabela na secção seguinte para uma largura de banda de rede elevada.
Largura de banda de rede elevada
| Ferramentas AzCopy, Azure PowerShell, CLI do Azure |
APIs REST do Armazenamento do Azure, SDKs | Data Box Gateway ou Azure Stack Edge | Azure Data Factory | |
|---|---|---|---|---|
| Tipo de dados | Blobs do Azure, Ficheiros do Azure, Tabelas do Azure | Blobs do Azure, Ficheiros do Azure, Tabelas do Azure | Blobs do Azure, Ficheiros do Azure | Suporta mais de 70 conectores de dados para arquivos e formatos de dados |
| Fator de formulário | Ferramentas de linha de comandos | Interface programática | A Microsoft fornece um virtual ou dispositivo físico |
Serviço no portal do Azure |
| Configuração única inicial | Fácil | Moderado | Fácil (<30 minutos) para moderar (1-2 horas) | Extenso |
| Pré-processamento de dados | No | No | Sim (com computação do Edge) | Yes |
| Transferir de outras clouds | No | No | No | Yes |
| Tipo de utilizador | It Pro ou dev | Dev | Profissional de TI | Profissional de TI |
| Preços | São aplicáveis custos de saída de dados gratuitos | São aplicáveis custos de saída de dados gratuitos | Preços do Azure Stack Edge Preços do Data Box Gateway |
Preços |
Passos seguintes
Saiba como:
Utilize as APIs REST para transferir dados: