Quando usar a família Azure Data Box
Os dispositivos da família Azure Data Box não são as únicas maneiras de inserir dados no Microsoft Azure. No caso de dados de veículos autônomos, talvez você queira saber se o Data Box Disk é a opção ideal antes de fazer um pedido.
Nesta unidade, você saberá quando usar um dispositivo Data Box ou alguma outra solução.
Casos de uso para dispositivos Data Box
O Data Box é ideal para transferir terabytes de dados em cenários com pouca ou nenhuma conectividade de rede. A movimentação de dados pode ser única, periódica ou uma transferência de dados em massa inicial seguida por transferências periódicas.
Confira a seguir os vários cenários em que você pode usar dispositivos Data Box para importar dados para o Azure.
Migração única – quando uma grande quantidade de dados local é transferida para o Azure.
- Movimentação de uma biblioteca de mídia de fitas offline para o Azure para a criação de uma biblioteca de mídia online.
- Migração do farm de VMs, do SQL Server e de aplicativos para o Azure.
- Migração de dados históricos para o Azure para análise e relatórios detalhados com o HDInsight.
Transferência em massa inicial – quando uma transferência em massa inicial é feita usando o Data Box (semente) seguida por transferências incrementais pela rede.
Carregamentos periódicos – quando grandes quantidades de dados são geradas periodicamente e precisam ser movidas para o Azure. Por exemplo, na exploração de energia, em que o conteúdo de vídeo é gerado em plataformas de petróleo e em produções de energia eólica.
Veja a seguir os vários cenários em que você pode usar o Data Box para exportar dados do Azure. O Data Box Disk e o Data Box Heavy não dão suporte à exportação de dados do Azure.
Recuperação de desastre – quando uma cópia dos dados do Azure é restaurada para uma rede local. Em um cenário típico de recuperação de desastre, um grande volume de dados do Azure é exportado para um Data Box. Em seguida, a Microsoft envia esse Data Box, e os dados são restaurados no seu local após um breve período.
Requisitos de segurança – quando você precisa conseguir exportar dados do Azure devido a requisitos governamentais ou de segurança. Por exemplo, o Armazenamento do Azure está disponível nas nuvens Secreto e Ultrassecreto dos EUA e você pode usar o Data Box para exportar dados provenientes do Azure.
Migrar de volta para o local ou para outro provedor de serviços de nuvem – quando desejar mover todos os dados de volta para o local ou para outro provedor de serviços de nuvem, exporte os dados por meio do Data Box para migrar as cargas de trabalho.
Opções de transferência offline
As opções offline para mover seus dados para o Azure incluem dispositivos Data Box e importação/exportação do Azure.
Dispositivos Data Box
Para inserir os dados no Microsoft Azure, você pode carregar seus dados em dispositivos físicos e enviá-los para um datacenter do Azure. Nesse local, os dados serão copiados para sua assinatura do Microsoft Azure. Como vimos na unidade 2, três produtos do Data Box funcionam desta maneira:
- Data Box
- Data Box Disk
- Data Box Heavy
Se você não estiver em uma região que tenha o suporte da família Azure Data Box, considere usar a Importação/Exportação do Microsoft Azure para importar dados para esta plataforma.
Importação/Exportação do Azure
O outro serviço que usa dispositivos físicos para transferir dados para o Azure é a Importação/Exportação do Azure. A Importação/Exportação do Azure permite que você use seus próprios discos. Você pode fazer transferências offline de dados do armazenamento de Blob para os discos. A Importação/Exportação do Azure também exporta dados do Azure de volta para seus datacenters, além de facilitar o envio de dados por fronteiras internacionais.
O procedimento de configuração para importar dados usando a Importação/Exportação do Microsoft Azure é mais difícil do que o da família Azure Data Box. Você precisa lidar com todos os detalhes de envio e com a preparação do dispositivo. Recomendamos usar o Azure Data Box, um serviço realizado para você, que minimiza o esforço necessário para migrar enormes volumes de dados de forma econômica e segura para o Microsoft Azure.
Opções de transferência de rede
Outra maneira de inserir dados no Microsoft Azure consiste em enviá-los pela Internet. Há várias ferramentas que você pode usar para transferir dados pela rede.
Data Box Gateway
Conforme discutido na unidade 2, o Data Box Gateway é uma solução de virtualização. ele se baseia em uma máquina virtual provisionada em seu ambiente local. Você grava dados no dispositivo virtual usando os protocolos NFS e SMB. Em seguida, o dispositivo transfere seus dados para o blob de blocos ou blob de páginas do Azure ou Arquivos do Azure.
Gerenciador de Armazenamento do Azure
O Gerenciador de Armazenamento do Azure é um aplicativo gratuito que você pode baixar e executar no Windows, Mac ou Linux. Ele fornece uma GUI (interface gráfica do usuário) que você pode usar para explorar blobs, arquivos, filas e tabelas em Contas de Armazenamento do Microsoft Azure. Se você quiser transferir apenas alguns arquivos por vez e não precisar automatizar transferências, o Gerenciador de Armazenamento é a solução ideal.
Se você não quiser instalar um aplicativo, mas tiver um navegador, poderá usar a página Gerenciador de Armazenamento no portal do Azure para transferir arquivos.
Azure Stack Edge
O Azure Stack Edge também usa dispositivos físicos para transferir dados para o Azure. Ao contrário de dispositivos do Data Box, os dispositivos do Azure Stack Edge fornecem recursos do Azure como computação, armazenamento, rede e aprendizado de máquina acelerado por hardware para qualquer local de borda. Use um dispositivo do Azure Stack Edge para os seguintes cenários:
Inferência com o Azure Machine Learning – execute modelos de ML para obter resultados rápidos que podem ser usados antes que os dados sejam enviados para a nuvem. Você pode transferir opcionalmente o conjunto de dados completo para continuar a treinar novamente e aprimorar os modelos de ML.
Pré-processar dados – Transformar dados por meio de opções de computação, como contêineres ou máquinas virtuais, antes de enviá-los ao Azure para criar um conjunto de dados mais acionável. Você pode usar o pré-processamento para:
- Agregar dados.
- Modificar os dados, por exemplo, para remover dados pessoais.
- Colocar os dados em subconjuntos para otimizar o armazenamento e a largura de banda ou para análise posterior.
- Analisar e reagir a Eventos de IoT.
Transferir dados pela rede para o Azure – transfira dados com facilidade e rapidez para o Azure a fim de fazer cálculos e análises adicionais ou para fins de arquivamento.
Azure Data Factory
O Azure Data Factory é um serviço que permite organizar, migrar e transformar grandes quantidades de dados de várias fontes diferentes. No Data Factory, você pode criar pipelines de dados que ingerem dados de bancos de dados relacionais, bancos de dados NoSQL e outros sistemas. Você pode usar os recursos Azure Machine Learning, Hadoop, Spark e outros serviços para processar e transformar esses dados. Em seguida, no final do pipeline, você pode publicar os dados transformados no Azure SQL Data Warehouse, no Banco de Dados SQL do Azure, no Azure Cosmos DB e no Armazenamento do Microsoft Azure.
Você pode usar esse serviço caso tenha necessidades complexas de transformação de dados, mas não queira gravar scripts nem compilar código.
Transferência programática ou com script
A Microsoft fornece diversas ferramentas otimizadas de linha de comando, que podem ser chamadas com comandos individuais ou montadas em scripts e que podem migrar dados para o Azure. Essas ferramentas incluem:
- AzCopy. Você pode chamar esse programa de linha de comando de qualquer script para transferir blobs ou arquivos para uma Conta de Armazenamento do Microsoft Azure.
- PowerShell do Azure. O PowerShell é uma linguagem e interface de script projetada para ajudar os administradores a automatizar tarefas complexas executando comandos chamados cmdlets. O módulo do Azure PowerShell fornece diversos cmdlets para trabalhar com o Microsoft Azure. Inclusive cmdlets disponíveis para carregar dados em Contas de Armazenamento do Microsoft Azure, Banco de Dados SQL do Azure, Azure Cosmos DB e em outros destinos. Por exemplo, para carregar um arquivo em um Azure Storage Blob, use o cmdlet
Set-AzStorageBlobContent. - CLI do Azure. A CLI do Azure é uma ferramenta de linha de comando que você pode chamar em scripts do PowerShell e do Bash para trabalhar com o Microsoft Azure. Ela inclui opções que podem migrar dados para locais do Microsoft Azure. Por exemplo, use o comando
az storage blob uploadpara carregar um arquivo em um Azure Storage Blob.
As ferramentas de script são fáceis de usar para administradores e não desenvolvedores. Se você tiver pessoas com habilidades de desenvolvedor que possam gravar código compilado, pense na possibilidade de usar linguagens de programação para organizar a transferência de dados para o Microsoft Azure. Seu código deve chamar as APIs (interfaces de programação de aplicativo) REST (Transferência de Estado Representacional) do Armazenamento do Microsoft Azure. As APIs REST são um conjunto de serviços Web que você pode chamar em várias linguagens de programação. Os desenvolvedores podem usar linguagens .NET, Java, Python, Node.js, C++ e PHP, entre outras, para chamar essas APIs. Os desenvolvedores podem escolher a linguagem com a qual estão mais familiarizados.
Como escolher um método de transferência de dados
Para escolher um método de transferência destes sistemas, considere estas perguntas:
- Qual é o tamanho dos dados?
- Com que frequência quero transferir dados?
- Quanta largura de banda de rede está disponível?
Se quiser transferir alguns arquivos ocasionalmente, escolha o Gerenciador de Armazenamento do Azure ou use o portal do Azure.
Se a largura de banda da rede for baixa ou dispendiosa e se você tiver um grande volume de dados, você poderá usar um dispositivo físico para transferir dados. Se quiser usar seus próprios discos, escolha a Importação/Exportação do Microsoft Azure. Se preferir a conveniência de usar o hardware da Microsoft, escolha um produto Azure Data Box. Escolha entre Data Box, Data Box Disk e Data Box Heavy, de acordo com os respectivos volumes máximos de dados.
Se você tiver muita largura de banda de rede disponível e quiser transferir dados de modo regular ou contínuo, escolha um método de transferência por rede. Se quiser transformar os dados ao transferi-los, sem usar o código, considere o Azure Data Factory. Se tiver tempo disponível e habilidades para escrever código, use as ferramentas de script ou código compilado desenvolvido nas APIs REST. Caso pretenda transferir grandes conjuntos de dados por meio da rede e se tiver largura de banda de alta disponibilidade, poderá escolher o Data Box Gateway ou um dispositivo do Azure Stack Edge.
Transferência de dados para veículos autônomos
Em sua organização, você deseja carregar dados telemétricos de veículo autônomos no Azure de maneira rápida, relativamente barata e segura sem sobrecarregar a rede. Esse cenário é o principal caso de uso do Azure Data Box Disk.
Você pode usar o Azure Data Box Disk em diferentes tipos de cenários de transferência de dados. O Azure Data Box Disk é adequado para migrações únicas, como para migrar até 35 TB de dados de fitas offline para o armazenamento esporádico do Azure. Se houver mais de 35 TB para carregar, você pode criar pedidos extras. Vale a pena também revisar as outras opções da família Data Box que você conheceu na primeira unidade, pois pode haver um candidato mais adequado. As transferências incrementais também funcionam bem. O Data Box Disk é usado para fornecer o carregamento grande inicial, e depois mais incrementos de dados são copiados usando técnicas de rede padrão.