Quand utiliser la famille Azure Data Box
- 7 minutes
Les appareils de la famille Azure Data Box ne sont pas les seuls à pouvoir récupérer des données dans Azure. Pour vos données de véhicules autonomes, vous souhaitez vous assurer que Data Box Disk est le meilleur choix avant de passer commande.
Dans cette unité, vous allez apprendre quand utiliser un appareil Data Box et quand utiliser une autre solution.
Cas d’usage pour les appareils Data Box
Data Box est idéal pour transférer des téraoctets de données dans des scénarios sans une connectivité réseau ou une connectivité limitée. Il peut s’agir d’un déplacement de données à usage unique, périodique, ou d’un transfert de données en bloc initial suivi de transferts périodiques.
Voici les différents scénarios dans lesquels vous pouvez utilier des appareils Data Box pour importer des données dans Azure.
Migration ponctuelle : quand une grande quantité de données locales est déplacée vers Azure.
- Déplacement de bibliothèques multimédias hors connexion vers Azure pour les transformer en bibliothèques multimédias en ligne.
- Migration de machines virtuelles, serveurs SQL et applications vers Azure.
- Déplacement des données historiques vers Azure pour une analyse et un compte rendu approfondis à l’aide de HDInsight.
Transfert en bloc initial : lorsqu’un transfert en bloc initial est effectué à l’aide de Data Box (valeur initiale), suivi de transferts incrémentiels sur le réseau.
Chargements périodiques : quand une grande quantité de données est générée régulièrement et doit être déplacée vers Azure. Par exemple, dans le secteur de la production d’énergie, où du contenu vidéo est généré sur des plateformes pétrolières et dans des parcs éoliens.
Voici les différents scénarios où vous pouvez utiliser Data Box pour exporter des données à partir d’Azure. Data Box Disk et Data Box Heavy ne prennent pas en charge l’exportation de données à partir d’Azure.
Récupération d’urgence : lorsqu’une copie des données d’Azure est restaurée sur un réseau local. Dans le cas d’un scénario de récupération d’urgence classique, une grande quantité de données Azure est exportée vers une Data Box. Microsoft envoie ensuite cette Data Box, et les données sont restaurées sur votre site en peu de temps.
Exigences de sécurité : quand vous devez être en mesure d’exporter des données hors d’Azure en raison des exigences gouvernementales ou de sécurité. Par exemple : Stockage Azure est disponible dans les clouds US Secret et Top Secret, et vous pouvez utiliser Data Box pour exporter des données à partir d’Azure.
Effectuez une migration vers un autre fournisseur de services cloud ou local . Lorsque vous souhaitez déplacer toutes les données vers un emplacement local ou vers un autre fournisseur de services cloud, vous pouvez exporter des données via Data Box pour migrer les charges de travail.
Options de transfert hors connexion
Les options de déplacement de vos données hors connexion vers Azure incluent les appareils Data Box et Azure Import/Export.
Appareils Data Box
Pour récupérer des données dans Azure, vous pouvez charger vos données sur des appareils physiques et les envoyer à un centre de données Azure. À partir de là, les données seront copiées dans votre abonnement Azure. Comme vous l’avez vu dans l’unité 2, il existe trois produits Data Box qui fonctionnent de cette manière :
- Boîte de données
- Data Box Disk
- Data Box Heavy
Si vous n’êtes pas dans une région prise en charge par la famille Azure Data Box, envisagez d’utiliser Azure Import/Export pour importer des données dans Azure.
Azure Import/Export (Service d'importation et d'exportation de données)
L’autre service qui utilise des appareils physiques pour transférer des données dans Azure est Azure Import/Export. Azure Import/Export vous permet d’utiliser vos propres disques. Vous pouvez effectuer des transferts de données hors connexion, du stockage d’objets blob vers des disques. Azure Import/Export permet également la réexportation de données à partir d’Azure vers vos propres centres de données et permet aux données de traverser les frontières internationales.
La procédure d’installation pour importer des données à l’aide d’Azure Import/Export est plus difficile que pour la famille Azure Data Box. Vous devez gérer tous les détails de l’expédition et de la préparation de l’appareil. Nous vous recommandons d’utiliser Azure Data Box, un service fait pour vous, qui minimise l’effort nécessaire pour déplacer de gros volumes de données, de façon peu coûteuse et sécurisée, vers Azure.
Options de transfert réseau
Une autre méthode pour obtenir des données dans Azure consiste à les envoyer sur Internet. Il existe plusieurs outils que vous pouvez utiliser pour transférer des données sur le réseau.
Data Box Gateway
Comme indiqué dans l’unité 2, Data Box Gateway est une appliance virtuelle. Il est basé sur une machine virtuelle que vous approvisionnez dans votre environnement local. Vous écrivez des données sur l’appareil virtuel à l’aide des protocoles NFS et SMB. L’appareil transfère ensuite vos données vers l’objet blob de blocs Azure, l’objet blob de pages ou Azure Files.
Explorateur Stockage Azure
L’Explorateur Stockage Azure est une application téléchargeable gratuite que vous pouvez exécuter sur Windows, Mac ou Linux. Elle fournit une interface utilisateur graphique (GUI) que vous pouvez utiliser pour explorer des blobs, des fichiers, des files d’attente et des tables dans les comptes de stockage Azure. Si vous transférez seulement quelques fichiers à la fois et que vous n’avez pas besoin d’automatiser les transferts, l’Explorateur Stockage est une solution idéale.
Si vous ne souhaitez pas installer une application, mais que vous disposez d’un navigateur, vous pouvez utiliser la page Explorateur Stockage du portail Azure pour transférer des fichiers.
Azure Stack Edge
Azure Stack Edge utilise également des appareils physiques pour transférer des données dans Azure. Contrairement aux appareils Data Box, les appareils Azure Stack Edge offrent des fonctionnalités Azure telles que le calcul, le stockage, la mise en réseau et le Machine Learning avec accélération matérielle Machine Learning à n’importe quel emplacement de périphérie. Utilisez un appareil Azure Stack Edge pour les scénarios suivants :
Inférence avec Azure Machine Learning - Exécuter des modèles ML pour obtenir des résultats rapides sur lesquels vous pouvez agir avant l’envoi des données au cloud. Vous pouvez facultativement transférer le jeu de données complet pour continuer à reformer et améliorer vos modèles ML.
Prétraitement des données : transformez des données via des options de calcul telles que des conteneurs ou des machines virtuelles avant de les envoyer à Azure pour créer un jeu de données plus actionnable. Vous pouvez utiliser le prétraitement pour :
- Agréger les données.
- Modifier les données, par exemple, pour supprimer des données personnelles.
- Fractionner les données pour optimiser le stockage et la bande passante, ainsi que pour les analyser de façon plus approfondie.
- Analyser et réagir aux événements IoT.
Transférer des données sur le réseau vers Azure : transférez facilement et rapidement des données vers Azure pour effectuer des calculs et des analyses supplémentaires ou à des fins d’archivage.
Azure Data Factory.
Azure Data Factory est un service qui vous permet d’organiser, de déplacer et de transformer de grandes quantités de données à partir de nombreuses sources différentes. Dans Data Factory, vous pouvez créer des pipelines de données qui ingèrent les données de bases de données relationnelles, de bases de données NoSQL et d’autres systèmes. Vous pouvez utiliser Azure Machine Learning, Hadoop, Spark et d’autres services pour traiter et transformer ces données. Ensuite, à la fin du pipeline, vous pouvez publier les données transformées dans Azure SQL Data Warehouse, Azure SQL Database, Azure Cosmos DB et le stockage Azure.
Vous pouvez utiliser ce service si vous avez des besoins en transformation de données complexes, mais que vous ne voulez pas écrire de script ni de code compilé.
Transfert par script ou par programmation
Microsoft fournit une gamme d’outils en ligne de commande optimisés que vous pouvez appeler avec des commandes individuelles ou assembler dans des scripts, et qui peuvent déplacer des données dans Azure. Ces outils incluent :
- AzCopy. Vous pouvez appeler ce programme en ligne de commande à partir de n’importe quel script pour transférer des blobs ou des fichiers vers un compte de stockage Azure.
- Azure PowerShell. PowerShell est une interface de script et un langage conçus pour aider les administrateurs à automatiser les tâches complexes en exécutant des commandes appelées applets de commande. Le module Azure PowerShell fournit une gamme complète de cmdlets pour travailler avec Azure. Ces modules incluent des cmdlets que vous pouvez utiliser pour charger des données dans des comptes de stockage Azure, Azure SQL Database, Azure Cosmos DB et d’autres destinations. Par exemple, pour charger un fichier vers un blob de stockage Azure, utilisez la cmdlet
Set-AzStorageBlobContent. - Azure CLI. Azure CLI est un outil en ligne de commande que vous pouvez appeler à partir de scripts PowerShell et Bash pour travailler avec Azure. Il comprend des options qui peuvent déplacer des données vers des emplacements Azure. Par exemple, utilisez la commande
az storage blob uploadpour charger un fichier vers un blob de stockage Azure.
Les outils de script sont faciles à utiliser pour les administrateurs et les non-développeurs. Si vous disposez de personnel disposant de compétences de développeur et capables d’écrire du code compilé, vous pouvez envisager d’utiliser des langages de programmation pour orchestrer le transfert de données dans Azure. Votre code doit appeler les interfaces de programmation d’applications (API) Representational State Transfer (REST) du stockage Azure. Les API REST sont un ensemble de services web que vous pouvez appeler à partir de nombreux langages de programmation différents. Les développeurs peuvent choisir d’utiliser les langages .NET, Java, Python, Node.js, C++ et PHP et de nombreux autres langages pour appeler ces API. Les développeurs peuvent choisir le langage qu’ils connaissent le mieux.
Choix d’une méthode de transfert de données
Pour choisir une méthode de transfert parmi les systèmes ci-dessus, posez-vous les questions suivantes :
- Quelle est la taille des données ?
- À quelle fréquence transférer les données ?
- Quelle est la quantité de bande passante disponible ?
Si vous souhaitez seulement transférer quelques fichiers occasionnellement, vou spouvez choisir l’Explorateur Stockage Azure ou le Portail Azure.
Si la bande passante réseau est faible ou coûteuse à utiliser et que vous disposez d’un volume important de données, vous pouvez utiliser un appareil physique pour le transfert des données. Si vous souhaitez utiliser vos propres disques, choisissez Azure Import/Export. Si vous préférez la commodité de l’utilisation de matériel Microsoft, choisissez un produit Azure Data Box. Vous pouvez choisir entre Data Box, Data Box Disk et Data Box Heavy en fonction de leur volume de données maximal.
Si vous disposez d’une grande quantité de bande passante réseau et que vous souhaitez transférer des données régulièrement ou en continu, vous pouvez choisir une méthode de transfert réseau. Si vous souhaitez transformer les données au fur et à mesure de leur transfert, sans utiliser de code, envisagez Azure Data Factory. Si vous pouvez y consacrer du temps et disposez des compétences nécessaires pour écrire du code, vous pouvez utiliser des outils de script ou développer du code compilé avec les API REST. Si vous souhaitez transférer des jeux de données volumineux sur le réseau et que vous disposez d’une bande passante haute disponibilité, vous pouvez choisir Data Box Gateway ou un appareil Azure Stack Edge.
Transfert de données pour les véhicules autonomes
Au sein de votre organisation, vous souhaitez charger des données de télémétrie de véhicules autonomes vers Azure de manière rapide, relativement économique et sécurisée sans accaparer le réseau. Ce scénario un cas d’usage typique pour Azure Data Box Disk.
Vous pouvez utiliser Azure Data Box Disk pour différents types de scénarios de transfert de données. Azure Data Box Disk convient pour les migrations ponctuelles, telles que le déplacement jusqu’à 35 To de données à partir de bandes hors connexion vers le stockage froid Azure. S’il y a plus de 35 To à télécharger, vous pouvez créer des commandes supplémentaires. Il est également judicieux de consulter les autres options de la famille Data Box que vous avez explorées dans la première unité, car il peut y avoir un candidat plus approprié. Les transferts incrémentiels fonctionnent également bien. Data Box Disk permet de fournir le seed initial, volumineux, après quoi les incréments de données supplémentaires sont copiés à l’aide des techniques réseau standard.