Partager via

Transférer des jeux de données volumineux avec une bande passante réseau modérée à élevée

Cet article fournit une vue d’ensemble des solutions de transfert de données lorsque vous avez une bande passante réseau modérée à élevée dans votre environnement et que vous envisagez de transférer des jeux de données volumineux. L’article décrit également les options de transfert de données recommandées et la matrice de capacité clé correspondante pour ce scénario.

Pour comprendre une vue d’ensemble de toutes les options de transfert de données disponibles, accédez à Choisir une solution de transfert de données Azure.

Description du scénario

Les jeux de données volumineux font référence à des tailles de données dans l’ordre des téraoctets aux pétaoctets. La bande passante réseau modérée à élevée fait référence à 100 Mbits/s à 10 Gbits/s.

Les options recommandées dans ce scénario varient en fonction de votre bande passante réseau.

Bande passante réseau modérée (100 Mbits/s - 1 Gbits/s)

Avec une bande passante réseau modérée, vous devez projeter le temps de transfert de données sur le réseau.

Utilisez le tableau suivant pour estimer le temps et en fonction de cela, choisissez entre un transfert hors connexion ou sur le transfert réseau. Le tableau montre le temps prévu pour le transfert de données réseau, pour différentes bandes passantes réseau disponibles (en supposant une utilisation de 90 %).

Transfert réseau ou transfert hors connexion

  • Si le transfert réseau est projeté comme étant trop lent, vous devez utiliser un appareil physique. Les options recommandées dans ce cas sont les appareils de transfert hors connexion à partir de la famille Azure Data Box ou d’Azure Import/Export à l’aide de vos propres disques.

    • Famille Azure Data Box pour les transferts hors connexion : utilisez des appareils à partir d’appareils Data Box fournis par Microsoft pour déplacer de grandes quantités de données vers Azure lorsque vous êtes limité par temps, disponibilité réseau ou coûts. Copiez les données localement à l’aide d’outils tels que Robocopy. En fonction du volume des données à transférer, vous pouvez choisir Data Box Disk, Data Box ou Data Box Heavy.
    • Azure Import/Export : utilisez le service Azure Import/Export en expédiant vos propres lecteurs de disque pour importer en toute sécurité de grandes quantités de données vers stockage Blob Azure et Azure Files. Vous pouvez également utiliser ce service pour transférer des données de Stockage Blob Azure vers des lecteurs de disque et les expédier vers vos sites locaux.

  • Si le transfert réseau est prévu pour être raisonnable, vous pouvez utiliser l’un des outils suivants détaillés dans la bande passante réseau élevée.

Bande passante réseau élevée (1 Gbits/s - 100 Gbits/s)

Si la bande passante réseau disponible est élevée, utilisez l’un des outils suivants.

  • AzCopy : utilisez cet outil en ligne de commande pour copier facilement des données vers et à partir d’objets blob, de fichiers et de stockage table Azure avec des performances optimales. AzCopy prend en charge la concurrence et le parallélisme, ainsi que la capacité de reprendre les opérations de copie après une interruption.
  • API REST de Stockage Azure/SDK Azure – Lors de la création d’une application, vous pouvez développer l’application en utilisant les API REST de Stockage Azure et les bibliothèques SDK Azure disponibles dans plusieurs langages.
  • Famille Azure Data Box pour les transferts en ligne : Azure Stack Edge et Data Box Gateway sont des appareils réseau en ligne qui peuvent déplacer des données vers et hors d’Azure. Utilisez un appareil physique Azure Stack Edge lorsqu’il existe un besoin simultané d’ingestion continue et de prétraitement des données avant le chargement. Data Box Gateway est une version virtuelle de l’appareil, offrant les mêmes fonctionnalités de transfert de données. Dans chaque cas, le transfert de données est géré par l'appareil.
  • Azure Data Factory : Data Factory doit être utilisé pour effectuer un scale-out d’une opération de transfert, et s’il est nécessaire d’orchestration et de fonctionnalités de supervision de niveau entreprise. Utilisez Data Factory pour transférer régulièrement des fichiers entre plusieurs services Azure, en local ou les deux. Avec Data Factory, vous pouvez créer et planifier des workflows pilotés par des données (appelés pipelines) qui ingèrent des données provenant de magasins de données disparates et automatisent le déplacement et la transformation des données.

Comparaison des fonctionnalités clés

Les tableaux suivants résument les différences entre les fonctionnalités clés des options recommandées.

Bande passante réseau modérée

Si vous utilisez le transfert de données hors connexion, utilisez le tableau suivant pour comprendre les différences entre les fonctionnalités clés.

Data Box Disk Boîte de données Data Box Heavy Importer/Exporter
Taille des données Jusqu’à 35 To Jusqu’à 80 To par appareil Jusqu’à 800 To par appareil Variable
Type de données Objets blob Azure
Azure Files*		 Objets blob Azure
Azure Files		 Objets blob Azure
Azure Files		 Objets blob Azure
Azure Files
Facteur de forme 5 DISQUES SSD par commande 1 x appareil de 50 lb de taille bureau par commande 1 X ~500-lbs. gros appareil d’environ 500 lb par commande Jusqu'à 10 disques durs/SSD par commande
Heure de configuration initiale Faible
(15 minutes)		 Faible à modéré
(<30 minutes)		 Modéré
(1 à 2 heures)		 Modéré à difficile
(variable)
Envoyer des données à Azure Oui Oui Oui Oui
Exporter des données à partir d’Azure Non Non Non Oui
Chiffrement AES 128 bits AES 256 bits AES 256 bits AES 128 bits
Matériel Microsoft a fourni Microsoft a fourni Microsoft a fourni Fourniture par le client
Interface réseau USB 3.1/SATA RJ 45, SFP+ RJ45, QSFP+ SATA II/SATA III
Intégration des partenaires En partie Élevé Élevé En partie
Livraison Géré par Microsoft Géré par Microsoft Géré par Microsoft Managée par le client
Utiliser lorsque les données se déplacent Dans une limite commerciale Dans une limite commerciale Dans une limite commerciale Au-delà des limites géographiques, par exemple les États-Unis vers l’UE
Tarification Tarification Tarification Tarification Tarification

* Data Box Disk ne prend pas en charge les partages de fichiers volumineux et ne conserve pas les métadonnées de fichier

Si vous utilisez le transfert de données en ligne, utilisez le tableau de la section suivante pour une bande passante réseau élevée.

Bande passante réseau élevée

Outils AzCopy,
Azure PowerShell,
Azure CLI (Interface de ligne de commande Azure)		 API REST Stockage Azure, Kits de développement logiciel (SDK) Data Box Gateway ou Azure Stack Edge Azure Data Factory.
Type de données Objets blob Azure, Azure Fichiers, Azure Tables Objets blob Azure, Azure Fichiers, Azure Tables Blob et Azure Files Prend en charge plus de 70 connecteurs de données pour les sources de données et les formats
Facteur de forme Outils en ligne de commande Interface programmatique Microsoft fournit une machine virtuelle
ou physique		 Service dans le portail Azure
Configuration unique initiale Facile Modéré Facile (<30 minutes) à modérer (1 à 2 heures) Exigeante
Prétraitement des données Non Non Oui (avec Edge computing) Oui
Transfert depuis d'autres services cloud Non Non Non Oui
Type d’utilisateur Professionnel IT ou développeur Dev Professionnel de l'informatique Professionnel de l'informatique
Tarification Gratuit, des frais de sortie de données s'appliquent Gratuit, des frais de sortie de données s'appliquent Tarification d’Azure Stack Edge
Tarification de Data Box Gateway		 Tarification

Étapes suivantes