Tutoriel : Copier des données sur Azure Data Box Disk par le biais de NFS

  • Article

Important

Azure Data Box prend désormais en charge l'affectation de niveau d'accès au niveau d'un objet blob. Les étapes de ce tutoriel reflètent le processus de copie de données mis à jour et sont spécifiques aux objets blob de blocs.

Pour plus de renseignements sur la détermination du niveau d'accès approprié pour vos objets blob de blocs de données, consultez la section Déterminer les niveaux d'accès appropriés pour les objets blob de blocs. Suivez les étapes de la section Copier les données dans Data Box pour copier vos données dans le niveau d'accès approprié.

Les informations contenues dans cette section s'appliquent aux ordres de commande passés après le 1er avril 2024.

Ce tutoriel explique comment vous connecter à votre ordinateur hôte et copier des données à partir de cet ordinateur à l’aide de l’interface utilisateur web locale.

Dans ce tutoriel, vous allez apprendre à :

  • Prérequis
  • Se connecter à Data Box
  • Copier des données sur Data Box

Prérequis

Avant de commencer, assurez-vous que :

  1. Vous avez suivi le Tutoriel : configurer Azure Data Box.
  2. Vous recevez votre Data Box et le statut de l'ordre de commande dans le portail affiche Livré.
  3. Vous disposez d’un ordinateur hôte contenant les données que vous souhaitez copier sur Data Box Votre ordinateur hôte doit effectuer :
    • Exécuter un système d’exploitation pris en charge
    • Connectez-vous à un réseau haut débit. Nous vous recommandons vivement d’utiliser au minimum une connexion 10 GbE. Si vous ne disposez pas d’une connexion 10 GbE, vous pouvez utiliser une liaison de données 1 GbE. Cependant, cela a une incidence sur les vitesses de copie.

Se connecter à Data Box

Selon le compte de stockage sélectionné, Data Box crée jusqu’à :

  • Trois partages pour chaque compte de stockage associé pour GPv1 et GPv2.
  • Un partage pour le stockage Premium.
  • un partage pour un compte de stockage d'objet blob, contenant un dossier pour chacun des quatre niveaux d'accès.

Le tableau suivant identifie les noms des partages Data Box auxquels vous pouvez vous connecter, ainsi que le type de données chargées sur votre compte de stockage cible. Il identifie également la hiérarchie des partages et des répertoires dans lesquels vous copiez vos données sources.

Type de stockage Nom de partage Entité de premier niveau Entité de deuxième niveau Entité de troisième niveau
Objet blob de blocs <storageAccountName>_BlockBlob <\accessTier> <\containerName> <\blockBlob>
Objet blob de pages <\storageAccountName>_PageBlob <\containerName> <\pageBlob>
Stockage Fichier <\storageAccountName>_AzFile <\fileShareName> <\file>

Vous ne pouvez pas copier des fichiers directement dans le dossier racine d'un partage Data Box. Il est préférable de créer des dossiers dans le partage Data Box en fonction de votre cas d'usage.

Les objets blob de blocs prennent en charge l'affectation des niveaux d'accès au niveau du fichier. Avant de copier des fichiers sur le partage d'un objet blob de blocs, la meilleure pratique recommandée est d'ajouter de nouveaux sous-dossiers dans le niveau d'accès approprié. Ensuite, après avoir créé de nouveaux sous-dossiers, continuez à ajouter des fichiers à chaque sous-dossier approprié.

Un nouveau conteneur est créé pour tout dossier résidant à la racine du partage d'un objet blob de blocs. Tout fichier contenu dans le dossier est copié dans le niveau d'accès par défaut du compte de stockage sous la forme d'un objet blob de blocs.

Pour plus d'informations sur les niveaux d'accès aux objets blob, consultez Niveaux d'accès aux données d'objets blob. Pour plus d'informations sur les meilleures pratiques en matière de niveaux d'accès, consultez Meilleures pratiques pour l'utilisation des niveaux d'accès aux objets blob.

Le tableau suivant indique le chemin d'accès UNC aux partages de votre Data Box et l'URL correspondante du chemin d'accès au Stockage Azure vers lequel les données sont chargées. La dernière URL de chemin de Stockage Azure peut être dérivée à partir du chemin de partage UNC.

Type de stockage Azure Partages Data Box
Objets blob de blocs Azure
  • Chemin UNC aux partages : \\<DeviceIPAddress>\<storageaccountname_BlockBlob>\<accessTier>\<ContainerName>\myBlob.txt
  • URL de Stockage Azure : https://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.txt
    		•
    Objets blob de pages Azure
  • Chemin UNC aux partages : \\<DeviceIPAddress>\<storageaccountname_PageBlob>\<ContainerName>\myBlob.vhd
  • URL de Stockage Azure : https://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.vhd
    		•
    Azure Files
  • Chemin UNC aux partages : \\<DeviceIPAddress>\<storageaccountname_AzFile>\<ShareName>\myFile.txt
  • URL de Stockage Azure : https://<storageaccountname>.file.core.windows.net/<ShareName>/myFile.txt
    		•

    Si vous utilisez un ordinateur hôte Linux, procédez comme suit afin de configurer Data Box pour autoriser l'accès aux clients NFS.

    1. Indiquez les adresses IP des clients autorisés pouvant accéder au partage. Dans l’interface utilisateur web locale, accédez à la page Connect and copy (Connexion et copie). En dessous de Paramètres NFS, sélectionnez Accès au client NFS.

      Configurer l’accès du client NFS

    2. Indiquez l'adresse IP du client NFS, puis cliquez sur Ajouter. Vous pouvez configurer un accès à plusieurs clients NFS en répétant cette étape. Cliquez sur OK.

      Configurer l’adresse IP d’un client NFS

    3. Assurez-vous qu’une version prise en charge du client NFS est installée sur l’ordinateur hôte Linux. Utilisez la version spécifiquement adaptée à votre distribution Linux.

    4. Une fois le client NFS installé, utilisez la commande suivante pour monter le partage NFS sur votre appareil Data Box :

      sudo mount <Data Box device IP>:/<NFS share on Data Box device> <Path to the folder on local Linux computer>

      Utilisez l'exemple suivant pour vous connecter à un partage Data Box à l'aide de NFS. Dans cet exemple, l'adresse IP de l'appareil Data Box est 10.161.23.130. Le partage Mystoracct_Blob est monté sur le ubuntuVM, et le point de montage est /home/databoxubuntuhost/databox.

      sudo mount -t nfs 10.161.23.130:/Mystoracct_Blob /home/databoxubuntuhost/databox

      Pour les clients Mac, vous devez ajouter une option supplémentaire en procédant comme suit :

      sudo mount -t nfs -o sec=sys,resvport 10.161.23.130:/Mystoracct_Blob /home/databoxubuntuhost/databox

      Important

      Vous ne pouvez pas copier de fichiers directement dans le dossier racine du compte de stockage. Dans le dossier racine d'un compte de stockage d'objets blob de blocs, vous trouverez un dossier correspondant à chacun des niveaux d'accès disponibles.

      Pour copier vos données dans Azure Data Box, vous devez d'abord sélectionner le dossier correspondant à l'un des niveaux d'accès. Ensuite, créez un sous-dossier dans le dossier de ce niveau pour stocker vos données. Enfin, copiez vos données dans le sous-dossier nouvellement créé. Votre nouveau sous-dossier représente le conteneur créé dans le compte de stockage lors de l'ingestion. Vos données sont chargées dans ce conteneur sous forme d'objets blob.

    Déterminer les niveaux d'accès appropriés pour les objets blob de blocs

    Important

    Les informations contenues dans cette section s'appliquent aux ordres de commande passés après le 1er avril 2024.

    Le Stockage Azure vous permet de stocker des objets blob de blocs de données dans plusieurs niveaux d'accès au sein d'un même compte de stockage. Cette fonction permet d'organiser et de stocker plus efficacement les données en fonction de leur fréquence d'accès. Le tableau suivant contient des informations et des recommandations sur les niveaux d'accès au Stockage Azure.

    Niveau Recommandation Bonnes pratiques
    Chaud Utile pour les données en ligne fréquemment consultées ou modifiées. Ce niveau a les coûts de stockage les plus élevés, mais les coûts d’accès les plus bas. Les données de ce niveau doivent faire l'objet d'une utilisation régulière et active.
    Froid Utile pour les données en ligne rarement consultées ou modifiées. Ce niveau a des coûts de stockage inférieurs et des coûts d'accès supérieurs à ceux du niveau d'accès chaud. Les données de ce niveau doivent être stockées pendant au moins 30 jours.
    Peu intéressé Utile pour les données en ligne rarement consultées ou modifiées, mais nécessitant une recherche rapide. Ce niveau a des coûts de stockage plus faibles et des coûts d'accès plus élevés que le niveau de stockage sporadique. Les données de ce niveau doivent être stockées pendant au moins 90 jours.
    Archive Utile pour les données hors connexion rarement consultées et dont les exigences en matière de latence sont moindres. Les données de ce niveau doivent être stockées pendant au moins 180 jours. Les données supprimées du niveau archive dans les 180 jours sont soumises à des frais de suppression anticipée.

    Pour plus d'informations sur les niveaux d'accès aux objets blob, consultez Niveaux d'accès aux données d'objets blob. Pour plus d'informations sur les meilleures pratiques, consultez Meilleures pratiques pour l'utilisation des niveaux d'accès aux objets blob.

    Vous pouvez transférer vos objets blob de blocs de données vers le niveau d'accès approprié en les copiant dans le dossier correspondant de Data Box. Ce processus est décrit de manière détaillée dans la section Copier les données dans Azure Data Box.

    Copier des données sur Data Box

    Une fois que vous vous êtes connecté à un ou plusieurs partages Data Box, l'étape suivante consiste à copier les données. Avant de commencer la copie des données, considérez les limitations suivantes :

    • Vérifiez que vous copiez vos données sur le partage qui correspond au format de données requis. Par exemple, copiez les objets blob de blocs de données sur le partage d'un objet blob de blocs. Copiez des VHD dans le partage d'un objet blob de pages. Si le format des données ne correspond pas au type de partage approprié, le chargement des données vers Azure échoue lors d'une étape ultérieure.
    • Lorsque vous copiez des données sur les partages AzFile ou PageBlob, créez préalablement un dossier à la racine du partage, puis copiez les fichiers dans ce dossier.
    • Lorsque vous copiez des données sur le partage BlockBlob, créez un sous-dossier dans le niveau d'accès souhaité, puis copiez les données dans le sous-dossier nouvellement créé. Le sous-dossier représente un conteneur dans lequel les données sont chargées sous forme d'objets blob. Vous ne pouvez pas copier des fichiers directement dans le dossier racine d'un partage.
    • Quand vous copiez des données, vérifiez que la taille des données est conforme aux limites de taille spécifiées dans Limites de taille des comptes de stockage Azure.
    • Des chargements simultanés exécutés par Data Box et par une autre application non Data Box pourraient entraîner des défaillance de chargement, ainsi qu'une altération des données.
    • Si vous utilisez les protocoles SMB et NFS pour les copies de données, nous vous recommandons ce qui suit :
      • Utilisez différents comptes de stockage pour SMB et NFS.
      • Ne copiez pas les mêmes données vers la même destination finale dans Azure en utilisant SMB et NFS. En effet, le résultat final ne pourrait pas être déterminé.
      • Même si la copie via SMB et NFS en parallèle peut fonctionner, nous vous déconseillons de le faire, car elle est sujette aux erreurs humaines. Attendez la fin de la copie des données SMB avant de démarrer une copie de données NFS.
    • Lors de la copie de données dans le partage d'objets blob de blocs, créez un sous-dossier au sein du niveau d'accès souhaité, puis copiez les données dans le sous-dossier nouvellement créé. Le sous-dossier représente un conteneur dans lequel vos données sont chargées en tant qu'objets blob. Vous ne pouvez pas copier de fichiers directement dans le dossier root du compte de stockage.
    • Si vous ingérez des noms de répertoires et de fichiers sensibles à la casse à partir d’un partage NFS sur Data Box :

      • La casse est conservée dans le nom.

      • Les fichiers sont sensibles à la casse.

        Par exemple, si vous copiez SampleFile.txt et Samplefile.Txt, le cas est conservée dans le nom lorsqu'il est copié dans la boîte de données. Cependant, comme ils sont considérés comme le même fichier, le dernier fichier téléchargé remplace le premier.

    Important

    Veillez à conserver une copie des données sources jusqu'à ce que vous puissiez confirmer que vos données ont été copiées dans Stockage Azure.

    Si vous utilisez un ordinateur hôte Linux, utilisez un utilitaire de copie similaire à Robocopy. Plusieurs solutions alternatives sont disponibles pour Linux, par exemple, rsync, FreeFileSync, Unison et Ultracopier.

    La commande cp constitue l’une des meilleures options pour copier un répertoire. Pour plus d’informations sur son utilisation, reportez-vous aux pages man sur cp.

    Si vous utilisez l’option rsync pour une copie multithread, suivez ces instructions :

    • Installez le package CIFS Utils ou NFS Utils selon le système de fichiers utilisé par votre client Linux.

      sudo apt-get install cifs-utils

      sudo apt-get install nfs-utils

    • Installez rsync et Parallel (selon la version distribuée de Linux).

      sudo apt-get install rsync

      sudo apt-get install parallel

    • Créez un point de montage.

      sudo mkdir /mnt/databox

    • Montez le volume.

      sudo mount -t NFS4 //Databox IP Address/share_name /mnt/databox

    • Faites une mise en miroir de la structure de répertoires du dossier.

      rsync -za --include='*/' --exclude='*' /local_path/ /mnt/databox

    • Copiez les fichiers.

      cd /local_path/; find -L . -type f | parallel -j X rsync -za {} /mnt/databox/{}

      où j spécifie le nombre de parallélisations, X = le nombre de copies parallèles

      Nous vous recommandons de commencer avec 16 copies parallèles et d’augmenter le nombre de threads selon les ressources disponibles.

    Important

    Les types de fichiers Linux suivants ne sont pas pris en charge : liens symboliques, fichiers de caractères, fichiers de blocs, sockets et pipes. Ces types de fichiers entraînent des échecs au cours de l’étape Préparer l’expédition.

    Les notifications sont affichées pendant les prouesses de copie pour identifier les erreurs.

    Télécharger et voir les erreurs dans Connexion et copie

    Sélectionnez Télécharger la liste des problèmes.

    Télécharger la liste des problèmes pour une erreur de copie

    Ouvrez la liste pour voir les détails de l’erreur, puis sélectionnez l’URL de résolution pour afficher la résolution recommandée.

    Problèmes dans une liste de problèmes d’erreur de copie

    Pour plus d’informations, consultez Afficher les journaux d’erreurs pendant la copie de données vers Data Box. Pour obtenir une liste détaillée des erreurs lors de la copie des données, consultez Résolution des problèmes liés à Data Box.

    Pour garantir l’intégrité des données, la somme de contrôle est calculée par le biais d’une fonction inline lors de la copie des données. Une fois la copie terminée, vérifiez l’espace utilisé et l’espace libre sur votre appareil.

    Vérifier l’espace libre et l’espace utilisé sur le tableau de bord

    Étapes suivantes

    Ce tutoriel vous a apporté des connaissances concernant Azure Data Box, notamment concernant les points suivants :

    • Conditions préalables à la copie de données Data Box
    • Connexion à Data Box
    • Détermination des niveaux d'accès appropriés pour les objets blob de blocs
    • Copie de données dans Data Box

    Passez au tutoriel suivant pour découvrir comment renvoyer votre Data Box à Microsoft.

    Ship your Azure Data Box to Microsoft (Expédier votre Azure Data Box à Microsoft)