Migrer des données de Google Cloud Storage vers Stockage Blob Azure avec stockage Azure Mover

La fonctionnalité de migration source S3 (Service de stockage simple) dans stockage Azure Mover transfère en toute sécurité les données des magasins d’objets Google Cloud Storage (GCS) compatibles avec S3 vers Stockage Blob Azure.

Contrairement aux migrations AWS S3 (Amazon Simple Storage Services) qui utilisent Azure Arc connecteurs multiclouds, les migrations sources compatibles avec S3 utilisent une approche simplifiée. Lorsque vous stockez l'URL du point de terminaison source et les informations d'identification HMAC (Code d'authentification par message basé sur le hachage) en toute sécurité dans Azure Key Vault, vous n'avez pas besoin d'un connecteur multicloud ou d'une découverte automatisée de source.

Cet article vous guide tout au long du processus complet de configuration de Storage Mover pour migrer vos données d’une source compatible GCS S3 vers Stockage Blob Azure. Le processus consiste à stocker les informations d’identification sources dans Azure Key Vault, à configurer les points de terminaison source et cible, et à créer et exécuter une tâche de migration.

Prerequisites

Avant de commencer, assurez-vous de satisfaire les exigences suivantes :

  • Un abonnement Azure actif avec les autorisations nécessaires pour créer et gérer des ressources stockage Azure Mover.
  • Un compte Google Cloud avec accès au compartiment GCS à partir duquel vous souhaitez migrer.
  • Un compte stockage Azure à utiliser comme destination.
  • Ressource Storage Mover déployée dans votre abonnement Azure.
  • Un Azure Key Vault pour stocker en toute sécurité vos informations d’identification HMAC de la source.
  • Clés HMAC générées pour votre bucket GCS. Consultez Générer des clés HMAC pour GCS.
  • Configuration d’une connexion privée sur Azure, si vos données sources sont accessibles uniquement via un réseau privé.

Limits

La fonctionnalité de migration source GCS compatible S3 dans stockage Azure Mover a les limites suivantes :

  • Chaque travail de migration prend en charge le transfert de 500 millions d’objets.
  • Un maximum de 10 travaux simultanés est pris en charge par abonnement. Si vous devez exécuter plus de 10, créez une demande de support.
  • Seul l’accès HTTPS à la source compatible S3 est pris en charge.
  • La source compatible S3 doit prendre en charge l’authentification de style AWS Signature Version 4 (SigV4).

Éléments à connaître

Avant de commencer votre migration, passez en revue les considérations suivantes spécifiques aux migrations sources compatibles GCS S3 :

Méthode d’authentification

L’accès compatible GCS S3 utilise des clés HMAC (ID de clé d’accès et clé secrète) associées à un compte de service GCS ou un compte d’utilisateur. Ces clés permettent à GCS de répondre aux demandes d’API S3 standard à l’aide du processus d’authentification AWS Signature Version 4.

Générer des clés HMAC pour GCS

Pour accéder à votre compartiment GCS à l’aide de l’interface compatible S3, vous devez générer des clés HMAC dans la console Google Cloud.

  1. Accédez à la console Google Cloud.

  2. Accédez à l’onglet Cloud Storage>Paramètres>Interopérabilité.

  3. Si ce n’est déjà fait, sélectionnez Définir un projet par défaut pour l’accès à l’interopérabilité.

  4. Dans la section Clés d’accès pour les comptes de service , sélectionnez le compte de service que vous souhaitez utiliser et sélectionnez Créer une clé.

  5. Notez les valeurs de clé d’accès et de clé secrète . Vous avez besoin de ces valeurs à l’étape suivante.

    Important

    Stockez ces clés en toute sécurité. La clé secrète n’est affichée qu’une seule fois. La clé est visible uniquement lors de la création initiale et ne peut pas être récupérée ultérieurement.

  6. Assurez-vous que les informations d’identification HMAC ont une période de validité minimale d’une semaine pour garantir l’achèvement du travail et une sécurité optimale.

Stocker les informations d’identification sources dans Azure Key Vault

Après avoir généré des clés HMAC pour votre compartiment GCS, stockez-les en tant que secrets dans Azure Key Vault pour un accès sécurisé par le service Storage Mover.

  1. À l’aide du portail Azure, accédez au Azure Key Vault qui réside dans le même abonnement que votre ressource Storage Mover.

  2. Dans le volet de navigation gauche, développez le menu Objets et sélectionnez Secrets. Ensuite, sélectionnez Générer/Importer.

    Capture d’écran mettant en surbrillance l’emplacement de l’élément de menu secrets Key Vault dans le volet de navigation gauche.

    Capture d'écran mettant en surbrillance l'emplacement de l'élément de menu Générer des secrets de l'Key Vault.

  3. Créez un secret pour la clé d’accès :

    • Nom : indiquez un nom explicite (par exemple, gcs-access-key).
    • Valeur secrète : collez la valeur de la clé d’accès HMAC de la section précédente.
    • Cliquez sur Créer.

    Capture d'écran affichant les champs pertinents pour la fenêtre Key Vault « Créer un secret » pour enregistrer votre clé d'accès.

  4. Créez un deuxième secret pour la clé secrète :

    • Nom : indiquez un nom explicite (par exemple, gcs-secret-key).
    • Valeur secrète : collez la valeur clé secrète HMAC de la section précédente.
    • Cliquez sur Créer.

    Capture d'écran affichant les champs pertinents pour la fenêtre Key Vault « Créer un secret » pour enregistrer votre clé secrète.

  5. Notez l’URI complet de l’identificateur de secret pour chaque secret. Vous avez besoin de ces identificateurs lors de la création du point de terminaison source.

Note

Pour garantir une sécurité optimale, nous vous recommandons de désactiver l’accès public sur le Key Vault contenant des secrets HMAC et d’ajouter Storage Mover en tant que service approuvé.

Pour plus d’informations, consultez Définir et récupérer un secret à partir de Key Vault à l’aide de Portail Azure.

Configurer des points de terminaison source et cible

Après avoir magasiné vos informations d'identification HMAC dans votre Azure Key Vault, l'étape suivante consiste à créer les points de terminaison source et cible de votre migration.

Dans le contexte du service stockage Azure Mover, un point de terminaison est une ressource qui contient le chemin d’accès vers un emplacement source, soit vers un emplacement cible, ainsi que d’autres informations pertinentes. Les définitions de travaux de Storage Mover utilisent des points de terminaison pour définir les emplacements source et de destination des opérations de copie.

Configurer un point de terminaison source compatible GCS S3

Les points de terminaison sources identifient les emplacements à partir desquels vos données sont migrées. Les points de terminaison sources sont utilisés pour définir l’origine des données spécifiées dans votre projet de migration.

Les étapes suivantes décrivent le processus de création d’un point de terminaison source.

  1. Accédez à votre instance Storage Mover dans le portail Azure.

  2. Dans le groupe d’administration des ressources dans le volet de navigation gauche, sélectionnez Points de terminaison de stockage. Sélectionnez l’onglet Points de terminaison sources , puis créez un point de terminaison pour ouvrir le volet Créer un point de terminaison source .

  3. Dans le volet Créer un point de terminaison source :

    • Sélectionnez Migration multicloud comme type de migration.
    • Sélectionnez Stockage d’objets GCS - S3 comme type de source.
    • URL source : entrez l’URL HTTPS complète de votre compartiment GCS au format compatible S3. Utilisez le format : https://storage.googleapis.com/<bucket-name>/ ou https://storage.googleapis.com/<bucket-name>/<prefix>/ pour migrer uniquement un sous-ensemble d’objets.
    • URI du secret du coffre de clés d’accès : entrez l’URI complet du secret contenant votre clé d’accès HMAC
    • URI du secret dans le coffre de clé secrète : entrez l’URI complet du secret qui contient votre clé secrète HMAC
    • Si vous le souhaitez, fournissez une description pour le point de terminaison.

  4. Vérifiez que vos sélections sont correctes et sélectionnez Créer pour créer le point de terminaison.

    Capture d’écran affichant les champs pertinents pour la fenêtre « Créer un point de terminaison source » du mover de stockage.

    Note

    Lorsque le point de terminaison source est créé, une identité managée affectée par le système est automatiquement provisionnée. Cette identité nécessite un accès au rôle Key Vault Secrets User du contrôle d’accès en fonction du rôle (RBAC) sur votre Azure Key Vault afin de récupérer les informations d’identification HMAC pendant la migration. Le portail tente d’attribuer ce rôle automatiquement. Si l’affectation échoue en raison d’autorisations insuffisantes, affectez-les manuellement ou contactez votre administrateur Azure pour accorder le rôle manuellement.

Configurer un point de terminaison cible Stockage Blob Azure

  1. Dans le groupe d’administration des ressources dans le volet de navigation gauche, sélectionnez Points de terminaison de stockage. Sélectionnez l’onglet Points de terminaison cibles , puis ajoutez un point de terminaison pour ouvrir le volet Créer un point de terminaison cible .

  2. Dans le volet Créer un point de terminaison cible :

    • Sélectionnez votre abonnement et votre compte de stockage dans les listes déroulantes respectives.
    • Sélectionnez le Conteneur d’objets blob dans le champ Type de cible.
    • Choisissez le conteneur Blob vers lequel vous souhaitez migrer dans la liste déroulante.
    • Si vous le souhaitez, fournissez une description pour le point de terminaison.

  3. Vérifiez que vos sélections sont correctes et sélectionnez Créer pour créer le point de terminaison.

Attribuer des rôles RBAC

Lorsque vous créez des points de terminaison via le portail Azure, les rôles RBAC requis sont automatiquement attribués aux identités managées affectées par le système :

Point de terminaison Rôle Ressource cible
Point de terminaison source Utilisateur des secrets de Key Vault Votre Azure Key Vault
Point de terminaison cible Contributeur aux données du Blob de stockage Votre conteneur Blob Azure

Si l’affectation automatique échoue (par exemple, en raison d’autorisations insuffisantes), vous devez affecter manuellement ces rôles ou contacter votre administrateur Azure.

Créer un projet de migration et une définition de travail

Après avoir défini des points de terminaison source et cible pour votre migration, les étapes suivantes sont de créer un projet de migration et une définition de travail Storage Mover.

Un projet de migration vous permet d’organiser des migrations volumineuses en unités plus petites et plus gérables. Une définition de travail décrit les ressources et les options de migration pour un ensemble spécifique d’opérations de copie. Ces ressources incluent, par exemple, les points de terminaison source et cible et tous les paramètres de migration que vous souhaitez appliquer.

Suivez les étapes décrites dans cette section pour créer un projet de migration et exécuter un travail de migration.

Création d’un projet

  1. Accédez à la section Projets sous Planifier + exécuter des migrations dans votre instance de Mover de stockage, puis sélectionnez Créer un projet sous l’onglet Projets .

  2. Fournissez des valeurs pour les champs suivants :

    • Nom : nom explicite pour le projet de migration.
    • Description du projet : description utile du projet.

  3. Sélectionnez Créer pour créer le projet.

    Capture d’écran affichant les champs pertinents pour la fenêtre « Créer un projet » du Mover de stockage.

Créer une définition de travail

Sélectionnez le projet une fois qu’il apparaît, puis sélectionnez Créer un travail. L’Assistant Création de travaux comporte quatre onglets : Principes de base, Planification, Paramètres et Révision.

Onglet Informations de base

  1. Fournissez des valeurs pour les champs suivants :

    Champ Valeur
    Type de migration Sélectionner Migration multicloud
    Type de source Sélectionnez GCS Object Storage - S3 (Aperçu)
    Type de compartiment S3 Sélectionner Public ou Privé (préversion)
    Name Nom explicite du travail
    Description (Facultatif) Description du travail (1 024 caractères maximum)

    Capture d’écran affichant les champs pertinents pour l’onglet Informations de base de la fenêtre De base du Mover de stockage « Créer un projet ».

  2. Dans la section Source :

    • Point de terminaison source : sélectionnez Ajouter un point de terminaison source pour créer un point de terminaison, ou sélectionnez un point de terminaison source compatible GCS S3 existant.
    • Sous-chemin d’accès source : (facultatif) indiquez un chemin de sous-dossier pour migrer uniquement une partie de votre compartiment. S’il est vide, le travail commence à partir de la racine du compartiment.
    • Vérifiez que le chemin complet affiché est correct.

  3. Dans la section Cible :

    • Point de terminaison cible : sélectionnez Ajouter un point de terminaison cible pour créer un point de terminaison, ou sélectionnez un point de terminaison cible Stockage Blob Azure existant.
    • Sous-chemin d’accès cible : (facultatif) Spécifiez un sous-dossier cible. S’il est laissé vide, tout le contenu est migré vers la racine du conteneur. Un sous-chemin distinct crée un nouveau sous-dossier.

    Capture d’écran affichant les champs pertinents pour les champs de la fenêtre Déplacer de stockage « Créer un projet » sous l’onglet Informations de base.

  4. Si vous avez sélectionné Private pour le type de compartiment S3, une section Connexions privées s’affiche :

    • Sélectionnez Ajouter pour associer des connexions privées approuvées à ce travail.
    • Seules les connexions dans l’état Approuvé peuvent être ajoutées.
    • Vous pouvez associer plusieurs connexions privées pour l’équilibrage de charge.

    Note

    Les compartiments privés nécessitent des connexions privées. Vous devez disposer d’au moins une connexion privée approuvée avant de pouvoir lancer une tâche de type compartiment privé. Consultez la connectivité de réseau privé pour GCS pour connaître les étapes de configuration.

  5. Sélectionnez Suivant pour continuer.

Onglet Échéancier

Choisissez quand vous souhaitez que la migration s’exécute :

Option Description
Aucune planification Démarrer la migration manuellement
Planification ponctuelle Exécuter la migration une fois à un moment spécifique
Planification périodique Exécuter la migration selon une planification quotidienne, hebdomadaire ou mensuelle

Important

La planification n’est actuellement pas disponible pour le type de source GCS Object Storage - S3. Les travaux peuvent uniquement être exécutés manuellement. Sélectionnez Aucune planification, puis sélectionnez Suivant pour continuer.

Onglet Paramètres

  1. Sélectionnez le mode de copie souhaité dans la liste déroulante :

    Mode Copie Comportement
    Fusionner le contenu dans la cible Les fichiers sont conservés dans la cible même s’ils n’existent pas dans la source. Les fichiers avec des noms et des chemins correspondants sont mis à jour pour correspondre à la source. Les renommages de dossiers entre les copies peuvent entraîner un contenu duplicatif dans la cible.
    Source miroir à cibler Fait de la cible une copie conforme de la source. Les objets supprimés de la source sont également supprimés de la cible.

  2. Passez en revue la section Résultats de la migration pour comprendre comment vos données sont mappées :

    Résultat Description
    Structure de répertoires La cible prend en charge les dossiers « virtuels ». Les fichiers voient leur chemin source ajouté au début de leur nom et sont placés dans une liste à plat. Les dossiers vides sont représentés sous la forme d’un objet blob vide avec des métadonnées de dossier conservées dans les métadonnées personnalisées.
    Créer un horodatage Conservé en tant que métadonnées personnalisées du blob. L’horodatage natif du blob indique la date et l’heure auxquelles le fichier a été migré.
    Modifier l’horodatage Conservé en tant que métadonnées personnalisées du blob. Il n’existe aucun horodatage natif de blob de ce type.
    Horodatage modifié Conservé en tant que métadonnées personnalisées du blob. L’horodatage natif du blob indique la date et l’heure auxquelles le fichier a été migré.
    Horodatage du dernier accès Conservé en tant que métadonnées de blob personnalisées si elles existent sur la source. Pas d’horodatage natif de blob de ce type.
    Autres métadonnées Stocké dans les métadonnées personnalisées du blob cible. Seuls 4 Kio de métadonnées peuvent être stockés. Les métadonnées supérieures à 4 Ko ne sont pas migrées.
    Protocole de migration cloud API REST Blob

  3. Sélectionnez Suivant pour continuer.

Onglet Révision

Passez en revue le résumé de votre configuration :

  • Notions de base : Nom du travail, type de migration
  • Source : type de source, URL source avec nom de compartiment, nom cloud (GCS), sous-chemin source
  • Cible : compte de stockage, conteneur d’objets blob Azure, sous-chemin cible
  • Planification : Fréquence de migration
  • Paramètres : mode de copie

Si tous les paramètres sont corrects, sélectionnez Créer pour déployer le travail. Sélectionnez Précédent pour apporter des modifications.

Exécuter une tâche de migration

Démarrer un travail

  1. Accédez à l’onglet Projets . Votre travail nouvellement créé apparaît dans la liste sous votre projet.
  2. Sélectionnez votre définition de travail pour afficher ses détails sous l’onglet Propriétés .
  3. Sélectionnez le bouton Démarrer le travail .
  4. Dans le volet Démarrer le travail , confirmez les détails du travail et sélectionnez Démarrer pour commencer la migration.

Le travail s’exécute en arrière-plan. Vous pouvez surveiller sa progression dans l’onglet Vue d’ensemble de la migration .

Superviser la progression de la migration

Lorsque vous utilisez Storage Mover pour migrer vos données, vous devez surveiller les opérations de copie pour les problèmes potentiels. Les données relatives aux opérations effectuées pendant votre migration s’affichent sous l’onglet Vue d’ensemble de la migration . Ces données vous permettent de suivre la progression de votre migration en fournissant l’état actuel et les informations clés telles que la progression, la vitesse et le temps d’achèvement estimé.

Une fois configuré, stockage Azure Mover fournit également les journaux de copie et les journauxd’exécution des travaux. Ces journaux vous permettent de suivre le résultat de migration des exécutions de travaux et des fichiers individuels.

  1. Accédez à l’onglet Tâches de migration .
  2. Sélectionnez votre travail pour afficher la progression, la vitesse et le temps d’achèvement estimé.
  3. Sélectionnez Journaux pour rechercher les erreurs ou avertissements.
  4. Une fois la migration terminée, vérifiez les données dans Stockage Blob Azure.

Pour en savoir plus sur les journaux de copie et de tâches de Storage Mover, consultez l'article Comment activer les journaux de copie et de tâches de Storage Mover d’Azure.

Validation post-migration

La validation des données postérieures à la migration garantit que vos données sont précises et que le transfert de GCS vers Stockage Blob Azure est terminé. Ce processus de validation vérifie l’intégrité des données en comparant les données migrées aux mêmes données de la source.

Procédez comme suit pour effectuer la validation manuelle et nettoyer les ressources GCS inutilisées :

  1. Comparer la source et la cible : vérifiez que tous les objets attendus sont transférés en comparant le nombre d’objets et la taille totale des données entre le compartiment GCS et le conteneur d’objets blob Azure.
  2. Vérifier l’intégrité des données : téléchargez un échantillon représentatif d’objets depuis la source et la cible, puis comparez les sommes de contrôle.
  3. Activer la synchronisation incrémentielle (si nécessaire) : si vous devez conserver votre compartiment GCS et Azure conteneur d’objets blob synchronisés au fil du temps, planifiez les exécutions de travaux périodiques.
  4. Source de désactivation : supprimez le compartiment GCS et les clés HMAC une fois la migration terminée et vérifiée. Supprimez les secrets correspondants de Azure Key Vault lorsque vous n’en avez plus besoin.

Résolution des problèmes et support

Si vous rencontrez des problèmes lors de votre migration, commencez à résoudre les problèmes en effectuant les étapes suivantes.

Problème Résolution
La tâche de migration a échoué Consultez les journaux de copie et de travail pour obtenir des messages d’erreur détaillés. Les causes courantes incluent des informations d’identification non valides ou des problèmes de connectivité réseau.
Erreur d’authentification Vérifiez que la clé d’accès HMAC et la clé secrète stockées dans Azure Key Vault sont correctes et non expirées. Vérifiez que l'identité gérée du point de terminaison source dispose de l'accès Utilisateur des secrets de coffre de clés à votre coffre de clés.
Erreur d’autorisation sur la destination Vérifiez que l’identité gérée du point de terminaison cible dispose du rôle Contributeur aux données Blob du stockage sur le conteneur Blob cible.
Le transfert de données est lent Vérifiez que votre bande passante réseau est suffisante. GCS peut implémenter des limites de débit pour les demandes d’API compatibles avec S3. Envisagez de réduire le nombre de tâches simultanées en cas de limitation du débit.
Objets manquants après la synchronisation En raison de la granularité du second niveau d’horodatage GCS, les objets modifiés au cours de la même seconde que la dernière synchronisation peuvent ne pas être détectés tant que le travail suivant n’a pas été exécuté. Attendez et exécutez une synchronisation supplémentaire.
Objets inattendus dans la cible Les objets d’espace réservé de répertoire dans GCS (objets de zéro octet se terminant par /) sont automatiquement ignorés et ne doivent pas apparaître dans la destination. Si des objets inattendus existent, passez en revue les journaux de copie pour plus d’informations.
URL source rejetée Vérifiez que l’URL source utilise HTTPS, ne contient pas de paramètres de requête, de fragments ou d’adresses IP, et pointe vers un nom de domaine complet valide.

Si vous ne parvenez pas à résoudre votre problème, créez une demande de support Azure.

Contenu connexe

Les articles suivants peuvent vous aider à vous familiariser avec le service Storage Mover :

  • Last updated on