Gegevens migreren van Google Cloud Storage naar Azure Blob Storage met Azure Storage Mover

Met de functie voor bronmigratie van S3 (Simple Storage Service) in Azure Storage Mover worden gegevens veilig overgedragen van S3-compatibele objectopslag van Google Cloud Storage (GCS) naar Azure Blob Storage.

In tegenstelling tot AWS S3-migraties (Amazon Simple Storage Services) die gebruikmaken van Azure Arc connectors met meerdere clouds, gebruiken S3-compatibele bronmigraties een vereenvoudigde benadering. Wanneer u de referenties van het broneindpunt en HMAC (Hash-based Message Authentication Code) veilig opslaat in Azure Key Vault, hebt u geen connector met meerdere clouds of automatische brondetectie nodig.

In dit artikel wordt u begeleid bij het volledige proces van het configureren van Storage Mover om uw gegevens te migreren van een met GCS S3 compatibele bron naar Azure Blob Storage. Het proces bestaat uit het opslaan van bronreferenties in Azure Key Vault, het configureren van bron- en doeleindpunten en het maken en uitvoeren van een migratietaak.

Prerequisites

Zorg voordat u begint dat u over het volgende beschikt:

Een actief Azure-abonnement met machtigingen voor het maken en beheren van Azure Storage Mover-resources.
Een Google Cloud-account met toegang tot de GCS-bucket waaruit u wilt migreren.
Een Azure Storage-account dat moet worden gebruikt als bestemming.
Een Storage Mover-resource die is geïmplementeerd in uw Azure-abonnement.
Een Azure Key Vault om uw HMAC-bronreferenties veilig op te slaan.
HMAC-sleutels die zijn gegenereerd voor uw GCS-bucket. Zie HMAC-sleutels genereren voor GCS.
Een privéverbinding instellen op Azure, als uw brongegevens alleen toegankelijk zijn via een particulier netwerk.

Limits

De S3-compatibele GCS-bronmigratiefunctie in Azure Storage Mover heeft de volgende limieten:

Elke migratietaak ondersteunt de overdracht van 500 miljoen objecten.
Er worden maximaal 10 gelijktijdige taken per abonnement ondersteund. Als u meer dan 10 wilt uitvoeren, maakt u een ondersteuningsaanvraag.
Alleen HTTPS-toegang tot de S3-compatibele bron wordt ondersteund.
De S3-compatibele bron moet verificatie in de stijl AWS Signature Versie 4 (SigV4) ondersteunen.

Wat u moet weten

Bekijk voordat u met de migratie begint de volgende aandachtspunten voor GCS S3-compatibele bronmigraties:

Verificatiemethode

GCS S3-compatibele toegang maakt gebruik van HMAC-sleutels (toegangssleutel-id en geheime sleutel) die zijn gekoppeld aan een GCS-serviceaccount of gebruikersaccount. Met deze sleutels kan GCS reageren op standaard S3 API-aanvragen met behulp van het verificatieproces voor AWS Signature versie 4.

HMAC-sleutels genereren voor GCS

Als u toegang wilt krijgen tot uw GCS-bucket met behulp van de S3-compatibele interface, moet u HMAC-sleutels genereren in de Google Cloud Console.

Navigeer naar de Google Cloud Console.
Ga naar het tabbladInteroperabiliteit van >>.
Als u dat nog niet hebt gedaan, selecteert u Een standaardproject instellen voor interoperabiliteitstoegang.
Selecteer in de sectie Toegangssleutels voor serviceaccounts het serviceaccount dat u wilt gebruiken en selecteer Een sleutel maken.
Noteer de waarden voor de toegangssleutel en geheime sleutel . U hebt deze waarden nodig in de volgende stap.

Important

Sla deze sleutels veilig op. De geheime sleutel wordt slechts eenmaal weergegeven. De sleutel is alleen zichtbaar tijdens het aanmaken en kan later niet meer worden opgevraagd.
Zorg ervoor dat de HMAC-referenties een minimale geldigheidsperiode van één week hebben om ervoor te zorgen dat de taak is voltooid en optimale beveiliging.

Bronreferenties opslaan in Azure Key Vault

Nadat u HMAC-sleutels voor uw GCS-bucket hebt gegenereerd, slaat u deze op als geheimen in Azure Key Vault voor beveiligde toegang door de Storage Mover-service.

Navigeer met behulp van de Azure-portal naar de Azure Key Vault die zich in hetzelfde abonnement bevindt als uw Storage Mover-resource.
Vouw in het linkernavigatievenster het menu Objecten uit en selecteer Geheimen. Selecteer vervolgens Genereren/importeren.
Maak een geheim voor de toegangssleutel:
- Naam: Geef een betekenisvolle naam op (bijvoorbeeld gcs-access-key).
- Geheime waarde: Plak de waarde van de HMAC-toegangssleutel uit de vorige sectie.
- Klik op Creëren.
Maak een tweede geheim voor de geheime sleutel:
- Naam: Geef een betekenisvolle naam op (bijvoorbeeld gcs-secret-key).
- Geheime waarde: Plak de waarde van de HMAC-geheime sleutel uit de vorige sectie.
- Klik op Creëren.
Noteer de volledige URI van de Geheime id van elk geheim. U hebt deze id's nodig bij het maken van het broneindpunt.

Note

Om een optimale beveiliging te garanderen, raden we u aan openbare toegang uit te schakelen op de Key Vault met HMAC-geheimen en opslag-Mover toe te voegen als een vertrouwde service.

Zie Een geheim instellen en ophalen uit Key Vault met behulp van Azure portal voor meer informatie.

Bron- en doeleindpunten configureren

Nadat u uw HMAC-referenties in uw Azure Key Vault hebt opgeslagen, is de volgende stap het maken van de bron- en doeleindpunten van uw migratie.

In de context van de Azure Storage Mover-service is een eindpunt een resource die het pad naar een bron- of doellocatie en andere relevante informatie bevat. Opslagmover-taakdefinities maken gebruik van eindpunten om de bron- en doellocaties voor kopieerbewerkingen te definiëren.

Een GCS S3-compatibel broneindpunt configureren

Broneindpunten identificeren locaties van waaruit uw gegevens worden gemigreerd. Broneindpunten worden gebruikt om de oorsprong te definiëren van de gegevens die zijn opgegeven in uw migratieproject.

In de volgende stappen wordt het proces voor het maken van een broneindpunt beschreven.

Navigeer naar uw Storage Mover-exemplaar in de Azure portal.
Selecteer opslageindpunten in de resourcebeheergroep in het linkernavigatievenster. Selecteer het tabblad Broneindpunten en selecteer vervolgens Eindpunt maken om het deelvenster Broneindpunt maken te openen.
In het deelvenster Broneindpunt maken:
- Selecteer Migratie met meerdere clouds als migratietype.
- Selecteer GCS-objectopslag- S3 als brontype.
- Bron-URL: Voer de volledige HTTPS-URL van uw GCS-bucket in, in S3-compatibele indeling. Gebruik de notatie: https://storage.googleapis.com/<bucket-name>/ of https://storage.googleapis.com/<bucket-name>/<prefix>/ als u alleen een subset van objecten wilt migreren.
- URI van Key Vault-geheim openen: voer de volledige URI in van het geheim dat uw HMAC-toegangssleutel bevat
- Key Vault-secret-URI: Voer de volledige URI in van het geheim dat uw HMAC-geheime sleutel bevat
- Geef eventueel een beschrijving op voor het eindpunt.
Controleer of uw selecties juist zijn en selecteer Maken om het eindpunt te maken.

Note

Wanneer het broneindpunt wordt gemaakt, wordt automatisch een door het systeem toegewezen beheerde identiteit ingericht. Deze identiteit vereist Key Vault Secrets User-roltoegang voor op rollen gebaseerd toegangsbeheer (RBAC) voor uw Azure Key Vault om de HMAC-referenties tijdens de migratie op te halen. De portal probeert deze rol automatisch toe te wijzen. Als de toewijzing mislukt vanwege onvoldoende machtigingen, wijst u deze handmatig toe of neemt u contact op met uw Azure-beheerder om de rol handmatig te verlenen.

Een Azure Blob Storage doeleindpunt configureren

Selecteer opslageindpunten in de resourcebeheergroep in het linkernavigatievenster. Selecteer het tabblad Doeleindpunten en selecteer vervolgens Eindpunt toevoegen om het deelvenster Doeleindpunt maken te openen.
In het deelvenster Doel-eindpunt maken :
- Selecteer uw abonnements - en opslagaccount in de desbetreffende vervolgkeuzelijsten.
- Selecteer blobcontainer in het veld Doeltype .
- Kies de Blob-container waarnaar u wilt migreren vanuit de vervolgkeuzelijst.
- Geef eventueel een beschrijving op voor het eindpunt.
Controleer of uw selecties juist zijn en selecteer Maken om het eindpunt te maken.

RBAC-rollen toewijzen

Wanneer u eindpunten maakt via de Azure-portal, worden de vereiste RBAC-rollen automatisch toegewezen aan de door het systeem toegewezen beheerde identiteiten:

Eindpunt	Rol	Doelbron
Broneindpunt	Key Vault Secrets-gebruiker	uw Azure Key Vault
Doeleindpunt	Inzender voor Storage Blob-gegevens	Uw Azure Blob-container

Als automatische toewijzing mislukt (bijvoorbeeld vanwege onvoldoende machtigingen), moet u deze rollen handmatig toewijzen of contact opnemen met uw Azure beheerder.

Een migratieproject en taakdefinitie maken

Nadat u bron- en doeleindpunten voor uw migratie hebt gedefinieerd, zijn de volgende stappen het maken van een Storage Mover-migratieproject en -taakdefinitie.

Met een migratieproject kunt u grote migraties organiseren in kleinere, beter beheerbare eenheden. Een taakdefinitie beschrijft resources en migratieopties voor een specifieke set kopieerbewerkingen. Deze resources omvatten bijvoorbeeld de bron- en doeleindpunten en alle migratie-instellingen die u wilt toepassen.

Volg de stappen in deze sectie om een migratieproject te maken en een migratietaak uit te voeren.

Een project maken

Navigeer naar de sectie Projecten onder Plan en voer migraties uit in uw Storage Mover-exemplaar en selecteer Project maken op het tabblad Projecten .
Geef waarden op voor de volgende velden:
- Naam: Een betekenisvolle naam voor het migratieproject.
- Projectbeschrijving: Een nuttige beschrijving voor het project.
Selecteer Maken om het project te maken.

Een taakdefinitie maken

Selecteer het project nadat het wordt weergegeven en selecteer vervolgens Een taak maken. De wizard voor het maken van de taak heeft vier tabbladen: Basisbeginselen, Planning, Instellingen en Controleren.

Tabblad Basis

Geef waarden op voor de volgende velden:

Veld	Value
Migratietype	Migratie met meerdere clouds selecteren
Brontype	GCS-objectopslag selecteren - S3 (preview)
S3-buckettype	Openbaar of Privé (Preview) selecteren
Naam	Een betekenisvolle naam voor de taak
Description	(Optioneel) Een beschrijving voor de taak (maximaal 1024 tekens)

In de sectie Bron :
- Broneindpunt: selecteer Broneindpunt toevoegen om een nieuw eindpunt te maken of selecteer een bestaand GCS S3-compatibel broneindpunt.
- Subpad van de bron: (Optioneel) Geef een pad naar een submap op om alleen een deel van uw bucket te migreren. Als deze leeg blijft, begint de taak vanuit de hoofdmap van de bucket.
- Controleer of het weergegeven volledige pad juist is.
In de sectie Target:
- Doeleindpunt: selecteer Doeleindpunt toevoegen om een nieuw eindpunt te maken of selecteer een bestaand Azure Blob Storage doeleindpunt.
- Doelsubpad: (Optioneel) Geef een doelsubmap op. Als deze leeg blijft, wordt alle inhoud gemigreerd naar de hoofdmap van de container. Een uniek subpad maakt een nieuwe submap.
Als u Privé hebt geselecteerd voor het buckettype S3, wordt er een sectie Privéverbindingen weergegeven:
- Selecteer Toevoegen om goedgekeurde privéverbindingen aan deze taak te koppelen.
- Alleen verbindingen met de status Goedgekeurd kunnen worden toegevoegd.
- U kunt meerdere privéverbindingen koppelen voor taakverdeling.
Note

Private buckets vereisen private verbindingen. U moet ten minste één goedgekeurde privéverbinding hebben voordat u een taak kunt starten met het type Privé-bucket. Zie Privénetwerkconnectiviteit voor GCS voor installatiestappen.
Selecteer Volgende om door te gaan.

Het tabblad Schema

Kies wanneer u wilt dat de migratie wordt uitgevoerd:

Option	Description
Geen schema	De migratie handmatig starten
Eenmalig schema	De migratie eenmaal op een bepaald tijdstip uitvoeren
Terugkerend schema	De migratie uitvoeren volgens een dagelijks, wekelijks of maandelijks schema

Important

Planning is momenteel niet beschikbaar voor het brontype GCS-objectopslag - S3. Taken kunnen alleen handmatig worden uitgevoerd. Selecteer Geen planning en selecteer Volgende om door te gaan.

Tabblad Instellingen

Selecteer de gewenste kopieermodus in de vervolgkeuzelijst:

Kopieermodus	Gedrag
Inhoud samenvoegen in doel	Bestanden worden opgeslagen in het doel, zelfs als ze niet bestaan in de bron. Bestanden met overeenkomende namen en paden worden bijgewerkt zodat deze overeenkomen met de bron. Het hernoemen van mappen tijdens het kopiëren kan leiden tot dubbele inhoud op de doellocatie.
Bron naar doel spiegelen	Hiermee wordt het doel een exacte replica van de bron. Objecten die uit de bron zijn verwijderd, worden ook verwijderd uit het doel.

Bekijk de sectie Migratieresultaten om te begrijpen hoe uw gegevens worden toegewezen:

Resultaat	Description
Mapstructuur	Het doel ondersteunt 'virtuele' mappen. Bestanden krijgen hun bronpad voor hun naam geplaatst en worden in een ongestructureerde lijst geplaatst. Lege mappen worden weergegeven als een lege blob met mapmetagegevens die behouden blijven in aangepaste metagegevens.
Tijdstempel maken	Behouden als aangepaste blobmetagegevens. Het systeemeigen tijdstempel van de blob geeft de tijd aan waarop het bestand is gemigreerd.
Tijdstempel wijzigen	Behouden als aangepaste blobmetagegevens. Er is geen blobinterne tijdstempel van dit type.
Gewijzigde tijdstempel	Behouden als aangepaste blobmetagegevens. Het systeemeigen tijdstempel van de blob geeft de tijd aan waarop het bestand is gemigreerd.
Laatst geopende tijdstempel	Behouden als aangepaste blobmetagegevens als deze aanwezig zijn op de bron. Geen oorspronkelijke blobtijdstempel van dit type.
Andere metagegevens	Opgeslagen in aangepaste metagegevens op de doel-blob. Slechts 4 KiB met metagegevens kan worden opgeslagen. Metagegevens die groter zijn dan 4 KiB, worden niet gemigreerd.
Cloudmigratieprotocol	Blob REST API

Selecteer Volgende om door te gaan.

Tabblad Controleren

Bekijk de samenvatting van uw configuratie:

Basisbeginselen: taaknaam, migratietype
Bron: Brontype, bron-URL met bucketnaam, cloudnaam (GCS), bronsubpad
Doel: Opslagaccount, Azure blobcontainer, doelsubpad
Schema: Migratiefrequentie
Instellingen: kopieermodus

Als alle instellingen juist zijn, selecteert u Maken om de taak te implementeren. Selecteer Vorige om wijzigingen aan te brengen.

Een migratietaak uitvoeren

Een taak starten

Azure portal

Navigeer naar het tabblad Projecten . Uw zojuist gemaakte taak wordt weergegeven in de lijst onder uw project.
Selecteer uw taakdefinitie om de details ervan weer te geven op het tabblad Eigenschappen .
Selecteer de knop Taak starten.
Bevestig in het deelvenster Taak starten de taakdetails en selecteer Start om de migratie te beginnen.

De taak wordt op de achtergrond uitgevoerd. U kunt de voortgang ervan controleren op het tabblad Migratieoverzicht .

Migratievoortgang bewaken

Wanneer u Storage Mover gebruikt om uw gegevens te migreren, moet u de kopieerbewerkingen controleren op mogelijke problemen. Gegevens met betrekking tot de bewerkingen die tijdens uw migratie worden uitgevoerd, worden weergegeven op het tabblad Migratieoverzicht . Met deze gegevens kunt u de voortgang van uw migratie bijhouden door de huidige status en belangrijke informatie op te geven, zoals voortgang, snelheid en geschatte voltooiingstijd.

Wanneer dit is geconfigureerd, biedt Azure Storage Mover ook logboeken kopiëren en taakuitvoeringslogboeken. Met deze logboeken kunt u het migratieresultaat van taakuitvoeringen en afzonderlijke bestanden traceren.

Navigeer naar het tabblad Migratietaken .
Selecteer uw taak om de voortgang, snelheid en geschatte voltooiingstijd weer te geven.
Selecteer Logboeken om te controleren op eventuele fouten of waarschuwingen.
Nadat de migratie is voltooid, controleert u de gegevens in Azure Blob Storage.

Raadpleeg het artikel Over het inschakelen van Azure Storage Mover-kopieer- en taaklogboeken voor meer informatie over logboeken voor kopiëren en taken van Storage Mover.

Validatie na migratie

Validatie van gegevens na de migratie zorgt ervoor dat uw gegevens juist zijn en dat de overdracht van GCS naar Azure Blob Storage is voltooid. Met dit validatieproces wordt de gegevensintegriteit gecontroleerd door gemigreerde gegevens te vergelijken met dezelfde gegevens uit de bron.

Volg deze stappen om handmatige validatie te voltooien en ongebruikte GCS-resources op te schonen:

Bron en doel vergelijken: controleer of alle verwachte objecten worden overgedragen door het aantal objecten en de totale gegevensgrootte tussen de GCS-bucket en de Azure Blob-container te vergelijken.
Integriteit van spot-checkgegevens: Download een representatief voorbeeld van objecten uit zowel de bron als het doel en vergelijk controlesommen.
Incrementele synchronisatie inschakelen (indien nodig): Als u uw GCS-bucket wilt behouden en Azure Blob-container in de loop van de tijd moet synchroniseren, plant u terugkerende taakuitvoeringen.
Bron buiten gebruik stellen: Verwijder de GCS-bucket en HMAC-sleutels nadat de migratie volledig is afgerond en geverifieerd. Verwijder de bijbehorende geheimen uit Azure Key Vault wanneer u deze niet meer nodig hebt.

Probleemoplossing en ondersteuning

Als u problemen ondervindt tijdens uw migratie, begint u met het oplossen van problemen door de volgende stappen uit te voeren.

Issue	Resolutie / Besluit
Migratietaak is mislukt	Controleer de kopieer- en taaklogboeken voor gedetailleerde foutmeldingen. Veelvoorkomende oorzaken zijn ongeldige referenties of problemen met de netwerkverbinding.
Authenticatiefout	Controleer of de HMAC-toegangssleutel en geheime sleutel die zijn opgeslagen in Azure Key Vault juist zijn en niet verlopen zijn. Zorg ervoor dat de beheerde identiteit van het broneindpunt Key Vault Geheimen-gebruikerstoegang heeft op uw Key Vault.
Machtigingsfout op doel	Controleer of de beheerde identiteit van het doeleindpunt de rol Inzender voor opslagblobgegevens heeft voor de doel-blobcontainer.
Gegevensoverdracht is traag	Zorg ervoor dat uw netwerkbandbreedte voldoende is. GCS kan frequentielimieten implementeren voor S3-compatibele API-aanvragen. Overweeg het aantal gelijktijdig uitgevoerde taken te verminderen als er snelheidsbeperking optreedt.
Objecten ontbreken na synchronisatie	Vanwege de granulariteit van GCS-tijdstempels op secondenniveau worden objecten die binnen dezelfde seconde als de laatste synchronisatie zijn gewijzigd, mogelijk pas gedetecteerd tot de volgende uitvoering van de taak. Wacht en voer een aanvullende synchronisatie uit.
Onverwachte objecten in het doel	GCS-directory-placeholder-objecten (objecten van nul bytes die eindigen op `/`) worden automatisch overgeslagen en mogen niet in het doelsysteem voorkomen. Als er onverwachte objecten aanwezig zijn, controleer dan de logboeken van Kopiëren voor meer informatie.
Bron-URL geweigerd	Zorg ervoor dat de bron-URL HTTPS gebruikt, geen queryparameters, fragmenten of IP-adressen bevat en verwijst naar een geldige volledig gekwalificeerde domeinnaam.

Als u het probleem niet kunt oplossen, maakt u een ondersteuning voor Azure aanvraag.

De volgende artikelen kunnen u helpen vertrouwd te raken met de Storage Mover-service:

Feedback

Is deze pagina nuttig?

Last updated on 2026-06-30