Migrace dat z Google Cloud Storage do Azure Blob Storage pomocí nástroje Azure Storage Mover

Funkce migrace zdroje S3 (Simple Storage Service) v nástroji Azure Storage Mover bezpečně přenáší data z úložišť objektů GCS (Google Cloud Storage) kompatibilních s S3 do Azure Blob Storage.

Na rozdíl od migrací AWS S3 (Amazon Simple Storage Services), které používají Azure Arc multicloudové konektory, používají migrace zdrojů kompatibilní s S3 zjednodušený přístup. Pokud adresu URL zdrojového koncového bodu a přihlašovací údaje HMAC (Hash-based Message Authentication Code) ukládáte bezpečně v Azure Key Vault, nepotřebujete multicloudový konektor ani automatizované zjišťování zdrojů.

Tento článek vás provede kompletním procesem konfigurace nástroje Storage Mover pro migraci dat ze zdroje kompatibilního se službou GCS S3 do Azure Blob Storage. Proces se skládá z ukládání zdrojových přihlašovacích údajů do Azure Key Vault, konfigurace zdrojových a cílových koncových bodů a vytvoření a spuštění úlohy migrace.

Předpoklady

Než začnete, ujistěte se, že máte:

  • Aktivní Azure předplatné s oprávněními k vytváření a správě prostředků Azure Storage Mover.
  • Účet Google Cloud s přístupem k kbelíku GCS, ze kterého chcete migrovat.
  • Účet Azure Storage, který se má použít jako cíl.
  • Prostředek služby Storage Mover nasazený v předplatném Azure.
  • Azure Key Vault pro bezpečné uložení zdrojových přihlašovacích údajů HMAC.
  • Klíče HMAC vygenerované pro kontejner GCS Viz Generování klíčů HMAC pro GCS.
  • Nastavení privátního připojení na Azure, pokud jsou zdrojová data přístupná pouze prostřednictvím privátní sítě.

Limits

Funkce migrace zdroje GCS kompatibilní s S3 v nástroji Azure Storage Mover má následující omezení:

  • Každá úloha migrace podporuje přenos 500 milionů objektů.
  • Na jedno předplatné je podporováno maximálně 10 souběžných úloh. Pokud potřebujete spustit více než 10, vytvořte žádost o podporu.
  • Podporuje se pouze přístup HTTPS ke zdroji kompatibilnímu s S3.
  • Zdroj kompatibilní s S3 musí podporovat ověřování stylu AWS Signature Version 4 (SigV4).

Co je třeba vědět

Než začnete s migrací, projděte si následující aspekty související s migracemi zdrojů kompatibilních se službou GCS S3:

Metoda ověřování

Přístup kompatibilní s GCS S3 používá klíče HMAC (ID přístupového klíče a tajný klíč) přidružené k účtu služby GCS nebo k uživatelskému účtu. Tyto klíče umožňují GCS reagovat na standardní požadavky rozhraní API S3 pomocí procesu ověřování AWS Signature Verze 4.

Generování klíčů HMAC pro GCS

Pokud chcete získat přístup ke kbelíku GCS pomocí rozhraní kompatibilního s S3, musíte vygenerovat klíče HMAC v konzole Google Cloud Console.

  1. Přejděte do konzoly Google Cloud Console.

  2. Přejděte na kartuInteroperabilita>>.

  3. Pokud jste to ještě neudělali, vyberte Nastavit výchozí projekt pro přístup k interoperabilitě.

  4. V části Přístupové klíče pro účty služeb vyberte účet služby, který chcete použít, a vyberte Vytvořit klíč.

  5. Poznamenejte si hodnoty přístupového klíče a tajného klíče . Tyto hodnoty budete potřebovat v dalším kroku.

    Important

    Tyto klíče bezpečně uložte. Tajný klíč se zobrazí jenom jednou. Klíč se zobrazí jenom během počátečního vytváření a později ho nejde načíst.

  6. Ujistěte se, že přihlašovací údaje HMAC mají minimální dobu platnosti jednoho týdne, aby se zajistilo dokončení úlohy a optimální zabezpečení.

Uložení zdrojových přihlašovacích údajů v Azure Key Vault

Po vygenerování klíčů HMAC pro kontejner GCS je uložte jako tajné kódy do Azure Key Vault pro zabezpečený přístup službou Storage Mover.

  1. Pomocí portálu Azure přejděte na Azure Key Vault, která se nachází ve stejném předplatném jako prostředek služby Storage Mover.

  2. V levém navigačním panelu rozbalte nabídku Objekty a vyberte Tajné kódy. Dále vyberte Generovat/Importovat.

    Snímek obrazovky se zvýrazněným umístěním položky nabídky Tajné kódy služby Key Vault v levé navigaci.

    Snímek obrazovky zvýrazňuje umístění položky nabídky Generovat tajné kódy Key Vault.

  3. Vytvořte tajný klíč pro přístupový klíč:

    • Název: Zadejte smysluplný název (například gcs-access-key).
    • Hodnota tajného kódu: Vložte hodnotu přístupového klíče HMAC z předchozí části.
    • Vyberte Vytvořit.

    Snímek obrazovky zobrazující pole relevantní pro Key Vault okno Vytvořit tajný kód pro uložení přístupového klíče.

  4. Vytvořte druhý tajný kód pro tajný klíč:

    • Název: Zadejte smysluplný název (například gcs-secret-key).
    • Hodnota tajného kódu: Vložte hodnotu tajného klíče HMAC z předchozí části.
    • Vyberte Vytvořit.

    Snímek obrazovky zobrazující pole relevantní pro okno Key Vault Vytvoření tajného klíče pro uložení tajného klíče

  5. Poznamenejte si úplný identifikátor URI Tajný identifikátor pro každý tajný klíč. Tyto identifikátory budete potřebovat při vytváření zdrojového koncového bodu.

Poznámka:

Pokud chcete zajistit optimální zabezpečení, doporučujeme zakázat veřejný přístup na Key Vault obsahující tajné kódy HMAC a přidat Storage Mover jako důvěryhodnou službu.

Další informace najdete v tématu Nastavení a načtení tajného kódu z Key Vault pomocí portálu Azure.


Konfigurace zdrojových a cílových koncových bodů

Po uložení přihlašovacích údajů HMAC v rámci Azure Key Vault je dalším krokem vytvoření zdrojového a cílového koncového bodu migrace.

V kontextu služby Azure Storage Mover je koncový bod prostředkem, který obsahuje cestu ke zdroji nebo cílovému umístění a dalším relevantním informacím. Definice úloh Storage Moveru používají koncové body k určení zdrojového a cílového umístění pro operace kopírování.

Konfigurace zdrojového koncového bodu kompatibilního se službou GCS S3

Zdrojové koncové body identifikují umístění, ze kterých se vaše data migrují. Zdrojové koncové body slouží k definování původu dat zadaných v rámci projektu migrace.

Následující kroky popisují proces vytvoření zdrojového koncového bodu.

  1. V Azure portálu přejděte k vaší instanci Storage Mover.

  2. Ve skupině pro správu prostředků v levé navigaci vyberte koncové body úložiště. Vyberte kartu Zdrojové koncové body a pak výběrem možnosti Vytvořit koncový bod otevřete podokno Vytvořit zdrojový koncový bod .

  3. V podokně Vytvořit zdrojový koncový bod :

    • Jako typ migrace vyberte migraci multicloudu.
    • Jako typ Zdroj vyberte úložiště objektů GCS – S3.
    • Zdrojová adresa URL: Zadejte úplnou adresu URL HTTPS do kontejneru GCS ve formátu kompatibilním s S3. Použijte formát: https://storage.googleapis.com/<bucket-name>/ nebo https://storage.googleapis.com/<bucket-name>/<prefix>/ migrujte pouze podmnožinu objektů.
    • Identifikátor URI tajného klíče služby Key Vault pro přístup: Zadejte úplný identifikátor URI tajného klíče, který obsahuje váš přístupový klíč HMAC.
    • URI tajného klíče v Key Vaultu: Zadejte úplný identifikátor URI tajného kódu, který obsahuje váš tajný klíč HMAC.
    • Volitelně můžete zadat popis koncového bodu.
  4. Ověřte správnost výběrů a výběrem možnosti Vytvořit vytvořte koncový bod.

    Snímek obrazovky zobrazující pole relevantní pro okno

    Poznámka:

    Po vytvoření zdrojového koncového bodu se automaticky zřídí spravovaná identita přiřazená systémem. Tato identita vyžaduje během migrace přístup k roli RBAC Key Vault Secrets User ve vašem Azure Key Vault, aby mohla načíst přihlašovací údaje HMAC. Portál se pokusí tuto roli přiřadit automaticky. Pokud přiřazení selže kvůli nedostatečným oprávněním, přiřaďte je ručně nebo požádejte správce Azure, aby roli udělil ručně.

Konfigurace cílového koncového bodu Azure Blob Storage

  1. Ve skupině pro správu prostředků v levé navigaci vyberte koncové body úložiště. Vyberte kartu Cílové koncové body a pak výběrem možnosti Přidat koncový bod otevřete podokno Vytvořit cílový koncový bod .

  2. V podokně Vytvořit cílový koncový bod :

    • V příslušných rozevíracích seznamech vyberte své předplatné a účet úložiště .
    • V poli Typ cíle vyberte kontejner objektů blob.
    • V rozevíracím seznamu vyberte kontejner objektů blob, do kterého chcete migrovat.
    • Volitelně můžete zadat popis koncového bodu.
  3. Ověřte správnost výběrů a výběrem možnosti Vytvořit vytvořte koncový bod.

Přiřazení rolí RBAC

Když vytváříte koncové body prostřednictvím portálu Azure, požadované role RBAC se automaticky přiřadí spravovaným identitám přiřazeným systémem:

Endpoint Úloha Cílový prostředek
Zdrojový koncový bod Uživatel tajných kódů služby Key Vault Vaše Azure Key Vault
Cílový koncový bod Přispěvatel dat služby Storage Blob Váš kontejner objektů blob Azure

Pokud automatické přiřazení selže (například kvůli nedostatečným oprávněním), musíte tyto role přiřadit ručně nebo se obrátit na správce Azure.

Vytvoření projektu migrace a definice úlohy

Po definování zdrojových a cílových koncových bodů pro migraci je dalším postupem vytvoření projektu migrace a definice úlohy služby Storage Mover.

Projekt migrace umožňuje uspořádat velké migrace do menších a lépe spravovatelných jednotek. Definice úlohy popisuje prostředky a možnosti migrace pro konkrétní sadu operací kopírování. Mezi tyto prostředky patří například zdrojové a cílové koncové body a všechna nastavení migrace, která chcete použít.

Podle kroků v této části vytvořte projekt migrace a spusťte úlohu migrace.

Vytvoření projektu

  1. Přejděte do části Projekty v části Plánování a spouštění migrací v instanci služby Storage Mover a vyberte Vytvořit projekt na kartě Projekty .

  2. Zadejte hodnoty pro následující pole:

    • Název: Smysluplný název projektu migrace.
    • Popis projektu: Užitečný popis projektu.
  3. Vyberte Vytvořit a vytvořte projekt.

    Snímek obrazovky zobrazující pole relevantní pro okno Vytvořit projekt v moveru úložiště

Vytvoření definice úlohy

Vyberte projekt po zobrazení a pak vyberte Vytvořit úlohu. Průvodce vytvořením úlohy má čtyři karty: Základy, Plán, Nastavení a Revize.

Záložka Základy

  1. Zadejte hodnoty pro následující pole:

    Pole Value
    Typ migrace Vyberte migraci do multicloudu
    Typ zdroje Výběr úložiště objektů GCS – S3 (Preview)
    Typ kbelíku S3 Výběr veřejného nebo privátního (Preview)
    Name Smysluplný název úlohy
    Description (Volitelné) Popis úlohy (maximálně 1 024 znaků)

    Snímek obrazovky zobrazující pole relevantní pro kartu Základy v okně Vytvořit projekt v aplikaci Storage Mover

  2. V části Zdroj :

    • Zdrojový koncový bod: Vyberte Přidat zdrojový koncový bod a vytvořte nový koncový bod nebo vyberte existující zdrojový koncový bod kompatibilní se službou GCS S3.
    • Zdrojová podcesta: (Volitelné) Zadejte cestu k podsložce, aby se migrovala pouze část vašeho bucketu. Pokud zůstane prázdné, úloha se spustí od kořene bucketu.
    • Ověřte správnost zobrazené úplné cesty .
  3. V části Cíl :

    • Cílový koncový bod: Vyberte Přidat cílový koncový bod a vytvořte nový koncový bod nebo vyberte existující Azure Blob Storage cílový koncový bod.
    • Cílová podsložka: (Volitelné) Zadejte cílovou podsložku. Pokud je prázdný, veškerý obsah se migruje do kořenového adresáře kontejneru. Unikátní podcesta vytvoří novou podsložku.

    Snímek obrazovky zobrazující pole na kartě Základy, která souvisejí s oknem „Create project“ nástroje Storage Mover.

  4. Pokud jste jako typ kontejneru S3 vybrali privátní připojení, zobrazí se oddíl Privátní připojení :

    • Pokud chcete k této úloze přidružit schválená privátní připojení, vyberte Přidat .
    • Je možné přidat pouze připojení ve schváleném stavu.
    • Pro vyrovnávání zatížení můžete přidružit několik privátních připojení.

    Poznámka:

    Privátní kontejnery vyžadují privátní připojení. Abyste mohli spustit úlohu s typem privátního kontejneru, musíte mít aspoň jedno schválené privátní připojení. Postup nastavení najdete v tématu Připojení k privátní síti pro službu GCS .

  5. Pokračujte výběrem tlačítka Další.

Karta Plánování

Zvolte, kdy má migrace běžet:

Option Description
Žádný plán Ruční spuštění migrace
Jednorázový plán Spusťte migraci jednou v konkrétním čase.
Opakující se plán Spusťte migraci podle denního, týdenního nebo měsíčního plánu

Important

Plánování není aktuálně k dispozici pro typ zdroje GCS Object Storage – S3. Úlohy je možné spouštět pouze ručně. Vyberte Žádný plán a pokračujte výběrem možnosti Další.

Karta Nastavení

  1. V rozevíracím seznamu vyberte požadovaný režim kopírování :

    Režim kopírování Chování
    Slučte obsah do cíle Soubory se uchovávají v cíli, i když ve zdroji neexistují. Soubory s odpovídajícími názvy a cestami se aktualizují tak, aby odpovídaly zdroji. Přejmenování složky mezi kopiemi může vést k duplikativnímu obsahu v cíli.
    Zrcadlový zdroj pro cíl Vytvoří z cílového objektu přesnou repliku zdroje. Objekty odstraněné ze zdroje se také odstraní z cíle.
  2. V části Výsledky migrace se dozvíte, jak se vaše data mapují:

    Výsledek Description
    Adresářová struktura Cíl podporuje "virtuální" složky. Soubory získají zdrojovou cestu před svým názvem a umístí se do plochého seznamu. Prázdné složky jsou reprezentovány jako prázdný objekt blob se zachováním metadat složek ve vlastních metadatech.
    Vytvoření časového razítka Zachová se jako vlastní metadata objektu blob. Časové razítko nativního objektu blob odráží čas, kdy byl soubor migrován.
    Změna časového razítka Zachová se jako vlastní metadata objektu blob. Neexistuje žádné časové razítko nativní pro objekt blob tohoto typu.
    Změněné časové razítko Zachová se jako vlastní metadata objektu blob. Časové razítko nativního objektu blob odráží čas, kdy byl soubor migrován.
    Časové razítko posledního přístupu Budou zachována jako vlastní metadata objektu blob, pokud ve zdroji existují. Pro tento typ neexistuje nativní časové razítko objektu blob.
    Další metadata Uloženo ve vlastních metadatech na cílovém objektu blob. Lze uložit pouze 4 KiB metadat. Metadata větší než 4 KiB se nemigrují.
    Protokol migrace do cloudu Blob REST API
  3. Pokračujte výběrem tlačítka Další.

Karta Revize

Projděte si souhrn konfigurace:

  • Základy: Název úlohy, typ migrace
  • Zdroj: Typ zdroje, zdrojová adresa URL s názvem kontejneru, název cloudu (GCS), zdrojová dílčí cesta
  • Cíl: účet úložiště, kontejner objektů blob v Azure, cílová podcesta
  • Plán: Frekvence migrace
  • Nastavení: Režim kopírování

Pokud jsou všechna nastavení správná, vyberte Vytvořit a nasaďte úlohu. Chcete-li provést změny, vyberte Předchozí .

Spusťte úlohu migrace

Spuštění úlohy

  1. Přejděte na kartu Projekty . Nově vytvořená úloha se zobrazí v seznamu pod vaším projektem.
  2. Výběrem definice úlohy zobrazíte její podrobnosti na kartě Vlastnosti .
  3. Vyberte tlačítko Spustit úlohu .
  4. V podokně spustit úlohu potvrďte podrobnosti úlohy a výběrem možnosti Start spusťte migraci.

Úloha běží na pozadí. Průběh migrace můžete sledovat na kartě Přehled migrace .

Monitorování průběhu migrace

Při migraci dat pomocí nástroje Storage Mover byste měli monitorovat operace kopírování pro potenciální problémy. Data týkající se operací provedených během migrace se zobrazí na kartě Přehled migrace . Tato data umožňují sledovat průběh migrace tím, že poskytuje aktuální stav a klíčové informace, jako je průběh, rychlost a odhadovaná doba dokončení.

Při konfiguraci poskytuje nástroj Azure Storage Mover také protokoly kopírování a protokoly spuštění úlohy. Tyto protokoly umožňují sledovat výsledek migrace běhů úloh i jednotlivých souborů.

  1. Přejděte na kartu Úlohy migrace .
  2. Vyberte úlohu, abyste zobrazili průběh, rychlost a odhadovanou dobu dokončení.
  3. Vyberte Protokoly a zkontrolujte případné chyby nebo upozornění.
  4. Po dokončení migrace ověřte data v Azure Blob Storage.

Další informace o kopírování a protokolech úloh služby Storage Mover najdete v článku o povolení kopírování a protokolů úloh služby Azure Storage Mover .


Ověření po migraci

Ověření dat po migraci zajišťuje, že jsou vaše data přesná a že přenos ze služby GCS do Azure Blob Storage je dokončený. Tento proces ověřování ověřuje integritu dat porovnáním migrovaných dat se stejnými daty ze zdroje.

Pokud chcete dokončit ruční ověření a vyčistit nepoužívané prostředky GCS, postupujte takto:

  1. Porovnání zdroje a cíle: Ověřte, že jsou všechny očekávané objekty přenášeny porovnáním počtu objektů a celkové velikosti dat mezi kontejnerem GCS a kontejnerem objektů blob Azure.
  2. Namátkově zkontrolujte integritu dat: Stáhněte reprezentativní vzorek objektů ze zdroje i cíle a porovnejte kontrolní součty.
  3. Povolte přírůstkovou synchronizaci (v případě potřeby): Pokud potřebujete zachovat kontejner GCS a Azure kontejner objektů blob synchronizovaný v průběhu času, naplánujte opakované spuštění úloh.
  4. Vyřazení zdroje z provozu: Po úplném dokončení a ověření migrace odstraňte kontejner GCS a klíče HMAC. Pokud už nepotřebujete, odeberte z Azure Key Vault odpovídající tajné kódy.

Řešení potíží a podpora

Pokud během migrace narazíte na problémy, začněte řešit potíže pomocí následujícího postupu.

Problém Resolution
Migrační úloha selhala. Podrobné chybové zprávy najdete v protokolech kopírování a úloh. Mezi běžné příčiny patří neplatné přihlašovací údaje nebo problémy s připojením k síti.
Chyba ověřování Ověřte, že přístupový klíč HMAC a tajný klíč uložený v Azure Key Vault jsou správné a nevypršela jeho platnost. Ujistěte se, že spravovaná identita zdrojového koncového bodu má k vašemu Key Vaultu přístup Key Vault Secrets User.
Chyba oprávnění v cíli Ověřte, že spravovaná identita cílového koncového bodu má v cílovém kontejneru objektů blob roli Přispěvatel k datům objektů blob služby Storage.
Přenos dat je pomalý Ujistěte se, že je dostatečná šířka pásma sítě. GCS může implementovat omezení rychlosti pro požadavky rozhraní API kompatibilní s S3. Pokud dochází k omezování rychlosti, zvažte snížení počtu souběžných úloh.
Chybějící objekty po synchronizaci Kvůli členitosti druhé úrovně časového razítka GCS nemusí být objekty změněné ve stejné sekundě jako poslední synchronizace zjištěny, dokud se nespustí další úloha. Počkejte a spusťte dodatečnou synchronizaci.
Neočekávané objekty v cíli Zástupné objekty adresáře GCS (nulové bajtové objekty končící /) se automaticky přeskočí a neměly by se v cíli zobrazovat. Pokud existují neočekávané objekty, projděte si podrobnosti v protokolech kopírování.
Odmítnutá zdrojová adresa URL Ujistěte se, že zdrojová adresa URL používá protokol HTTPS, neobsahuje parametry dotazu, fragmenty nebo IP adresy a odkazuje na platný plně kvalifikovaný název domény.

Pokud se vám nedaří problém vyřešit, vytvořte podpora Azure žádost.


Následující články vám můžou pomoct seznámit se se službou Storage Mover: