Migrowanie danych z usługi Google Cloud Storage do Azure Blob Storage za pomocą usługi Azure Storage Mover

Funkcja migracji źródła S3 (Simple Storage Service) w usłudze Azure Storage Mover bezpiecznie przesyła dane z magazynów obiektów usługi Google Cloud Storage (GCS) zgodnych z usługą S3 do Azure Blob Storage.

W przeciwieństwie do migracji AWS S3 (Amazon Simple Storage Services), w których używa się łączników wielochmurowych usługi Azure Arc, migracje ze źródła zgodnego z S3 korzystają z uproszczonego podejścia. Jeśli przechowujesz źródłowy adres URL punktu końcowego i poświadczenia HMAC (kod uwierzytelniania komunikatów oparty na skrótach) bezpiecznie w Azure Key Vault, nie potrzebujesz łącznika wielochmurowego ani zautomatyzowanego odnajdywania źródeł.

Ten artykuł przeprowadzi Cię przez cały proces konfigurowania usługi Storage Mover w celu migracji danych ze źródła zgodnego z usługą GCS S3 do Azure Blob Storage. Proces składa się z przechowywania poświadczeń źródłowych w Azure Key Vault, konfigurowania źródłowych i docelowych punktów końcowych oraz tworzenia i uruchamiania zadania migracji.

Prerequisites

Zanim zaczniesz, upewnij się, że masz:

• Aktywna subskrypcja Azure z uprawnieniami do tworzenia zasobów Azure Storage Mover i zarządzania nimi.
• Konto usługi Google Cloud z dostępem do zasobnika GCS, z którego chcesz przeprowadzić migrację.
• Konto Azure Storage do użycia jako miejsce docelowe.
• Zasób usługi Storage Mover wdrożony w ramach subskrypcji Azure.
• Azure Key Vault do bezpiecznego przechowywania źródłowych poświadczeń HMAC.
• Klucze HMAC wygenerowane dla Twojego zasobnika GCS. Zobacz Generowanie kluczy HMAC dla GCS.
• Konfiguracja połączenia prywatnego na Azure, jeśli dane źródłowe są dostępne tylko za pośrednictwem sieci prywatnej.

Limits

Funkcja migracji źródła GCS zgodna ze standardem S3 w usłudze Azure Storage Mover ma następujące limity:

• Każde zadanie migracji obsługuje transfer 500 milionów obiektów.
• W ramach subskrypcji jest obsługiwanych maksymalnie 10 współbieżnych zadań. Jeśli musisz uruchomić więcej niż 10, utwórz wniosek o pomoc techniczną.
• Obsługiwany jest tylko dostęp HTTPS do źródła zgodnego z protokołem S3.
• Źródło zgodne ze standardem S3 musi obsługiwać uwierzytelnianie w stylu platformy AWS Signature w wersji 4 (SigV4).

Fakty, które trzeba znać

Przed rozpoczęciem migracji zapoznaj się z następującymi zagadnieniami dotyczącymi migracji źródłowych zgodnych z usługą GCS S3:

Metoda uwierzytelniania

Dostęp zgodny z usługą GCS S3 używa kluczy HMAC (identyfikatora klucza dostępu i klucza tajnego) skojarzonych z kontem usługi GCS lub kontem użytkownika. Te klucze umożliwiają GCS odpowiadanie na standardowe żądania interfejsu API S3 przy użyciu procesu uwierzytelniania usługi AWS Signature w wersji 4.

Generowanie kluczy HMAC dla GCS

Aby uzyskać dostęp do zasobnika GCS przy użyciu interfejsu zgodnego z usługą S3, musisz wygenerować klucze HMAC w konsoli Google Cloud Console.

1. Przejdź do konsoli Google Cloud Console.

2. Przejdź do karty Cloud Storage>Ustawienia>Interoperacyjność.

3. Jeśli jeszcze tego nie zrobiono, wybierz pozycję Ustaw domyślny projekt na potrzeby dostępu do współdziałania.

4. W sekcji Klucze dostępu dla kont usług wybierz konto usługi, którego chcesz użyć, a następnie wybierz pozycję Utwórz klucz.

5. Zanotuj wartości Klucz dostępu i Klucz tajny . Te wartości są potrzebne w następnym kroku.

   Ważna

   Bezpiecznie przechowuj te klucze. Klucz tajny jest wyświetlany tylko raz. Klucz jest widoczny tylko podczas początkowego tworzenia i nie można go pobrać później.

6. Upewnij się, że poświadczenia HMAC mają minimalny okres ważności wynoszący tydzień, aby zapewnić ukończenie zadania i optymalne zabezpieczenia.

Przechowywanie poświadczeń źródłowych w Azure Key Vault

Po wygenerowaniu kluczy HMAC dla zasobnika GCS zapisz je jako wpisy tajne w usłudze Azure Key Vault, aby usługa Storage Mover mogła bezpiecznie uzyskiwać do nich dostęp.

1. Korzystając z portalu Azure, przejdź do Azure Key Vault, która znajduje się w ramach tej samej subskrypcji co zasób usługi Storage Mover.

2. W lewym panelu nawigacyjnym rozwiń menu Obiekty i wybierz pozycję Klucze tajne. Następnie wybierz pozycję Generuj/Importuj.

   

   

3. Utwórz klucz tajny dla Klucza dostępu:

   • Nazwa: podaj zrozumiałą nazwę (na przykład gcs-access-key).
   • Wartość klucza tajnego: Wklej wartość klucza dostępu HMAC z poprzedniej sekcji.
   • Wybierz Utwórz.

   

4. Utwórz drugi sekret dla Secret Key:

   • Nazwa: podaj zrozumiałą nazwę (na przykład gcs-secret-key).
   • Wartość tajna: Wklej wartość klucza tajnego HMAC z poprzedniej sekcji.
   • Wybierz Utwórz.

   

5. Zanotuj pełny identyfikator URI klucza tajnego dla każdego klucza tajnego. Te identyfikatory są wymagane podczas tworzenia punktu końcowego źródła.

Note

Aby zapewnić optymalne bezpieczeństwo, zalecamy wyłączenie dostępu publicznego w usłudze Key Vault zawierającej klucze tajne HMAC i dodanie usługi Storage Mover jako zaufanej usługi.

Aby uzyskać więcej informacji, zobacz Ustawianie i pobieranie klucza tajnego z usługi Key Vault przy użyciu witryny Azure Portal.

---

Konfigurowanie źródłowych i docelowych punktów końcowych

Po przechowywaniu poświadczeń HMAC w ramach Azure Key Vault następnym krokiem jest utworzenie źródłowych i docelowych punktów końcowych migracji.

W kontekście usługi Azure Storage Mover punkt końcowy jest zasobem zawierającym ścieżkę do lokalizacji źródłowej lub docelowej oraz innych istotnych informacji. Definicje zadań Storage Mover używają punktów końcowych do określania lokalizacji źródłowej i docelowej dla operacji kopiowania.

Konfigurowanie punktu końcowego źródłowego zgodnego z usługą GCS S3

Źródłowe punkty końcowe identyfikują lokalizacje, z których są migrowane dane. Źródłowe punkty końcowe służą do definiowania źródła danych określonych w projekcie migracji.

W poniższych krokach opisano proces tworzenia źródłowego punktu końcowego.

1. Przejdź do instancji Storage Mover w portalu Azure.

2. W grupie Zarządzania zasobami w obszarze nawigacji po lewej stronie wybierz pozycję Punkty końcowe usługi Storage. Wybierz kartę Źródłowe punkty końcowe , a następnie wybierz pozycję Utwórz punkt końcowy , aby otworzyć okienko Tworzenie źródłowego punktu końcowego .

3. W okienku Tworzenie źródłowego punktu końcowego :

   • Wybierz pozycję Migracja w wielu chmurach jako typ migracji.
   • Wybierz Magazyn obiektów GCS - S3 jako typ źródła.
   • Źródłowy adres URL: wprowadź pełny adres URL HTTPS do zasobnika GCS w formacie zgodnym z usługą S3. Użyj formatu : https://storage.googleapis.com/<bucket-name>/ lub https://storage.googleapis.com/<bucket-name>/<prefix>/ , aby przeprowadzić migrację tylko podzestawu obiektów.
   • Identyfikator URI wpisu tajnego dostępu Key Vault: wprowadź pełny identyfikator URI wpisu tajnego zawierającego klucz dostępu HMAC
   • URI wpisu tajnego usługi Key Vault: wprowadź pełny identyfikator URI wpisu tajnego zawierającego Twój tajny klucz HMAC
   • Opcjonalnie podaj opis punktu końcowego.

4. Sprawdź, czy wybrane opcje są poprawne, a następnie wybierz pozycję Utwórz , aby utworzyć punkt końcowy.

   

   Note

   Po utworzeniu źródłowego punktu końcowego zostanie automatycznie aprowizowana tożsamość zarządzana przypisana przez system. Ta tożsamość wymaga przypisania roli kontroli dostępu opartej na rolach (RBAC) Użytkownik wpisów tajnych usługi Key Vault w usłudze Azure Key Vault, aby podczas migracji pobrać poświadczenia HMAC. Portal próbuje automatycznie przypisać tę rolę. Jeśli przypisanie nie powiedzie się z powodu niewystarczających uprawnień, przypisz je ręcznie lub skontaktuj się z administratorem Azure, aby przyznać rolę ręcznie.

Konfigurowanie punktu końcowego docelowego Azure Blob Storage

1. W grupie Zarządzania zasobami w obszarze nawigacji po lewej stronie wybierz pozycję Punkty końcowe usługi Storage. Wybierz kartę Docelowe punkty końcowe , a następnie wybierz pozycję Dodaj punkt końcowy , aby otworzyć okienko Tworzenie docelowego punktu końcowego .

2. W okienku Tworzenie docelowego punktu końcowego :

   • Wybierz subskrypcję i konto magazynu z odpowiednich list rozwijanych.
   • W polu Typ docelowy wybierz pozycję Kontener obiektów blob.
   • Wybierz z listy rozwijanej kontener obiektów Blob, do którego chcesz zmigrować.
   • Opcjonalnie podaj opis punktu końcowego.

3. Sprawdź, czy wybrane opcje są poprawne, a następnie wybierz pozycję Utwórz , aby utworzyć punkt końcowy.

Przypisywanie ról RBAC

Podczas tworzenia punktów końcowych za pośrednictwem portalu Azure wymagane role RBAC są automatycznie przypisywane do tożsamości zarządzanych przypisanych przez system:

Endpoint	Rola	Zasób docelowy
Punkt końcowy źródłowy	Użytkownik sekretów usługi Key Vault	Twój Azure Key Vault
Docelowy punkt końcowy	Współautor danych w usłudze Storage Blob	Twój kontener obiektów Blob platformy Azure

Jeśli automatyczne przypisanie nie powiedzie się (na przykład z powodu niewystarczających uprawnień), musisz ręcznie przypisać te role lub skontaktować się z administratorem Azure.

Tworzenie projektu migracji i definicji zadania

Po zdefiniowaniu źródłowych i docelowych punktów końcowych migracji kolejne kroki to utworzenie projektu migracji usługi Storage Mover i definicji zadania.

Projekt migracji umożliwia organizowanie dużych migracji w mniejsze, bardziej zarządzane jednostki. Definicja zadania opisuje zasoby i opcje migracji dla określonego zestawu operacji kopiowania. Te zasoby obejmują na przykład źródłowe i docelowe punkty końcowe oraz wszystkie ustawienia migracji, które chcesz zastosować.

Wykonaj kroki opisane w tej sekcji, aby utworzyć projekt migracji i uruchomić zadanie migracji.

Utwórz projekt

1. Przejdź do sekcji Projekty w obszarze Planowanie i uruchamianie migracji w wystąpieniu usługi Storage Mover i wybierz pozycję Utwórz projekt na karcie Projekty .

2. Podaj wartości dla następujących pól:

   • Nazwa: zrozumiała nazwa projektu migracji.
   • Opis projektu: przydatny opis projektu.

3. Wybierz polecenie Create (Utwórz), aby utworzyć projekt.

   

Tworzenie definicji zadania

Wybierz projekt po jego pojawieniu się, a następnie wybierz pozycję Utwórz zadanie. Kreator tworzenia zadań ma cztery karty: Podstawy, Harmonogram, Ustawienia i Przegląd.

zakładka Podstawy

1. Podaj wartości dla następujących pól:

   Pole	Wartość
   Typ migracji	Wybierz pozycję Migracja w wielu chmurach
   Typ źródła	Wybierz GCS Object Storage - S3 (Podgląd)
   Typ zasobnika S3	Wybierz pozycję Publiczna lub Prywatna (wersja zapoznawcza)
   Nazwa	Zrozumiała nazwa zadania
   Opis	(Opcjonalnie) Opis zadania (maksymalnie 1024 znaki)

   

2. W sekcji Źródło:

   • Źródłowy punkt końcowy: wybierz pozycję Dodaj źródłowy punkt końcowy , aby utworzyć nowy punkt końcowy, lub wybierz istniejący źródłowy punkt końcowy zgodny z usługą GCS S3.
   • Podścieżka źródłowa: (Opcjonalnie) Określ ścieżkę do podfolderu, aby zmigrować tylko część zasobnika. W przypadku pozostawienia pustego zadanie rozpoczyna się od katalogu głównego zasobnika.
   • Sprawdź, czy wyświetlona pełna ścieżka jest poprawna.

3. W sekcji Cel:

   • Docelowy punkt końcowy: wybierz pozycję Dodaj docelowy punkt końcowy, aby utworzyć nowy punkt końcowy, lub wybierz istniejący Azure Blob Storage docelowy punkt końcowy.
   • Docelowa podścieżka: (Opcjonalnie) Określ docelowy podfolder. Jeśli pole pozostanie puste, cała zawartość zostanie zmigrowana do głównego katalogu kontenera. Unikatowa ścieżka podrzędna tworzy nowy podfolder.

   

4. W przypadku wybrania opcji Prywatny dla typu zasobnika S3 zostanie wyświetlona sekcja Połączenia prywatne :

   • Wybierz pozycję Dodaj, aby powiązać zatwierdzone prywatne połączenia z tym zadaniem.
   • Można dodać tylko połączenia w stanie Zatwierdzony .
   • Można skojarzyć wiele połączeń prywatnych na potrzeby równoważenia obciążenia.

   Note

   Zasobniki prywatne wymagają połączeń prywatnych. Aby uruchomić zadanie z zasobnikiem typu „Prywatny”, musisz mieć co najmniej jedno zatwierdzone połączenie prywatne. Zobacz Łączność z siecią prywatną dla GCS, aby uzyskać instrukcje konfiguracji.

5. Wybierz przycisk Dalej, aby kontynuować.

Karta harmonogramu

Wybierz, kiedy chcesz uruchomić migrację:

Option	Description
Brak harmonogramu	Ręczne uruchamianie migracji
Harmonogram jednorazowy	Uruchom migrację raz o określonej godzinie
Harmonogram cykliczny	Uruchamianie migracji według dziennego, tygodniowego lub miesięcznego harmonogramu

Ważna

Harmonogram nie jest obecnie dostępny dla typu źródła GCS Object Storage - S3. Zadania można uruchamiać tylko ręcznie. Wybierz pozycję Brak harmonogramu i wybierz przycisk Dalej, aby kontynuować.

Karta Ustawienia

1. Wybierz żądany tryb kopiowania z listy rozwijanej:

   Tryb kopiowania	Behavior
   Scalanie zawartości z obiektem docelowym	Pliki są przechowywane w lokalizacji docelowej, nawet jeśli nie istnieją w źródle. Pliki z pasującymi nazwami i ścieżkami są aktualizowane w celu dopasowania do źródła. Zmiana nazwy folderu między operacjami kopiowania może prowadzić do zduplikowanej zawartości w lokalizacji docelowej.
   Dublowanie źródła do miejsca docelowego	Sprawia, że obiekt docelowy jest dokładną kopią źródła. Obiekty usunięte ze źródła są również usuwane z obiektu docelowego.

2. Zapoznaj się z sekcją Wyniki migracji , aby dowiedzieć się, jak są mapowane dane:

   Wynik	Description
   Struktura katalogu	Obiekt docelowy obsługuje foldery "wirtualne". Do nazw plików dodawana jest na początku ich ścieżka źródłowa, a następnie są one umieszczane na jednej płaskiej liście. Puste foldery są reprezentowane jako pusty obiekt blob z metadanymi folderów zachowanymi w metadanych niestandardowych.
   Tworzenie znacznika czasu	Zachowywane jako niestandardowe metadane obiektów blob. Sygnatura czasowa natywna obiektu blob odzwierciedla czas migracji pliku.
   Zmień znacznik czasu	Zachowywane jako niestandardowe metadane obiektów blob. Nie istnieje znacznik czasu natywny dla obiektu blob tego typu.
   Zmodyfikowany znacznik czasu	Zachowywane jako niestandardowe metadane obiektów blob. Sygnatura czasowa natywna obiektu blob odzwierciedla czas migracji pliku.
   Sygnatura czasowa ostatniego dostępu	Zachowywane jako niestandardowe metadane obiektu blob, jeśli są obecne w obiekcie źródłowym. Brak natywnego znacznika czasu dla obiektu blob tego typu.
   Inne metadane	Przechowywane w niestandardowych metadanych na docelowym obiekcie blob. Można przechowywać tylko 4 pliki KiB metadanych. Metadane większe niż 4 KiB nie są migrowane.
   Protokół migracji do chmury	Blob REST API

3. Wybierz przycisk Dalej, aby kontynuować.

Karta Przegląd

Przejrzyj podsumowanie konfiguracji:

• Podstawowe informacje: Nazwa zadania, typ migracji
• Źródło: Typ źródła, źródłowy adres URL z nazwą zasobnika, nazwa chmury (GCS), ścieżka podrzędna źródła
• Element docelowy: konto magazynu danych, kontener obiektów blob platformy Azure, podścieżka docelowa
• Harmonogram: częstotliwość migracji
• Ustawienia: tryb kopiowania

Jeśli wszystkie ustawienia są poprawne, wybierz pozycję Utwórz , aby wdrożyć zadanie. Wybierz Wstecz, aby wprowadzić zmiany.

Uruchom zadanie migracji

Uruchamianie zadania

Azure Portal

1. Przejdź do karty Projekty . Nowo utworzone zadanie zostanie wyświetlone na liście w projekcie.
2. Wybierz definicję zadania, aby wyświetlić jego szczegóły na karcie Właściwości .
3. Wybierz przycisk Uruchom zadanie .
4. W okienku Uruchamianie zadania potwierdź szczegóły zadania i wybierz pozycję Rozpocznij , aby rozpocząć migrację.

Zadanie działa w tle. Postęp można monitorować na karcie Przegląd migracji .

---

Monitorowanie postępu migracji

Podczas migrowania danych za pomocą usługi Storage Mover należy monitorować operacje kopiowania pod kątem potencjalnych problemów. Dane dotyczące operacji wykonywanych podczas migracji są wyświetlane na karcie Przegląd migracji . Te dane umożliwiają śledzenie postępu migracji przez dostarczenie bieżących informacji o stanie i kluczowych informacjach, takich jak postęp, szybkość i szacowany czas ukończenia.

Po skonfigurowaniu Azure Storage Mover udostępnia również dzienniki kopiowania i dzienniki uruchamiania zadań. Te dzienniki umożliwiają śledzenie wyniku migracji uruchomień zadań oraz poszczególnych plików.

1. Przejdź do karty Zadania migracji .
2. Wybierz zadanie, aby wyświetlić postęp, szybkość i szacowany czas ukończenia.
3. Wybierz pozycję Dzienniki , aby sprawdzić błędy lub ostrzeżenia.
4. Po zakończeniu migracji sprawdź dane w Azure Blob Storage.

Aby dowiedzieć się więcej na temat dzienników kopiowania i zadań usługi Storage Mover, zapoznaj się z artykułem How to enable Azure Storage Mover copy and job logs (Jak włączyć kopiowanie i dzienniki zadań usługi Azure Storage Mover ).

---

Weryfikacja po migracji

Weryfikacja danych po migracji gwarantuje, że dane są dokładne i że transfer z GCS do Azure Blob Storage zostanie ukończony. Ten proces weryfikacji weryfikuje integralność danych, porównując zmigrowane dane do tych samych danych ze źródła.

Wykonaj następujące kroki, aby ukończyć ręczną walidację i wyczyścić nieużywane zasoby GCS:

1. Porównaj źródło i obiekt docelowy: sprawdź, czy wszystkie oczekiwane obiekty są przesyłane, porównując liczbę obiektów i całkowity rozmiar danych między zasobnikiem GCS a kontenerem obiektów blob Azure.
2. Wyrywkowo sprawdź integralność danych: Pobierz reprezentatywną próbkę obiektów zarówno ze źródła, jak i z miejsca docelowego, a następnie porównaj sumy kontrolne.
3. Włącz synchronizację przyrostową (w razie potrzeby): jeśli chcesz utrzymać zasobnik GCS i kontener obiektów Blob Storage platformy Azure w synchronizacji na bieżąco, zaplanuj cykliczne uruchamianie zadania.
4. Likwidowanie źródła: usuń zasobnik GCS i klucze HMAC po zakończeniu i zweryfikowaniu migracji. Usuń odpowiednie wpisy tajne z usługi Azure Key Vault, jeśli nie są już potrzebne.

---

Rozwiązywanie problemów i pomoc techniczna

Jeśli podczas migracji wystąpią problemy, rozpocznij rozwiązywanie problemów, wykonując następujące kroki.

Problematyka	Resolution
Zadanie migracji nie powiodło się	Sprawdź dzienniki kopiowania i zadań, aby uzyskać szczegółowe komunikaty o błędach. Typowe przyczyny obejmują nieprawidłowe poświadczenia lub problemy z łącznością sieciową.
Błąd uwierzytelniania	Sprawdź, czy klucz dostępu HMAC i klucz tajny przechowywany w Azure Key Vault są poprawne i nie wygasły. Upewnij się, że tożsamość zarządzana źródłowego punktu końcowego ma dostęp użytkownika Key Vault Secrets w Key Vault.
Błąd uprawnień w lokalizacji docelowej	Sprawdź, czy tożsamość zarządzana docelowego punktu końcowego ma rolę Współautor danych obiektów blob usługi Storage dla docelowego kontenera obiektów blob.
Transfer danych działa wolno	Upewnij się, że przepustowość sieci jest wystarczająca. Usługa GCS może wprowadzać ograniczenia liczby żądań kierowanych do interfejsu API zgodnego z S3. Rozważ zmniejszenie liczby współbieżnych zadań w przypadku wystąpienia ograniczania przepustowości.
Brak obiektów po synchronizacji	Ze względu na stopień szczegółowości drugiego poziomu sygnatury czasowej GCS obiekty zmodyfikowane w ciągu tej samej sekundy co ostatnia synchronizacja mogą nie zostać wykryte do następnego uruchomienia zadania. Poczekaj i wykonaj dodatkową synchronizację.
Nieoczekiwane obiekty w obiekcie docelowym	Obiekty zastępcze katalogu GCS (obiekty bez bajtów kończące się na /) są automatycznie pomijane i nie powinny pojawiać się w obiekcie docelowym. Jeśli istnieją nieoczekiwane obiekty, przejrzyj sekcję Kopiuj dzienniki, aby uzyskać szczegółowe informacje.
Adres URL źródła został odrzucony	Upewnij się, że źródłowy adres URL używa protokołu HTTPS, nie zawiera parametrów zapytania, fragmentów ani adresów IP oraz wskazuje prawidłową w pełni kwalifikowaną nazwę domeny.

Jeśli nie możesz rozwiązać problemu, utwórz żądanie pomoc techniczna platformy Azure.

---

Treści powiązane

Poniższe artykuły mogą ułatwić zapoznanie się z usługą Storage Mover:

• Opis hierarchii zasobów usługi Storage Mover.
• Wdrażanie zasobu usługi Storage Mover.
• Jak włączyć dzienniki kopiowania i zadań w usłudze Azure Storage Mover.
• Zarządzanie punktami końcowymi Azure Storage Mover.

---