Kopiowanie danych z usługi Google Cloud Storage do usługi Azure Storage przy użyciu narzędzia AzCopy

  • Artykuł

AzCopy to narzędzie wiersza polecenia, przy użyciu którego można kopiować obiekty blob lub pliki do lub z konta magazynu. Ten artykuł ułatwia kopiowanie obiektów, katalogów i zasobników z usługi Google Cloud Storage do usługi Azure Blob Storage przy użyciu narzędzia AzCopy.

Wybór sposobu dostarczania poświadczeń autoryzacji

  • Aby autoryzować usługę Azure Storage, użyj identyfikatora Entra firmy Microsoft lub tokenu sygnatury dostępu współdzielonego (SAS).

  • Aby autoryzować usługę Google Cloud Storage, użyj klucza konta usługi.

Autoryzowanie za pomocą usługi Azure Storage

Zapoznaj się z artykułem Wprowadzenie do narzędzia AzCopy, aby pobrać narzędzie AzCopy i dowiedzieć się więcej o sposobach udostępniania poświadczeń autoryzacji do usługi magazynu.

Uwaga

W przykładach w tym artykule przyjęto założenie, że podano poświadczenia autoryzacji przy użyciu identyfikatora Entra firmy Microsoft.

Jeśli wolisz użyć tokenu SAS do autoryzowania dostępu do danych obiektów blob, możesz dołączyć ten token do adresu URL zasobu w każdym poleceniu narzędzia AzCopy. Na przykład: 'https://<storage-account-name>.blob.core.windows.net/<container-name><SAS-token>'.

Autoryzowanie za pomocą usługi Google Cloud Storage

Aby autoryzować usługę Google Cloud Storage, użyjesz klucza konta usługi. Aby uzyskać informacje o sposobie tworzenia klucza konta usługi, zobacz Tworzenie kluczy konta usługi i zarządzanie nimi.

Po uzyskaniu klucza usługi ustaw GOOGLE_APPLICATION_CREDENTIALS zmienną środowiskową na ścieżkę bezwzględną do pliku klucza konta usługi:

System operacyjny Polecenie
Windows set GOOGLE_APPLICATION_CREDENTIALS=<path-to-service-account-key>
Linux export GOOGLE_APPLICATION_CREDENTIALS=<path-to-service-account-key>
macOS export GOOGLE_APPLICATION_CREDENTIALS=<path-to-service-account-key>

Kopiowanie obiektów, katalogów i zasobników

Narzędzie AzCopy używa interfejsu API Put Block From URL , więc dane są kopiowane bezpośrednio między usługą Google Cloud Storage i serwerami magazynu. Te operacje kopiowania nie korzystają z przepustowości sieci komputera.

Napiwek

Przykłady w tej sekcji ująć argumenty ścieżki za pomocą cudzysłowów pojedynczych (""). Używaj pojedynczych cudzysłowów we wszystkich powłokach poleceń z wyjątkiem powłoki poleceń systemu Windows (cmd.exe). Jeśli używasz powłoki poleceń systemu Windows (cmd.exe), zamiast cudzysłowów ("") zamiast cudzysłowów pojedynczych ('').

Te przykłady współpracują również z kontami, które mają hierarchiczną przestrzeń nazw. Dostęp do wielu protokołów w usłudze Data Lake Storage umożliwia korzystanie z tej samej składni adresu URL (blob.core.windows.net) na tych kontach.

Kopiowanie obiektu

Użyj tej samej składni adresu URL (blob.core.windows.net) dla kont, które mają hierarchiczną przestrzeń nazw.

Składnia

azcopy copy 'https://storage.cloud.google.com/<bucket-name>/<object-name>' 'https://<storage-account-name>.blob.core.windows.net/<container-name>/<blob-name>'

Przykład

azcopy copy 'https://storage.cloud.google.com/mybucket/myobject' 'https://mystorageaccount.blob.core.windows.net/mycontainer/myblob'

Kopiowanie katalogu

Użyj tej samej składni adresu URL (blob.core.windows.net) dla kont, które mają hierarchiczną przestrzeń nazw.

Składnia

azcopy copy 'https://storage.cloud.google.com/<bucket-name>/<directory-name>' 'https://<storage-account-name>.blob.core.windows.net/<container-name>/<directory-name>' --recursive=true

Przykład

azcopy copy 'https://storage.cloud.google.com/mybucket/mydirectory' 'https://mystorageaccount.blob.core.windows.net/mycontainer/mydirectory' --recursive=true

Uwaga

W tym przykładzie flaga dołącza flagę do kopiowania --recursive plików we wszystkich katalogach podrzędnych.

Kopiowanie zawartości katalogu

Zawartość katalogu można skopiować bez kopiowania samego katalogu, używając symbolu wieloznacznego (*).

Składnia

azcopy copy 'https://storage.cloud.google.com/<bucket-name>/<directory-name>/*' 'https://<storage-account-name>.blob.core.windows.net/<container-name>/<directory-name>' --recursive=true

Przykład

azcopy copy 'https://storage.cloud.google.com/mybucket/mydirectory/*' 'https://mystorageaccount.blob.core.windows.net/mycontainer/mydirectory' --recursive=true

Kopiowanie zasobnika magazynu w chmurze

Użyj tej samej składni adresu URL (blob.core.windows.net) dla kont, które mają hierarchiczną przestrzeń nazw.

Składnia

azcopy copy 'https://storage.cloud.google.com/<bucket-name>' 'https://<storage-account-name>.blob.core.windows.net' --recursive=true

Przykład

azcopy copy 'https://storage.cloud.google.com/mybucket' 'https://mystorageaccount.blob.core.windows.net' --recursive=true

Kopiowanie wszystkich zasobników w projekcie Google Cloud

Najpierw ustaw GOOGLE_CLOUD_PROJECT wartość na identyfikator projektu Google Cloud.

Użyj tej samej składni adresu URL (blob.core.windows.net) dla kont, które mają hierarchiczną przestrzeń nazw.

Składnia

azcopy copy 'https://storage.cloud.google.com/' 'https://<storage-account-name>.blob.core.windows.net' --recursive=true

Przykład

azcopy copy 'https://storage.cloud.google.com/' 'https://mystorageaccount.blob.core.windows.net' --recursive=true

Kopiowanie podzbioru zasobników w projekcie Google Cloud

Najpierw ustaw GOOGLE_CLOUD_PROJECT wartość na identyfikator projektu Google Cloud.

Skopiuj podzbiór zasobników przy użyciu symbolu wieloznacznego (*) w nazwie zasobnika. Użyj tej samej składni adresu URL (blob.core.windows.net) dla kont, które mają hierarchiczną przestrzeń nazw.

Składnia

azcopy copy 'https://storage.cloud.google.com/<bucket*name>' 'https://<storage-account-name>.blob.core.windows.net' --recursive=true

Przykład

azcopy copy 'https://storage.cloud.google.com/my*bucket' 'https://mystorageaccount.blob.core.windows.net' --recursive=true

Obsługa różnic w regułach nazewnictwa zasobników

Usługa Google Cloud Storage ma inny zestaw konwencji nazewnictwa nazw zasobników w porównaniu z kontenerami obiektów blob platformy Azure. Możesz je przeczytać tutaj. Jeśli zdecydujesz się skopiować grupę zasobników do konta usługi Azure Storage, operacja kopiowania może zakończyć się niepowodzeniem z powodu różnic nazw.

Narzędzie AzCopy obsługuje trzy z najczęstszych problemów, które mogą wystąpić; zasobniki zawierające kropki, zasobniki zawierające kolejne łączniki i zasobniki zawierające znaki podkreślenia. Nazwy zasobników usługi Google Cloud Storage mogą zawierać kropki i kolejne łączniki, ale kontener na platformie Azure nie może. Narzędzie AzCopy zastępuje kropki łącznikami i kolejnymi łącznikami liczbą reprezentującą liczbę kolejnych łączników (na przykład: zasobnik o nazwie my----bucket staje się my-4-bucket. Jeśli nazwa zasobnika ma podkreślenie (_), narzędzie AzCopy zastępuje podkreślenie łącznikiem. Na przykład zasobnik o nazwie my_bucket staje się my-bucket.

Obsługa różnic w regułach nazewnictwa obiektów

Usługa Google Cloud Storage ma inny zestaw konwencji nazewnictwa nazw obiektów w porównaniu z obiektami blob platformy Azure. Możesz je przeczytać tutaj.

Usługa Azure Storage nie zezwala na nazwy obiektów (ani żadnego segmentu w ścieżce katalogu wirtualnego) do końca z kropkami końcowymi (na przykład my-bucket...). Kropki końcowe są przycinane po wykonaniu operacji kopiowania.

Obsługa różnic w metadanych obiektu

Usługi Google Cloud Storage i Azure umożliwiają używanie różnych zestawów znaków w nazwach kluczy obiektów. Tutaj możesz przeczytać o metadanych w usłudze Google Cloud Storage. Po stronie platformy Azure klucze obiektów blob są zgodne z regułami nazewnictwa identyfikatorów języka C#.

W ramach polecenia AzCopy copy można podać wartość opcjonalną flagę s2s-handle-invalid-metadata określającą sposób obsługi plików, w których metadane pliku zawierają niezgodne nazwy kluczy. W poniższej tabeli opisano każdą wartość flagi.

Wartość flagi opis
ExcludeIfInvalid (Opcja domyślna) Metadane nie są uwzględniane w przesłanym obiekcie. Narzędzie AzCopy rejestruje ostrzeżenie.
FailIfInvalid Obiekty nie są kopiowane. Narzędzie AzCopy rejestruje błąd i zawiera ten błąd w liczbie nieudanych operacji wyświetlanych w podsumowaniu transferu.
RenameIfInvalid Narzędzie AzCopy rozpoznaje nieprawidłowy klucz metadanych i kopiuje obiekt na platformę Azure przy użyciu pary rozpoznanych wartości klucza metadanych. Aby dowiedzieć się dokładnie, jakie kroki wykonuje narzędzie AzCopy w celu zmiany nazwy kluczy obiektów, zobacz sekcję How AzCopy renames object keys (Jak narzędzie AzCopy zmienia nazwy kluczy obiektów) poniżej. Jeśli narzędzie AzCopy nie może zmienić nazwy klucza, obiekt nie zostanie skopiowany.

Jak narzędzie AzCopy zmienia nazwę kluczy obiektów

Narzędzie AzCopy wykonuje następujące kroki:

  1. Zamienia nieprawidłowe znaki na '_'.

  2. Dodaje ciąg rename_ na początku nowego prawidłowego klucza.

    Ten klucz zostanie użyty do zapisania oryginalnej wartości metadanych.

  3. Dodaje ciąg rename_key_ na początku nowego prawidłowego klucza. Ten klucz zostanie użyty do zapisania oryginalnego klucza nieprawidłowego metadanych. Możesz użyć tego klucza, aby spróbować odzyskać metadane po stronie platformy Azure, ponieważ klucz metadanych jest zachowywany jako wartość w usłudze Blob Storage.

Następne kroki

Więcej przykładów można znaleźć w następujących artykułach:

Zobacz następujące artykuły, aby skonfigurować ustawienia, zoptymalizować wydajność i rozwiązać problemy: