Samouczek: kopiowanie danych na urządzenie Azure Data Box za pośrednictwem systemu plików NFS

Ważne

Usługa Azure Data Box obsługuje teraz przypisywanie warstwy dostępu na poziomie obiektu blobu. The steps contained within this tutorial reflect the updated data copy process and are specific to block blobs.

For help with determining the appropriate access tier for your block blob data, refer to the Determine appropriate access tiers for block blobs section. Wykonaj kroki zawarte w sekcji Kopiowanie danych do urządzenia Data Box , aby skopiować dane do odpowiedniej warstwy dostępu.

Informacje zawarte w tej sekcji dotyczą zamówień złożonych po 1 kwietnia 2024 r.

W tym samouczku opisano sposób nawiązywania połączenia i kopiowania danych z komputera-hosta za pomocą lokalnego internetowego interfejsu użytkownika.

Z tego samouczka dowiesz się, jak wykonywać następujące działania:

• Wymagania wstępne
• Połącz się z urządzeniem Data Box
• Kopiowanie danych na urządzenie Data Box

Wymagania wstępne

Przed rozpoczęciem upewnij się, że:

1. Ukończono samouczek : konfigurowanie urządzenia Azure Data Box.
2. Urządzenie Data Box zostało do Ciebie dostarczone, a stan zamówienia w portalu to Dostarczono.
3. Masz komputer-host zawierający dane, które mają zostać skopiowane na urządzenie Data Box. Komputer hosta musi:
   • Uruchom obsługiwany system operacyjny.
   • Połączenie z siecią o dużej szybkości. Zdecydowanie zaleca się posiadanie co najmniej jednego połączenia 10 GbE. Jeśli połączenie 10 GbE nie jest dostępne, użyj linku danych 1 GbE, ale ma to wpływ na szybkość kopiowania.

Przed rozpoczęciem upewnij się, że:

1. Ukończono samouczek : konfigurowanie urządzenia Azure Data Box.
2. Urządzenie Data Box zostało do Ciebie dostarczone, a stan zamówienia w portalu to Dostarczono.
3. Masz komputer-host zawierający dane, które mają zostać skopiowane na urządzenie Data Box. Komputer hosta musi:
   • Uruchom obsługiwany system operacyjny.
   • Połączenie z siecią o dużej szybkości. Zdecydowanie zalecamy posiadanie co najmniej jednego połączenia 100 GbE. Jeśli połączenie 100 GbE nie jest dostępne, użyj łącza danych 10 GbE lub 1 GbE, ale ma to wpływ na szybkość kopiowania.

Połącz się z urządzeniem Data Box

Based on the storage account selected, Data Box creates up to:

• Three shares for each associated storage account for GPv1 and GPv2.
• One share for premium storage.
• One share for a blob storage account, containing one folder for each of the four access tiers.

The following table identifies the names of the Data Box shares to which you can connect, and the type of data uploaded to your target storage account. Identyfikuje również hierarchię udziałów i katalogów, do których kopiujesz dane źródłowe.

Typ magazynu	Share name	Jednostka pierwszego poziomu	Jednostka drugiego poziomu	Jednostka trzeciego poziomu
Block blob	<storageAccountName>_BlockBlob	<\accessTier>	<\containerName>	<\blockBlob>
Page blob	<\storageAccountName>_PageBlob	<\containerName>	<\pageBlob>
Przechowywanie plików	<\storageAccountName>_AzFile	<\nazwaUdostępnianiaPlików>	<\file>

Nie można kopiować plików bezpośrednio do folderu głównego dowolnego udostępnienia usługi Data Box. Zamiast tego utwórz foldery w udziale Data Box w zależności od przypadku użycia.

Bloby blokowe obsługują przypisywanie warstw dostępu na poziomie pojedynczego pliku. Before you copy files to the block blob share, the recommended best-practice is to add new subfolders within the appropriate access tier. Następnie po utworzeniu nowych podfolderów kontynuuj dodawanie plików do każdego podfolderu odpowiednio.

A new container is created for any folder residing at the root of the block blob share. Any file within the folder is copied to the storage account's default access tier as a block blob.

Aby uzyskać więcej informacji na temat warstw dostępu do obiektów blob, zobacz Warstwy dostępu dla danych obiektów blob. For more detailed information about access tier best practices, see Best practices for using blob access tiers.

The following table shows the UNC path to the shares on your Data Box and the corresponding Azure Storage path URL to which data is uploaded. The final Azure Storage path URL can be derived from the UNC share path.

Typy magazynów platformy Azure	Data Box shares
Azure Block blobs	UNC path to shares: \\<DeviceIPAddress>\<storageaccountname_BlockBlob>\<accessTier>\<ContainerName>\myBlob.txt Adres URL w usłudze Azure Storage: https://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.txt
Azure Page blobs	UNC path to shares: \\<DeviceIPAddress>\<storageaccountname_PageBlob>\<ContainerName>\myBlob.vhd Adres URL w usłudze Azure Storage: https://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.vhd
Azure Files	UNC path to shares: \\<DeviceIPAddress>\<storageaccountname_AzFile>\<ShareName>\myFile.txt Adres URL w usłudze Azure Storage: https://<storageaccountname>.file.core.windows.net/<ShareName>/myFile.txt

Jeśli używasz komputera hosta z systemem Linux, wykonaj następujące kroki, aby skonfigurować urządzenie Data Box, aby zezwolić na dostęp do klientów NFS.

1. Podaj adresy IP dozwolonych klientów, którzy mogą uzyskiwać dostęp do zasobu. W lokalnym internetowym interfejsie użytkownika przejdź do strony Połącz i skopiuj. W obszarze Ustawienia systemu plików NFS wybierz pozycję Dostęp klienta NFS.

   

2. Podaj adres IP klienta NFS i wybierz pozycję Dodaj. Powtarzając ten krok, możesz skonfigurować dostęp dla wielu klientów NFS. Kliknij przycisk OK.

   

3. Upewnij się, że na komputerze-hoście z systemem Linux zainstalowano obsługiwaną wersję klienta sieciowego systemu plików. Użyj konkretnej wersji dla określonej dystrybucji systemu Linux.

4. Once the NFS client is installed, use the following command to mount the NFS share on your Data Box device:

   sudo mount <Data Box device IP>:/<NFS share on Data Box device> <Path to the folder on local Linux computer>

   Use the following example to connect to a Data Box share using NFS. W tym przykładzie adres IP urządzenia Data Box to 10.161.23.130. The share Mystoracct_Blob is mounted on the ubuntuVM, and the mount point is /home/databoxubuntuhost/databox.

   sudo mount -t nfs 10.161.23.130:/Mystoracct_Blob /home/databoxubuntuhost/databox

   W przypadku klientów mac należy dodać dodatkową opcję w następujący sposób:

   sudo mount -t nfs -o sec=sys,resvport 10.161.23.130:/Mystoracct_Blob /home/databoxubuntuhost/databox

   Ważne

   You can't copy files directly to the storage account's root folder. W głównym folderze konta magazynu obiektów typu block blob znajdziesz folder odpowiadający każdej z dostępnych warstw dostępu.

   Aby skopiować dane na urządzenie Azure Data Box, musisz najpierw wybrać folder odpowiadający jednej z warstw dostępu. Następnie utwórz podfolder w folderze tej warstwy, aby przechowywać dane. Na koniec skopiuj dane do nowo utworzonego podfolderu. Your new sub-folder represents the container created within the storage account during ingestion. Twoje dane są przesyłane do tego kontenera jako bloby.

Determine appropriate access tiers for block blobs

Ważne

Informacje zawarte w tej sekcji dotyczą zamówień złożonych po 1^kwietnia 2024 r.

Usługa Azure Storage umożliwia przechowywanie danych typu block blob w wielu warstwach dostępu w ramach tego samego konta magazynowego. Dzięki temu dane mogą być zorganizowane i przechowywane wydajniej na podstawie częstotliwości uzyskiwania do niej dostępu. Poniższa tabela zawiera informacje i zalecenia dotyczące warstw dostępu usługi Azure Storage.

Tier	Zalecenie	Najlepsze rozwiązanie
Hot	Przydatne w przypadku często używanych lub modyfikowanych danych online. Ta warstwa ma najwyższe koszty magazynowania, ale najniższe koszty dostępu.	Dane w tej warstwie powinny być w regularnym i aktywnym użyciu.
Fajnie	Przydatne w przypadku rzadko używanych lub modyfikowanych danych online. Ta warstwa ma niższe koszty magazynowania i wyższe koszty dostępu niż warstwa gorąca.	Dane w tej warstwie powinny być przechowywane przez co najmniej 30 dni.
Zimno	Przydatne w przypadku rzadko używanych lub modyfikowanych danych online, ale nadal wymagających szybkiego pobierania. Ta warstwa ma niższe koszty magazynowania i wyższe koszty dostępu niż warstwa Chłodna.	Dane w tej warstwie powinny być przechowywane przez co najmniej 90 dni.
Archiwum	Przydatne w przypadku rzadko używanych danych w trybie offline i mniejszych wymagań dotyczących opóźnień.	Dane w tej warstwie powinny być przechowywane przez co najmniej 180 dni. Dane usunięte z warstwy Archiwum w ciągu 180 dni podlegają opłatom za wczesne usunięcie.

Aby uzyskać więcej informacji na temat warstw dostępu do obiektów blob, zobacz Warstwy dostępu dla danych obiektów blob. For more detailed best practices, see Best practices for using blob access tiers.

You can transfer your block blob data to the appropriate access tier by copying it to the corresponding folder within Data Box. Ten proces został omówiony bardziej szczegółowo w sekcji Kopiowanie danych do usługi Azure Data Box .

Kopiowanie danych na urządzenie Data Box

After you connect to one or more Data Box shares, the next step is to copy data. Przed rozpoczęciem kopiowania danych należy wziąć pod uwagę następujące ograniczenia:

• Pamiętaj, aby skopiować dane do zasobu odpowiadającego wymaganemu formatowi danych. For instance, copy block blob data to the share for block blobs. Copy VHDs to the page blob share. Jeśli format danych nie jest zgodny z odpowiednim typem udziału, przekazywanie danych na platformę Azure zakończy się niepowodzeniem w późniejszym kroku.
• When copying data to the AzFile or PageBlob shares, first create a folder at the share's root, then copy files to that folder.
• Podczas kopiowania danych do udziału BlockBlob utwórz podfolder w żądanej warstwie dostępu, a następnie skopiuj dane do nowo utworzonego podfolderu. The subfolder represents a container into which data is uploaded as blobs. You can't copy files directly to a share's root folder.
• Podczas kopiowania danych upewnij się, że rozmiar danych jest zgodny z limitami rozmiaru opisanymi w limitach rozmiaru konta usługi Azure Storage.
• Jednoczesne przesyłanie danych przez Data Box oraz inną aplikację niezwiązaną z Data Box może potencjalnie spowodować niepowodzenie zadań przesyłania oraz uszkodzenie danych.
• Jeśli używasz protokołów SMB i NFS do kopiowania danych, zalecamy:
  • Użyj różnych kont przechowywania dla SMB i NFS.
  • Nie kopiuj tych samych danych do tego samego miejsca docelowego na platformie Azure przy użyciu protokołu SMB i NFS. W takich przypadkach nie można określić ostatecznego wyniku.
  • Mimo że kopiowanie za pośrednictwem protokołu SMB i NFS równolegle może działać, nie zalecamy wykonywania tego, ponieważ jest podatny na błędy człowieka. Przed rozpoczęciem kopiowania danych NFS zaczekaj na ukończenie kopiowania danych SMB.
• When copying data to the block blob share, create a subfolder within the desired access tier, then copy data to the newly created subfolder. The subfolder represents a container to which your data is uploaded as blobs. You can't copy files directly to the root folder in the storage account.
• If ingesting case-sensitive directory and file names from an NFS share to NFS on Data Box:

  • The case is preserved in the name.

  • The files are case-insensitive.

    For example, if copying SampleFile.txt and Samplefile.Txt, the case is preserved in the name when copied to Data Box. Jednak ponieważ są one uważane za ten sam plik, ostatni przekazany plik zastępuje pierwszy plik.

Ważne

Upewnij się, że przechowujesz kopię danych źródłowych, dopóki nie będzie można potwierdzić, że dane zostały skopiowane do usługi Azure Storage.

Jeśli korzystasz z komputera-hosta z systemem Linux, użyj narzędzia do kopiowania podobnego do narzędzia Robocopy. Niektóre alternatywy dostępne w systemie Linux to rsync: FreeFileSync, Unison lub Ultracopier.

Polecenie cp jest jedną z najlepszych opcji do kopiowania katalogów. For more information on the usage, go to cp man pages.

Jeśli używasz opcji rsync dla kopiowania wielowątkowego, postępuj zgodnie z następującymi wytycznymi:

• Zainstaluj pakiet CIFS Utils lub NFS Utils w zależności od systemu plików używanego przez Twojego klienta systemu Linux.

  sudo apt-get install cifs-utils

  sudo apt-get install nfs-utils

• Zainstaluj rsync i Parallel (różni się w zależności od dystrybucji Linuxa).

  sudo apt-get install rsync

  sudo apt-get install parallel

• Utwórz punkt instalacji.

  sudo mkdir /mnt/databox

• Mount the volume.

  sudo mount -t NFS4 //Databox IP Address/share_name /mnt/databox

• Odwzoruj strukturę katalogów.

  rsync -za --include='*/' --exclude='*' /local_path/ /mnt/databox

• Skopiuj pliki.

  cd /local_path/; find -L . -type f | parallel -j X rsync -za {} /mnt/databox/{}

  gdzie j określa liczbę równoległych kopii, X = liczba kopii równoległych

  Na początku zaleca się użycie 16 równoległych kopii i zwiększanie liczby wątków w zależności od dostępności zasobów.

Ważne

Następujące typy plików systemu Linux nie są obsługiwane: linki symboliczne, pliki znakowe, pliki blokowe, gniazda i potoki. Te typy plików spowodują błędy podczas kroku Przygotowywanie do wysłania .

Powiadomienia są wyświetlane podczas kopiowania w celu zidentyfikowania błędów.

Wybierz pozycję Pobierz listę problemów.

Otwórz listę, aby wyświetlić szczegóły błędu, a następnie wybierz adres URL rozwiązania, aby wyświetlić zalecane rozwiązanie.

Aby uzyskać więcej informacji, zobacz Wyświetlanie dzienników błędów podczas kopiowania danych na urządzenie Data Box. Aby uzyskać szczegółową listę błędów występujących podczas kopiowania danych, zobacz Rozwiązywanie problemów z urządzeniem Data Box.

Aby zapewnić integralność danych, suma kontrolna jest obliczana na bieżąco podczas kopiowania danych. Po zakończeniu kopiowania sprawdź ilość używanego i wolnego miejsca na urządzeniu.

Następne kroki

W tym samouczku przedstawiono zagadnienia dotyczące usługi Azure Data Box, takie jak:

• Wymagania wstępne dotyczące kopiowania danych urządzenia Data Box
• Nawiązywanie połączenia z usługą Data Box
• Determining appropriate access tiers for block blobs
• Kopiowanie danych na urządzenie Data Box

Przejdź do następnego samouczka, aby dowiedzieć się, jak odesłać urządzenie Data Box do firmy Microsoft.

Wysyłka urządzenia Azure Data Box do firmy Microsoft