Samouczek: kopiowanie danych na urządzenie Azure Data Box za pośrednictwem systemu plików NFS

Ważne

Usługa Azure Data Box obsługuje teraz przypisywanie warstwy dostępu na poziomie obiektu blob. Kroki zawarte w tym samouczku odzwierciedlają zaktualizowany proces kopiowania danych i są specyficzne dla blokowych obiektów blob.

Aby uzyskać pomoc dotyczącą określania odpowiedniej warstwy dostępu dla danych blokowych obiektów blob, zapoznaj się z sekcją Określanie odpowiednich warstw dostępu dla blokowych obiektów blob. Wykonaj kroki opisane w sekcji Kopiowanie danych do urządzenia Data Box , aby skopiować dane do odpowiedniej warstwy dostępu.

Informacje zawarte w tej sekcji dotyczą zamówień złożonych po 1 kwietnia 2024 r.

W tym samouczku opisano sposób nawiązywania połączenia i kopiowania danych z komputera-hosta za pomocą lokalnego internetowego interfejsu użytkownika.

Z tego samouczka dowiesz się, jak wykonywać następujące czynności:

• Wymagania wstępne
• Nawiązywanie połączenia z urządzeniem Data Box
• Kopiowanie danych na urządzenie Data Box

Wymagania wstępne

Przed rozpoczęciem upewnij się, że:

1. Ukończono samouczek : konfigurowanie urządzenia Azure Data Box.
2. Otrzymasz urządzenie Data Box, a stan zamówienia w portalu to Dostarczono.
3. Masz komputer-host zawierający dane, które mają zostać skopiowane na urządzenie Data Box. Komputer hosta musi:
   • Korzystanie z obsługiwanego systemu operacyjnego.
   • Połączenie z siecią o dużej szybkości. Zdecydowanie zaleca się posiadanie co najmniej jednego połączenia 10 GbE. Jeśli połączenie 10 GbE nie jest dostępne, można użyć połączenia danych 1 GbE, ale będzie miało to wpływ na szybkość kopiowania.

Nawiązywanie połączenia z urządzeniem Data Box

W zależności od wybranego konta magazynu dla urządzenia Data Box są tworzone następujące elementy:

• Maksymalnie trzy udziały dla każdego skojarzonego konta magazynu (GPv1 i GPv2).
• Jeden udział w usłudze Premium Storage.
• Jeden udział dla konta magazynu obiektów blob zawierający jeden folder dla każdej z czterech warstw dostępu.

W poniższej tabeli przedstawiono nazwy udziałów usługi Data Box, z którymi można nawiązać połączenie, oraz typ danych przekazanych do docelowego konta magazynu. Identyfikuje również hierarchię udziałów i katalogów, do których kopiujesz dane źródłowe.

Typ magazynu	Nazwa udziału	Jednostka pierwszego poziomu	Jednostka drugiego poziomu	Jednostka trzeciego poziomu
Blokowy obiekt blob	<storageAccountName>_BlockBlob	<\accessTier>	<\containerName>	<\blockBlob>
Stronicowy obiekt blob	<\storageAccountName>_PageBlob	<\containerName>	<\pageBlob>
File Storage	<\storageAccountName>_AzFile	<\fileShareName>	<\Plik>

Nie można kopiować plików bezpośrednio do folderu głównego dowolnego udziału usługi Data Box. Zamiast tego utwórz foldery w udziale Data Box w zależności od przypadku użycia.

Blokowe obiekty blob obsługują przypisywanie warstw dostępu na poziomie pliku. Przed skopiowanie plików do udziału blokowych obiektów blob zalecane jest dodanie nowych podfolderów w odpowiedniej warstwie dostępu. Następnie po utworzeniu nowych podfolderów kontynuuj dodawanie plików do każdego podfolderu odpowiednio.

Nowy kontener jest tworzony dla dowolnego folderu znajdującego się w katalogu głównym udziału blokowych obiektów blob. Dowolny plik w folderze jest kopiowany do domyślnej warstwy dostępu konta magazynu jako blokowego obiektu blob.

Aby uzyskać więcej informacji na temat warstw dostępu do obiektów blob, zobacz Warstwy dostępu dla danych obiektów blob. Aby uzyskać bardziej szczegółowe informacje na temat najlepszych rozwiązań dotyczących warstwy dostępu, zobacz Najlepsze rozwiązania dotyczące korzystania z warstw dostępu obiektów blob.

W poniższej tabeli przedstawiono ścieżkę UNC do udziałów na urządzeniu Data Box i odpowiadający mu adres URL ścieżki usługi Azure Storage, do którego są przekazywane dane. Ostateczny adres URL w usłudze Azure Storage można uzyskać ze ścieżki udziału UNC.

Typy magazynów platformy Azure	Udziały urządzenia Data Box
Blokowe obiekty blob platformy Azure	Ścieżka UNC do udziałów: \\<DeviceIPAddress>\<storageaccountname_BlockBlob>\<accessTier>\<ContainerName>\myBlob.txt Adres URL w usłudze Azure Storage: https://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.txt
Stronicowe obiekty blob platformy Azure	Ścieżka UNC do udziałów: \\<DeviceIPAddress>\<storageaccountname_PageBlob>\<ContainerName>\myBlob.vhd Adres URL w usłudze Azure Storage: https://<storageaccountname>.blob.core.windows.net/<ContainerName>/myBlob.vhd
Azure Files	Ścieżka UNC do udziałów: \\<DeviceIPAddress>\<storageaccountname_AzFile>\<ShareName>\myFile.txt Adres URL w usłudze Azure Storage: https://<storageaccountname>.file.core.windows.net/<ShareName>/myFile.txt

Jeśli używasz komputera hosta z systemem Linux, wykonaj następujące kroki, aby skonfigurować urządzenie Data Box, aby zezwolić na dostęp do klientów NFS.

1. Podaj adresy IP dozwolonych klientów, którzy mogą uzyskiwać dostęp do udziału. W lokalnym internetowym interfejsie użytkownika przejdź do strony Połącz i skopiuj. W obszarze Ustawienia systemu plików NFS wybierz pozycję Dostęp klienta NFS.

   

2. Podaj adres IP klienta NFS i wybierz pozycję Dodaj. Powtarzając ten krok, możesz skonfigurować dostęp dla wielu klientów sieciowego systemu plików. Wybierz przycisk OK.

   

3. Upewnij się, że na komputerze-hoście z systemem Linux zainstalowano obsługiwaną wersję klienta sieciowego systemu plików. Użyj konkretnej wersji dla określonej dystrybucji systemu Linux.

4. Po zainstalowaniu klienta sieciowego systemu plików użyj następującego polecenia, aby zainstalować udział sieciowego systemu plików na Twoim urządzeniu Data Box:

   sudo mount <Data Box device IP>:/<NFS share on Data Box device> <Path to the folder on local Linux computer>

   Skorzystaj z poniższego przykładu, aby nawiązać połączenie z udziałem usługi Data Box przy użyciu systemu plików NFS. W tym przykładzie adres IP urządzenia Data Box to 10.161.23.130. Udział Mystoracct_Blob jest instalowany na maszynie ubuntuVM, a punkt instalacji to /home/databoxubuntuhost/databox.

   sudo mount -t nfs 10.161.23.130:/Mystoracct_Blob /home/databoxubuntuhost/databox

   W przypadku klientów mac należy dodać dodatkową opcję w następujący sposób:

   sudo mount -t nfs -o sec=sys,resvport 10.161.23.130:/Mystoracct_Blob /home/databoxubuntuhost/databox

   Ważne

   Nie można kopiować plików bezpośrednio do folderu głównego konta magazynu. W folderze głównym konta magazynu blokowych obiektów blob znajdziesz folder odpowiadający każdej z dostępnych warstw dostępu.

   Aby skopiować dane na urządzenie Azure Data Box, musisz najpierw wybrać folder odpowiadający jednej z warstw dostępu. Następnie utwórz podfolder w folderze tej warstwy, aby przechowywać dane. Na koniec skopiuj dane do nowo utworzonego podfolderu. Nowy podfolder reprezentuje kontener utworzony na koncie magazynu podczas pozyskiwania. Dane są przekazywane do tego kontenera jako obiekty blob.

Określanie odpowiednich warstw dostępu dla blokowych obiektów blob

Ważne

Informacje zawarte w tej sekcji dotyczą zamówień złożonych po 1^kwietnia 2024 r.

Usługa Azure Storage umożliwia przechowywanie danych blokowych obiektów blob w wielu warstwach dostępu w ramach tego samego konta magazynu. Dzięki temu dane mogą być zorganizowane i przechowywane wydajniej na podstawie częstotliwości uzyskiwania do niej dostępu. Poniższa tabela zawiera informacje i zalecenia dotyczące warstw dostępu usługi Azure Storage.

Warstwa	Zalecenie	Najlepsze rozwiązanie
Duże zainteresowanie	Przydatne w przypadku często używanych lub modyfikowanych danych online. Ta warstwa ma najwyższe koszty magazynowania, ale najniższe koszty dostępu.	Dane w tej warstwie powinny być w regularnym i aktywnym użyciu.
Chłodna	Przydatne w przypadku rzadko używanych lub modyfikowanych danych online. Ta warstwa ma niższe koszty magazynowania i wyższe koszty dostępu niż warstwa gorąca.	Dane w tej warstwie powinny być przechowywane przez co najmniej 30 dni.
Brak zainteresowania	Przydatne w przypadku rzadko używanych lub modyfikowanych danych online, ale nadal wymagających szybkiego pobierania. Ta warstwa ma niższe koszty magazynowania i wyższe koszty dostępu niż warstwa Chłodna.	Dane w tej warstwie powinny być przechowywane przez co najmniej 90 dni.
Archiwizuj	Przydatne w przypadku rzadko używanych danych w trybie offline i mniejszych wymagań dotyczących opóźnień.	Dane w tej warstwie powinny być przechowywane przez co najmniej 180 dni. Dane usunięte z warstwy Archiwum w ciągu 180 dni podlegają opłatom za wczesne usunięcie.

Aby uzyskać więcej informacji na temat warstw dostępu do obiektów blob, zobacz Warstwy dostępu dla danych obiektów blob. Aby uzyskać bardziej szczegółowe najlepsze rozwiązania, zobacz Najlepsze rozwiązania dotyczące korzystania z warstw dostępu do obiektów blob.

Dane blokowych obiektów blob można przenieść do odpowiedniej warstwy dostępu, kopiując je do odpowiedniego folderu w usłudze Data Box. Ten proces został omówiony bardziej szczegółowo w sekcji Kopiowanie danych do usługi Azure Data Box .

Kopiowanie danych na urządzenie Data Box

Po nawiązaniu połączenia z co najmniej jednym udziałem usługi Data Box następnym krokiem jest skopiowanie danych. Przed rozpoczęciem kopiowania danych należy wziąć pod uwagę następujące ograniczenia:

• Pamiętaj, aby skopiować dane do udziału odpowiadającego wymaganemu formatowi danych. Na przykład skopiuj dane blokowych obiektów blob do udziału dla blokowych obiektów blob. Skopiuj wirtualne dyski twarde do udziału stronicowych obiektów blob. Jeśli format danych nie jest zgodny z odpowiednim typem udziału, przekazywanie danych na platformę Azure zakończy się niepowodzeniem w późniejszym kroku.
• Podczas kopiowania danych do udziałów AzFile lub PageBlob najpierw utwórz folder w katalogu głównym udziału, a następnie skopiuj pliki do tego folderu.
• Podczas kopiowania danych do udziału BlockBlob utwórz podfolder w żądanej warstwie dostępu, a następnie skopiuj dane do nowo utworzonego podfolderu. Podfolder reprezentuje kontener, do którego dane są przekazywane jako obiekty blob. Nie można kopiować plików bezpośrednio do folderu głównego udziału.
• Podczas kopiowania danych upewnij się, że rozmiar danych jest zgodny z limitami rozmiaru opisanymi w limitach rozmiaru konta usługi Azure Storage.
• Jednoczesne przekazywanie urządzenia Data Box i innej aplikacji spoza urządzenia Data Box może potencjalnie spowodować błędy zadań przekazywania i uszkodzenie danych.
• Jeśli używasz protokołów SMB i NFS do kopiowania danych, zalecamy:
  • Użyj różnych kont magazynu dla protokołu SMB i systemu plików NFS.
  • Nie kopiuj tych samych danych do tego samego miejsca docelowego na platformie Azure przy użyciu protokołu SMB i NFS. W takich przypadkach nie można określić ostatecznego wyniku.
  • Mimo że kopiowanie za pośrednictwem protokołu SMB i NFS równolegle może działać, nie zalecamy wykonywania tego, ponieważ jest podatny na błędy człowieka. Przed rozpoczęciem kopiowania danych NFS zaczekaj na ukończenie kopiowania danych SMB.
• Podczas kopiowania danych do udziału blokowych obiektów blob utwórz podfolder w żądanej warstwie dostępu, a następnie skopiuj dane do nowo utworzonego podfolderu. Podfolder reprezentuje kontener, do którego dane są przekazywane jako obiekty blob. Nie można kopiować plików bezpośrednio do folderu głównego na koncie magazynu.
• W przypadku pozyskiwania katalogów i nazw plików z udziału NFS do systemu plików NFS na urządzeniu Data Box:

  • Wielkość liter jest zachowywana w nazwie.

  • Pliki są niewrażliwe na wielkość liter.

    Na przykład jeśli kopiowanie SampleFile.txt i Samplefile.Txt, wielkość liter jest zachowywana w nazwie podczas kopiowania do urządzenia Data Box. Jednak ponieważ są one uważane za ten sam plik, ostatni przekazany plik zastępuje pierwszy plik.

Ważne

Upewnij się, że przechowujesz kopię danych źródłowych, dopóki nie będzie można potwierdzić, że dane zostały skopiowane do usługi Azure Storage.

Jeśli korzystasz z komputera-hosta z systemem Linux, użyj narzędzia do kopiowania podobnego do narzędzia Robocopy. Niektóre alternatywy dostępne w systemie Linux to rsync: FreeFileSync, Unison lub Ultracopier.

Polecenie cp jest jedną z najlepszych opcji do kopiowania katalogów. Aby uzyskać więcej informacji dotyczących użycia, przejdź do stron man narzędzia cp.

Jeśli używasz opcji kopiowania wielowątkowego, postępuj zgodnie z rsync następującymi wytycznymi:

• Zainstaluj pakiet CIFS Utils lub NFS Utils w zależności od systemu plików używanego przez Twojego klienta systemu Linux.

  sudo apt-get install cifs-utils

  sudo apt-get install nfs-utils

• Instalowanie rsync i równoległe (różni się w zależności od wersji rozproszonej systemu Linux).

  sudo apt-get install rsync

  sudo apt-get install parallel

• Utwórz punkt instalacji.

  sudo mkdir /mnt/databox

• Zainstaluj wolumin.

  sudo mount -t NFS4 //Databox IP Address/share_name /mnt/databox

• Zdubluj strukturę katalogów folderów.

  rsync -za --include='*/' --exclude='*' /local_path/ /mnt/databox

• Skopiuj pliki.

  cd /local_path/; find -L . -type f | parallel -j X rsync -za {} /mnt/databox/{}

  gdzie j określa liczbę równoległych kopii, X = liczba kopii równoległych

  Na początku zaleca się użycie 16 równoległych kopii i zwiększanie liczby wątków w zależności od dostępności zasobów.

Ważne

Następujące typy plików systemu Linux nie są obsługiwane: linki symboliczne, pliki znaków, pliki blokowe, gniazda i potoki. Te typy plików spowodują błędy podczas kroku Przygotowywanie do wysłania .

Powiadomienia są wyświetlane podczas kopiowania w celu zidentyfikowania błędów.

Wybierz pozycję Pobierz listę problemów.

Otwórz listę, aby wyświetlić szczegóły błędu, a następnie wybierz adres URL rozwiązania, aby wyświetlić zalecane rozwiązanie.

Aby uzyskać więcej informacji, zobacz Wyświetlanie dzienników błędów podczas kopiowania danych na urządzenie Data Box. Aby uzyskać szczegółową listę błędów występujących podczas kopiowania danych, zobacz Rozwiązywanie problemów z urządzeniem Data Box.

W celu zapewnienia integralności danych podczas kopiowania obliczana jest suma kontrolna. Po zakończeniu kopiowania sprawdź ilość używanego i wolnego miejsca na urządzeniu.

Następne kroki

W tym samouczku przedstawiono zagadnienia dotyczące usługi Azure Data Box, takie jak:

• Wymagania wstępne dotyczące kopiowania danych urządzenia Data Box
• Połączenie na urządzenie Data Box
• Określanie odpowiednich warstw dostępu dla blokowych obiektów blob
• Kopiowanie danych na urządzenie Data Box

Przejdź do następnego samouczka, aby dowiedzieć się, jak odesłać urządzenie Data Box do firmy Microsoft.

Wysyłka urządzenia Azure Data Box do firmy Microsoft