Tworzenie zadania importu z usługi Blob Storage do systemu plików

Rozwiązanie Azure Managed Lustre integruje się z usługą Azure Blob Storage, aby uprościć proces importowania danych z kontenera obiektów blob do systemu plików. Tę integrację można skonfigurować podczas tworzenia klastra i utworzyć zadanie importu w dowolnym momencie po utworzeniu klastra.

Z tego artykułu dowiesz się, jak za pomocą witryny Azure Portal utworzyć zadanie importu w celu zaimportowania danych z kontenera obiektów blob do istniejącego systemu plików Azure Managed Lustre.

Uwaga

Podczas importowania danych z kontenera obiektów blob do systemu plików Azure Managed Lustre tylko nazwy plików (przestrzeń nazw) i metadane są importowane do przestrzeni nazw Lustre. Rzeczywista zawartość obiektu blob jest importowana po raz pierwszy przez klienta. Podczas pierwszego uzyskiwania dostępu do danych występuje niewielkie opóźnienie, podczas gdy funkcja Lustre Hierarchical Storage Management (HSM) pobiera zawartość obiektu blob do odpowiedniego pliku w systemie plików. To opóźnienie występuje tylko przy pierwszym uzyskiwaniu dostępu do pliku.

Możesz wstępnie pobrać zawartość obiektów blob przy użyciu polecenia Lustre lfs hsm_restore z zainstalowanym klientem z funkcjami sudo. Aby dowiedzieć się więcej, zobacz Przywracanie danych z usługi Blob Storage.

Wymagania wstępne

• Istniejący system plików Azure Managed Lustre — utwórz go przy użyciu witryny Azure Portal, usługi Azure Resource Manager lub narzędzia Terraform. Aby dowiedzieć się więcej na temat integracji obiektów blob, zobacz Wymagania wstępne dotyczące integracji obiektów blob.

Tworzenie zadania importu

Importowanie danych z kontenera obiektów blob do zarządzanego systemu plików Lustre platformy Azure rozpoczyna się od utworzenia zadania importu. W tej sekcji dowiesz się, jak utworzyć, skonfigurować i uruchomić zadanie importu w witrynie Azure Portal.

Uwaga

Jednocześnie można uruchomić tylko jedno zadanie importu lub eksportu. Jeśli na przykład zadanie importu jest w toku, próba uruchomienia innego zadania importu lub eksportu zwróci błąd.

Konfigurowanie opcji importowania i uruchamianie zadania

Aby skonfigurować opcje importowania i uruchomić zadanie, wykonaj następujące kroki:

1. W witrynie Azure Portal otwórz system plików Azure Managed Lustre i przejdź do okienka integracji obiektów blob w obszarze Ustawienia.
2. Wybierz pozycję + Utwórz nowe zadanie.
3. Wybierz pozycję Importuj z listy rozwijanej Typ zadania .
4. Wprowadź nazwę zadania importu w polu Nazwa zadania .
5. Wybierz wartość pola Tryb rozwiązywania konfliktów . To ustawienie określa, w jaki sposób zadanie importu obsługuje konflikty między istniejącymi plikami w systemie plików i importowanymi plikami. W tym przykładzie wybierzemy pozycję Pomiń. Aby dowiedzieć się więcej, zobacz Tryb rozwiązywania konfliktów.
6. Wybierz wartość tolerancji błędów. To ustawienie określa, w jaki sposób zadanie importu obsługuje błędy występujące podczas procesu importowania. W tym przykładzie wybieramy pozycję Zezwalaj na błędy. Aby dowiedzieć się więcej, zobacz Odporność na błędy.
7. Wprowadź prefiksy importu, aby filtrować dane zaimportowane z usługi Blob Storage. Witryna Azure Portal umożliwia wprowadzanie maksymalnie 10 prefiksów. W tym przykładzie określamy prefiksy /data i /logs. Aby dowiedzieć się więcej, zobacz Importowanie prefiksu.
8. Po skonfigurowaniu zadania wybierz pozycję Uruchom , aby rozpocząć proces importowania.

Poniższy zrzut ekranu przedstawia ustawienia konfiguracji zadania importu w witrynie Azure Portal:

Monitorowanie zadania importu

Po utworzeniu zadania importu możesz monitorować jego postęp, aby upewnić się, że zadanie zostało ukończone pomyślnie. W tej sekcji dowiesz się, jak monitorować zadanie importu w witrynie Azure Portal.

Aby wyświetlić szczegóły zadania, wykonaj następujące kroki:

1. W witrynie Azure Portal otwórz system plików Azure Managed Lustre i przejdź do okienka integracji obiektów blob w obszarze Ustawienia.
2. Wybierz zadanie importu, które chcesz monitorować z listy ostatnich zadań.
3. W okienku Szczegóły zadania są wyświetlane informacje o zadaniu, w tym o stanie zadania, czasie rozpoczęcia, zaimportowanych obiektach blob oraz o błędach lub konfliktach, które wystąpiły podczas procesu importowania.

Poniższy zrzut ekranu przedstawia szczegóły zadania importu w witrynie Azure Portal:

Po zakończeniu zadania można wyświetlić kontener rejestrowania, aby wyświetlić szczegółowe informacje o procesie importowania, w tym błędy lub konflikty, które wystąpiły. Te informacje są dostępne tylko po zakończeniu zadania.

Następne kroki

Aby uzyskać więcej informacji na temat korzystania z usługi Azure Blob Storage z usługą Azure Managed Lustre, zobacz Use Azure Blob Storage with an Azure Managed Lustre file system (Używanie usługi Azure Blob Storage z systemem plików Azure Managed Lustre).