Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Dane z systemu plików Azure Managed Lustre można skopiować do długoterminowego magazynu obiektów w usłudze Azure Blob Storage. W tym artykule opisano dwie metody eksportowania danych:
- Zadanie ręcznego eksportu — umożliwia eksportowanie danych na żądanie przy użyciu jednorazowego zadania eksportu.
- Automatyczne eksportowanie — ciągłe synchronizowanie nowych i zmienionych plików z systemu plików do Blob Storage automatycznie.
Note
Zadania eksportu są dostępne tylko w przypadku integracji usługi Azure Blob Storage z systemem plików Azure Managed Lustre podczas tworzenia systemu plików. Aby uzyskać więcej informacji, zobacz Integracja usługi Azure Blob Storage. Jeśli nie zintegrowano kontenera obiektów blob podczas tworzenia systemu plików, możesz użyć poleceń systemu plików klienta, aby skopiować dane bez tworzenia zadania eksportu.
Limitations
Następujące ograniczenia dotyczą operacji eksportowania:
- Jednocześnie można uruchomić tylko jedną akcję importu lub eksportu. Jeśli na przykład zadanie eksportu jest w toku i próbujesz uruchomić inne zadanie eksportu, zostanie wyświetlony błąd.
- Zadania eksportu kopiują tylko pliki, które są nowe lub zmienione. Jeśli plik zaimportowany z kontenera obiektów blob podczas tworzenia systemu plików nie zmieni się, zadanie eksportu nie spowoduje wyeksportowania pliku.
- Pliki wyłącznie ze zmianami metadanych nie są eksportowane. Zmiany metadanych obejmują zmiany właściciela, uprawnień, atrybutów rozszerzonych i nazwy (zmieniono nazwę). To ograniczenie dotyczy zarówno eksportu ręcznego, jak i automatycznego eksportowania.
- Pliki usuwane w systemie plików Azure Managed Lustre nie są usuwane w oryginalnym kontenerze obiektów blob podczas zadania eksportu. Zadanie eksportu nie usuwa plików z kontenera obiektów blob.
- Nazwy obiektów blob muszą być zgodne z określonymi regułami nazewnictwa. Dopuszczalne nazwy obiektów blob różnią się nieco od akceptowalnych nazw plików POSIX. Proces eksportu zachowuje znaki specjalne w nazwach plików przez ich prawidłowe eskapowanie podczas eksportowania do blobów. Jednak nazwa pliku naruszająca regułę nazewnictwa obiektów blob (na przykład przekraczającą maksymalną długość nazwy obiektu blob) powoduje błąd podczas próby wyeksportowania tego pliku.
- W przypadku automatycznego eksportowania: zmiany metadanych, takie jak zmiany nazw, aktualizacje własności lub korekty uprawnień, nie są obecnie synchronizowane.
- W przypadku automatycznego eksportowania: pliki, katalogi lub linki symboliczne usunięte w systemie plików nie są usuwane z kontenera Blob Storage.
- Azure Blob Storage nie obsługuje twardych linków. Każdy twardy link jest eksportowany jako unikatowy obiekt blob. Jeśli zaimportujesz te obiekty blob, staną się niezależnymi plikami.
Zadanie ręcznego eksportowania
Zadanie ręcznego eksportowania kopiuje nowe lub zmienione pliki z systemu plików do kontenera obiektów blob określonego podczas tworzenia systemu plików.
Tworzenie zadania eksportu
Wykonaj następujące kroki, aby utworzyć zadanie eksportu w witrynie Azure Portal:
W witrynie Azure Portal otwórz system plików Azure Managed Lustre. W obszarze Ustawienia, wybierz pozycję Integracja Blob.
Wybierz + Utwórz nowe zadanie/proces.
W menu rozwijanym Typ zadania wybierz pozycję Eksportuj.
W polu Ścieżka systemu plików wprowadź ciąg, aby określić, co chcesz wyeksportować.
Zadanie eksportu eksportuje wszystkie nowe lub zmienione pliki w systemie plików, których nazwy plików zaczynają się od tego ciągu. Zadanie zapisuje pliki w kontenerze blob z tą samą ścieżką pliku (lub prefiksem) jak w systemie plików Lustre. Aby uniknąć zastępowania istniejących plików w kontenerze obiektów blob, upewnij się, że ścieżka pliku w systemie plików Lustre nie nakłada się na istniejącą ścieżkę pliku w kontenerze obiektów blob.
Poniższy zrzut ekranu przedstawia ustawienia konfiguracji zadania eksportu w witrynie Azure Portal.
Monitorowanie lub anulowanie zadania eksportu
Zadania eksportu można monitorować lub anulować w sekcji Ostatnie zadania w panelu Blob integration.
Uruchamiane jest tylko jedno zadanie archiwum jednocześnie. Aby anulować zadanie, które jest w toku, wybierz link Anuluj dla tego zadania w tabeli Ostatnie zadania . Link Anuluj nie jest dostępny dla ukończonych zadań.
Ponów próbę wykonania zadania eksportu
Jeśli zadanie eksportu nie zakończy się pomyślnie, możesz ponowić próbę eksportu, tworząc nowe zadanie eksportu. Nowe zadanie kopiuje tylko pliki, które nie zostały skopiowane podczas poprzedniego zadania.
Ponawianie prób może być typowe podczas próby wyeksportowania danych z aktywnych systemów plików, w których dane są często zmieniane. Aby dowiedzieć się więcej na temat tych scenariuszy, zobacz Uruchamianie zadań eksportu w aktywnych systemach plików.
Uruchamianie zadań eksportu w aktywnych systemach plików
W aktywnych systemach plików zmiany w plikach podczas zadania eksportu mogą spowodować niepowodzenie zadania. Ten stan błędu wskazuje, że nie wszystkie dane w systemie plików zostały wyeksportowane do Blob Storage. W takiej sytuacji spróbuj ponownie wykonać eksport, tworząc nowe zadanie eksportu. Nowe zadanie kopiuje tylko pliki, które nie zostały skopiowane w poprzednim zadaniu.
W systemach plików z dużą ilością aktywności ponowne próby mogą wielokrotnie ulegać awarii, ponieważ pliki często się zmieniają. Aby sprawdzić, czy plik został pomyślnie wyeksportowany do usługi Blob Storage, sprawdź sygnaturę czasową odpowiedniego obiektu blob. Po zakończeniu zadania można również wyświetlić kontener rejestrowania skonfigurowany podczas wdrażania, aby wyświetlić szczegółowe informacje o zadaniu eksportu. Kontener rejestrowania zawiera informacje diagnostyczne o tym, które pliki zakończyły się niepowodzeniem i dlaczego zakończyły się niepowodzeniem.
Jeśli przygotowujesz się do zlikwidowania klastra i chcesz wykonać ostateczny eksport do Blob Storage, przed zainicjowaniem zadania eksportu upewnij się, że wszystkie działania we/wy są wstrzymane. Takie podejście pomaga zagwarantować wyeksportowanie wszystkich danych, ponieważ pozwala uniknąć błędów spowodowanych działaniem systemu plików.
Dowiedz się więcej o metadanych dla wyeksportowanych plików
Podczas eksportowania plików z systemu plików Azure Managed Lustre do kontenera obiektów blob zadanie eksportowania zapisuje dodatkowe metadane, aby uprościć ponowne importowanie zawartości do systemu plików.
W poniższej tabeli wymieniono atrybuty POSIX z systemu plików Lustre, które zadanie eksportu zapisuje w metadanych obiektu blob jako pary klucz/wartość:
| Atrybut POSIX | Typ |
|---|---|
owner |
int |
group |
int |
permissions |
format ósemkowy lub format rwxrwxrwx; lepki bit jest obsługiwany |
Zadanie eksportu zapisuje atrybuty katalogu w pustym obiekcie blob. Ten obiekt blob ma taką samą nazwę jak ścieżka katalogu i zawiera następującą parę klucz/wartość w metadanych obiektu blob: hdi_isfolder : true.
Atrybuty POSIX można zmodyfikować ręcznie przed użyciem kontenera w celu nawodnienia nowego klastra Lustre. Edytuj lub dodaj metadane obiektu blob przy użyciu par klucz/wartość opisanych wcześniej.
Kopiowanie kontenera obiektów blob w systemie Lustre za pomocą narzędzia azcopy lub Eksploratora usługi Storage
Możesz przenieść lub skopiować kontener obiektów blob używany przez system plików Lustre, korzystając z azcopy lub Eksploratora usługi Storage.
W przypadku azcopy można uwzględnić atrybuty katalogu, dodając następującą flagę:
--include-directory-stub
Po dołączeniu tej flagi atrybuty POSIX katalogu są zachowywane podczas transferu (na przykład owner, group, i permissions). Jeśli używasz azcopy na kontenerze magazynu bez tej flagi lub z flagą ustawioną na false, transfer zawiera dane i katalogi. Katalogi nie zachowują jednak atrybutów POSIX.
W Eksploratorze usługi Storage możesz włączyć tę flagę w obszarze Ustawienia , wybierając pozycję Transfery i wybierając pole Dołączanie wycinków katalogu.
Autoeksport
Funkcja automatycznego eksportowania dla usługi Azure Managed Lustre to funkcja, która automatycznie synchronizuje zmiany w systemie plików Azure Managed Lustre z połączonym kontenerem usługi Azure Blob Storage.
Korzystając z tej funkcji, można zapewnić, że nowe i zmodyfikowane pliki w systemie plików zostaną odzwierciedlone w skojarzonym kontenerze Blob Storage bez interwencji ręcznej. Ta funkcja usprawnia zarządzanie danymi i poprawia synchronizację na potrzeby długoterminowego przechowywania.
Funkcja automatycznego eksportowania
Automatyczne eksportowanie działa przez ciągłe monitorowanie zmian w systemie plików Azure Managed Lustre. Na podstawie skonfigurowanych zasad eksportu aktualizuje zawartość skojarzonego kontenera Blob Storage w celu odzwierciedlenia tych zmian. Ta funkcja zapewnia bezproblemowy i zautomatyzowany proces replikowania danych.
Oto jak autoeksport obsługuje różne rodzaje zmian:
- Tworzenie nowych plików i katalogów oraz zmiany zawartości plików: proces integracji obiektów blob identyfikuje nowe pliki, katalogi i dane, które uległy zmianie. Automatycznie uruchamia zadanie eksportu. Automatyczne eksportowanie gwarantuje, że najnowsza wersja pliku zostanie przeniesiona do usługi Blob Storage.
Automatyczne eksportowanie działa dzięki ciągłym iteracjom eksportu. Po zakończeniu iteracji proces integracji obiektów blob skanuje system plików pod kątem nowych plików, katalogów lub zmian zawartości. Rozpoczyna nową iterację pracy eksportowej.
Dzienniki zadań eksportu w skonfigurowanym kontenerze rejestrowania mogą pomóc zidentyfikować problemy z synchronizacją i zrozumieć, dlaczego operacje kończą się niepowodzeniem.
Skonfiguruj automatyczny eksport
Włącz automatyczny eksport w istniejącym systemie plików Azure Managed Lustre ze skonfigurowanym kontenerem Blob Storage. Automatyczne eksportowanie można skonfigurować przy użyciu ustawień integracji z obiektami Blob w Azure Portal.
Aby utworzyć nowe zadanie automatycznego eksportowania, wykonaj następujące kroki:
W witrynie Azure Portal otwórz system plików Azure Managed Lustre. W obszarze Ustawienia, wybierz pozycję Integracja Blob.
Wybierz + Utwórz nowe zadanie/proces.
Z listy rozwijanej Typ zadania wybierz pozycję Autoeksportuj.
W polu Ścieżka systemu plików określ ścieżkę katalogu, wpisując ciąg znaków.
System stale eksportuje wszystkie nowe lub zmienione pliki w systemie plików pod tą ścieżką (prefiks). System zapisuje pliki w kontenerze obiektów blob z tą samą ścieżką pliku (lub prefiksem) jak w systemie plików Lustre. Jedynym wyjątkiem jest sytuacja, gdy plik Lustre został zaimportowany z tej ścieżki w kontenerze obiektów blob.
Monitorowanie eksportu automatycznego i zarządzanie nim
Użyj portalu Azure, aby monitorować działania automatycznego eksportowania i zarządzać konfiguracjami.
Panel Blob integration wyświetla szczegółowe informacje dotyczące działań eksportowych w sekcji Ostatnie zadania, w tym status ostatnich zadań i metryki związane z automatyczną synchronizacją.
Aby anulować zadanie w procesie, wybierz link Anuluj dla tego zadania w tabeli Ostatnie zadania . Link Anuluj jest dostępny tylko dla bieżącego zadania.
Aby wyświetlić metryki zadania automatycznego eksportu, wybierz wartość Nazwa zadania. Okienko Metryki zostanie wyświetlone na panelu bocznym w portalu.
Metryki automatycznego eksportu
W portalu metryki są pogrupowane w dwie główne kategorie: Ogólna i Bieżąca iteracja.
Ogólne statystyki
Statystyki po włączeniu autoeksportu
Łączna liczba wyeksportowanych plików
Liczba plików, które zostały pomyślnie skopiowane do skojarzonego kontenera obiektów blob po włączeniu automatycznego eksportu.
Łączna liczba wyeksportowanych mib
Rozmiar pliku agregacji (w MiB) został pomyślnie skopiowany do powiązanego kontenera blobów po włączeniu automatycznego eksportowania.
Ukończone iteracje
Liczba przypadków, w których proces integracji obiektów blob zidentyfikował nowe lub zmienione dane i zainicjował nowe zadanie eksportu.
Ostatnia pomyślna iteracja
Sygnatura czasowa zakończenia ostatniej iteracji, która pomyślnie wyeksportowała wszystkie dane do powiązanego kontenera blob.
Bieżące statystyki iteracji
Statystyki dotyczące bieżącego działania
Odnalezione pliki
Liczba plików, które są obecnie eksportowane przez proces eksportu, w tym pliki, które zostały już pomyślnie skopiowane do skojarzonego kontenera typu blob w tej iteracji.
Odnaleziono MiB
Zagregowany rozmiar plików w MiB, który aktualnie eksportuje zadanie eksportowania, w tym pliki, które zostały już pomyślnie skopiowane do skojarzonego kontenera obiektów blob w tej iteracji.*
Wyeksportowane pliki
Liczba nowych i zmienionych plików pomyślnie skopiowanych do skojarzonego kontenera obiektów blob.
Wyeksportowany program MiB
Łączny rozmiar plików w MiB nowych i zmienionych danych pomyślnie skopiowanych do skojarzonego kontenera obiektów blob.
Pliki zakończyły się niepowodzeniem
Łączna liczba plików, których nie można skopiować podczas bieżącej iteracji. Wybierz ten link, aby przejść do strony Kontener dzienników i wyświetlić dzienniki skojarzone z tym zadaniem automatycznego eksportowania.
* Metryki bieżącej iteracji pokazują stan na ten moment. Na przykład Odnaleziono pliki to liczba odnalezionych plików do eksportowania w momencie raportowania. Następny cykl raportowania może wskazywać, że odnaleziono więcej plików.
Uwagi i najlepsze praktyki dotyczące automatycznego eksportowania
W przypadku korzystania z funkcji automatycznego eksportowania należy wziąć pod uwagę następujące najlepsze rozwiązania, aby zapewnić bezproblemową operację:
- Zarządzanie konfliktami: jeśli plik zostanie zmodyfikowany zarówno w systemie plików, jak i usłudze Blob Storage, istnieje ryzyko zastąpienia. Użyć koordynacji na poziomie aplikacji, aby zapobiec konfliktom edycji.
- Wyłącz automatyczne eksportowanie przed usunięciem: przed usunięciem systemu plików lub procesu integracji obiektów blob upewnij się, że wszystkie aktualizacje w kolejce są synchronizowane. Sprawdź, czy czas ostatniej pomyślnej iteracji jest niedawny, a metryka Pliki zakończone niepowodzeniem wynosi zero, aby uniknąć utraty danych. Następnie wyłącz automatyczne eksportowanie.