Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Elementy docelowe pamięci masowej to zaplecze pamięci masowej dla plików, które są dostępne za pośrednictwem usługi Azure HPC Cache. Magazyn NFS można dodać (na przykład lokalny system sprzętowy) lub przechowywać dane w usłudze Azure Blob.
Pamięć podręczna przedstawia wszystkie docelowe miejsca pamięci w jednej zagregowanej przestrzeni nazw. Ścieżki przestrzeni nazw konfiguruje się oddzielnie po dodaniu celów przechowywania.
Pamiętaj, że eksporty magazynu muszą być dostępne z sieci wirtualnej pamięci podręcznej. W przypadku lokalnego magazynu sprzętowego może być konieczne skonfigurowanie serwera DNS, który może rozpoznawać nazwy hostów na potrzeby dostępu do magazynu NFS. Przeczytaj więcej w artykule Dostęp DNS.
Dodaj cele zapisu po utworzeniu pamięci podręcznej. Postępuj zgodnie z tym procesem:
- Tworzenie pamięci podręcznej
- Zdefiniuj cel przechowywania (informacje w tym artykule)
- Utwórz ścieżki skierowane do klienta (dla zagregowanej przestrzeni nazw)
Procedura dodawania miejsca docelowego magazynu różni się nieco w zależności od typu używanego magazynu. Poniżej znajdują się szczegółowe informacje.
Wybieranie prawidłowego typu docelowego magazynu
Możesz wybrać spośród trzech typów obiektów docelowych magazynu: NFS, Blob i ADLS-NFS. Wybierz typ zgodny z rodzajem systemu magazynowania, którego będziesz używać do przechowywania plików podczas tego projektu usługi HPC Cache.
NFS — utwórz miejsce docelowe magazynu NFS w celu uzyskania dostępu do danych w systemie magazynu dołączonego do sieci (NAS). Może to być lokalny system magazynowania lub inny typ magazynu dostępny z systemem plików NFS.
- Wymagania: wymagania dotyczące magazynu NFS
- Instrukcje: Dodawanie nowego miejsca docelowego magazynu NFS
Obiekt blob — użyj docelowego magazynu obiektów blob do przechowywania plików roboczych w nowym kontenerze obiektów blob platformy Azure. Ten kontener można odczytywać lub zapisywać tylko z usługi Azure HPC Cache.
- Wymagania wstępne: wymagania dotyczące usługi Blob Storage
- Instrukcje: dodawanie nowego obiektu docelowego usługi Azure Blob Storage
ADLS-NFS — docelowy magazyn ADLS-NFS uzyskuje dostęp do danych z kontenera blob z obsługą NFS. Kontener można wstępnie załadować przy użyciu standardowych poleceń NFS, a pliki można odczytywać później z systemem plików NFS.
- Wymagania wstępne: wymagania dotyczące magazynu ADLS-NFS
- Instrukcje: Dodawanie nowego miejsca docelowego magazynu ADLS-NFS
Dodawanie nowego obiektu docelowego usługi Azure Blob Storage
Nowy obiekt docelowy usługi Blob Storage wymaga pustego kontenera obiektów blob lub kontenera wypełnionego danymi w formacie systemu plików w chmurze usługi Azure HPC Cache. Dowiedz się więcej na temat wstępnego ładowania kontenera obiektów blob w temacie Przenoszenie danych do usługi Azure Blob Storage.
Strona Dodaj miejsce docelowe magazynu na portalu Azure zawiera opcję utworzenia nowego kontenera blob tuż przed jego dodaniem.
Note
- W przypadku magazynu obiektów blob zamontowanego w systemie plików NFS użyj typu docelowego magazynu ADLS-NFS.
- Konfiguracje pamięci podręcznej o wysokiej przepływności nie obsługują standardowych obiektów docelowych usługi Azure Blob Storage. Zamiast tego użyj przestrzeni dyskowej typu blob z obsługą systemu plików NFS (ADLS-NFS).
W portalu Azure otwórz wystąpienie pamięci podręcznej i kliknij pozycję Cel pamięci na lewym pasku bocznym.
Strona Miejsca docelowe usługi Storage zawiera listę wszystkich istniejących obiektów docelowych i udostępnia link umożliwiający dodanie nowego.
Kliknij przycisk Dodaj docelowe miejsce magazynu.
Aby zdefiniować kontener obiektów blob platformy Azure, wprowadź te informacje.
Nazwa obiektu docelowego magazynu — ustaw nazwę identyfikującą ten obiekt docelowy magazynu w usłudze Azure HPC Cache.
Typ docelowy — wybierz Blob.
Konto przechowywania — wybierz konto, którego chcesz użyć.
Musisz autoryzować wystąpienie pamięci podręcznej, aby uzyskać dostęp do konta magazynu zgodnie z opisem w temacie Dodawanie ról dostępu.
Aby uzyskać informacje na temat rodzaju konta magazynu, którego można użyć, przeczytaj Wymagania dotyczące usługi Blob Storage.
Kontener Blob — wybierz kontener Blob dla tego docelowego zasobu lub kliknij Utwórz nowy.
Po zakończeniu kliknij OK, aby dodać docelowe miejsce magazynowania.
Note
Jeśli zapora konta magazynowego jest ustawiona tak, aby ograniczać dostęp tylko do "wybranych sieci", użyj tymczasowego obejścia opisanego w obejściu ustawień zapory konta usługi Blob Storage.
Dodawanie ról kontroli dostępu do konta
Usługa Azure HPC Cache używa kontroli dostępu opartej na rolach platformy Azure (RBAC) do autoryzowania usługi pamięci podręcznej w celu uzyskania dostępu do konta magazynu dla obiektów docelowych usługi Azure Blob Storage.
Właściciel konta magazynu musi jawnie dodać role Współtwórca konta magazynu i Współtwórca danych obiektu blob magazynu dla użytkownika „Dostawca zasobów usługi HPC Cache”.
Możesz to zrobić z wyprzedzeniem lub klikając link na stronie portalu, na której dodajesz obiekt docelowy usługi Blob Storage. Należy pamiętać, że propagowanie ustawień roli w środowisku platformy Azure może potrwać do pięciu minut. Poczekaj kilka minut po dodaniu ról przed utworzeniem docelowego zasobu pamięciowego.
Otwórz pozycję Kontrola dostępu (IAM) dla konta magazynowego.
Kliknij pozycję Dodaj>Dodaj przypisanie roli, aby otworzyć stronę przypisania roli.
Przypisz każdą z następujących ról pojedynczo. Aby uzyskać szczegółowe instrukcje, zobacz Przypisywanie ról platformy Azure za pomocą portalu Azure.
Setting Wartość Roles Współpracownik konta magazynowego
Kontrybutor danych Storage BlobPrzypisz dostęp do "Dostawca zasobów usługi HPC Cache" lub "Dostawca zasobów usługi StorageCache"
Dodaj nowe docelowe miejsce magazynu NFS
Obiekt docelowy magazynu NFS ma inne ustawienia niż docelowy magazyn obiektów blob, w tym ustawienie modelu użycia, które informuje pamięć podręczną o sposobie przechowywania danych z tego systemu magazynu.
Note
Przed utworzeniem docelowego magazynu systemu plików NFS upewnij się, że system magazynu jest dostępny z poziomu usługi Azure HPC Cache i spełnia wymagania dotyczące uprawnień. Tworzenie celu pamięci masowej zakończy się niepowodzeniem, jeśli pamięć podręczna nie będzie mogła uzyskać dostępu do systemu pamięci masowej. Aby uzyskać szczegółowe informacje, przeczytaj wymagania dotyczące magazynu NFS i Rozwiązywanie problemów z konfiguracją serwera NAS i docelowym magazynem NFS.
Wybieranie modelu użycia
Podczas tworzenia celu pamięci masowej, który używa systemu plików NFS do uzyskania dostępu do systemu pamięci masowej, należy wybrać model wykorzystania dla tego celu. Ten model określa sposób buforowania danych.
Aby uzyskać więcej informacji na temat wszystkich tych ustawień, przeczytaj Omówienie modeli użycia.
Wbudowane modele użycia usługi HPC Cache umożliwiają wybranie sposobu równoważenia szybkiej reakcji z ryzykiem uzyskania nieaktualnych danych. Jeśli chcesz zoptymalizować szybkość odczytu plików, możesz nie dbać o to, czy pliki w pamięci podręcznej są sprawdzane względem plików zaplecza. Alternatywnie, jeśli chcesz upewnić się, że pliki są zawsze aktualne z zdalnym magazynem, wybierz model, który przeprowadza częste kontrole.
Note
Pamięci podręczne w stylu wysokiej przepustowości obsługują tylko buforowanie odczytu.
Te trzy opcje obejmują większość sytuacji:
Intensywny odczyt, sporadyczne zapisy — przyspiesza dostęp do odczytu plików, które są statyczne lub rzadko zmieniane.
Ta opcja buforuje pliki z odczytów klienta, ale natychmiast przekazuje operacje zapisu klienta do pamięci masowej w tle. Pliki przechowywane w pamięci podręcznej nie są automatycznie porównywane z plikami na woluminie magazynu NFS.
Nie używaj tej opcji, jeśli istnieje ryzyko, że plik może zostać zmodyfikowany bezpośrednio w systemie przechowywania bez uprzedniego zapisania go w pamięci podręcznej. W takim przypadku buforowana wersja pliku nie będzie zsynchronizowana z plikiem zaplecza.
Większe niż 15% zapisów — ta opcja przyspiesza zarówno wydajność odczytu, jak i zapisu.
Operacje odczytu klienta i zapisy klienta są buforowane. Zakłada się, że pliki w pamięci podręcznej są nowsze niż pliki w systemie magazynowania na zapleczu. Buforowane pliki są automatycznie porównywane z plikami w pamięci zaplecza co osiem godzin. Zmodyfikowane pliki w pamięci podręcznej są zapisywane w systemie magazynu zaplecza po upływie godziny w pamięci podręcznej bez innych zmian.
Nie należy używać tej opcji, jeśli klienci bezpośrednio zamontują wolumin pamięci masowej zaplecza, ponieważ istnieje ryzyko, że pliki będą nieaktualne.
Klienci zapisują dane w docelowym systemie plików NFS, pomijając pamięć podręczną — wybierz tę opcję, jeśli klienci w przepływie pracy zapisują dane bezpośrednio w systemie magazynu bez uprzedniego zapisywania w pamięci podręcznej lub jeśli chcesz zoptymalizować spójność danych.
Pliki, o które proszą klienci, są buforowane, ale wszelkie zmiany w tych plikach z klienta są natychmiast przekazywane do systemu przechowywania w zapleczu. Pliki w pamięci podręcznej są często sprawdzane w porównaniu do wersji zapasowych pod kątem aktualizacji. Ta weryfikacja zapewnia spójność danych, gdy pliki są zmieniane bezpośrednio w systemie magazynu zamiast za pośrednictwem pamięci podręcznej.
Aby uzyskać szczegółowe informacje o innych opcjach, przeczytaj Omówienie modeli użycia.
W tej tabeli przedstawiono podsumowanie różnic między wszystkimi modelami użycia:
| Model użycia | Tryb buforowania | Czasomierz weryfikacji | Czasomierz zapisu zwrotnego |
|---|---|---|---|
| Buforowanie tylko do odczytu | Odczyt | 30 sekund | Żadne |
| Buforowanie odczytu i zapisu | Odczyt/zapis | 8 godzin | 1 godzina |
Note
Wartość weryfikacji back-endu jest wyświetlana, gdy pamięć podręczna automatycznie porównuje pliki z plikami źródłowymi w zdalnej pamięci. Można jednak wyzwolić porównanie, wysyłając żądanie klienta zawierające operację readdirplus w systemie pamięci masowej zaplecza. Readdirplus to standardowy interfejs API systemu plików NFS (nazywany również rozszerzonym odczytem), który zwraca metadane katalogu, co powoduje, że pamięć podręczna porównuje i aktualizuje pliki.
Utwórz docelowe miejsce magazynowe NFS
W portalu Azure otwórz wystąpienie pamięci podręcznej i kliknij pozycję Cel pamięci na lewym pasku bocznym.
Strona Miejsca docelowe usługi Storage zawiera listę wszystkich istniejących obiektów docelowych i udostępnia link umożliwiający dodanie nowego.
Kliknij przycisk Dodaj docelowe miejsce magazynu.
Podaj te informacje dla celu przechowywania opartego na systemie plików NFS:
Nazwa obiektu docelowego magazynu — ustaw nazwę identyfikującą ten obiekt docelowy magazynu w usłudze Azure HPC Cache.
Typ docelowy — wybierz NFS.
Nazwa hosta — wprowadź adres IP lub w pełni kwalifikowaną nazwę domeny dla systemu pamięci masowej NFS. (Użyj nazwy domeny tylko wtedy, gdy pamięć podręczna ma dostęp do serwera DNS, który może rozwiązać nazwę). Możesz wprowadzić wiele adresów IP, jeśli Twój system pamięci jest dostępny pod wieloma adresami IP.
Model użycia — wybierz jeden z profilów buforowania danych na podstawie przepływu pracy, opisany w sekcji Wybierz model użycia powyżej.
Po zakończeniu kliknij OK, aby dodać cel pamięci masowej.
Dodaj nowe miejsce docelowe pamięci ADLS-NFS
Obiekty docelowe magazynu ADLS-NFS używają kontenerów Blob platformy Azure, które obsługują protokół NFS 3.0.
Przeczytaj artykuł Obsługa protokołu NFS 3.0, aby dowiedzieć się więcej o tej funkcji.
Cele pamięci masowej ADLS-NFS mają pewne podobieństwa z obiektami docelowymi magazynu Blob i obiektami docelowymi magazynu NFS. Przykład:
Podobnie jak w przypadku docelowego obiektu usługi Blob Storage, musisz przyznać usłudze Azure HPC Cache uprawnienie do dostępu do konta magazynu w usłudze Azure.
Podobnie jak cel magazynowania NFS, należy ustawić model użycia pamięci podręcznej.
Ponieważ kontenery obiektów blob z obsługą systemu plików NFS mają strukturę hierarchiczną zgodną z systemem plików NFS, nie trzeba używać pamięci podręcznej do pozyskiwania danych, a kontenery są czytelne dla innych systemów NFS.
Możesz wstępnie załadować dane w kontenerze ADLS-NFS, a następnie dodać je do pamięci podręcznej HPC jako cel magazynowania, a potem uzyskać dostęp do danych z pominięciem pamięci podręcznej HPC. Jeśli używasz standardowego kontenera blob jako celu magazynowania w usłudze HPC Cache, dane są zapisywane w zastrzeżonym formacie i mogą być dostępne tylko z innych produktów zgodnych z Azure HPC Cache.
Przed utworzeniem docelowego magazynu ADLS-NFS należy utworzyć konto magazynowe obsługujące system plików NFS. Wykonaj kroki opisane w temacie Wymagania wstępne dotyczące usługi Azure HPC Cache i instrukcje opisane w temacie Instalowanie magazynu obiektów blob przy użyciu systemu plików NFS. Jeśli nie korzystasz z tej samej sieci wirtualnej dla pamięci podręcznej i konta magazynowego, upewnij się, że sieć VNET pamięci podręcznej ma dostęp do sieci VNET konta magazynowego.
Po skonfigurowaniu konta magazynu można utworzyć nowy kontener, kiedy tworzysz docelową lokalizację magazynu.
Przeczytaj artykuł Use NFS-mounted blob Storage with Azure HPC Cache (Używanie magazynu obiektów blob zainstalowanych w systemie plików NFS z usługą Azure HPC Cache ), aby dowiedzieć się więcej na temat tej konfiguracji.
Aby utworzyć miejsce docelowe magazynu ADLS-NFS, otwórz stronę Dodawanie miejsca docelowego magazynu w portalu Azure. (Inne metody są opracowywane).
Wprowadź te informacje.
Nazwa obiektu docelowego magazynu — ustaw nazwę identyfikującą ten obiekt docelowy magazynu w usłudze Azure HPC Cache.
Typ docelowy — wybierz pozycję ADLS-NFS.
Konto magazynowe — wybierz konto, którego chcesz użyć. Jeśli konto pamięci masowej obsługujące NFS nie pojawia się na liście, sprawdź, czy spełnia ono wymagania wstępne oraz czy pamięć podręczna ma do niego dostęp.
Musisz autoryzować wystąpienie pamięci podręcznej, aby uzyskać dostęp do konta magazynowego zgodnie z opisem w Dodaj role dostępu.
Pojemnik magazynowy — wybierz kontener obiektów blob z obsługą NFS dla tego celu lub kliknij Utwórz nowy.
Model użycia — wybierz jeden z profilów buforowania danych na podstawie przepływu pracy, opisany w sekcji Wybierz model użycia powyżej.
Po zakończeniu kliknij OK, aby dodać cel pamięci masowej.
Wyświetlanie celów pamięciowej
Możesz użyć Portalu Azure lub interfejsu wiersza polecenia platformy Azure, aby wyświetlić obecnie zdefiniowane cele magazynowania dla pamięci podręcznej.
Na portalu Azure otwórz instancję pamięci podręcznej i kliknij pozycję Cele magazynowania w obszarze Ustawienia na pasku bocznym po lewej stronie. Strona celów magazynowania zawiera listę wszystkich istniejących celów i opcje umożliwiające ich dodawanie lub usuwanie.
Kliknij nazwę docelowego zasobu magazynowego, aby otworzyć stronę szczegółów.
Przeczytaj Wyświetlanie i zarządzanie obiektami docelowymi magazynu i Edytowanie obiektów docelowych magazynu, aby dowiedzieć się więcej.
Następne kroki
Po utworzeniu miejsc docelowych pamięci kontynuuj realizację tych zadań, aby przygotować pamięć podręczną do użycia.
- Konfigurowanie zagregowanej przestrzeni nazw
- Montowanie pamięci podręcznej usługi Azure HPC Cache
- Przenoszenie danych do usługi Azure Blob Storage
Jeśli musisz zaktualizować ustawienia, możesz edytować cel magazynu.