Dodawanie celów magazynowania

Elementy docelowe pamięci masowej to zaplecze pamięci masowej dla plików, które są dostępne za pośrednictwem usługi Azure HPC Cache. Magazyn NFS można dodać (na przykład lokalny system sprzętowy) lub przechowywać dane w usłudze Azure Blob.

Pamięć podręczna przedstawia wszystkie docelowe miejsca pamięci w jednej zagregowanej przestrzeni nazw. Ścieżki przestrzeni nazw konfiguruje się oddzielnie po dodaniu celów przechowywania.

Pamiętaj, że eksporty magazynu muszą być dostępne z sieci wirtualnej pamięci podręcznej. W przypadku lokalnego magazynu sprzętowego może być konieczne skonfigurowanie serwera DNS, który może rozpoznawać nazwy hostów na potrzeby dostępu do magazynu NFS. Przeczytaj więcej w artykule Dostęp DNS.

Dodaj cele zapisu po utworzeniu pamięci podręcznej. Postępuj zgodnie z tym procesem:

  1. Tworzenie pamięci podręcznej
  2. Zdefiniuj cel przechowywania (informacje w tym artykule)
  3. Utwórz ścieżki skierowane do klienta (dla zagregowanej przestrzeni nazw)

Procedura dodawania miejsca docelowego magazynu różni się nieco w zależności od typu używanego magazynu. Poniżej znajdują się szczegółowe informacje.

Wybieranie prawidłowego typu docelowego magazynu

Możesz wybrać spośród trzech typów obiektów docelowych magazynu: NFS, Blob i ADLS-NFS. Wybierz typ zgodny z rodzajem systemu magazynowania, którego będziesz używać do przechowywania plików podczas tego projektu usługi HPC Cache.

Dodawanie nowego obiektu docelowego usługi Azure Blob Storage

Nowy obiekt docelowy usługi Blob Storage wymaga pustego kontenera obiektów blob lub kontenera wypełnionego danymi w formacie systemu plików w chmurze usługi Azure HPC Cache. Dowiedz się więcej na temat wstępnego ładowania kontenera obiektów blob w temacie Przenoszenie danych do usługi Azure Blob Storage.

Strona Dodaj miejsce docelowe magazynu na portalu Azure zawiera opcję utworzenia nowego kontenera blob tuż przed jego dodaniem.

Note

  • W przypadku magazynu obiektów blob zamontowanego w systemie plików NFS użyj typu docelowego magazynu ADLS-NFS.
  • Konfiguracje pamięci podręcznej o wysokiej przepływności nie obsługują standardowych obiektów docelowych usługi Azure Blob Storage. Zamiast tego użyj przestrzeni dyskowej typu blob z obsługą systemu plików NFS (ADLS-NFS).

W portalu Azure otwórz wystąpienie pamięci podręcznej i kliknij pozycję Cel pamięci na lewym pasku bocznym.

zrzut ekranu przedstawiający stronę ustawień magazynowania > z dwoma istniejącymi celami magazynowania w tabeli i wyróżnieniem wokół przycisku + Dodaj cel magazynowania nad tabelą

Strona Miejsca docelowe usługi Storage zawiera listę wszystkich istniejących obiektów docelowych i udostępnia link umożliwiający dodanie nowego.

Kliknij przycisk Dodaj docelowe miejsce magazynu.

zrzut ekranu przedstawiający stronę dodawania docelowego miejsca magazynu, wypełnioną informacjami dotyczącymi nowego celu usługi Azure Blob Storage

Aby zdefiniować kontener obiektów blob platformy Azure, wprowadź te informacje.

  • Nazwa obiektu docelowego magazynu — ustaw nazwę identyfikującą ten obiekt docelowy magazynu w usłudze Azure HPC Cache.

  • Typ docelowy — wybierz Blob.

  • Konto przechowywania — wybierz konto, którego chcesz użyć.

    Musisz autoryzować wystąpienie pamięci podręcznej, aby uzyskać dostęp do konta magazynu zgodnie z opisem w temacie Dodawanie ról dostępu.

    Aby uzyskać informacje na temat rodzaju konta magazynu, którego można użyć, przeczytaj Wymagania dotyczące usługi Blob Storage.

  • Kontener Blob — wybierz kontener Blob dla tego docelowego zasobu lub kliknij Utwórz nowy.

    zrzut ekranu przedstawiający okno dialogowe określające nazwę i poziom dostępu (prywatny) dla nowego kontenera

Po zakończeniu kliknij OK, aby dodać docelowe miejsce magazynowania.

Note

Jeśli zapora konta magazynowego jest ustawiona tak, aby ograniczać dostęp tylko do "wybranych sieci", użyj tymczasowego obejścia opisanego w obejściu ustawień zapory konta usługi Blob Storage.

Dodawanie ról kontroli dostępu do konta

Usługa Azure HPC Cache używa kontroli dostępu opartej na rolach platformy Azure (RBAC) do autoryzowania usługi pamięci podręcznej w celu uzyskania dostępu do konta magazynu dla obiektów docelowych usługi Azure Blob Storage.

Właściciel konta magazynu musi jawnie dodać role Współtwórca konta magazynu i Współtwórca danych obiektu blob magazynu dla użytkownika „Dostawca zasobów usługi HPC Cache”.

Możesz to zrobić z wyprzedzeniem lub klikając link na stronie portalu, na której dodajesz obiekt docelowy usługi Blob Storage. Należy pamiętać, że propagowanie ustawień roli w środowisku platformy Azure może potrwać do pięciu minut. Poczekaj kilka minut po dodaniu ról przed utworzeniem docelowego zasobu pamięciowego.

  1. Otwórz pozycję Kontrola dostępu (IAM) dla konta magazynowego.

  2. Kliknij pozycję Dodaj>Dodaj przypisanie roli, aby otworzyć stronę przypisania roli.

  3. Przypisz każdą z następujących ról pojedynczo. Aby uzyskać szczegółowe instrukcje, zobacz Przypisywanie ról platformy Azure za pomocą portalu Azure.

    Setting Wartość
    Roles Współpracownik konta magazynowego
    Kontrybutor danych Storage Blob
    Przypisz dostęp do "Dostawca zasobów usługi HPC Cache" lub "Dostawca zasobów usługi StorageCache"

    Dodaj stronę przypisywania roli

Dodaj nowe docelowe miejsce magazynu NFS

Obiekt docelowy magazynu NFS ma inne ustawienia niż docelowy magazyn obiektów blob, w tym ustawienie modelu użycia, które informuje pamięć podręczną o sposobie przechowywania danych z tego systemu magazynu.

Zrzut ekranu przedstawiający stronę dodawania miejsca docelowego magazynu ze zdefiniowanym elementem docelowym systemu plików NFS

Note

Przed utworzeniem docelowego magazynu systemu plików NFS upewnij się, że system magazynu jest dostępny z poziomu usługi Azure HPC Cache i spełnia wymagania dotyczące uprawnień. Tworzenie celu pamięci masowej zakończy się niepowodzeniem, jeśli pamięć podręczna nie będzie mogła uzyskać dostępu do systemu pamięci masowej. Aby uzyskać szczegółowe informacje, przeczytaj wymagania dotyczące magazynu NFS i Rozwiązywanie problemów z konfiguracją serwera NAS i docelowym magazynem NFS.

Wybieranie modelu użycia

Podczas tworzenia celu pamięci masowej, który używa systemu plików NFS do uzyskania dostępu do systemu pamięci masowej, należy wybrać model wykorzystania dla tego celu. Ten model określa sposób buforowania danych.

Aby uzyskać więcej informacji na temat wszystkich tych ustawień, przeczytaj Omówienie modeli użycia.

Wbudowane modele użycia usługi HPC Cache umożliwiają wybranie sposobu równoważenia szybkiej reakcji z ryzykiem uzyskania nieaktualnych danych. Jeśli chcesz zoptymalizować szybkość odczytu plików, możesz nie dbać o to, czy pliki w pamięci podręcznej są sprawdzane względem plików zaplecza. Alternatywnie, jeśli chcesz upewnić się, że pliki są zawsze aktualne z zdalnym magazynem, wybierz model, który przeprowadza częste kontrole.

Note

Pamięci podręczne w stylu wysokiej przepustowości obsługują tylko buforowanie odczytu.

Te trzy opcje obejmują większość sytuacji:

  • Intensywny odczyt, sporadyczne zapisy — przyspiesza dostęp do odczytu plików, które są statyczne lub rzadko zmieniane.

    Ta opcja buforuje pliki z odczytów klienta, ale natychmiast przekazuje operacje zapisu klienta do pamięci masowej w tle. Pliki przechowywane w pamięci podręcznej nie są automatycznie porównywane z plikami na woluminie magazynu NFS.

    Nie używaj tej opcji, jeśli istnieje ryzyko, że plik może zostać zmodyfikowany bezpośrednio w systemie przechowywania bez uprzedniego zapisania go w pamięci podręcznej. W takim przypadku buforowana wersja pliku nie będzie zsynchronizowana z plikiem zaplecza.

  • Większe niż 15% zapisów — ta opcja przyspiesza zarówno wydajność odczytu, jak i zapisu.

    Operacje odczytu klienta i zapisy klienta są buforowane. Zakłada się, że pliki w pamięci podręcznej są nowsze niż pliki w systemie magazynowania na zapleczu. Buforowane pliki są automatycznie porównywane z plikami w pamięci zaplecza co osiem godzin. Zmodyfikowane pliki w pamięci podręcznej są zapisywane w systemie magazynu zaplecza po upływie godziny w pamięci podręcznej bez innych zmian.

    Nie należy używać tej opcji, jeśli klienci bezpośrednio zamontują wolumin pamięci masowej zaplecza, ponieważ istnieje ryzyko, że pliki będą nieaktualne.

  • Klienci zapisują dane w docelowym systemie plików NFS, pomijając pamięć podręczną — wybierz tę opcję, jeśli klienci w przepływie pracy zapisują dane bezpośrednio w systemie magazynu bez uprzedniego zapisywania w pamięci podręcznej lub jeśli chcesz zoptymalizować spójność danych.

    Pliki, o które proszą klienci, są buforowane, ale wszelkie zmiany w tych plikach z klienta są natychmiast przekazywane do systemu przechowywania w zapleczu. Pliki w pamięci podręcznej są często sprawdzane w porównaniu do wersji zapasowych pod kątem aktualizacji. Ta weryfikacja zapewnia spójność danych, gdy pliki są zmieniane bezpośrednio w systemie magazynu zamiast za pośrednictwem pamięci podręcznej.

Aby uzyskać szczegółowe informacje o innych opcjach, przeczytaj Omówienie modeli użycia.

W tej tabeli przedstawiono podsumowanie różnic między wszystkimi modelami użycia:

Model użycia Tryb buforowania Czasomierz weryfikacji Czasomierz zapisu zwrotnego
Buforowanie tylko do odczytu Odczyt 30 sekund Żadne
Buforowanie odczytu i zapisu Odczyt/zapis 8 godzin 1 godzina

Note

Wartość weryfikacji back-endu jest wyświetlana, gdy pamięć podręczna automatycznie porównuje pliki z plikami źródłowymi w zdalnej pamięci. Można jednak wyzwolić porównanie, wysyłając żądanie klienta zawierające operację readdirplus w systemie pamięci masowej zaplecza. Readdirplus to standardowy interfejs API systemu plików NFS (nazywany również rozszerzonym odczytem), który zwraca metadane katalogu, co powoduje, że pamięć podręczna porównuje i aktualizuje pliki.

Utwórz docelowe miejsce magazynowe NFS

W portalu Azure otwórz wystąpienie pamięci podręcznej i kliknij pozycję Cel pamięci na lewym pasku bocznym.

zrzut ekranu przedstawiający stronę ustawień magazynowania > z dwoma istniejącymi celami magazynowania w tabeli i wyróżnieniem wokół przycisku + Dodaj cel magazynowania nad tabelą

Strona Miejsca docelowe usługi Storage zawiera listę wszystkich istniejących obiektów docelowych i udostępnia link umożliwiający dodanie nowego.

Kliknij przycisk Dodaj docelowe miejsce magazynu.

Zrzut ekranu przedstawiający stronę dodawania miejsca docelowego magazynu ze zdefiniowanym elementem docelowym systemu plików NFS

Podaj te informacje dla celu przechowywania opartego na systemie plików NFS:

  • Nazwa obiektu docelowego magazynu — ustaw nazwę identyfikującą ten obiekt docelowy magazynu w usłudze Azure HPC Cache.

  • Typ docelowy — wybierz NFS.

  • Nazwa hosta — wprowadź adres IP lub w pełni kwalifikowaną nazwę domeny dla systemu pamięci masowej NFS. (Użyj nazwy domeny tylko wtedy, gdy pamięć podręczna ma dostęp do serwera DNS, który może rozwiązać nazwę). Możesz wprowadzić wiele adresów IP, jeśli Twój system pamięci jest dostępny pod wieloma adresami IP.

  • Model użycia — wybierz jeden z profilów buforowania danych na podstawie przepływu pracy, opisany w sekcji Wybierz model użycia powyżej.

Po zakończeniu kliknij OK, aby dodać cel pamięci masowej.

Dodaj nowe miejsce docelowe pamięci ADLS-NFS

Obiekty docelowe magazynu ADLS-NFS używają kontenerów Blob platformy Azure, które obsługują protokół NFS 3.0.

Przeczytaj artykuł Obsługa protokołu NFS 3.0, aby dowiedzieć się więcej o tej funkcji.

Cele pamięci masowej ADLS-NFS mają pewne podobieństwa z obiektami docelowymi magazynu Blob i obiektami docelowymi magazynu NFS. Przykład:

  • Podobnie jak w przypadku docelowego obiektu usługi Blob Storage, musisz przyznać usłudze Azure HPC Cache uprawnienie do dostępu do konta magazynu w usłudze Azure.

  • Podobnie jak cel magazynowania NFS, należy ustawić model użycia pamięci podręcznej.

  • Ponieważ kontenery obiektów blob z obsługą systemu plików NFS mają strukturę hierarchiczną zgodną z systemem plików NFS, nie trzeba używać pamięci podręcznej do pozyskiwania danych, a kontenery są czytelne dla innych systemów NFS.

    Możesz wstępnie załadować dane w kontenerze ADLS-NFS, a następnie dodać je do pamięci podręcznej HPC jako cel magazynowania, a potem uzyskać dostęp do danych z pominięciem pamięci podręcznej HPC. Jeśli używasz standardowego kontenera blob jako celu magazynowania w usłudze HPC Cache, dane są zapisywane w zastrzeżonym formacie i mogą być dostępne tylko z innych produktów zgodnych z Azure HPC Cache.

Przed utworzeniem docelowego magazynu ADLS-NFS należy utworzyć konto magazynowe obsługujące system plików NFS. Wykonaj kroki opisane w temacie Wymagania wstępne dotyczące usługi Azure HPC Cache i instrukcje opisane w temacie Instalowanie magazynu obiektów blob przy użyciu systemu plików NFS. Jeśli nie korzystasz z tej samej sieci wirtualnej dla pamięci podręcznej i konta magazynowego, upewnij się, że sieć VNET pamięci podręcznej ma dostęp do sieci VNET konta magazynowego.

Po skonfigurowaniu konta magazynu można utworzyć nowy kontener, kiedy tworzysz docelową lokalizację magazynu.

Przeczytaj artykuł Use NFS-mounted blob Storage with Azure HPC Cache (Używanie magazynu obiektów blob zainstalowanych w systemie plików NFS z usługą Azure HPC Cache ), aby dowiedzieć się więcej na temat tej konfiguracji.

Aby utworzyć miejsce docelowe magazynu ADLS-NFS, otwórz stronę Dodawanie miejsca docelowego magazynu w portalu Azure. (Inne metody są opracowywane).

Zrzut ekranu strony dodawania celu magazynowania z zdefiniowanym celem ADLS-NFS

Wprowadź te informacje.

  • Nazwa obiektu docelowego magazynu — ustaw nazwę identyfikującą ten obiekt docelowy magazynu w usłudze Azure HPC Cache.

  • Typ docelowy — wybierz pozycję ADLS-NFS.

  • Konto magazynowe — wybierz konto, którego chcesz użyć. Jeśli konto pamięci masowej obsługujące NFS nie pojawia się na liście, sprawdź, czy spełnia ono wymagania wstępne oraz czy pamięć podręczna ma do niego dostęp.

    Musisz autoryzować wystąpienie pamięci podręcznej, aby uzyskać dostęp do konta magazynowego zgodnie z opisem w Dodaj role dostępu.

  • Pojemnik magazynowy — wybierz kontener obiektów blob z obsługą NFS dla tego celu lub kliknij Utwórz nowy.

  • Model użycia — wybierz jeden z profilów buforowania danych na podstawie przepływu pracy, opisany w sekcji Wybierz model użycia powyżej.

Po zakończeniu kliknij OK, aby dodać cel pamięci masowej.

Wyświetlanie celów pamięciowej

Możesz użyć Portalu Azure lub interfejsu wiersza polecenia platformy Azure, aby wyświetlić obecnie zdefiniowane cele magazynowania dla pamięci podręcznej.

Na portalu Azure otwórz instancję pamięci podręcznej i kliknij pozycję Cele magazynowania w obszarze Ustawienia na pasku bocznym po lewej stronie. Strona celów magazynowania zawiera listę wszystkich istniejących celów i opcje umożliwiające ich dodawanie lub usuwanie.

Kliknij nazwę docelowego zasobu magazynowego, aby otworzyć stronę szczegółów.

Przeczytaj Wyświetlanie i zarządzanie obiektami docelowymi magazynu i Edytowanie obiektów docelowych magazynu, aby dowiedzieć się więcej.

Następne kroki

Po utworzeniu miejsc docelowych pamięci kontynuuj realizację tych zadań, aby przygotować pamięć podręczną do użycia.

Jeśli musisz zaktualizować ustawienia, możesz edytować cel magazynu.