Wymagania wstępne dotyczące usługi Azure HPC Cache

Przed utworzeniem nowej usługi Azure HPC Cache upewnij się, że środowisko spełnia te wymagania.

Subskrypcja platformy Azure

Zalecana jest płatna subskrypcja.

Infrastruktura sieciowa

Aby można było korzystać z pamięci podręcznej, należy skonfigurować te wymagania wstępne dotyczące sieci:

  • Dedykowana podsieć dla wystąpienia usługi Azure HPC Cache
  • Obsługa systemu DNS, dzięki czemu pamięć podręczna może uzyskiwać dostęp do magazynu i innych zasobów
  • Dostęp z podsieci do dodatkowych usług infrastruktury Microsoft Azure, w tym serwerów NTP i usługi Azure Queue Storage.

Podsieć pamięci podręcznej

Usługa Azure HPC Cache wymaga dedykowanej podsieci o następujących cechach:

  • Podsieć musi mieć co najmniej 64 dostępne adresy IP.
  • Komunikacja wewnątrz podsieci musi być nieograniczona. Jeśli używasz sieciowej grupy zabezpieczeń dla podsieci pamięci podręcznej, upewnij się, że zezwala ona na wszystkie usługi między wewnętrznymi adresami IP.
  • Podsieć nie może hostować żadnych innych maszyn wirtualnych, nawet w przypadku powiązanych usług, takich jak maszyny klienckie.
  • Jeśli używasz wielu wystąpień usługi Azure HPC Cache, każda z nich wymaga własnej podsieci.

Najlepszym rozwiązaniem jest utworzenie nowej podsieci dla każdej pamięci podręcznej. Możesz utworzyć nową sieć wirtualną i podsieć w ramach tworzenia pamięci podręcznej.

Podczas tworzenia tej podsieci należy zachować ostrożność, aby ustawienia zabezpieczeń zezwalały na dostęp do niezbędnych usług infrastruktury wymienionych w dalszej części tej sekcji. Możesz ograniczyć wychodzącą łączność z Internetem, ale upewnij się, że istnieją wyjątki dla elementów opisanych tutaj.

Dostęp DNS

Pamięć podręczna wymaga systemu DNS, aby uzyskać dostęp do zasobów poza siecią wirtualną. W zależności od używanych zasobów może być konieczne skonfigurowanie dostosowanego serwera DNS i skonfigurowanie przekazywania między tym serwerem a serwerami Usługi Azure DNS:

  • Aby uzyskać dostęp do punktów końcowych usługi Azure Blob Storage i innych zasobów wewnętrznych, potrzebny jest serwer DNS oparty na platformie Azure.
  • Aby uzyskać dostęp do magazynu lokalnego, należy skonfigurować niestandardowy serwer DNS, który może rozpoznawać nazwy hostów magazynu. Należy to zrobić przed utworzeniem pamięci podręcznej.

Jeśli używasz tylko usługi Blob Storage, możesz użyć domyślnego serwera DNS dostarczonego przez platformę Azure dla pamięci podręcznej. Jeśli jednak potrzebujesz dostępu do magazynu lub innych zasobów spoza platformy Azure, należy utworzyć niestandardowy serwer DNS i skonfigurować go do przekazywania żądań rozpoznawania specyficznych dla platformy Azure do serwera Usługi Azure DNS.

Aby użyć niestandardowego serwera DNS, należy wykonać następujące kroki konfiguracji przed utworzeniem pamięci podręcznej:

  • Utwórz sieć wirtualną, która będzie hostować HPC Cache Azure.

  • Utwórz serwer DNS.

  • Dodaj serwer DNS do sieci wirtualnej pamięci podręcznej.

    Wykonaj następujące kroki, aby dodać serwer DNS do sieci wirtualnej w Azure Portal:

    1. Otwórz sieć wirtualną w Azure Portal.
    2. Wybierz pozycję Serwery DNS z menu Ustawienia na pasku bocznym.
    3. Wybieranie pozycji Niestandardowe
    4. Wprowadź adres IP serwera DNS w polu .

Prosty serwer DNS może również służyć do równoważenia obciążenia połączeń klientów między wszystkimi dostępnymi punktami instalacji pamięci podręcznej.

Dowiedz się więcej o sieciach wirtualnych platformy Azure i konfiguracjach serwera DNS w temacie Rozpoznawanie nazw dla zasobów w sieciach wirtualnych platformy Azure.

Dostęp NTP

HPC Cache wymaga dostępu do serwera NTP na potrzeby regularnej operacji. Jeśli ograniczysz ruch wychodzący z sieci wirtualnych, pamiętaj, aby zezwolić na ruch do co najmniej jednego serwera NTP. Serwer domyślny jest time.windows.com, a pamięć podręczna kontaktuje się z tym serwerem na porcie UDP 123.

Utwórz regułę w sieciowej grupie zabezpieczeń sieci pamięci podręcznej, która zezwala na ruch wychodzący do serwera NTP. Reguła może po prostu zezwalać na cały ruch wychodzący na porcie UDP 123 lub mieć więcej ograniczeń.

W tym przykładzie jawnie otwiera ruch wychodzący do adresu IP 168.61.215.74, który jest adresem używanym przez time.windows.com.

Priorytet Nazwa Port Protokół Element źródłowy Element docelowy Akcja
200 NTP Dowolne UDP Dowolne 168.61.215.74 Zezwalaj

Upewnij się, że reguła NTP ma wyższy priorytet niż wszystkie reguły, które zasadniczo odmawiają dostępu wychodzącego.

Więcej wskazówek dotyczących dostępu NTP:

  • Jeśli masz zapory między HPC Cache a serwerem NTP, upewnij się, że te zapory również zezwalają na dostęp NTP.

  • Serwer NTP używany przez HPC Cache można skonfigurować na stronie Sieć. Aby uzyskać więcej informacji, zobacz Konfigurowanie dodatkowych ustawień .

Dostęp Storage usługi Azure Queue

Pamięć podręczna musi mieć możliwość bezpiecznego dostępu do usługi Azure Queue Storage z poziomu dedykowanej podsieci. Usługa Azure HPC Cache używa usługi kolejki podczas komunikowania informacji o konfiguracji i stanie.

Jeśli pamięć podręczna nie może uzyskać dostępu do usługi kolejki, podczas tworzenia pamięci podręcznej może zostać wyświetlony komunikat CacheConnectivityError.

Istnieją dwa sposoby zapewniania dostępu:

  • Utwórz punkt końcowy usługi Azure Storage w podsieci pamięci podręcznej. Przeczytaj artykuł Dodawanie podsieci sieci wirtualnej, aby uzyskać instrukcje dotyczące dodawania punktu końcowego usługi Microsoft.Storage.

  • Indywidualnie skonfiguruj dostęp do domeny usługi kolejki usługi Azure Storage w sieciowej grupie zabezpieczeń lub innych zaporach.

    Dodaj reguły zezwalania na dostęp na tych portach:

    • Port TCP 443 na potrzeby bezpiecznego ruchu do dowolnego hosta w queue.core.windows.net domeny (*.queue.core.windows.net).

    • Port TCP 80 — używany do weryfikacji certyfikatu po stronie serwera. Jest to czasami nazywane sprawdzaniem listy odwołania certyfikatów (CRL) i komunikacją protokołu stanu certyfikatów online (OCSP). Wszystkie pliki *.queue.core.windows.net używają tego samego certyfikatu, a tym samym serwerów CRL/OCSP. Nazwa hosta jest przechowywana w certyfikacie SSL po stronie serwera.

    Aby uzyskać więcej informacji, zapoznaj się z poradami dotyczącymi reguł zabezpieczeń w dostępie NTP .

    To polecenie wyświetla listę serwerów CRL i OSCP, które muszą mieć dozwolony dostęp. Te serwery muszą być rozpoznawane przez system DNS i osiągalne na porcie 80 z podsieci pamięci podręcznej.

    
    openssl s_client -connect azure.queue.core.windows.net:443 2>&1 < /dev/null | sed -n '/-----BEGIN/,/-----END/p' | openssl x509 -noout -text -in /dev/stdin |egrep -i crl\|ocsp|grep URI
    
    

    Dane wyjściowe wyglądają mniej więcej tak i mogą ulec zmianie, jeśli certyfikat SSL zostanie zaktualizowany:

    OCSP - URI:http://ocsp.msocsp.com
    CRL - URI:http://mscrl.microsoft.com/pki/mscorp/crl/Microsoft%20RSA%20TLS%20CA%2002.crl
    CRL - URI:http://crl.microsoft.com/pki/mscorp/crl/Microsoft%20RSA%20TLS%20CA%2002.crl
    

Możesz sprawdzić łączność podsieci przy użyciu tego polecenia z testowej maszyny wirtualnej w podsieci:

openssl s_client -connect azure.queue.core.windows.net:443 -status 2>&1 < /dev/null |grep "OCSP Response Status"

Pomyślne połączenie daje następującą odpowiedź:

OCSP Response Status: successful (0x0)

Uprawnienia

Przed rozpoczęciem tworzenia pamięci podręcznej sprawdź te wymagania wstępne dotyczące uprawnień.

  • Wystąpienie pamięci podręcznej musi mieć możliwość tworzenia wirtualnych interfejsów sieciowych (NIC). Użytkownik tworzący pamięć podręczną musi mieć wystarczające uprawnienia w subskrypcji, aby utworzyć karty sieciowe.

  • W przypadku korzystania z usługi Blob Storage usługa Azure HPC Cache wymaga autoryzacji w celu uzyskania dostępu do konta magazynu. Użyj kontroli dostępu opartej na rolach (RBAC) platformy Azure, aby udzielić pamięci podręcznej dostępu do usługi Blob Storage. Wymagane są dwie role: współautor konta Storage i współautor Storage danych obiektu blob.

    Postępuj zgodnie z instrukcjami w temacie Dodawanie miejsc docelowych magazynu , aby dodać role.

infrastruktura Storage

Pamięć podręczna obsługuje kontenery obiektów blob platformy Azure, eksporty magazynu sprzętowego systemu plików NFS i kontenery obiektów blob usługi ADLS zainstalowane w systemie plików NFS. Dodaj elementy docelowe magazynu po utworzeniu pamięci podręcznej.

Rozmiar pamięci podręcznej określa liczbę miejsc docelowych magazynu, które może obsługiwać — maksymalnie 10 miejsc docelowych magazynu dla większości pamięci podręcznych lub maksymalnie 20 dla największych rozmiarów. Przeczytaj poprawnie rozmiar pamięci podręcznej, aby obsługiwać cele magazynu , aby uzyskać szczegółowe informacje.

Każdy typ magazynu ma określone wymagania wstępne.

Wymagania dotyczące usługi Blob Storage

Jeśli chcesz używać usługi Azure Blob Storage z pamięcią podręczną, potrzebujesz zgodnego konta magazynu i pustego kontenera obiektów blob lub kontenera wypełnionego przy użyciu usługi Azure HPC Cache sformatowanych danych zgodnie z opisem w temacie Przenoszenie danych do usługi Azure Blob Storage.

Uwaga

Różne wymagania dotyczą magazynu obiektów blob zainstalowanych w systemem plików NFS. Aby uzyskać szczegółowe informacje, przeczytaj wymagania dotyczące magazynu ADLS-NFS .

Utwórz konto przed podjęciem próby dodania miejsca docelowego magazynu. Podczas dodawania obiektu docelowego można utworzyć nowy kontener.

Aby utworzyć zgodne konto magazynu, użyj jednej z następujących kombinacji:

Wydajność Typ Replikacja Warstwa dostępu
Standardowa (Standard) StorageV2 (ogólnego przeznaczenia wersja 2) Magazyn lokalnie nadmiarowy (LRS) lub magazyn strefowo nadmiarowy (ZRS) Gorąca
Premium Blokowe obiekty blob Magazyn lokalnie nadmiarowy (LRS) Gorąca

Konto magazynu musi być dostępne z podsieci prywatnej pamięci podręcznej. Jeśli twoje konto używa prywatnego punktu końcowego lub publicznego punktu końcowego, który jest ograniczony do określonych sieci wirtualnych, upewnij się, że dostęp jest włączony z podsieci pamięci podręcznej. (Otwarty publiczny punkt końcowy nie jest zalecany).

Przeczytaj Artykuł Praca z prywatnymi punktami końcowymi, aby uzyskać porady dotyczące używania prywatnych punktów końcowych z HPC Cache miejscami docelowymi magazynu.

Dobrym rozwiązaniem jest użycie konta magazynu w tym samym regionie świadczenia usługi Azure co pamięć podręczna.

Należy również przyznać aplikacji pamięci podręcznej dostęp do konta usługi Azure Storage, jak wspomniano powyżej w temacie Uprawnienia. Postępuj zgodnie z procedurą opisaną w temacie Dodawanie miejsc docelowych magazynu , aby przyznać pamięci podręcznej wymagane role dostępu. Jeśli nie jesteś właścicielem konta magazynu, musisz wykonać ten krok.

Wymagania dotyczące magazynu NFS

Jeśli korzystasz z systemu magazynowania NFS (na przykład lokalnego sprzętowego systemu NAS), upewnij się, że spełnia on te wymagania. Aby zweryfikować te ustawienia, może być konieczne pracować z administratorami sieci lub menedżerami zapory dla systemu magazynu (lub centrum danych).

Uwaga

Storage tworzenie obiektu docelowego zakończy się niepowodzeniem, jeśli pamięć podręczna nie ma wystarczającego dostępu do systemu magazynowania NFS.

Więcej informacji znajduje się w temacie Rozwiązywanie problemów z konfiguracją serwera NAS i obiektem docelowym magazynu NFS.

  • Łączność sieciowa: usługa Azure HPC Cache wymaga dostępu do sieci o wysokiej przepustowości między podsiecią pamięci podręcznej a centrum danych systemu plików NFS. Zalecana jest usługa ExpressRoute lub podobny dostęp. W przypadku korzystania z sieci VPN może być konieczne skonfigurowanie go w celu zaciśniętego protokołu TCP MSS na 1350, aby upewnić się, że duże pakiety nie są blokowane. Przeczytaj ograniczenia dotyczące rozmiaru pakietów sieci VPN , aby uzyskać więcej pomocy w rozwiązywaniu problemów z ustawieniami sieci VPN.

  • Dostęp do portów: pamięć podręczna wymaga dostępu do określonych portów TCP/UDP w systemie magazynu. Różne typy magazynów mają różne wymagania dotyczące portów.

    Aby sprawdzić ustawienia systemu magazynu, wykonaj tę procedurę.

    • Wydaj rpcinfo polecenie do systemu magazynu, aby sprawdzić wymagane porty. Poniższe polecenie wyświetla listę portów i formatuje odpowiednie wyniki w tabeli. (Użyj adresu IP systemu zamiast <terminu storage_IP> ).

      To polecenie można wydać z dowolnego klienta systemu Linux z zainstalowaną infrastrukturą NFS. Jeśli używasz klienta wewnątrz podsieci klastra, może również pomóc zweryfikować łączność między podsiecią a systemem magazynu.

      rpcinfo -p <storage_IP> |egrep "100000\s+4\s+tcp|100005\s+3\s+tcp|100003\s+3\s+tcp|100024\s+1\s+tcp|100021\s+4\s+tcp"| awk '{print $4 "/" $3 " " $5}'|column -t
      

    Upewnij się, że wszystkie porty zwrócone przez rpcinfo zapytanie zezwalają na nieograniczony ruch z podsieci usługi Azure HPC Cache.

    • Jeśli nie możesz użyć rpcinfo polecenia , upewnij się, że te często używane porty zezwalają na ruch przychodzący i wychodzący:

      Protokół Port Usługa
      TCP/UDP 111 rpcbind
      TCP/UDP 2049 NFS
      TCP/UDP 4045 nlockmgr
      TCP/UDP 4046 instalacja
      TCP/UDP 4047 status

      Niektóre systemy używają różnych numerów portów dla tych usług — zapoznaj się z dokumentacją systemu magazynowania, aby mieć pewność.

    • Sprawdź ustawienia zapory, aby upewnić się, że zezwalają na ruch na wszystkich tych wymaganych portach. Pamiętaj, aby sprawdzić zapory używane na platformie Azure, a także lokalne zapory w centrum danych.

  • Magazyn zaplecza NFS musi być zgodną platformą sprzętową/programową. Magazyn musi obsługiwać system plików NFS w wersji 3 (NFSv3). Aby uzyskać szczegółowe informacje, skontaktuj się z zespołem usługi Azure HPC Cache.

Wymagania dotyczące magazynu zainstalowanego w systemach plików NFS (ADLS-NFS)

Usługa Azure HPC Cache może również używać kontenera obiektów blob zainstalowanego z protokołem NFS jako obiektem docelowym magazynu.

Przeczytaj więcej na temat tej funkcji w obsłudze protokołu NFS 3.0 w usłudze Azure Blob Storage.

Wymagania dotyczące konta magazynu różnią się w przypadku docelowego magazynu obiektów blob adLS-NFS i standardowego obiektu docelowego magazynu obiektów blob. Postępuj zgodnie z instrukcjami w temacie Instalowanie magazynu obiektów blob przy użyciu protokołu sieciowego systemu plików (NFS) 3.0 starannie, aby utworzyć i skonfigurować konto magazynu z obsługą systemu plików NFS.

Jest to ogólne omówienie kroków. Te kroki mogą ulec zmianie, więc zawsze zapoznaj się z instrukcjami usługi ADLS-NFS , aby uzyskać bieżące szczegóły.

  1. Upewnij się, że potrzebne funkcje są dostępne w regionach, w których planujesz pracować.

  2. Włącz funkcję protokołu NFS dla subskrypcji. Zrób to przed utworzeniem konta magazynu.

  3. Utwórz bezpieczną sieć wirtualną dla konta magazynu. Należy użyć tej samej sieci wirtualnej dla konta magazynu z obsługą systemu plików NFS i dla usługi Azure HPC Cache. (Nie używaj tej samej podsieci co pamięć podręczna).

  4. Utwórz konto magazynu.

    • Zamiast używać ustawień konta magazynu dla standardowego konta usługi Blob Storage, postępuj zgodnie z instrukcjami w dokumencie z instrukcjami. Obsługiwany typ konta magazynu może różnić się w zależności od regionu świadczenia usługi Azure.

    • W sekcji Sieć wybierz prywatny punkt końcowy w utworzonej bezpiecznej sieci wirtualnej (zalecane) lub wybierz publiczny punkt końcowy z ograniczonym dostępem z bezpiecznej sieci wirtualnej.

      Przeczytaj Artykuł Praca z prywatnymi punktami końcowymi, aby uzyskać porady dotyczące używania prywatnych punktów końcowych z HPC Cache miejscami docelowymi magazynu.

    • Nie zapomnij ukończyć sekcji Zaawansowane, w której włączono dostęp do systemu plików NFS.

    • Nadaj aplikacji pamięci podręcznej dostęp do konta usługi Azure Storage, jak wspomniano powyżej w temacie Uprawnienia. Można to zrobić przy pierwszym utworzeniu miejsca docelowego magazynu. Postępuj zgodnie z procedurą opisaną w temacie Dodawanie miejsc docelowych magazynu , aby przyznać pamięci podręcznej wymagane role dostępu.

      Jeśli nie jesteś właścicielem konta magazynu, musisz wykonać ten krok przez właściciela.

Dowiedz się więcej o korzystaniu z obiektów docelowych magazynu ADLS-NFS z usługą Azure HPC Cache w temacie Use NFS-mounted blob storage with Azure HPC Cache (Korzystanie z magazynu obiektów blob zainstalowanych w systemie plików NFS w usłudze Azure HPC Cache).

Praca z prywatnymi punktami końcowymi

Usługa Azure Storage obsługuje prywatne punkty końcowe, aby umożliwić bezpieczny dostęp do danych. Możesz używać prywatnych punktów końcowych z obiektami docelowymi magazynu obiektów blob platformy Azure lub zainstalowanymi w systemie plików NFS.

Dowiedz się więcej o prywatnych punktach końcowych

Prywatny punkt końcowy udostępnia określony adres IP używany przez HPC Cache do komunikowania się z systemem magazynu zaplecza. Jeśli ten adres IP ulegnie zmianie, pamięć podręczna nie może automatycznie ponownie nawiązać połączenia z magazynem.

Jeśli musisz zmienić konfigurację prywatnego punktu końcowego, wykonaj tę procedurę, aby uniknąć problemów z komunikacją między magazynem a HPC Cache:

  1. Wstrzymaj docelowy magazyn (lub wszystkie obiekty docelowe magazynu, które używają tego prywatnego punktu końcowego).
  2. Wprowadź zmiany w prywatnym punkcie końcowym i zapisz te zmiany.
  3. Umieść obiekt docelowy magazynu z powrotem w usłudze za pomocą polecenia "wznów".
  4. Odśwież ustawienie DNS obiektu docelowego magazynu.

Przeczytaj artykuł Wyświetlanie obiektów docelowych magazynu i zarządzanie nimi , aby dowiedzieć się, jak zawiesić, wznowić i odświeżyć system DNS dla celów magazynu.

Konfigurowanie dostępu do interfejsu wiersza polecenia platformy Azure (opcjonalnie)

Jeśli chcesz utworzyć HPC Cache platformy Azure lub zarządzać nią z poziomu interfejsu wiersza polecenia platformy Azure, musisz zainstalować interfejs wiersza polecenia platformy Azure i rozszerzenie hpc-cache. Postępuj zgodnie z instrukcjami w temacie Konfigurowanie interfejsu wiersza polecenia platformy Azure dla usługi Azure HPC Cache.

Następne kroki