Produkcja topologii sieci HPC i łączności

Artykuł
09/03/2023

Te wskazówki opierają się na zagadnieniach i zaleceniach zdefiniowanych w artykule Strefa docelowa platformy Azure na potrzeby topologii sieci i łączności. Postępując zgodnie ze wskazówkami w tym artykule, zapoznaj się z kluczowymi zagadnieniami dotyczącymi projektowania i najlepszymi rozwiązaniami dotyczącymi sieci i łączności z platformą Microsoft Azure oraz wdrożeniami HPC.

Planowanie adresów IP, sieci wirtualnej i podsieci

Ważne jest, aby zaplanować potrzeby adresów IP na platformie Azure, aby zapewnić:

Przestrzeń adresów IP nie nakłada się na lokalizacje lokalne i regiony platformy Azure.
Możliwe jest przyszłe komunikacje równorzędne sieci wirtualnych z istniejącymi lub planowanymi sieciami wirtualnymi.
Sieć wirtualna (VNet) zawiera właściwą przestrzeń adresową.
Prawidłowe planowanie konfiguracji podsieci odbywa się z wyprzedzeniem.
Wystarczające nadmiarowe adresowanie jest brane pod uwagę w przypadku przyszłej ekspansji lub innych usług

Zagadnienia dotyczące projektowania produkcji HPC

Rozważ utworzenie oddzielnych podsieci w celu przypisania adresów IP między składnikami funkcjonalnymi środowiska. Na przykład dedykowana sieć wirtualna HPC może obejmować następujące podsieci:

Wystąpienia obliczeniowe
Magazyn
Infrastruktura
Wizualizacja
Logowanie
ANF
HPC Cache

Kilka usług, takich jak Azure NetApp Files, Azure HPC Cache i przyszłe oferty magazynu, wymagają dedykowanych podsieci delegowanych do prawidłowej operacji. Upewnij się, że planujesz odpowiednią przestrzeń adresową, jeśli rozważasz dowolną z tych usług.

Konfigurowanie rozpoznawania nazw i dns dla zasobów lokalnych i zasobów platformy Azure

System nazw domen (DNS) jest krytycznym aspektem projektowania w ogólnej architekturze strefy docelowej platformy Azure. Niektóre organizacje mogą chcieć korzystać z istniejących inwestycji w system DNS. Inni mogą postrzegać wdrażanie chmury jako okazję do modernizacji wewnętrznej infrastruktury DNS i korzystania z natywnych możliwości platformy Azure.

Zagadnienia dotyczące projektowania sieci HPC

Poniższe zalecenia dotyczą, gdy usługa DNS lub nazwa wirtualna maszyny wirtualnej nie zmienia się podczas migracji.

Przypadek użycia:

W tle nazwy DNS i wirtualne łączą wiele interfejsów systemowych w środowiskach HPC. Klienci są czasami świadomi interfejsów definiowanych przez deweloperów w czasie. Problemy z połączeniem występują między różnymi systemami, gdy nazwy wirtualne lub DNS zmieniają się po migracji. Zaleca się zachowanie aliasów DNS, aby zapobiec tym typom trudności.
Różne strefy DNS umożliwiają odróżnienie poszczególnych środowisk (piaskownicy, programowania, przedprodukcyjnego i produkcyjnego). Wyjątek dotyczy wdrożeń HPC z własną siecią wirtualną. W tym miejscu prywatne strefy DNS mogą nie być konieczne.
Obsługa systemu DNS jest obowiązkowa podczas korzystania z pamięci podręcznej HPC, dzięki czemu mogą uzyskiwać dostęp do magazynu i innych zasobów.

Usługi sieciowe o wysokiej wydajności

Przyspieszona sieć

Wiele obciążeń HPC (na przykład przetwarzanie sejsmiczne) wymaga przetwarzania dużej ilości danych. Magazyny danych w dużych udostępnionych systemach plików, takich jak Azure Blob, Azure NetApp Files, Lustre ClusterStor i inne niestandardowe rozwiązania magazynu, do których uzyskujesz dostęp za pośrednictwem sieci. Najważniejsze jest, aby polegać na sieci o wysokiej wydajności, aby skrócić czas transferu danych.

Włączenie przyspieszonej sieci zapewnia maszynom wirtualnym połączenie o wysokiej przepływności i małym opóźnieniu między nimi a usługami platformy Azure oraz z usług platformy Azure z ograniczonym obciążeniem i minimalnym wykorzystaniem procesora CPU.

Infiniband

Równoległe aplikacje HPC, które opierają się na bibliotekach interfejsu MPI (Message Passing Interface) mogą wymagać znacznej ilości informacji do przesyłania między wieloma maszynami wirtualnymi. Interconnect InfiniBand dostępny na maszynach wirtualnych serii H i N obsługujących funkcję RDMA zapewnia wymagane małe opóźnienia i wysoką przepustowość w celu zmaksymalizowania wydajności i skalowalności aplikacji HPC i sztucznej inteligencji.

Oto kilka przykładów zadań MPI:

Dynamika molekularna
Obliczeniowa mechanika płynów
Symulacja zbiorników naftowych i gazowych
Pojawiające się obciążenia rozproszonego uczenia maszynowego w produkcji

Połączenie InfiniBand jest możliwe tylko między maszynami wirtualnymi przydzielonymi w tej samej grupie umieszczania.

Azure ExpressRoute

Jeśli istnieje aplikacja o dużej wydajności, podobna do konfiguracji hybrydowej do symulacji i modelowania zbiorników, gdzie lokalne zestawy danych są współużytkowane, a obliczenia platformy Azure stają się rozszerzeniem, usługa Express Route ułatwia łączenie środowiska lokalnego z chmurą firmy Microsoft za pośrednictwem prywatnego połączenia z pomocą dostawcy łączności. Zapewnia odporność i dostępność klasy korporacyjnej oraz zalety globalnego ekosystemu partnerskiego usługi ExpressRoute. Aby uzyskać informacje na temat łączenia sieci z firmą Microsoft przy użyciu usługi ExpressRoute, zobacz Modele łączności usługi ExpressRoute.
Połączenia ExpressRoute nie są realizowane za pośrednictwem publicznego Internetu oraz oferują większą niezawodność i szybkość, a także mniejsze opóźnienia niż typowe połączenia przez Internet. W przypadku sieci VPN typu punkt-lokacja i sieci VPN typu lokacja można połączyć urządzenia lokalne lub sieci z siecią wirtualną przy użyciu dowolnej kombinacji tych opcji sieci VPN i usługi Azure ExpressRoute.

Definiowanie topologii sieci platformy Azure

Strefy docelowe w skali przedsiębiorstwa obsługują dwie topologie sieci: jedną opartą na platformie Azure Virtual WAN i drugą tradycyjną topologię sieci opartą na architekturze piasty i szprych. W tej sekcji przedstawiono zalecenia dotyczące konfiguracji i rozwiązań HPC dla obu modeli wdrażania.

Użyj topologii sieci opartej na Virtual WAN, jeśli organizacja planuje:

Wdrażanie zasobów w kilku regionach platformy Azure i łączenie lokalizacji globalnych z platformą Azure i środowiskiem lokalnym.
W pełni integrowanie wdrożeń sieci WAN zdefiniowanych programowo z platformą Azure.
Wdróż maksymalnie 50 000 obciążeń maszyn wirtualnych we wszystkich sieciach wirtualnych połączonych z jednym centrum Virtual WAN.

Organizacje używają Virtual WAN, aby spełnić wymagania dotyczące połączeń międzyoperacyjności na dużą skalę. Firma Microsoft zarządza tą usługą, która pomaga zmniejszyć ogólną złożoność sieci i zmodernizować sieć organizacji.

Użyj tradycyjnej topologii sieci platformy Azure opartej na architekturze piasty i szprych , jeśli twoja organizacja:

Plany wdrażania zasobów tylko w wybranych regionach platformy Azure.
Nie wymaga globalnej, połączonej sieci.
Ma kilka zdalnych lub oddziałów lokalizacji na region i wymaga mniej niż 30 tuneli zabezpieczeń ip (IPsec).
Wymaga pełnej kontroli i szczegółowości w celu ręcznego skonfigurowania sieci platformy Azure.
Używa lokalnej i globalnej komunikacji równorzędnej sieci wirtualnych w celu zapewnienia łączności. Lokalna i globalna komunikacja równorzędna sieci wirtualnych to preferowane metody zapewnienia łączności między strefami docelowymi dla wdrożeń HPC w wielu regionach świadczenia usługi Azure.

Planowanie łączności przychodzącej i wychodzącej z Internetu

Ta sekcja zaleca modele łączności dla łączności przychodzącej i wychodzącej z publicznego Internetu. Usługi zabezpieczeń sieci natywnych dla platformy Azure, takie jak Azure Firewall, Azure Web Application Firewall w Application Gateway, a usługa Azure Front Door to w pełni zarządzane usługi. W związku z tym nie ponosisz kosztów operacyjnych i zarządzania związanych z wdrożeniami infrastruktury, które mogą stać się złożone na dużą skalę.

Zalecenia dotyczące projektowania implementacji HPC:

W przypadku klientów o globalnym zasięgu usługa Azure Front Door ułatwia wdrażanie HPC przy użyciu zasad usługi Azure Web Application Firewall w celu dostarczania i ochrony globalnych aplikacji HTTP/S w różnych regionach świadczenia usługi Azure.
Skorzystaj z zasad Web Application Firewall w usłudze Azure Front Door, gdy używasz tej usługi i Azure Application Gateway w celu ochrony aplikacji HTTP/S. Zablokuj Azure Application Gateway, aby odbierać ruch tylko z usługi Azure Front Door.

Definiowanie wymagań dotyczących szyfrowania sieci

W tej sekcji przedstawiono najważniejsze zalecenia dotyczące szyfrowania sieci między środowiskiem lokalnym a platformą Azure i w różnych regionach świadczenia usługi Azure.

Zagadnienia dotyczące projektowania implementacji HPC:

Ruch nie jest obecnie szyfrowany podczas konfigurowania prywatnej komunikacji równorzędnej przy użyciu usługi Azure ExpressRoute.
Nie jest konieczne szyfrowanie ruchu za pośrednictwem usługi ExpressRoute na potrzeby wdrożeń HPC. Tunele IPsec domyślnie szyfrują ruch internetowy. Szyfrowanie lub odszyfrowywanie może negatywnie wpłynąć na wydajność ruchu.

Do klienta należy określenie, czy ruch HPC powinien być szyfrowany. Poznaj topologię sieci i łączność, aby zrozumieć opcje szyfrowania sieci w strefach docelowych w skali przedsiębiorstwa.