Udostępnij za pośrednictwem

Topologia sieci i łączność dla usługi Azure HPC w energii

  • Artykuł

Wskazówki zawarte w tym artykule mogą pomóc w zbadania zagadnień projektowych i najlepszych rozwiązań związanych z siecią i łącznością dla wdrożeń platformy Microsoft Azure i obliczeń o wysokiej wydajności (HPC). Poniższe sugestie opierają się na zagadnieniach i zaleceniach zdefiniowanych w artykule Dotyczącym strefy docelowej platformy Azure dla topologii sieci i łączności.

Adresowanie IP, sieci wirtualne i podsieci

Ważne jest, aby zaplanować adresowanie IP na platformie Azure, aby upewnić się, że:

  • Przestrzeń adresowa IP nie nakłada się na lokalizacje lokalne i regiony świadczenia usługi Azure.
  • Możliwa jest przyszła komunikacja równorzędna sieci wirtualnych z istniejącymi lub zaplanowanymi sieciami wirtualnymi.
  • Sieć wirtualna zawiera właściwą przestrzeń adresową.
  • Odpowiednie planowanie konfiguracji podsieci odbywa się z wyprzedzeniem.
  • Wystarczające nadmiarowe adresowanie jest brane pod uwagę w przypadku przyszłej ekspansji lub innych usług.

Uwagi dotyczące projektowania

Rozważ utworzenie oddzielnych podsieci w celu przypisania adresów IP między składnikami funkcjonalnymi środowiska. Na przykład dedykowana sieć wirtualna HPC może obejmować następujące podsieci:

  • Compute
  • Storage
  • Infrastruktura
  • Wizualizacja
  • Zaloguj się
  • Azure NetApp Files
  • Azure HPC Cache

Usługi, takie jak Azure NetApp Files, Azure HPC Cache i przyszłe oferty magazynu, wymagają dedykowanych podsieci delegowanych do prawidłowej operacji. Upewnij się, że odpowiednia przestrzeń adresowa jest planowana, jeśli którakolwiek z tych usług jest brana pod uwagę.

Rozpoznawanie nazw i dns dla zasobów lokalnych i zasobów platformy Azure

System nazw domen (DNS) jest krytycznym tematem projektowania w ogólnej architekturze strefy docelowej platformy Azure. Niektóre organizacje mogą chcieć korzystać z istniejących inwestycji w system DNS, podczas gdy inne mogą postrzegać wdrożenie chmury jako okazję do modernizacji wewnętrznej infrastruktury DNS i korzystania z natywnych możliwości platformy Azure.

Zagadnienia dotyczące projektowania systemu DNS: postępuj zgodnie z tymi zaleceniami, gdy nazwa DNS lub nazwa wirtualna maszyny wirtualnej nie zmienia się podczas migracji.

  • Podstawowe nazwy DNS i wirtualne łączą wiele interfejsów systemowych w środowiskach HPC, a klienci są czasami świadomi interfejsów definiowanych przez deweloperów w czasie. Połączenie wyzwania wynikające z różnych systemów w przypadku zmiany nazw wirtualnych lub DNS po migracji, dlatego należy zachować aliasy DNS, aby zapobiec tym typom trudności.
  • Użyj różnych stref DNS, aby odróżnić środowiska od siebie, takie jak piaskownica, programowanie, przedprodukcja i produkcja. Wyjątek dotyczy wdrożeń HPC z własną siecią wirtualną, która może nie wymagać prywatnych stref DNS.
  • Obsługa systemu DNS jest obowiązkowa podczas korzystania z pamięci podręcznej HPC, dzięki czemu mogą uzyskiwać dostęp do magazynu i innych zasobów.

Usługi sieciowe o wysokiej wydajności

  • Przyspieszona sieć: wiele obciążeń HPC, takich jak przetwarzanie sejsmiczne, przetwarza duże ilości danych przechowywanych w udostępnionych systemach plików, takich jak Azure Blob, Azure NetApp Files, Lustre ClusterStor i inne niestandardowe rozwiązania magazynu, które są dostępne za pośrednictwem sieci. Sieć o wysokiej wydajności ma kluczowe znaczenie dla skrócenia czasu transferów danych.

    Przyspieszona sieć zapewnia połączenie o wysokiej przepływności i małych opóźnieniach między maszynami wirtualnymi a usługami platformy Azure. Inne korzyści obejmują mniejsze zakłócenia i minimalne wykorzystanie procesora CPU.

  • InfiniBand: równoległe aplikacje HPC, które opierają się na bibliotekach interfejsu MPI (Message Passing Interface), mogą wymagać transferu znacznej ilości danych między wieloma maszynami wirtualnymi. Połączenie infiniBand dostępne na maszynach wirtualnych serii H i N z obsługą funkcji RDMA zapewnia połączenie o małych opóźnieniach i wysokiej przepustowości w celu zmaksymalizowania wydajności i skalowalności aplikacji HPC i uczenia głębokiego.

    Diagram of InfiniBand connection between VMs.

    Niektóre przykłady zadań MPI obejmują dynamikę molekularną, obliczeniową dynamikę płynów, symulację zbiorników ropy naftowej i gazu oraz pojawiające się rozproszone obciążenia uczenia maszynowego.

    Połączenia InfiniBand są możliwe tylko między maszynami wirtualnymi przydzielonymi w ramach tej samej grupy umieszczania.

  • Azure ExpressRoute: W przypadku aplikacji z dużą ilością danych, takiej jak konfiguracja hybrydowa do symulacji i modelowania zbiorników, gdzie lokalne zestawy danych są współużytkowane, a obliczenia platformy Azure stają się rozszerzeniem, usługa ExpressRoute łączy środowisko lokalne z chmurą firmy Microsoft za pośrednictwem połączenia prywatnego. Usługa ExpressRoute zapewnia odporność i dostępność klasy korporacyjnej oraz zaletę globalnego ekosystemu partnerskiego usługi ExpressRoute. Informacje dotyczące łączenia sieci z firmą Microsoft przy użyciu usługi ExpressRoute można znaleźć w temacie Modele połączeń usługi ExpressRoute.

    Połączenia usługi ExpressRoute nie przechodzą przez publiczny Internet i oferują większą niezawodność, szybkość i mniejsze opóźnienia niż typowe połączenia internetowe. W przypadku sieci VPN typu punkt-lokacja i sieci VPN typu lokacja-lokacja można połączyć lokalne urządzenia lub sieci z siecią wirtualną przy użyciu dowolnej kombinacji tych opcji sieci VPN i usługi Azure ExpressRoute.

Definiowanie topologii sieci platformy Azure

Strefy docelowe w skali przedsiębiorstwa obsługują dwie topologie sieci: jedną opartą na usłudze Azure Virtual WAN, a drugą w tradycyjnej topologii sieci opartej na architekturze piasty i szprych. W tej sekcji zaleca się konfiguracje i rozwiązania HPC dla obu modeli wdrażania.

  • Azure Virtual WAN: użyj topologii sieci opartej na wirtualnej sieci WAN, jeśli organizacja planuje:

    • Wdróż zasoby w kilku regionach platformy Azure i połącz lokalizacje globalne z platformą Azure i środowiskiem lokalnym.
    • W pełni integrowanie wdrożeń sieci WAN zdefiniowanych programowo z platformą Azure.
    • Wdróż maksymalnie 2000 obciążeń maszyn wirtualnych we wszystkich sieciach wirtualnych połączonych z jednym koncentratorem wirtualnej sieci WAN.

    Organizacje korzystają z usługi Azure Virtual WAN, aby spełnić wymagania dotyczące połączeń międzyoperacyjności na dużą skalę. Firma Microsoft zarządza tą usługą, która pomaga zmniejszyć ogólną złożoność sieci i zmodernizować sieć organizacji.

  • Architektura piasty i szprych: użyj tradycyjnej topologii sieci platformy Azure opartej na architekturze piasty i szprych, jeśli twoja organizacja:

    • Plany wdrażania zasobów tylko w wybranych regionach platformy Azure.
    • Nie wymaga globalnej, połączonej sieci.
    • Ma kilka lokalizacji zdalnych lub oddziałów na region i wymaga mniej niż 30 tuneli zabezpieczeń adresów IP (IPsec).
    • Wymaga pełnej kontroli i szczegółowości w celu ręcznego skonfigurowania sieci platformy Azure.

    Lokalna i globalna komunikacja równorzędna sieci wirtualnych zapewnia łączność i są preferowanymi metodami zapewniania łączności między strefami docelowymi dla wdrożeń HPC w wielu regionach świadczenia usługi Azure.

Łączność przychodząca i wychodząca z Internetu

Ponieważ natywne dla platformy Azure usługi zabezpieczeń sieci, takie jak Azure Firewall, Azure Web Application Firewall w usłudze Application Gateway i Azure Front Door, są w pełni zarządzanymi usługami, nie ponosisz kosztów operacyjnych i zarządzania związanych z wdrożeniami infrastruktury, które mogą stać się złożone na dużą skalę.

Zalecenia dotyczące projektowania implementacji HPC:

  • W przypadku klientów o globalnym zasięgu usługa Azure Front Door ułatwia wdrażanie HPC przy użyciu zasad usługi Azure Web Application Firewall w celu dostarczania i ochrony globalnych aplikacji HTTP/S w różnych regionach świadczenia usługi Azure.
  • Korzystaj z zasad zapory aplikacji internetowej w usłudze Azure Front Door, gdy używasz tej usługi i usługi Application Gateway do ochrony aplikacji HTTP/S. Zablokuj usługę Application Gateway, aby odbierać ruch tylko z usługi Azure Front Door.

Wymagania dotyczące szyfrowania sieci

Zagadnienia dotyczące projektowania implementacji HPC:

  • Ruch nie jest obecnie szyfrowany, gdy usługa Azure ExpressRoute jest używana do konfigurowania prywatnej komunikacji równorzędnej.
  • Ruch za pośrednictwem usługi ExpressRoute dla wdrożeń HPC nie musi być szyfrowany. Tunele IPsec domyślnie szyfrują ruch internetowy, a szyfrowanie lub odszyfrowywanie może negatywnie wpłynąć na wydajność ruchu.

Najważniejsze zalecenia dotyczące szyfrowania sieci między środowiskiem lokalnym a platformą Azure i między regionami świadczenia usługi Azure:

  • Ustal, czy ruch HPC powinien być szyfrowany. Poznaj topologię sieci i łączność, aby zrozumieć opcje szyfrowania sieci w strefach docelowych w skali przedsiębiorstwa.
  • Zaplanuj adresowanie IP na platformie Azure, aby upewnić się, że:
    • Przestrzeń adresowa IP nie nakłada się na lokalizacje lokalne i regiony świadczenia usługi Azure.
    • Sieć wirtualna zawiera właściwą przestrzeń adresową.
    • Odpowiednie planowanie konfiguracji podsieci odbywa się z wyprzedzeniem.

Wymagania dotyczące sieci przepustowości opóźnienia przepływności

Zarówno obliczenia HPC w chmurze, jak i modele wdrażania w chmurze hybrydowej mają własne wymagania dotyczące opóźnień i przepływności w zależności od sposobu przesyłania i wykonywania obciążeń energetycznych w środowisku lokalnym w porównaniu ze środowiskami chmury. Użytkownicy mogą przesyłać zadania HPC w wielu trybach wdrażania ze środowiska lokalnego lub w chmurze.

  • Pojedyncze zadania
    • Zagadnienia dotyczące łączności lokalnej z platformą Azure w przypadku użycia pulpitu wizualizacji zdalnej
  • Zadania wsadowe
    • Zagadnienia dotyczące sieci konfiguracji harmonogramu, które przesyłają zadania w chmurze
    • Zagadnienia dotyczące sieci usługi Azure Batch
  • Równoległe przepływy pracy, zarówno lokalne, jak i w chmurze
  • Hybrydowy
    • Pamięć podręczna HPC
  • Natywna dla chmury
    • Kontenery usługi Azure Kubernetes Service
    • Funkcje

Środowiska MPI są dedykowane, ponieważ mają unikatowe wymagania dotyczące konieczności komunikacji o małych opóźnieniach między węzłami. Węzły są połączone za pośrednictwem szybkiego połączenia międzyoperacyjnego i nie mogą być współużytkowane z innymi obciążeniami. Aplikacje MPI korzystają z całych połączeń o wysokiej wydajności przy użyciu trybu przekazywania w środowiskach zwirtualizowanych. Magazyn dla węzłów MPI to zwykle równoległy system plików, taki jak Lustre, również dostępny za pośrednictwem szybkiego połączenia międzyoperacyjnego.

Następne kroki

Poniższe artykuły zawierają wskazówki dotyczące każdego kroku wdrażania chmury w środowiskach HPC energii.