Magazyn dla środowisk energetycznych HPC

Artykuł
04/03/2024

Obciążenia HPC na dużą skalę wymagają magazynu danych i dostępu, które przekraczają możliwości tradycyjnych systemów plików w chmurze.

Poniżej przedstawiono czynniki, które należy wziąć pod uwagę i zidentyfikować wymagania dotyczące aplikacji, aby zdecydować o tym, jakie rozwiązanie magazynu ma być używane

Opóźnienie
IOPS
Przepustowość
Rozmiary i liczba plików,
Czas wykonywania zadania
Skojarzony koszt
Koligacja dla lokalizacji magazynu — lokalna a platforma Azure

Aby lepiej zrozumieć czynniki wpływające na wybrany magazyn HPC na platformie Azure, zobacz "Understand factors that influence HPC storage selection in Azure" (Omówienie czynników wpływających na wybór magazynu HPC na platformie Azure).

Drzewo decyzyjne dla wybranego systemu magazynu HPC.

Zagadnienia dotyczące projektowania HPC

Firmy zajmujące się ropą naftową i gazem muszą być w stanie skutecznie zarządzać i przechowywać exabajty danych sejsmicznych, danych, map, dzierżaw i nie tylko. Aby umieścić te dane w użyciu, potrzebują infrastruktury o wysokiej wydajności, która może przetwarzać i dostarczać analizy w czasie rzeczywistym, aby pomóc zoptymalizować produkcję, zmniejszyć ryzyko środowiskowe i zwiększyć bezpieczeństwo operacyjne.

Magazyn danych i wymagania dotyczące dostępu różnią się w zależności od skali obciążenia. pomoc techniczna platformy Azure kilka podejść do zarządzania szybkością i pojemnością aplikacji HPC.

Obciążenia usługi Batch i HPC w branży energetycznej mają wymagania dotyczące magazynu danych i dostępu, które przekraczają możliwości tradycyjnych systemów plików w chmurze. Wymagania dotyczące operacji we/wy o wysokiej wydajności i ogromne potrzeby skalowalności obliczeń o wysokiej wydajności (HPC) powodują unikatowe wyzwania związane z przechowywaniem i dostępem do danych.

HpC służy do rozwiązywania złożonych problemów, takich jak symulacja seismic i zbiornik oraz modelowanie, które nie są praktyczne lub ekonomiczne do obsługi tradycyjnych technik obliczeniowych. Odbywa się to dzięki połączeniu przetwarzania równoległego i ogromnej skalowalności w celu szybkiego, wydajnego i niezawodnego wykonywania dużych i skomplikowanych zadań obliczeniowych.

Ponadto w klastrach HPC platformy Azure węzły obliczeniowe to maszyny wirtualne, które można połączyć w razie potrzeby w celu wykonania zadań przydzielonych przez klaster. Te węzły rozmieszczają zadania obliczeniowe w klastrze, aby osiągnąć przetwarzanie równoległe o wysokiej wydajności potrzebne do rozwiązania złożonych problemów, do których zastosowano hpc. Węzły obliczeniowe muszą wykonywać operacje odczytu/zapisu w udostępnionym magazynie roboczym podczas wykonywania zadań. Sposób, w jaki węzły uzyskują dostęp do tego magazynu, znajduje się w kontinuum między tymi dwoma scenariuszami:

Jeden zestaw danych do wielu węzłów obliczeniowych — w tym scenariuszu istnieje jedno źródło danych w sieci, do którego dostęp mają wszystkie węzły obliczeniowe na potrzeby danych roboczych. Chociaż operacje we/wy są proste strukturalnie, wszystkie operacje we/wy są ograniczone przez pojemność we/wy lokalizacji przechowywania.
Wiele zestawów danych do wielu węzłów obliczeniowych — w tym scenariuszu istnieje jedno źródło danych w sieci, do którego dostęp mają wszystkie węzły obliczeniowe na potrzeby danych roboczych. Chociaż operacje we/wy są proste strukturalnie, wszystkie operacje we/wy są ograniczone przez pojemność we/wy lokalizacji przechowywania.

Rekomendacje projektowe HPC

Wybierz rozwiązanie najlepiej dopasowane do unikatowych wymagań dotyczących operacji we/wy i pojemności.

Sieciowy system plików (NFS)

System plików NFS jest często używany do zapewniania dostępu do udostępnionych lokalizacji magazynu. W systemie plików NFS maszyna wirtualna serwera udostępnia lokalny system plików, który w przypadku platformy Azure jest przechowywany na co najmniej jednym wirtualnym dysku twardym (VHD) hostowanym w usłudze Azure Storage. Klienci mogą następnie zainstalować pliki udostępnione serwera i uzyskać bezpośredni dostęp do lokalizacji udostępnionej.

System plików sieciowych (NFS) jest często używany dla katalogów domowych i przestrzeni projektu zainstalowanej we wszystkich węzłach. Może to również często stanowić przestrzeń dla grup badawczych, które udostępniają dane. Ogólnie rzecz biorąc, obciążenia przepływności są skalowalne w poziomie z niewielką zależnością między poszczególnymi zadaniami. Harmonogramy zadań ujawniają pracę między węzłami i koordynują działanie. NFS to typowy magazyn udostępniony w węzłach, do którego uzyskuje się dostęp za pośrednictwem sieci TCP/IP.

System plików NFS ma zaletę łatwego konfigurowania i konserwacji oraz jest obsługiwany zarówno w systemach operacyjnych Linux, jak i Windows. Wiele serwerów NFS może służyć do rozpowszechniania magazynu w sieci, ale pojedyncze pliki są dostępne tylko za pośrednictwem jednego serwera.

W przypadku obciążeń o niskiej skali rozważ uruchomienie systemu plików NFS w węźle głównym, użycie maszyny wirtualnej zoptymalizowanej pod kątem magazynu z dużymi dyskami efemerycznych lub maszyn wirtualnych serii D z usługą Azure Premium Storage, w zależności od wymagań. To rozwiązanie odpowiada obciążeniom o 500 rdzeniach lub mniejszej liczbie.

W scenariuszach HPC serwer plików może często służyć jako wąskie gardło, co ogranicza ogólną wydajność. Próby uzyskania dostępu do danych niebuforowanych z pojedynczego serwera NFS z szybkością wyższą niż udokumentowana maksymalna liczba operacji we/wy na sekundę na maszynę wirtualną i przepływność spowodują ograniczenie przepustowości.

W scenariuszu, w którym dziesiątki klientów próbuje pracować na danych przechowywanych na jednym serwerze NFS, te limity można łatwo osiągnąć, co powoduje, że wydajność całej aplikacji ucierpia. Im bliżej czystego scenariusza "jeden do wielu", którego używa aplikacja HPC, tym szybciej będziesz pracować z tymi ograniczeniami.

Równoległe systemy plików na platformie Azure

Równoległe systemy plików dystrybuują magazyn na poziomie bloku w wielu węzłach magazynu sieciowego. Dane plików są rozłożone między te węzły, co oznacza, że dane plików są rozłożone na wiele urządzeń magazynujących. Spowoduje to pule wszystkich pojedynczych żądań we/wy magazynu w wielu węzłach magazynu, które są dostępne za pośrednictwem wspólnej przestrzeni nazw.

Wiele urządzeń magazynujących i wiele ścieżek do danych jest używanych w celu zapewnienia wysokiego stopnia równoległości, co zmniejsza wąskie gardła nałożone przez dostęp tylko do jednego węzła w danym momencie. Równoległe we/wy mogą być jednak trudne do koordynowania i optymalizowania w przypadku pracy bezpośrednio na poziomie interfejsu API lub interfejsu we/wy POSIX. Wprowadzając warstwy pośredniego dostępu do danych i koordynacji, równoległe systemy plików zapewniają deweloperom aplikacji interfejs wysokiego poziomu między warstwą aplikacji a warstwą we/wy.

Obciążenia energy MPI mają unikatowe wymagania dotyczące konieczności komunikacji o małych opóźnieniach między węzłami. Węzły są połączone za pośrednictwem szybkich połączeń międzyoperacyjnych i nie są dostępne do udostępniania innym obciążeniom. Aplikacje MPI korzystają z całych połączeń o wysokiej wydajności przy użyciu trybu przekazywania w środowiskach zwirtualizowanych. Magazyn dla węzłów MPI to zazwyczaj równoległy system plików, taki jak Lustre, również uzyskiwany za pośrednictwem szybkiego połączenia międzyoperacyjnego. Lustre/BeeGFS jest zwykle używany do obsługi dużych wymagań dotyczących przepływności przede wszystkim przetwarzania sejsmicznego (ale także symulacji zbiorników).

Równoległe systemy plików, takie jak Lustre, są używane w przypadku obciążeń energetycznych HPC, które wymagają dostępu do dużych plików, jednoczesnego dostępu z wielu węzłów obliczeniowych i ogromnych ilości danych. Implementacja równoległych systemów plików ułatwia skalowanie pod względem możliwości i wydajności. Takie systemy plików korzystają z transferów RDMA z dużą przepustowością i zmniejszonym użyciem procesora CPU. Równoległy system plików jest zwykle używany jako miejsce na pliki tymczasowe i przeznaczony do pracy, która wymaga zoptymalizowanego we/wy. Przykłady obejmują konfigurację obciążenia, wstępne przetwarzanie, uruchamianie i przetwarzanie końcowe.

Korzystając z zaaranżowanej równoległej usługi plików, takiej jak Azure Managed Lustre, działa na 50 000 lub więcej rdzeni, z szybkością odczytu/zapisu do 500 GB/s i magazynem 2,5 PB.

Aby uzyskać więcej informacji na temat równoległego wirtualnego systemu plików na platformie Azure, zobacz Parallel Virtual File Systems on Microsoft Azure — Part 1: Overview - Microsoft Tech Community (Równoległe wirtualne systemy plików na platformie Microsoft Azure — część 1: Omówienie — Społeczność techniczna firmy Microsoft).

Usługa Azure NetApp Files i dyski lokalne są zwykle używane do obsługi większej liczby obciążeń wrażliwych na opóźnienia/operacje we/wy na sekundę, takich jak interpretacja sejsmczna, przygotowywanie modelu i wizualizacja. Rozważ użycie obciążeń z maksymalnie 4000 rdzeniami z przepływnością do 6,5 GiB/s i obciążeniami, które korzystają z naszego wymaganego dostępu wieloprotokolowego (NFS/SMB) do tego samego zestawu danych.
Usługa Azure Managed Lustre zapewnia szybszy i wyższy magazyn pojemności dla obciążeń HPC. To rozwiązanie działa w przypadku średnich i bardzo dużych obciążeń i może obsługiwać 50 000 lub więcej rdzeni, z przepływnością do 500 GB/s, a pojemność magazynu do 2,5 PiB.
Obiekt blob w warstwie Standardowa lub Premium to najtańsza oferta chmury. Ta usługa zapewnia skalowanie exabajtów, wysoką przepływność, dostęp o małych opóźnieniach w razie potrzeby, znany system plików i dostęp do wielu protokołów (REST, HDFS, NFS). Możesz użyć systemu plików NFS w wersji 3.0 w punkcie końcowym usługi obiektów blob w celu zapewnienia wysokiej przepływności i odczytu dużych obciążeń. Koszty można zoptymalizować, przechodząc do chłodniejszych warstw z możliwością wykonywania zarządzania cyklem życia przy użyciu ostatniej aktualizacji/ostatniego czasu dostępu, inteligentne warstwy z zasadami dostosowywalnymi.
Obciążenia energetyczne Ropa naftowa i gaz mogą również wymagać dużego mechanizmu transferu danych i woluminów z środowiska lokalnego do chmury i odwrotnie, który można osiągnąć przez
- Offline — migracja urządzenia (DataBox)
- Online — za pośrednictwem migracji opartej na sieci (ExpressRoute).

Następne kroki

Poniższa lista artykułów zawiera wskazówki, które można znaleźć w określonych punktach w całej podróży wdrażania chmury, aby pomóc Ci w pomyślnym scenariuszu wdrażania chmury w środowiskach HPC energii.

Udostępnij za pośrednictwem