Share via

Strefa docelowa hpc

  • Artykuł

Metodologia Ready przewodnika Cloud Adoption Framework dla platformy Azure umożliwia przygotowanie środowiska do wdrożenia chmury. W fazie gotowości można użyć strefy docelowej platformy Azure. Strefa docelowa to akcelerator techniczny, który zapewnia podstawowy blok konstrukcyjny dla dowolnego środowiska wdrażania chmury. Strefa docelowa może zautomatyzować konfigurację środowiska platformy Azure, dostosowując się do najlepszych rozwiązań z przewodnika Cloud Adoption Framework. Podczas przygotowywania do obliczeń o wysokiej wydajności (HPC) mogą wystąpić konfiguracje środowiska, które zależą od przypadku użycia w branży i wymagań.

Architektura koncepcyjna strefy docelowej platformy Azure

Podczas przygotowywania środowiska do trwałego wdrażania chmury możesz użyć architektury koncepcyjnej strefy docelowej platformy Azure, która reprezentuje docelowy stan końcowy. W przypadku hpC istnieje wiele odwołań do architektury koncepcyjnej, które są oparte na trzech branżach, które obecnie dotyczą przewodnika Cloud Adoption Framework:

Rozważ te odwołania do architektury podczas opracowywania długoterminowej wizji strefy docelowej. Te odwołania stanowią punkt wyjścia. Na podstawie wymagań biznesowych organizacji i potrzeb użytkowników końcowych może być konieczne ich zmodyfikowanie.

Ocena pod kątem hpc

Decyzje podejmowane podczas oceny wpływu strategicznego i planowania technicznego wpływają na konfigurację strefy docelowej wybranej dla wdrożeń HPC na platformie Azure. Zalecamy rozważenie następujących pytań:

  • Jak dojrzałe jest twoje środowisko na platformie Azure? Czy jest to etap weryfikacji koncepcji? Czy jest to już dojrzała aplikacja, która obsługuje użytkowników? W zależności od jego etapu można uwzględnić lub pominąć ład, zabezpieczenia lub organizację zasobów.
  • Czy aplikacja, którą tworzysz na platformie Azure, jest krótkotrwała, czy długotrwała? Odpowiedź na to pytanie może pomóc w wyborze opcji zasobów obliczeniowych i magazynu.
  • Czy Twoja organizacja wymaga, aby osoby uzyskiwały dostęp do zasobów platformy Azure na różnych poziomach?

Jak widać na podstawie tych pytań, model wdrażania różni się w zależności od używanego rozwiązania biznesowego, branżowego i aplikacji.

Przyspieszanie strefy docelowej platformy Azure dla obliczeń HPC

Usługi Azure Batch i Azure CycleCloud to zarówno platforma Azure udostępniana na platformie Azure, podczas gdy platforma Azure HPC OnDemand Platform (AzHOP) to automatyzacja oparta na chmurze cyklu platformy Azure, która zapewnia kompletny mechanizm wdrażania dla kompletnego rozwiązania klastra HPC na platformie Azure.

Usługa Azure Batch

  • Usługa Batch jest przeznaczona do wydajnego uruchamiania zadań równoległych na dużą skalę i zadań wsadowych HPC na platformie Azure.
  • Usługa Batch tworzy pulę węzłów obliczeniowych lub maszyn wirtualnych i zarządza nią. Za pomocą usługi Batch można również zainstalować aplikacje, które chcesz uruchomić, i zaplanować uruchamianie zadań w węzłach.
  • Nie ma oprogramowania do planowania zadań ani klastra do instalowania, zarządzania ani skalowania.
  • Usługa Batch dobrze działa z wewnętrznie równoległymi obciążeniami. Te obciążenia mają aplikacje, które mogą działać niezależnie, przy każdym wystąpieniu kończącym pracę.
  • Za pomocą usługi Batch można również uruchamiać ściśle powiązane obciążenia, w których uruchomione aplikacje muszą komunikować się ze sobą zamiast działać niezależnie.
  • Zadania podrzędne usługi Batch mogą być uruchamiane bezpośrednio na maszynach wirtualnych lub węzłach w puli usługi Batch. Można jednak również skonfigurować pulę usługi Batch do uruchamiania zadań w kontenerach zgodnych z platformą Docker w węzłach.

Azure CycleCloud

  • Obsługuje on różne harmonogramy HPC, takie jak SLURM, OpenPBS, PBSPro, LSF, Grid Engine i HTCondor12.
  • Umożliwia ona aprowizację infrastruktury dla systemów HPC, takich jak maszyny wirtualne, zestawy skalowania, interfejsy sieciowe i dyski.
  • Automatycznie skaluje infrastrukturę w celu wydajnego uruchamiania zadań na dowolnej skali na podstawie wymagań dotyczących obciążenia, dostępności i czasu zadań.
  • Udostępnia bogaty, deklaratywny format tworzenia szablonów do tworzenia kompletnych środowisk HPC na platformie Azure.
  • Integruje się z usługami platformy Azure, takimi jak Azure Monitor i Microsoft Cost Management.

AzHop

  • AzHop zapewnia kompleksową mechanizm wdrażania dla podstawowej infrastruktury HPC na platformie Azure korzystającej z rozwiązania CycleCloud do organizowania zadań.
  • Zapewnia kompletne rozwiązanie klastra HPC, które jest gotowe dla użytkowników do uruchamiania aplikacji w systemie i jest łatwe dla administratorów HPC do wdrażania i zarządzania nimi.
  • AzHop używa różnych wbudowanych aplikacji, których można używać "w stanie takim, w jakim jest", lub można łatwo dostosować i rozszerzyć, aby spełnić wszelkie niezaspokojonych wymagań.
  • Obejmuje on portal Open OnDemand umożliwiający ujednolicony dostęp użytkowników, dostęp do powłoki zdalnej, dostęp do wizualizacji zdalnej, przesyłanie zadań, dostęp do plików i nie tylko.
  • Używa usługi Active Directory do uwierzytelniania użytkowników i kontroli domeny.
  • Używa on programu OpenPBS lub prostego narzędzia systemu Linux do zarządzania zasobami (SLURM) jako harmonogramu zadań.
  • Dynamiczne aprowizowanie zasobów i skalowanie automatyczne są wykonywane przez wstępnie skonfigurowane kolejki zadań usługi CycleCloud i zintegrowane kontrole kondycji, aby szybko uniknąć nieoptymalnych węzłów.
  • Usługa Azure NetApp Files udostępnia udostępniony system plików dla katalogu macierzystego i aplikacji.

Porównanie

Funkcja Usługa Azure Batch Azure CycleCloud
Planista Dostępne są interfejsy API i narzędzia usługi Batch. Możesz również użyć natywnych dla chmury skryptów wiersza polecenia w witrynie Azure Portal. Możesz użyć standardowych harmonogramów HPC, takich jak SLURM, OpenPBS, PBSPro, LSF, Grid Engine i HTCondor. Możesz też rozszerzyć wtyczki skalowania automatycznego usługi Azure CycleCloud, aby pracować z własnym harmonogramem.
Zasoby obliczeniowe Węzły oprogramowania jako usługi (SaaS) — platforma jako usługa (PaaS). Oprogramowanie PaaS — PaaS.
Narzędzia do monitorowania Azure Monitor. Usługi Azure Monitor i Grafana.
Dostosowanie Możesz użyć niestandardowych pul obrazów, obrazów innych firm lub dostępu do interfejsu API usługi Batch. Możesz użyć kompleksowego interfejsu API RESTful, aby dostosować i rozszerzyć funkcje, wdrożyć własny harmonogram i obsługiwać istniejących menedżerów obciążeń.
Integracja Potoki usługi Azure Synapse Analytics, usługa Azure Data Factory i interfejs wiersza polecenia platformy Azure. Wbudowany interfejs wiersza polecenia dla systemów Windows i Linux.
Typ użytkownika Deweloperzy. Klasyczni administratorzy i użytkownicy HPC.
Typ pracy Partie i przepływy pracy. Ściśle powiązane przepływy pracy korzystające z interfejsu MPI (Message Passing Interface).
Obsługa systemu Windows Dostarczane. Zależy od wyboru harmonogramu.

Usługi Azure CycleCloud i Azure Batch to zaawansowane narzędzia do zadań HPC na platformie Azure, ale są przeznaczone dla różnych przypadków użycia.

Azure CycleCloud to przyjazne dla przedsiębiorstw narzędzie do organizowania środowisk HPC i zarządzania nimi na platformie Azure. Jest ona przeznaczona dla administratorów i użytkowników HPC, którzy chcą wdrożyć środowisko HPC z uwzględnieniem określonego harmonogramu. Usługa Azure CycleCloud udostępnia zaawansowane narzędzia do tworzenia kompletnych środowisk HPC na platformie Azure, w tym serwerów do udostępniania plików sieciowych (NFS), równoległych systemów plików, hostów logowania, serwerów licencji i usług katalogowych. Jest to przydatne w przypadku organizacji, które przez jakiś czas obsługiwały środowiska HPC i zgromadziły wiele lat wiedzy i narzędzi w firmie wokół określonego harmonogramu.

Z kolei usługa Batch jest przeznaczona głównie dla deweloperów i zespołów, którzy tworzą możliwości we własnym produkcie lub usłudze. Usługa Batch obejmuje własny harmonogram i jest przeznaczona do wydajnego uruchamiania zadań równoległych na dużą skalę bez oprogramowania klastra lub harmonogramu zadań. Usługa Batch jest przydatna, gdy nie trzeba zarządzać harmonogramem obciążeń.

Podsumowując, użyj usługi Azure CycleCloud, jeśli chcesz wdrożyć środowisko HPC z uwzględnieniem określonego harmonogramu i potrzebujesz kompletnego środowiska HPC. Użyj usługi Batch podczas tworzenia produktu lub usługi, która wymaga przetwarzania równoległego na dużą skalę i nie chcesz zarządzać harmonogramem obciążeń.

Następne kroki