Ta architektura przedstawia uruchamianie symulacji dynamiki płynów obliczeniowych przy użyciu platformy Azure. Dowiedz się, jak tworzyć i optymalizować klastry oraz zarządzać nimi przy użyciu usługi Azure CycleCloud.
Architektura
Pobierz plik programu Visio z tą architekturą.
Przepływ pracy
Ten diagram przedstawia ogólne omówienie typowego projektu hybrydowego zapewniającego monitorowanie zadań węzłów na żądanie na platformie Azure:
- Połącz się z serwerem Azure CycleCloud , aby skonfigurować klaster.
- Skonfiguruj i utwórz węzeł główny klastra przy użyciu maszyn z włączoną funkcją RDMA dla interfejsu MPI.
- Dodaj i skonfiguruj lokalny węzeł główny.
- Jeśli nie ma wystarczających zasobów, usługa Azure CycleCloud skaluje zasoby obliczeniowe platformy Azure w górę (lub w dół). Można zdefiniować wstępnie określony limit, aby zapobiec nadmiernej alokacji.
- Zadania są przydzielane do węzłów wykonywania.
- Dane są buforowane na platformie Azure z lokalnego serwera NFS.
- Dane są odczytywane z usługi Avere vFXT dla usługi Azure Cache.
- Informacje o zadaniu i zadaniu są przekazywane do serwera Azure CycleCloud.
Składniki
- Azure CycleCloud to narzędzie do tworzenia, obsługi i optymalizowania klastrów HPC i Big Compute na platformie Azure oraz zarządzania nimi.
- Rozwiązanie Avere vFXT na platformie Azure służy do udostępniania klastrowanego systemu plików w skali przedsiębiorstwa utworzonego dla chmury.
- Usługa Azure Virtual Machines (maszyny wirtualne) służy do tworzenia statycznego zestawu wystąpień obliczeniowych.
- Zestawy skalowania maszyn wirtualnych zapewniają grupę identycznych maszyn wirtualnych, które mogą być skalowane w górę lub w dół przez usługę Azure CycleCloud.
- Konta usługi Azure Storage są używane do synchronizacji i przechowywania danych.
- Sieci wirtualne platformy Azure umożliwiają korzystanie z wielu typów zasobów platformy Azure, takich jak maszyny wirtualne, w celu bezpiecznego komunikowania się ze sobą, internetu i sieci lokalnych.
Alternatywy
Klienci mogą również używać usługi Azure CycleCloud do tworzenia siatki w całości na platformie Azure. W ramach tej konfiguracji serwer Azure CycleCloud jest uruchamiany w ramach subskrypcji platformy Azure.
W przypadku nowoczesnego podejścia aplikacji, w którym zarządzanie harmonogramem obciążeń nie jest potrzebne, Azure Batch może pomóc. Azure Batch może wydajnie uruchamiać aplikacje równoległe i obliczenia o wysokiej wydajności (HPC) na dużą skalę. Azure Batch umożliwia zdefiniowanie zasobów obliczeniowych platformy Azure w celu równoległego wykonywania aplikacji lub na dużą skalę bez ręcznego konfigurowania infrastruktury lub zarządzania nią. Azure Batch planuje zadania intensywnie korzystające z obliczeń i dynamicznie dodaje i usuwa zasoby obliczeniowe na podstawie wymagań.
Szczegóły scenariusza
Symulacje obliczeniowej dynamiki płynów (CFD) wymagają znacznego czasu obliczeniowego wraz z wyspecjalizowanym sprzętem. Wraz ze wzrostem użycia klastra czas symulacji i ogólne użycie siatki rośnie, co prowadzi do problemów z oszczędzoną pojemnością i długim czasem kolejki. Dodanie sprzętu fizycznego może być kosztowne i może nie być zgodne ze szczytami użycia i dolinami, które przechodzi firma. Korzystając z platformy Azure, wiele z tych wyzwań można przezwyciężyć bez wydatków kapitałowych.
Platforma Azure udostępnia sprzęt potrzebny do uruchamiania zadań CFD na maszynach wirtualnych procesora GPU i procesora CPU. Rozmiary maszyn wirtualnych z włączoną funkcją RDMA (zdalny bezpośredni dostęp do pamięci) mają sieć opartą na protokole FDR InfiniBand, która umożliwia komunikację MPI (Message Passing Interface). Po połączeniu tych rozwiązań z rozwiązaniem Avere vFXT, który zapewnia klaster klastrowany system plików w skali przedsiębiorstwa, klienci mogą zapewnić maksymalną przepływność operacji odczytu na platformie Azure.
Aby uprościć tworzenie, zarządzanie i optymalizację klastrów HPC, usługa Azure CycleCloud może służyć do aprowizowania klastrów i organizowania danych zarówno w scenariuszach hybrydowych, jak i w chmurze. Podczas monitorowania oczekujących zadań usługa CycleCloud automatycznie uruchamia zasoby obliczeniowe na żądanie, w których płacisz tylko za używane zasoby, połączone z wybranym harmonogramem obciążeń.
Potencjalne przypadki użycia
Inne istotne branże dla aplikacji CFD to:
- Aeronautics i lotnictwo/samoloty
- Motoryzacja
- Budynek HVAC (obiekty)
- Ropa naftowa i gaz (energia)
- Nauki o życiu i opieka zdrowotna
Zagadnienia do rozważenia
Te zagadnienia implementują filary platformy Azure Well-Architected Framework, która jest zestawem podstawowych zestawów, które mogą służyć do poprawy jakości obciążenia. Aby uzyskać więcej informacji, zobacz Microsoft Azure Well-Architected Framework.
Skalowalność i zabezpieczenia
Skalowanie węzłów wykonywania w usłudze Azure CycleCloud można wykonać ręcznie lub przy użyciu skalowania automatycznego. Aby uzyskać więcej informacji, zobacz CycleCloud Autoscaling (Skalowanie automatyczne w usłudze CycleCloud).
Ogólne wskazówki dotyczące projektowania bezpiecznych rozwiązań można znaleźć w dokumentacji zabezpieczeń platformy Azure.
Optymalizacja kosztów
Optymalizacja kosztów dotyczy sposobów zmniejszenia niepotrzebnych wydatków i poprawy wydajności operacyjnej. Aby uzyskać więcej informacji, zobacz Omówienie filaru optymalizacji kosztów.
Koszt uruchamiania implementacji HPC przy użyciu serwera CycleCloud będzie się różnić w zależności od wielu czynników. Na przykład usługa CycleCloud jest naliczana według czasu obliczeniowego, który jest używany, z serwerem Primary i CycleCloud zwykle jest stale przydzielany i uruchomiony. Koszt uruchamiania węzłów Execute zależy od tego, jak długo są uruchomione, a także jaki rozmiar jest używany. Obowiązują również normalne opłaty za korzystanie z platformy Azure dla magazynu i sieci.
W tym scenariuszu pokazano, jak można uruchamiać aplikacje CFD na platformie Azure, więc maszyny będą wymagały funkcji RDMA, która jest dostępna tylko w określonych rozmiarach maszyn wirtualnych. Poniżej przedstawiono przykłady kosztów, które mogą być naliczane dla zestawu skalowania, który jest przydzielany stale przez osiem godzin dziennie przez jeden miesiąc, z ruchem wychodzącym danych o rozmiarze 1 TB. Obejmuje ona również cennik serwera Azure CycleCloud i instalacji Avere vFXT dla platformy Azure:
- Region: Europa Północna
- Azure CycleCloud Server: 1 x Standardowa D3 (4 x procesory CPU, 14 GB pamięci, hdd w warstwie Standardowa 32 GB)
- Podstawowy serwer Usługi Azure CycleCloud: 1 x Standardowa D12 v (4 x procesory CPU, 28 GB pamięci, hdd w warstwie Standardowa 32 GB)
- Tablica węzłów Usługi Azure CycleCloud: 10 x Standardowa H16r (16 x procesory CPU, 112 GB pamięci)
- Avere vFXT w klastrze platformy Azure: 3 x D16s v3 (200 GB systemu operacyjnego, dysk danych SSD w warstwie Premium 1 TB)
- Ruch wychodzący danych: 1 TB
Zapoznaj się z tym oszacowaniem cen sprzętu wymienionego powyżej.
Wdrażanie tego scenariusza
Wymagania wstępne
Przed wdrożeniem szablonu Resource Manager wykonaj następujące kroki:
Utwórz jednostkę usługi do pobierania identyfikatora appId, displayName, nazwy, hasła i dzierżawy.
Wygeneruj parę kluczy SSH , aby bezpiecznie zalogować się do serwera CycleCloud.
Kliknij poniższy link, aby wdrożyć rozwiązanie.
Zaloguj się do serwera CycleCloud , aby skonfigurować i utworzyć nowy klaster.
Pamięć podręczna Avere jest opcjonalnym rozwiązaniem, które może znacząco zwiększyć przepływność odczytu dla danych zadań aplikacji. Rozwiązanie Avere vFXT dla platformy Azure rozwiązuje problem z uruchamianiem tych aplikacji HPC przedsiębiorstwa w chmurze przy jednoczesnym wykorzystaniu danych przechowywanych lokalnie lub w usłudze Azure Blob Storage.
W przypadku organizacji, które planują infrastrukturę hybrydową zarówno z magazynem lokalnym, jak i przetwarzaniem w chmurze, aplikacje HPC mogą "zwiększać" się na platformę Azure przy użyciu danych przechowywanych na urządzeniach NAS i w razie potrzeby uruchamiać wirtualne procesory CPU. Zestaw danych nigdy nie jest całkowicie przenoszony do chmury. Żądane bajty są tymczasowo buforowane przy użyciu klastra Avere podczas przetwarzania.
Aby skonfigurować i skonfigurować instalację Avere vFXT, postępuj zgodnie z przewodnikiem Avere Setup and Configuration (Konfiguracja i konfiguracja usługi Avere).
Współautorzy
Ten artykuł jest obsługiwany przez firmę Microsoft. Pierwotnie został napisany przez następujących współautorów.
Główny autor:
- Mike Warrington | FastTrack dla inżyniera platformy Azure
Następne kroki
Dokumentacja produktu:
- Czym jest usługa Azure CycleCloud?
- Azure Virtual Machines (VMs)
- Wprowadzenie do usługi Azure Storage
- Co to jest usługa Azure Virtual Network?
Zobacz następujące artykuły dotyczące maszyn wirtualnych: