Omówienie maszyny wirtualnej serii HBv3
Dotyczy: ✔️ Maszyny wirtualne z systemem Linux Maszyny ✔️ wirtualne z systemem Windows ✔️ — elastyczne zestawy ✔️ skalowania
Serwer serii HBv3 zawiera 2 * 64-rdzeniowe procesory EPYC 7V73X dla łącznie 128 fizycznych rdzeni "Zen3" z pamięcią podręczną AMD 3D. Jednoczesne wielowątkowość (SMT) jest wyłączona w HBv3. Te 128 rdzeni są podzielone na 16 sekcji (8 na gniazdo), każda sekcja zawierająca 8 rdzeni procesora z jednolity dostęp do pamięci podręcznej L3 96 MB. Serwery usługi Azure HBv3 również uruchamiają następujące ustawienia systemu BIOS firmy AMD:
Nodes per Socket (NPS) = 2
L3 as NUMA = Disabled
NUMA domains within VM OS = 4
C-states = Enabled
W rezultacie serwer uruchamia się z 4 domenami NUMA (2 na gniazdo). Każda domena ma rozmiar 32 rdzenie. Każda architektura NUMA ma bezpośredni dostęp do 4 kanałów fizycznej pamięci DRAM działającej na poziomie 3200 MT/s.
Aby zapewnić miejsce na działanie funkcji hypervisor platformy Azure bez zakłócania działania maszyny wirtualnej, rezerwujemy 8 rdzeni fizycznych na serwer.
Topologia maszyny wirtualnej
Na poniższym diagramie przedstawiono topologię serwera. Rezerwujemy te 8 rdzeni hosta funkcji hypervisor (żółty) symetrycznie w obu gniazdach procesora CPU, biorąc pierwsze 2 rdzenie z określonych rdzeni złożonych dies (CCD) w każdej domenie NUMA, z pozostałymi rdzeniami dla maszyny wirtualnej serii HBv3 (zielony).
Granica CCD nie jest równoważna granicy NUMA. W systemie HBv3 grupa czterech kolejnych (4) CCDs jest skonfigurowana jako domena NUMA, zarówno na poziomie serwera hosta, jak i na maszynie wirtualnej gościa. W związku z tym wszystkie rozmiary maszyn wirtualnych HBv3 uwidaczniają 4 domeny NUMA, które pojawiają się w systemie operacyjnym i aplikacji, jak pokazano. 4 jednolite domeny NUMA, z których każda ma różną liczbę rdzeni w zależności od określonego rozmiaru maszyny wirtualnej HBv3.
Każdy rozmiar maszyny wirtualnej HBv3 jest podobny w układzie fizycznym, funkcjach i wydajności innego procesora CPU niż seria AMD EPYC 7003 w następujący sposób:
| Rozmiar maszyny wirtualnej serii HBv3 | Domeny NUMA | Rdzenie na domenę NUMA | Podobieństwo z procesorem AMD EPYC |
|---|---|---|---|
| Standard_HB120rs_v3 | 100 | 30 | Podwójne gniazdo EPYC 7773X |
| Standard_HB120-96rs_v3 | 100 | 24 | Podwójne gniazdo EPYC 7643 |
| Standard_HB120-64rs_v3 | 100 | 16 | Podwójne gniazdo EPYC 7573X |
| Standard_HB120-32rs_v3 | 4 | 8 | Podwójne gniazdo EPYC 7373X |
| Standard_HB120-16rs_v3 | 4 | 4 | Podwójne gniazdo EPYC 72F3 |
Uwaga
Ograniczone rozmiary maszyn wirtualnych rdzeni zmniejszają tylko liczbę rdzeni fizycznych uwidocznionych dla maszyny wirtualnej. Wszystkie globalne zasoby udostępnione (pamięć RAM, przepustowość pamięci, pamięć podręczna L3, łączność GMI i xGMI, InfiniBand, sieć Ethernet platformy Azure, lokalny dysk SSD) pozostają stałe. Dzięki temu klient może wybrać rozmiar maszyny wirtualnej najlepiej dostosowany do danego zestawu wymagań dotyczących obciążeń lub licencjonowania oprogramowania.
Wirtualne mapowanie architektury NUMA każdego rozmiaru maszyny wirtualnej HBv3 jest mapowane na podstawową fizyczną topologię NUMA. Nie ma potencjalnie mylące abstrakcji topologii sprzętu.
Dokładna topologia różnych rozmiarów maszyn wirtualnych HBv3 jest wyświetlana w następujący sposób przy użyciu danych wyjściowych lstopo:
lstopo-no-graphics --no-io --no-legend --of txt
Kliknij, aby wyświetlić dane wyjściowe lstopo dla Standard_HB120rs_v3
Kliknij, aby wyświetlić dane wyjściowe lstopo dla Standard_HB120rs-96_v3
Kliknij, aby wyświetlić dane wyjściowe lstopo dla Standard_HB120rs-64_v3
Kliknij, aby wyświetlić dane wyjściowe lstopo dla Standard_HB120rs-32_v3
Kliknij, aby wyświetlić dane wyjściowe lstopo dla Standard_HB120rs-16_v3
Sieć InfiniBand
Maszyny wirtualne HBv3 oferują również karty sieciowe Nvidia Mellanox HDR InfiniBand (ConnectX-6) działające na maksymalnie 200 Gigabits/s. Karta sieciowa jest przekazywana do maszyny wirtualnej za pośrednictwem SRIOV, umożliwiając ruch sieciowy w celu obejścia funkcji hypervisor. W rezultacie klienci ładują standardowe sterowniki Mellanox OFED na maszynach wirtualnych HBv3, tak jak w środowisku bez systemu operacyjnego.
Maszyny wirtualne HBv3 obsługują routing adaptacyjny, dynamiczny transport połączony (DCT, wraz ze standardowymi transportami RC i UD) oraz odciążanie sprzętowe kolektywów MPI do procesora dołączanego adaptera ConnectX-6. Te funkcje zwiększają wydajność aplikacji, skalowalność i spójność, a ich użycie jest zalecane.
Magazyn tymczasowy
Maszyny wirtualne HBv3 mają 3 fizyczne lokalne urządzenia SSD. Jedno urządzenie jest wstępnie sformatowane, aby służyło jako plik strony i było wyświetlane na maszynie wirtualnej jako ogólne urządzenie SSD.
Dwa inne, większe dyski SSD są udostępniane jako niesformatowane urządzenia NVMe bloku za pośrednictwem NVMeDirect. Ponieważ blokowe urządzenie NVMe pomija funkcję hypervisor, ma wyższą przepustowość, większą liczbę operacji we/wy na sekundę i mniejsze opóźnienia na operację we/wy na sekundę.
W przypadku parowania w tablicy rozłożonej dysk SSD NVMe zapewnia do 7 GB/s odczytów i 3 GB/s operacji zapisu oraz maksymalnie 186 000 operacji we/wy na sekundę (odczyty) i 201 000 operacji we/wy na sekundę (zapisów) dla głębokości kolejek głębokich.
Specyfikacje sprzętowe
| Specyfikacje sprzętowe | Maszyny wirtualne serii HBv3 |
|---|---|
| Rdzenie | 120, 96, 64, 32 lub 16 (wyłączono protokół SMT) |
| Procesor CPU | AMD EPYC 7V73X |
| Częstotliwość procesora CPU (inne niż AVX) | 3,0 GHz (wszystkie rdzenie), 3,5 GHz (do 10 rdzeni) |
| Pamięć | 448 GB (pamięć RAM na rdzeń zależy od rozmiaru maszyny wirtualnej) |
| Dysk lokalny | 2 * 960 GB NVMe (blok), 480 GB SSD (plik stronicowy) |
| Infiniband | 200 Gb/s Mellanox ConnectX-6 HDR InfiniBand |
| Sieć | Sieć Ethernet 50 Gb/s (40 Gb/s do użycia) Azure Second Gen SmartNIC |
Specyfikacje oprogramowania
| Specyfikacje oprogramowania | Maszyny wirtualne serii HBv3 |
|---|---|
| Maksymalny rozmiar zadania MPI | 36 000 rdzeni (300 maszyn wirtualnych w jednym zestawie skalowania maszyn wirtualnych z singlePlacementGroup=true) |
| Obsługa interfejsu MPI | HPC-X, Intel MPI, OpenMPI, MVAPICH2, MPICH |
| Dodatkowe struktury | UCX, libfabric, PGAS |
| Obsługa usługi Azure Storage | Dyski w warstwie Standardowa i Premium (maksymalnie 32 dyski) |
| Obsługa systemu operacyjnego dla SRIOV RDMA | RHEL 7.9+, Ubuntu 18.04+, SLES 15.4, WinServer 2016+ |
| Zalecany system operacyjny pod kątem wydajności | Windows Server 2019+ |
| Obsługa programu Orchestrator | Azure CycleCloud, Azure Batch, AKS; opcje konfiguracji klastra |
Uwaga
System Windows Server 2012 R2 nie jest obsługiwany na maszynach wirtualnych HBv3 i innych maszynach wirtualnych z więcej niż 64 rdzeniami (wirtualnymi lub fizycznymi). Aby uzyskać więcej informacji, zobacz Obsługiwane systemy operacyjne gościa systemu Windows dla funkcji Hyper-V w systemie Windows Server.
Ważne
Ten dokument odwołuje się do wersji systemu Linux, która zbliża się lub znajduje się w końcu życia (EOL). Rozważ aktualizację do nowszej wersji.
Następne kroki
- Przeczytaj o najnowszych ogłoszeniach, przykładach obciążeń HPC i wynikach wydajności na blogach społeczności technicznej usługi Azure Compute.
- Aby uzyskać widok architektury wyższego poziomu na potrzeby uruchamiania obciążeń HPC, zobacz Obliczenia o wysokiej wydajności (HPC) na platformie Azure.