ND A100 v4 系列

適用於: ✔️ Linux VM ✔️ 彈性擴展集✔️統一擴展集。

ND A100 v4 系列虛擬機(VM) 是 Azure GPU 系列的新旗艦產品。 其專為高端深度學習訓練和緊密結合的相應增加和向外延展 HPC 工作負載所設計。

ND A100 v4 系列從單一 VM 和 8 個 NVIDIA Ampere A100 40GB Tensor Core GPU 開始。 ND A100 v4 型部署可以相應增加至數千個 GPU,每個 VM 的互連頻寬為 1.6 TB/秒。 VM 內的每個 GPU 都隨附專屬的拓撲 200 GB/秒 NVIDIA Mellanox HDR InfiniBand 連線。 這些聯機會在佔用相同 VM 擴展集的 VM 之間自動設定,並支援 GPUDirect RDMA。

每個 GPU 都具備 NVLINK 3.0 連線,以在 VM 內進行通訊,而實例是由 96 個實體第 2 代 AMD Epyc™ 7V12 (Rome) CPU 核心所支援。

這些實例為許多支援 GPU 加速的 AI、ML 和分析工具提供絕佳的效能,例如 TensorFlow、Pytorch、Caffe、RAPIDS 和其他架構。 此外,一組以 NVIDIA NCCL2 通訊連結庫為基礎建置的現有 AI 和 HPC 工具支援向外延展 InfiniBand 互連,以便順暢地叢集 GPU。

重要

若要開始使用 ND A100 v4 VM,請參閱 HPC 工作負載設定和優化 ,以取得驅動程式和網路設定等步驟。 由於 GPU 記憶體 I/O 使用量增加,ND A100 v4 需要使用 第 2 代 VM 和市集映射。

Azure 支援 Ubuntu 20.04/22.04、RHEL 7.9/8.7/9.3、AlmaLinux 8.8/9.2,以及 ND A100 v4 VM 的 SLES 15。 在 Azure Marketplace 上,有針對已安裝各種 HPC 工具和連結庫的 HPC/AI 工作負載進行優化和預先設定 的 Linux VM 映射 供應專案,因此強烈建議使用它們。 目前支援Ubuntu-HPC 20.04/22.04和AlmaLinux-HPC 8.6/8.7 VM 映像。


進階儲存體:支援
進階儲存體快取:支援
Ultra 磁碟:支援 (深入瞭解 可用性、使用量和效能)
即時移轉:不支援
記憶體保留更新:不支援
VM 世代支援:第 2 代
加速網路:支援
暫時性 OS 磁碟:支援
InfiniBand:支援、GPUDirect RDMA、8 x 200 Gb HDR
NVIDIA NVLink 互連:支援
巢狀虛擬化:不支援

大小 vCPU 記憶體:GiB 暫存儲存體 (SSD):GiB GPU GPU 記憶體:GiB 最大資料磁碟 最大取消快取的磁碟輸送量︰IOPS / MBps 最大網路頻寬 最大 NIC
Standard_ND96asr_A100_v4 96 900 6000 8 A100 40-GB GPU (NVLink 3.0) 320 32 80,000 / 800 24,000 Mbps 8

資料表大小定義

  • 儲存容量會以 GiB 或是 1024^3 位元組為單位顯示。 當比較使用 GB (1000^3 位元組) 為度量單位的磁碟與使用 GiB (1024^3) 為度量單位的磁碟時,請記住以 GiB 為單位提供的容量數字可能較小。 例如,1023 GiB = 1098.4 GB。

  • 磁碟輸送量是以每秒輸入/輸出作業 (IOPS) 和 MBps 進行測量,其中 MBps = 10^6 位元組/每秒。

  • 資料磁碟可以在快取模式或取消快取模式下運作。 針對快取的資料磁碟作業,主機快取模式必須設定為 ReadOnlyReadWrite。 針對取消快取的資料磁碟作業,主機快取模式必須設定為 None

  • 若要瞭解如何取得 VM 的最佳儲存體效能,請參閱虛擬機器和磁碟效能

  • 預期的網路頻寬是針對所有目的地,為所有 NIC 中每個 VM 類型配置的最大彙總頻寬。 如需詳細資訊,請參閱虛擬機器網路頻寬

    不保證效能上限。 限制針對預定應用程式選取正確 VM 類型的供應項目指導。 實際網路效能取決於多種因素,包括網路壅塞、應用程式負載和網路設定。 如需最佳化網路輸送量的資訊,請參閱最佳化 Azure 虛擬機器的網路輸送量。 若要達到 Linux 或 Windows 上的預期網路效能,您可能需要選取特定版本,或最佳化 VM。 如需詳細資訊,請參閱頻寬/輸送量測試 (NTTTCP)

其他大小和資訊

定價計算機:定價計算機

如需磁碟類型的詳細資訊,請參閱 Azure 中有哪些磁碟類型可用?

下一步

深入了解 Azure 計算單位 (ACU) 如何協助您比較各個 Azure SKU 的計算效能。