Menggunakan Operator GPU NVIDIA di Azure Kubernetes Service (AKS)

Operator GPU NVIDIA mengotomatiskan manajemen dan penyebaran semua komponen perangkat lunak NVIDIA yang diperlukan untuk menyediakan GPU termasuk penginstalan driver, plugin perangkat NVIDIA untuk Kubernetes, runtime kontainer NVIDIA, dan banyak lagi. Karena Operator GPU NVIDIA menangani komponen-komponen ini, tidak perlu menginstal plugin perangkat NVIDIA secara terpisah pada kluster AKS Anda. Ini juga berarti bahwa penginstalan driver GPU otomatis harus dilewati untuk menggunakan Operator GPU NVIDIA pada AKS.

Petunjuk / Saran

Jika Anda tidak memerlukan kontrol penuh dari Operator GPU NVIDIA, kumpulan simpul GPU yang dikelola AKS (pratinjau) menginstal dan memelihara driver NVIDIA, plugin perangkat Kubernetes, dan pengekspor metrik DCGM untuk Anda.

Penting

Perangkat lunak sumber terbuka disebutkan di seluruh dokumentasi dan sampel AKS. Perangkat lunak yang Anda sebarkan dikecualikan dari perjanjian tingkat layanan AKS, garansi terbatas, dan dukungan Azure. Saat Anda menggunakan teknologi sumber terbuka bersama AKS, konsultasikan opsi dukungan yang tersedia dari masing-masing komunitas dan pengelola proyek untuk mengembangkan rencana.

Microsoft bertanggung jawab untuk membangun paket sumber terbuka yang kami sebarkan di AKS. Tanggung jawab itu termasuk memiliki kepemilikan lengkap atas proses build, pemindaian, penandatanganan, validasi, dan perbaikan cepat, bersama dengan kontrol atas file biner dalam gambar kontainer. Untuk informasi selengkapnya, lihat Manajemen kerentanan untuk AKS dan Cakupan dukungan AKS.

Sebelum Anda mulai

  • Artikel ini mengasumsikan Anda memiliki kluster AKS yang sudah ada. Jika Anda tidak memiliki kluster, buat kluster menggunakan Azure CLI, Azure PowerShell, atau portal Microsoft Azure.
  • Anda memerlukan Azure CLI versi 2.72.2 atau yang lebih baru yang diinstal untuk mengatur --gpu-driver bidang. Jalankan az --version untuk menemukan versinya. Jika Anda perlu menginstal atau memperbarui, lihat Install Azure CLI.

Nota

VM dengan dukungan GPU berisi perangkat keras khusus yang tunduk pada harga dan ketersediaan wilayah yang lebih tinggi. Untuk informasi selengkapnya, lihat alat penentuan harga dan ketersediaan wilayah.

Keterbatasan

Operator GPU NVIDIA tidak didukung untuk opsi OS berikut: Versi Windows Server, Flatcar Container Linux untuk AKS (pratinjau), dan Azure Linux dengan OS Guard untuk AKS (pratinjau).

Dapatkan kredensial untuk kluster Anda

Dapatkan kredensial untuk kluster AKS Anda menggunakan az aks get-credentials perintah . Contoh perintah berikut mendapatkan kredensial untuk kluster myAKSCluster dalam myResourceGroup grup sumber daya:

az aks get-credentials --resource-group myResourceGroup --name myAKSCluster

Nota

Operator GPU NVIDIA tidak kompatibel dengan beberapa versi OS pada kluster AKS yang sama.

  1. Lewati penginstalan driver GPU otomatis dengan membuat kumpulan simpul yang mendukung GPU NVIDIA dengan menggunakan az aks nodepool add perintah dan mengatur bidang --gpu-driver API ke nilai none. Menyetel kolom API ini ke none saat membuat kumpulan node akan melewatkan penginstalan driver GPU default. Misalnya, lihat Melewati penginstalan driver GPU. Pengaturan ini tidak mengubah simpul yang ada. Anda dapat menskalakan kumpulan node ke nol lalu meningkatkannya kembali agar perubahan diterapkan.
az aks nodepool add \
--resource-group myResourceGroup \
--cluster-name myAKSCluster \
--name gpunp \
--node-count 1 \
--node-vm-size Standard_NC4as_T4_v3 \
--node-taints sku=gpu:NoSchedule \
--gpu-driver none

  1. Ikuti dokumentasi NVIDIA untuk Menginstal Operator GPU.

  2. Setelah Anda menginstal GPU Operator, periksa apakah GPU Anda dapat dijadwalkan dan jalankan beban kerja GPU.

Nota

Mungkin ada pertimbangan tambahan yang harus diambil saat menggunakan Operator GPU NVIDIA dan menyebarkan pada instans SPOT. Silakan merujuk ke https://github.com/NVIDIA/gpu-operator/issues/577

  • Last updated on