Percepatan GPU bagi Azure IoT Edge untuk Linux pada Windows

Berlaku untuk: IoT Edge 1.5 IoT Edge 1.4

Penting

IoT Edge 1.5 LTS dan IoT Edge 1.4 LTS adalah rilis yang didukung. IoT Edge 1.4 LTS adalah akhir masa pakai pada 12 November 2024. Jika Anda menggunakan rilis sebelumnya, lihat Memperbarui IoT Edge.

GPU adalah pilihan populer untuk komputasi kecerdasan buatan, karena menawarkan kemampuan pemrosesan paralel dan sering dapat mengeksekusi kesimpulan berbasis visi lebih cepat daripada CPU. Untuk mendukung aplikasi kecerdasan buatan dan pembelajaran mesin dengan lebih baik, Azure IoT Edge untuk Linux di Windows (EFLOW) dapat mengekspos GPU ke modul Linux komputer virtual.

Azure IoT Edge untuk Linux pada Windows mendukung beberapa teknologi passthrough GPU, termasuk:

• Direct Device Assignment (DDA) - Core GPU dialokasikan baik ke mesin virtual Linux atau host.

• GPU-Paravirtualization (GPU-PV) - GPU dibagi antara mesin virtual Linux dan host.

Anda harus memilih metode passthrough yang sesuai selama penyebaran agar sesuai dengan kemampuan perangkat keras GPU perangkat Anda yang didukung.

Penting

Fitur-fitur ini dapat mencakup komponen yang dikembangkan dan dimiliki oleh NVIDIA Corporation atau pemberi lisensinya. Penggunaan komponen diatur oleh Perjanjian Lisensi Penguna Akhir NVIDIA yang terletak di situs web NVIDIA.

Saat menggunakan fitur percepatan GPU, Anda menerima dan menyetujui ketentuan Perjanjian Lisensi Pengguna Akhir NVIDIA.

Prasyarat

Fitur percepatan GPU Azure IoT Edge untuk Linux pada Windows saat ini mendukung satu set perangkat keras GPU tertentu. Selain itu, penggunaan fitur ini mungkin memerlukan versi Windows tertentu.

GPU yang didukung dan versi Windows yang diperlukan tercantum di bawah:

GPU yang didukung	Jenis Passthrough GPU	Versi Windows yang Didukung
NVIDIA T4, A2	DDA	Windows Server 2019 Windows Server 2022 Windows 10/11 (Pro, Enterprise, IoT Enterprise)
NVIDIA GeForce, Quadro, RTX	GPU-PV	Windows 10/11 (Pro, Enterprise, IoT Enterprise)
Intel iGPU	GPU-PV	Windows 10/11 (Pro, Enterprise, IoT Enterprise)

Penting

Dukungan GPU-PV dapat terbatas pada generasi prosesor atau arsitektur GPU tertentu seperti yang ditentukan oleh vendor GPU. Untuk informasi selengkapnya, lihat Dokumentasi driver iGPU Intel atau CUDA NVIDIA untuk Dokumentasi WSL.

Pengguna Windows Server 2019 harus menggunakan build minimum 17763 dengan semua pembaruan kumulatif saat ini terinstal.

Pengguna Windows 10 harus menggunakan build pembaruan November 2021 19044.1620 atau yang lebih tinggi. Setelah penginstalan, Anda dapat memverifikasi versi build dengan menjalankan winver di prompt perintah.

Passthrough GPU tidak didukung dengan virtualisasi berlapis, seperti menjalankan EFLOW di komputer virtual Windows.

Penyiapan dan penginstalan sistem

Bagian berikut berisi informasi penyiapan dan penginstalan, sesuai dengan GPU Anda.

GPU NVIDIA T4/A2

Untuk GPU T4/A2, Microsoft merekomendasikan penginstalan driver mitigasi perangkat dari vendor GPU Anda. Meskipun opsional, menginstal driver mitigasi dapat meningkatkan keamanan penyebaran Anda. Untuk mengetahui informasi selengkapnya, lihat Menyebarkan perangkat grafis menggunakan penugasan perangkat langsung.

Peringatan

Mengaktifkan passthrough perangkat keras dapat meningkatkan risiko keamanan. Microsoft menyarankan driver mitigasi perangkat dari vendor GPU Anda, bila dapat diterapkan. Untuk informasi selengkapnya, lihat Menyebarkan perangkat grafis menggunakan penugasan perangkat terpisah.

GPU NVIDIA GeForce/Quadro/RTX

Untuk GPU NVIDIA GeForce/Quadro/RTX, unduh dan instal driver berkemampuan NVIDIA CUDA untuk Subsistem Windows untuk Linux (WSL) untuk digunakan dengan alur kerja CUDA ML Yang ada. Awalnya dikembangkan untuk WSL, driver CUDA untuk WSL juga digunakan untuk Azure IoT Edge untuk Linux pada Windows.

Pengguna Windows 10 juga harus menginstal WSL karena beberapa pustaka dibagikan antara WSL dan Azure IoT Edge untuk Linux di Windows.

Intel iGPU

Untuk Intel iGPU, unduh dan instal Intel Graphics Driver dengan dukungan GPU WSL.

Pengguna Windows 10 juga harus menginstal WSL karena beberapa pustaka dibagikan antara WSL dan Azure IoT Edge untuk Linux di Windows.

Mengaktifkan akselerasi GPU di Azure IoT Edge Linux Anda pada penyebaran Windows

Setelah penyiapan sistem selesai, Anda siap untuk membuat penyebaran Azure IoT Edge untuk Linux di Windows. Selama proses ini, Anda harus mengaktifkan GPU sebagai bagian dari penyebaran EFLOW.

Misalnya, perintah berikut membuat komputer virtual berkemampuan GPU dengan GPU NVIDIA A2 atau kartu Grafis Intel Iris Xe.

#Deploys EFLOW with NVIDIA A2 assigned to the EFLOW VM
Deploy-Eflow -gpuPassthroughType DirectDeviceAssignment -gpuCount 1 -gpuName "NVIDIA A2"

#Deploys EFLOW with Intel(R) Iris(R) Xe Graphics assigned to the EFLOW VM
Deploy-Eflow -gpuPassthroughType ParaVirtualization -gpuCount 1 -gpuName "Intel(R) Iris(R) Xe Graphics"

Untuk menemukan nama GPU, Anda dapat menjalankan perintah berikut atau mencari Adaptor tampilan di Manajer Perangkat.

(Get-WmiObject win32_VideoController).caption

Setelah penginstalan selesai, Anda siap untuk menyebarkan dan menjalankan modul Linux yang dipercepat GPU melalui Azure IoT Edge untuk Linux di Windows.

Mengonfigurasi akselerasi GPU di Azure IoT Edge Linux yang ada pada penyebaran Windows

Menetapkan GPU pada waktu penyebaran akan menghasilkan pengalaman yang paling mudah. Namun, untuk mengaktifkan atau menonaktifkan GPU setelah penyebaran, gunakan perintah 'set-eflowvm'. Saat menggunakan 'set-eflowvm' parameter default akan digunakan untuk argumen apa pun yang tidak ditentukan. Contohnya,

#Deploys EFLOW without a GPU assigned to the EFLOW VM
Deploy-Eflow -cpuCount 4 -memoryInMB 16384

#Assigns NVIDIA A2 GPU to the existing deployment (cpu and memory must still be specified, otherwise they will be set to the default values)
Set-EflowVM -cpuCount 4 -memoryInMB 16384 -gpuName "NVIDIA A2" -gpuPassthroughType DirectDeviceAssignment -gpuCount 1

#Reduces the cpuCount and memory (GPU must still be specified, otherwise the GPU will be removed)
Set-EflowVM -cpuCount 2 -memoryInMB 4096 -gpuName "NVIDIA A2" -gpuPassthroughType DirectDeviceAssignment -gpuCount 1

#Removes NVIDIA A2 GPU from the existing deployment
Set-EflowVM -cpuCount 2 -memoryInMB 4096

Langkah berikutnya

Mulai menggunakan Sampel

Kunjungi Halaman Sampel EFLOW kami untuk menemukan beberapa sampel GPU yang dapat Anda coba dan gunakan. Sampel ini menggambarkan skenario manufaktur dan ritel umum seperti deteksi cacat, keselamatan pekerja, dan manajemen inventaris. Sampel sumber terbuka Thee dapat berfungsi sebagai templat solusi untuk membangun aplikasi pembelajaran mesin berbasis visi Anda sendiri.

Pelajari Lebih Lanjut dari Mitra kami

Beberapa vendor GPU telah memberikan panduan pengguna untuk mendapatkan perangkat keras dan perangkat lunak mereka secara maksimal dengan EFLOW.

• Pelajari cara menjalankan aplikasi Intel OpenVINO™ di EFLOW dengan mengikuti panduan Intel tentang iGPU dengan Azure IoT Edge untuk Linux di Windows (EFLOW) & Toolkit OpenVINO™ dan implementasi referensi.
• Mulai menggunakan aplikasi yang dipercepat CUDA di EFLOW dengan mengikuti Panduan Pengguna EFLOW NVIDIA untuk GPU GeForce/Quadro/RTX.

Catatan

Panduan ini tidak mencakup GPU berbasis DDA seperti NVIDIA T4 atau A2.

Menyelami Teknologi

Pelajari lebih lanjut tentang teknologi passthrough GPU dengan membuka dokumentasi DDA dan posting blog GPU-PV.