Percepatan GPU bagi Azure IoT Edge untuk Linux pada Windows

Berlaku untuk: IoT Edge 1.5

Penting

IoT Edge 1.5 LTS adalah rilis yang didukung. IoT Edge 1.4 LTS adalah akhir masa pakai per 12 November 2024. Jika Anda menggunakan rilis sebelumnya, lihat Memperbarui IoT Edge.

GPU adalah pilihan populer untuk komputasi kecerdasan buatan karena mereka menawarkan kemampuan pemrosesan paralel dan sering menjalankan inferensi berbasis visi lebih cepat daripada CPU. Untuk mendukung aplikasi kecerdasan buatan dan pembelajaran mesin, Azure IoT Edge untuk Linux di Windows (EFLOW) mengekspos GPU ke modul Linux komputer virtual.

Azure IoT Edge untuk Linux pada Windows mendukung beberapa teknologi passthrough GPU, termasuk:

• Direct Device Assignment (DDA) - Core GPU dialokasikan baik ke mesin virtual Linux atau host.

• GPU-Paravirtualization (GPU-PV) - GPU dibagi antara mesin virtual Linux dan host.

Anda harus memilih metode passthrough yang sesuai selama penyebaran agar sesuai dengan kemampuan perangkat keras GPU perangkat Anda yang didukung.

Penting

Fitur-fitur ini dapat mencakup komponen yang dikembangkan dan dimiliki oleh NVIDIA Corporation atau pemberi lisensinya. Penggunaan komponen diatur oleh Perjanjian Lisensi Penguna Akhir NVIDIA yang terletak di situs web NVIDIA.

Dengan menggunakan fitur akselerasi GPU, Anda menerima dan menyetujui ketentuan Perjanjian Lisensi End-User NVIDIA.

Prasyarat

Fitur akselerasi GPU Azure IoT Edge untuk Linux di Windows saat ini mendukung serangkaian perangkat keras GPU tertentu. Selain itu, menggunakan fitur ini dapat memerlukan versi Windows tertentu.

GPU yang didukung dan versi Windows yang diperlukan adalah:

GPU yang didukung	Jenis Passthrough GPU	Versi Windows yang Didukung
NVIDIA T4, A2	DDA	Windows Server 2019 Windows Server 2022 Windows 10/11 (Pro, Enterprise, IoT Enterprise)
NVIDIA GeForce, Quadro, RTX	GPU-PV	Windows 10/11 (Pro, Enterprise, IoT Enterprise)
Intel iGPU	GPU-PV	Windows 10/11 (Pro, Enterprise, IoT Enterprise)

Penting

GPU-PV dukungan dapat dibatasi pada generasi prosesor atau arsitektur GPU tertentu, seperti yang ditentukan oleh vendor GPU. Untuk informasi selengkapnya, lihat Dokumentasi driver iGPU Intel atau CUDA NVIDIA untuk Dokumentasi WSL.

Pengguna Windows Server 2019 harus menggunakan build minimum 17763 dengan semua pembaruan kumulatif saat ini terinstal.

Pengguna Windows 10 harus menggunakan build pembaruan November 2021 19044.1620 atau yang lebih tinggi. Setelah penginstalan, periksa versi build Anda dengan menjalankan winver di prompt perintah.

Passthrough GPU tidak didukung dengan virtualisasi berlapis, seperti menjalankan EFLOW di mesin virtual Windows.

Penyiapan dan penginstalan sistem

Bagian berikut berisi informasi penyiapan dan penginstalan, sesuai dengan GPU Anda.

GPU NVIDIA T4/A2

Untuk GPU T4/A2, Microsoft merekomendasikan penginstalan driver mitigasi perangkat dari vendor GPU Anda. Meskipun opsional, menginstal driver mitigasi dapat meningkatkan keamanan penyebaran Anda. Untuk mengetahui informasi selengkapnya, lihat Menyebarkan perangkat grafis menggunakan penugasan perangkat langsung.

Peringatan

Mengaktifkan penyalinan langsung perangkat keras dapat meningkatkan risiko keamanan. Microsoft menyarankan driver mitigasi perangkat dari vendor GPU Anda, bila dapat diterapkan. Untuk informasi selengkapnya, lihat Menyebarkan perangkat grafis menggunakan penugasan perangkat terpisah.

GPU NVIDIA GeForce/Quadro/RTX

Untuk GPU NVIDIA GeForce/Quadro/RTX, unduh dan instal driver berkemampuan NVIDIA CUDA untuk Subsistem Windows untuk Linux (WSL) untuk digunakan dengan alur kerja CUDA ML Yang ada. Awalnya dikembangkan untuk WSL, CUDA untuk driver WSL juga digunakan dengan Azure IoT Edge untuk Linux di Windows.

Pengguna Windows 10 juga harus menginstal WSL karena beberapa pustaka dibagikan antara WSL dan Azure IoT Edge untuk Linux di Windows.

Intel iGPU

Untuk Intel iGPU, unduh dan instal Intel Graphics Driver dengan dukungan GPU WSL.

Pengguna Windows 10 juga harus menginstal WSL karena beberapa pustaka dibagikan antara WSL dan Azure IoT Edge untuk Linux di Windows.

Mengaktifkan akselerasi GPU di Azure IoT Edge Linux Anda pada penyebaran Windows

Setelah Anda menyelesaikan penyiapan sistem, mulailah membuat penyebaran Azure IoT Edge untuk Linux di Windows. Selama proses ini, aktifkan dukungan GPU sebagai bagian dari penyebaran EFLOW.

Misalnya, perintah ini membuat komputer virtual berkemampuan GPU dengan GPU NVIDIA A2 atau kartu Intel Iris Xe Graphics.

#Deploys EFLOW with NVIDIA A2 assigned to the EFLOW VM
Deploy-Eflow -gpuPassthroughType DirectDeviceAssignment -gpuCount 1 -gpuName "NVIDIA A2"

#Deploys EFLOW with Intel(R) Iris(R) Xe Graphics assigned to the EFLOW VM
Deploy-Eflow -gpuPassthroughType ParaVirtualization -gpuCount 1 -gpuName "Intel(R) Iris(R) Xe Graphics"

Untuk menemukan nama GPU Anda, jalankan perintah ini atau cari Adaptor tampilan di Device Manager.

(Get-WmiObject win32_VideoController).caption

Setelah Anda menyelesaikan penginstalan, sebarkan dan jalankan modul Linux yang dipercepat GPU melalui Azure IoT Edge untuk Linux di Windows.

Mengonfigurasi akselerasi GPU di Azure IoT Edge Linux yang ada pada penyebaran Windows

Tetapkan GPU pada saat penyebaran untuk pengalaman yang paling mudah. Untuk mengaktifkan atau menonaktifkan GPU setelah penyebaran, gunakan set-eflowvm perintah . Saat Anda menggunakan set-eflowvm, parameter default digunakan untuk argumen apa pun yang tidak Anda tentukan. Contohnya,

# Deploys EFLOW without a GPU assigned to the EFLOW VM
Deploy-Eflow -cpuCount 4 -memoryInMB 16384

# Assigns NVIDIA A2 GPU to the existing deployment (cpu and memory must still be specified, or they're set to the default values)
Set-EflowVM -cpuCount 4 -memoryInMB 16384 -gpuName "NVIDIA A2" -gpuPassthroughType DirectDeviceAssignment -gpuCount 1

# Reduces the cpuCount and memory (GPU must still be specified, or the GPU is removed)
Set-EflowVM -cpuCount 2 -memoryInMB 4096 -gpuName "NVIDIA A2" -gpuPassthroughType DirectDeviceAssignment -gpuCount 1

# Removes NVIDIA A2 GPU from the existing deployment
Set-EflowVM -cpuCount 2 -memoryInMB 4096

Langkah berikutnya

• Coba sampel GPU dari sampel EFLOW. Sampel ini menunjukkan skenario manufaktur dan ritel umum seperti deteksi cacat, keselamatan pekerja, dan manajemen inventaris. Sampel sumber terbuka ini dapat menjadi templat solusi untuk membangun aplikasi pembelajaran mesin berbasis visi Anda sendiri.

• Pelajari selengkapnya tentang teknologi passthrough GPU dalam dokumentasi DDA dan posting blogGPU-PV.

Beberapa vendor GPU menyediakan panduan pengguna untuk mendapatkan hasil maksimal dari perangkat keras dan perangkat lunak mereka dengan EFLOW:

• Pelajari cara menjalankan aplikasi Intel OpenVINO™ di EFLOW dengan mengikuti panduan Intel tentang iGPU dengan Azure IoT Edge untuk Linux di Windows (EFLOW) & Toolkit OpenVINO™ dan implementasi referensi.
• Mulai menggunakan aplikasi yang dipercepat CUDA di EFLOW dengan mengikuti Panduan Pengguna EFLOW NVIDIA untuk GPU GeForce/Quadro/RTX. Panduan ini tidak mencakup GPU berbasis DDA seperti NVIDIA T4 atau A2.