Bagikan melalui

Berbagi GPU di perangkat Azure Stack Edge Pro GPU

  • Artikel

Graphics processing unit (GPU) adalah prosesor khusus yang dirancang untuk mempercepat penyajian grafis. GPU dapat memproses banyak potongan data secara bersamaan, menjadikannya berguna untuk pembelajaran mesin, pengeditan video, dan aplikasi game. Selain CPU untuk komputasi tujuan umum, perangkat Azure Stack Edge Pro GPU Anda dapat berisi satu atau dua GPU Nvidia Tesla T4 untuk beban kerja intensif komputasi seperti inferensi perangkat keras yang dipercepat. Untuk informasi selengkapnya, lihat GPU Nvidia Tesla T4.

Tentang berbagi GPU

Banyak pembelajaran mesin atau beban kerja komputasi lainnya mungkin tidak memerlukan GPU khusus. GPU dapat dibagikan dan berbagi GPU di antara beban kerja kontainer atau komputer virtual membantu meningkatkan pemanfaatan GPU tanpa mempengaruhi manfaat kinerja GPU secara signifikan.

Menggunakan GPU dengan komputer virtual

Di perangkat Azure Stack Edge Pro Anda, GPU tidak dapat dibagikan saat menyebarkan beban kerja komputer virtual. GPU hanya dapat dipetakan ke satu komputer virtual. Ini berarti bahwa Anda hanya dapat memiliki satu komputer virtual GPU pada perangkat dengan satu GPU dan dua komputer virtual pada perangkat yang dilengkapi dengan dua GPU. Ada faktor lain yang juga harus dipertimbangkan ketika menggunakan komputer virtual GPU pada perangkat yang memiliki Kubernetes yang sudah dikonfigurasi untuk beban kerja terkontainer. Untuk informasi selengkapnya, lihat komputer virtual GPU dan Kubernetes.

Menggunakan GPU dengan kontainer

Jika Anda menyebarkan beban kerja terkontainer, GPU dapat dibagikan dengan lebih dari satu cara di lapisan perangkat keras dan perangkat lunak. Dengan GPU Tesla T4 di perangkat Azure Stack Edge Pro Anda, kita terbatas pada berbagi perangkat lunak. Di perangkat Anda, dua pendekatan berikut untuk berbagi perangkat lunak GPU digunakan:

  • Pendekatan pertama melibatkan penggunaan variabel lingkungan untuk menentukan jumlah GPU yang dapat dibagikan oleh waktu. Pertimbangkan peringatan berikut saat menggunakan pendekatan ini:

    • Anda dapat menentukan satu atau keduanya atau tidak ada GPU dengan metode ini. Tidak dimungkinkan untuk menentukan penggunaan pecahan.
    • Beberapa modul dapat memetakan ke satu GPU tetapi modul yang sama tidak dapat dipetakan ke lebih dari satu GPU.
    • Dengan output Nvidia SMI, Anda dapat melihat pemanfaatan GPU secara keseluruhan termasuk pemanfaatan memori.

    Untuk informasi selengkapnya, lihat cara Menyebarkan modul IoT Edge yang menggunakan GPU di perangkat Anda.

  • Pendekatan kedua mengharuskan Anda mengaktifkan Layanan Multi-Proses pada GPU Nvidia Anda. MPS adalah layanan runtime yang memungkinkan beberapa proses menggunakan CUDA untuk berjalan bersamaan pada satu GPU bersama. MPS memungkinkan tumpang tindih operasi kernel dan memcopy dari berbagai proses berbeda pada GPU untuk mencapai pemanfaatan maksimum. Untuk informasi selengkapnya, lihat Layanan Multi-Proses.

    Pertimbangkan peringatan berikut saat menggunakan pendekatan ini:

    • MPS memungkinkan Anda menentukan lebih banyak bendera dalam penyebaran GPU.
    • Anda dapat menentukan penggunaan pecahan melalui MPS sehingga membatasi penggunaan setiap aplikasi yang disebarkan pada perangkat. Anda dapat menentukan persentase GPU yang akan digunakan untuk setiap aplikasi di bawah bagian env dari deployment.yaml dengan menambahkan parameter berikut:
    // Example: application wants to limit gpu percentage to 20%

    env:
        - name: CUDA_MPS_ACTIVE_THREAD_PERCENTAGE
            value: "20"

Pemanfaatan GPU

Saat Anda berbagi GPU pada beban kerja terkontainer yang disebarkan pada perangkat Anda, Anda dapat menggunakan Nvidia System Management Interface (nvidia-smi). Nvidia-smi adalah utilitas baris perintah yang membantu Anda mengelola dan memantau perangkat GPU Nvidia. Untuk informasi selengkapnya, lihat Antarmuka Manajemen Sistem Nvidia.

Untuk melihat penggunaan GPU, sambungkan terlebih dahulu ke antarmuka PowerShell perangkat. Jalankan perintah Get-HcsNvidiaSmi dan lihat output Nvidia SMI. Anda juga dapat melihat bagaimana pemanfaatan GPU berubah dengan mengaktifkan MPS lalu menyebarkan beberapa beban kerja pada perangkat. Untuk informasi selengkapnya, lihat Aktifkan Layanan Multi-Proses.

Langkah berikutnya