Megosztás a következőn keresztül:

GPU-megosztás az Azure Stack Edge Pro GPU-eszközön

  • Cikk

A grafikus feldolgozó egység (GPU) egy speciális processzor, amelyet a grafikus megjelenítés felgyorsítására terveztek. A GPU-k egyszerre számos adatot képesek feldolgozni, így azok hasznosak lehetnek a gépi tanuláshoz, a videószerkesztéshez és a játékalkalmazásokhoz. Az általános célú számításhoz szükséges CPU-k mellett az Azure Stack Edge Pro GPU-eszközei egy vagy két Nvidia Tesla T4 GPU-t is tartalmazhatnak a nagy számítási igényű számítási feladatokhoz, például a hardveres gyorsított következtetéshez. További információ: Nvidia Tesla T4 GPU.

Tudnivalók a GPU-megosztásról

Előfordulhat, hogy sok gépi tanuláshoz vagy más számítási feladathoz nincs szükség dedikált GPU-ra. A GPU-k megoszthatók és megoszthatók a gpu-k között a tárolóalapú vagy virtuálisgép-számítási feladatok között, így anélkül növelhetik a GPU-kihasználtságot, hogy jelentősen befolyásolnák a GPU teljesítménybeli előnyeit.

GPU használata virtuális gépekkel

Az Azure Stack Edge Pro-eszközön a GPU nem osztható meg virtuálisgép-számítási feladatok telepítésekor. A GPU-k csak egy virtuális gépre képezhetők le. Ez azt jelenti, hogy egy GPU-val rendelkező eszközön csak egy GPU-val és két virtuális géppel rendelkezhet egy olyan eszközön, amely két GPU-val rendelkezik. Más tényezőket is figyelembe kell venni, amikor GPU-beli virtuális gépeket használ egy olyan eszközön, amelyen a Kubernetes tárolóalapú számítási feladatokhoz van konfigurálva. További információ: GPU virtuális gépek és Kubernetes.

GPU használata tárolókkal

Tárolóalapú számítási feladatok üzembe helyezésekor a GPU több módon is megosztható a hardver- és szoftverrétegen. Az Azure Stack Edge Pro-eszközön található Tesla T4 GPU-val a szoftvermegosztásra korlátozódunk. Az eszközön a GPU-k szoftvermegosztásának alábbi két módszere használható:

  • Az első megközelítés környezeti változók használatával határozza meg az időmegosztásra használható GPU-k számát. A megközelítés használatakor vegye figyelembe a következő kifogásokat:

    • Ezzel a módszerrel megadhat egy vagy mindkettőt, vagy nem adhat meg GPU-kat. A törthasználat megadása nem lehetséges.
    • Több modul is leképezhető egy GPU-ra, de ugyanazt a modult nem lehet egynél több GPU-ra leképezni.
    • Az Nvidia SMI kimenetével láthatja az általános GPU-kihasználtságot, beleértve a memóriahasználatot is.

    További információkért tekintse meg, hogyan helyezhet üzembe GPU-t használó IoT Edge-modult az eszközön.

  • A második megközelítéshez engedélyeznie kell a többfolyamatos szolgáltatást az Nvidia GPU-ján. Az MPS egy futtatókörnyezeti szolgáltatás, amely lehetővé teszi, hogy a CUDA-t használó folyamatok egyidejűleg fussanak egyetlen megosztott GPU-n. Az MPS lehetővé teszi a gpu különböző folyamatainak kernel- és memcopyműveleteinek átfedését a maximális kihasználtság elérése érdekében. További információ: Multi-Process Service.

    A megközelítés használatakor vegye figyelembe a következő kifogásokat:

    • Az MPS lehetővé teszi további jelölők megadását a GPU-telepítésben.
    • Az MPS-en keresztül megadhatja a törthasználatot, ezáltal korlátozva az eszközön üzembe helyezett alkalmazások használatát. A következő paraméter hozzáadásával megadhatja az egyes alkalmazásokhoz használandó GPU-százalékot a deployment.yaml szakasz alattenv:
    // Example: application wants to limit gpu percentage to 20%

    env:
        - name: CUDA_MPS_ACTIVE_THREAD_PERCENTAGE
            value: "20"

GPU-kihasználtság

Ha az eszközön üzembe helyezett tárolóalapú számítási feladatokon osztja meg a GPU-t, használhatja az Nvidia rendszerfelügyeleti felületét (nvidia-smi). Az Nvidia-smi egy parancssori segédprogram, amely segít az Nvidia GPU-eszközök kezelésében és monitorozásában. További információ: Nvidia System Management Interface.

A GPU-használat megtekintéséhez először csatlakozzon az eszköz PowerShell-felületéhez. Futtassa a Get-HcsNvidiaSmi parancsot, és tekintse meg az Nvidia SMI kimenetét. Azt is megtekintheti, hogyan változik a GPU-kihasználtság az MPS engedélyezésével, majd több számítási feladat üzembe helyezésével az eszközön. További információ: Többfolyamatos szolgáltatás engedélyezése.

Következő lépések