CGC-backend i Windows ML

Important

CGC-backend är experimentell, stöds inte för användning i produktionsmiljöer och är ny i den experimentella versionen av Windows ML 2.9.

CGC är den Windows-inbyggda backend som kompilerar en modell till program för en Direct3D 12-enhet och kör dem på det GPU-mål som appen har valt. Den körs endast på GPU:n, utan reservlösning på CPU:n. Att hitta en GPU fastställer inte att CGC stöder dess drivrutin eller en viss modell: en modell som CGC inte kan köra kan inte läsas in med ett fel.

Benefits

  • Maskinvaruspecifik acceleration, med inbyggda delade reservlösningar. CGC kompilerar din modell för målhårdvaran med hjälp av kompilatorbackendar från AMD, Intel, NVIDIA och Qualcomm. Delade DirectX-fallback-lösningar håller modeller igång och gör upplevelsen mer konsekvent i maskinvaran. Djup DirectX-integrering lägger till schemaläggning på OS-nivå, resurshantering och debuggability och profilering med PIX.
  • Ta med din egen modell, konvertera en gång, kör var som helst. Konvertera din modell en gång till en enda representation, WinML Unified IR, som fungerar bra på stödd maskinvara. Förbered det i förväg (AOT) med Windows ML CLI, eller på enheten, antingen AOT eller just-in-time (JIT), utan att underhålla en separat modell för varje leverantör. För vanliga scenarier som textgenerering och taligenkänning bygger aktivitets-API:erna på högre nivå på Runtime-API:er och CGC, så att du kan köra din modell på bara några rader med kod.

CGC är experimentellt. Vi har verifierat följande modeller noggrant. Andra modeller kan laddas, men de kommer sannolikt att misslyckas med HRESULT_FROM_WIN32(ERROR_NOT_SUPPORTED), köra långsamt eller ge olika resultat.

Typ Modeller
icke LLM YOLO11 (yolo11n, yolo11s, yolo11m, yolo11l, yolo11x), YOLOv8 (yolov8n, , yolov8myolov8s, yolov8l, yolov8x), CLIP-text, CLIP Vision, ResNet-50, whisper-encoder, , whisper-decoderwhisper-decoder-with-past
LLM (GGUF eller SafeTensors) Llama-3.2-1B-Instruct, Qwen 3.0 0.6B, Gemma 3 1B It, Phi-3.5-mini-instruct, Phi4-14B-instruct, Qwen2.5-0.5B-Instruct, Qwen3.5-0.8B, Qwen3.5-9B och Qwen3.8-27B (endast NVIDIA GPU:er)
Taligenkänning (SafeTensors eller ONNX) Whisper Medium, Whisper tiny, Nemotron 3.5 ASR Streaming 0.6B
Beslut (SafeTensors eller ONNX) Laya

De modeller som Windows ML-exempel använder är en del av den här listan, så exemplen körs på modeller som stöds. Listan innehåller Qwen2.5-0.5B-Instruct, Whisper tiny och Laya från aktivitetsexemplen och Qwen3.5-modellerna från Task Studio-appen.

CGC är för närvarande experimentellt och stöder endast GPU:er just nu. Vi har verifierat CGC för olika Windows IHV:er, men för bästa prestanda och support rekommenderar vi att du testar mot NVIDIA GPU:er med de senaste drivrutinerna under den första experimentella versionen.

Sätt att använda CGC backend

Indataformat Så här använder du
Publicerade vikter som du anger för en uppgift SetModel eller CreateDecisionTaskFromModel med en modell som läses in av LoadModelFromPath eller LoadModelFromFile. Windows ML läser modellen och den första sessionen kompilerar de program som hör till modellen.
En CGC-artefakt i en pipeline eller en komposition LoadModelFromFile eller LoadModelFromBuffer läser in en .oir, .mlirbc, eller .mlir artefakt och AddModelStage eller SetComposition kör den som en CGC-fas.
En ONNX-modell som du kör med ONNX Runtime Använd Windows ML CG EP, WinMLCGExecutionProvider, med ONNX Runtime API. Se Windows ML CG EP (experimentell).

Runtime-API:er med CGC eller CG EP

Vi rekommenderar Runtime-API:erna (och Task API:erna som bygger på dem) med CGC över CG EP. Runtime-API:erna ger CGC hela modellen och kontroll över placering, tensorer och kompilering, så de är vanligtvis den mer högpresterande sökvägen över tid.

På kort sikt kan CG EP vara snabbare för vissa arbetsbelastningar, särskilt på återställningsvägen, eftersom ONNX Runtime tillämpar grafföroptimeringar innan CG EP tar emot modellen. Dessa optimeringar kan hjälpa eller skada prestanda beroende på arbetsbelastningen, så mät båda sökvägarna på din modell om prestandan är viktig. CG EP är också det smidigaste sättet att prova CGC när du redan har ONNX Runtime-kod.

Kompilera en modell för CGC

Använd IWinMLModelCompiler på ett GPU-mål som inte är bunden till en execution provider. Kompilatorn importerar en ONNX-modell och skriver en av två kompilerade former. Sänkningen sker automatiskt under kompileringen, så du frågar inte efter alternativ för sänkning.

Form Filnamnstillägg Behavior
Enhetsinriktad (standard) .oir Slutför kompilering för enheten, drivrutinen och den Windows ML-version som kompilerade den. Den läses in snabbast och en annan enhets- eller programvaruversion avvisar den.
Hållbar .mlirbc Stoppar innan det maskinvaruspecifika arbetet utförs och slutför det när artefakten läses in, så att den fortsätter att läsas in på olika enheter och efter uppdateringar.

Namnge artefakten med matchande tillägg så att LoadModelFromFile känner igen den. Detta skiljer sig från kompilering av en ONNX-modell för en körningsprovider, som skapar en EP-kontextmodell.

Cachelagrade kompilerade program

Den första sessionen i en uppgift som använder CGC-serverdelen kompilerar sina program, vilket kan ta flera sekunder. En programcachekatalog behåller dem för senare körningar. För alternativ och avvägningar kring diskutrymme, se Cachelagra kompilerade program.

Diagnostisera ett steg

IWinMLStageExecutionDiagnostics rapporterar arbetet i ett CGC-steg som kompilerade undergrafer, grupperade efter körningsteknik, till exempel D3D12_DRIVER och DIRECTML. Använd PIX för djupare felsökning och profilering.

Distribuera CGC-serverdelen

  • Paketet Microsoft.Windows.AI.MachineLearning beror på Microsoft.Direct3D.D3D12 1.620.1, vilket NuGet återställer med det och distribuerar D3D12\D3D12Core.dll bredvid din app, inklusive i .NET-publiceringsutdata.
  • CGC-modulerna och DirectML.dll distribueras bredvid din app för x64 och Arm64. Paket med CGC-backend distribuerar DirectML även när WinMLCopyDirectML är false, eftersom backend kräver det.
  • CG EP-biblioteket, WinMLCGEp.dll, distribueras tillsammans med din app med ONNX Runtime. Se Windows ML CG EP (experimentell).
  • ARM64EC appar får ingen CGC-nyttolast.
  • CGC- och direktinläsningsmodulerna gör den inbyggda nyttolasten cirka 110 MB per arkitektur, lite mer än dubbelt så stor som i Windows ML 2.7.

Se även