Kommentar
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
Important
CGC-backend är experimentell, stöds inte för användning i produktionsmiljöer och är ny i den experimentella versionen av Windows ML 2.9.
CGC är den Windows-inbyggda backend som kompilerar en modell till program för en Direct3D 12-enhet och kör dem på det GPU-mål som appen har valt. Den körs endast på GPU:n, utan reservlösning på CPU:n. Att hitta en GPU fastställer inte att CGC stöder dess drivrutin eller en viss modell: en modell som CGC inte kan köra kan inte läsas in med ett fel.
Benefits
- Maskinvaruspecifik acceleration, med inbyggda delade reservlösningar. CGC kompilerar din modell för målhårdvaran med hjälp av kompilatorbackendar från AMD, Intel, NVIDIA och Qualcomm. Delade DirectX-fallback-lösningar håller modeller igång och gör upplevelsen mer konsekvent i maskinvaran. Djup DirectX-integrering lägger till schemaläggning på OS-nivå, resurshantering och debuggability och profilering med PIX.
- Ta med din egen modell, konvertera en gång, kör var som helst. Konvertera din modell en gång till en enda representation, WinML Unified IR, som fungerar bra på stödd maskinvara. Förbered det i förväg (AOT) med Windows ML CLI, eller på enheten, antingen AOT eller just-in-time (JIT), utan att underhålla en separat modell för varje leverantör. För vanliga scenarier som textgenerering och taligenkänning bygger aktivitets-API:erna på högre nivå på Runtime-API:er och CGC, så att du kan köra din modell på bara några rader med kod.
Rekommenderade modeller
CGC är experimentellt. Vi har verifierat följande modeller noggrant. Andra modeller kan laddas, men de kommer sannolikt att misslyckas med HRESULT_FROM_WIN32(ERROR_NOT_SUPPORTED), köra långsamt eller ge olika resultat.
| Typ | Modeller |
|---|---|
| icke LLM | YOLO11 (yolo11n, yolo11s, yolo11m, yolo11l, yolo11x), YOLOv8 (yolov8n, , yolov8myolov8s, yolov8l, yolov8x), CLIP-text, CLIP Vision, ResNet-50, whisper-encoder, , whisper-decoderwhisper-decoder-with-past |
| LLM (GGUF eller SafeTensors) | Llama-3.2-1B-Instruct, Qwen 3.0 0.6B, Gemma 3 1B It, Phi-3.5-mini-instruct, Phi4-14B-instruct, Qwen2.5-0.5B-Instruct, Qwen3.5-0.8B, Qwen3.5-9B och Qwen3.8-27B (endast NVIDIA GPU:er) |
| Taligenkänning (SafeTensors eller ONNX) | Whisper Medium, Whisper tiny, Nemotron 3.5 ASR Streaming 0.6B |
| Beslut (SafeTensors eller ONNX) | Laya |
De modeller som Windows ML-exempel använder är en del av den här listan, så exemplen körs på modeller som stöds. Listan innehåller Qwen2.5-0.5B-Instruct, Whisper tiny och Laya från aktivitetsexemplen och Qwen3.5-modellerna från Task Studio-appen.
Rekommenderad maskinvara
CGC är för närvarande experimentellt och stöder endast GPU:er just nu. Vi har verifierat CGC för olika Windows IHV:er, men för bästa prestanda och support rekommenderar vi att du testar mot NVIDIA GPU:er med de senaste drivrutinerna under den första experimentella versionen.
Sätt att använda CGC backend
| Indataformat | Så här använder du |
|---|---|
| Publicerade vikter som du anger för en uppgift |
SetModel eller CreateDecisionTaskFromModel med en modell som läses in av LoadModelFromPath eller LoadModelFromFile. Windows ML läser modellen och den första sessionen kompilerar de program som hör till modellen. |
| En CGC-artefakt i en pipeline eller en komposition |
LoadModelFromFile eller LoadModelFromBuffer läser in en .oir, .mlirbc, eller .mlir artefakt och AddModelStage eller SetComposition kör den som en CGC-fas. |
| En ONNX-modell som du kör med ONNX Runtime | Använd Windows ML CG EP, WinMLCGExecutionProvider, med ONNX Runtime API. Se Windows ML CG EP (experimentell). |
Runtime-API:er med CGC eller CG EP
Vi rekommenderar Runtime-API:erna (och Task API:erna som bygger på dem) med CGC över CG EP. Runtime-API:erna ger CGC hela modellen och kontroll över placering, tensorer och kompilering, så de är vanligtvis den mer högpresterande sökvägen över tid.
På kort sikt kan CG EP vara snabbare för vissa arbetsbelastningar, särskilt på återställningsvägen, eftersom ONNX Runtime tillämpar grafföroptimeringar innan CG EP tar emot modellen. Dessa optimeringar kan hjälpa eller skada prestanda beroende på arbetsbelastningen, så mät båda sökvägarna på din modell om prestandan är viktig. CG EP är också det smidigaste sättet att prova CGC när du redan har ONNX Runtime-kod.
Kompilera en modell för CGC
Använd IWinMLModelCompiler på ett GPU-mål som inte är bunden till en execution provider. Kompilatorn importerar en ONNX-modell och skriver en av två kompilerade former. Sänkningen sker automatiskt under kompileringen, så du frågar inte efter alternativ för sänkning.
| Form | Filnamnstillägg | Behavior |
|---|---|---|
| Enhetsinriktad (standard) | .oir |
Slutför kompilering för enheten, drivrutinen och den Windows ML-version som kompilerade den. Den läses in snabbast och en annan enhets- eller programvaruversion avvisar den. |
| Hållbar | .mlirbc |
Stoppar innan det maskinvaruspecifika arbetet utförs och slutför det när artefakten läses in, så att den fortsätter att läsas in på olika enheter och efter uppdateringar. |
Namnge artefakten med matchande tillägg så att LoadModelFromFile känner igen den. Detta skiljer sig från kompilering av en ONNX-modell för en körningsprovider, som skapar en EP-kontextmodell.
Cachelagrade kompilerade program
Den första sessionen i en uppgift som använder CGC-serverdelen kompilerar sina program, vilket kan ta flera sekunder. En programcachekatalog behåller dem för senare körningar. För alternativ och avvägningar kring diskutrymme, se Cachelagra kompilerade program.
Diagnostisera ett steg
IWinMLStageExecutionDiagnostics rapporterar arbetet i ett CGC-steg som kompilerade undergrafer, grupperade efter körningsteknik, till exempel D3D12_DRIVER och DIRECTML. Använd PIX för djupare felsökning och profilering.
Distribuera CGC-serverdelen
- Paketet
Microsoft.Windows.AI.MachineLearningberor påMicrosoft.Direct3D.D3D121.620.1, vilket NuGet återställer med det och distribuerarD3D12\D3D12Core.dllbredvid din app, inklusive i .NET-publiceringsutdata. - CGC-modulerna och
DirectML.dlldistribueras bredvid din app för x64 och Arm64. Paket med CGC-backend distribuerar DirectML även närWinMLCopyDirectMLärfalse, eftersom backend kräver det. - CG EP-biblioteket,
WinMLCGEp.dll, distribueras tillsammans med din app med ONNX Runtime. Se Windows ML CG EP (experimentell). - ARM64EC appar får ingen CGC-nyttolast.
- CGC- och direktinläsningsmodulerna gör den inbyggda nyttolasten cirka 110 MB per arkitektur, lite mer än dubbelt så stor som i Windows ML 2.7.