Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Important
Zaplecze CGC jest eksperymentalne, nie jest obsługiwane w środowiskach produkcyjnych i jest nowością w eksperymentalnej wersji Windows ML 2.9.
CGC to natywne dla Windows zaplecze, które kompiluje model do programów dla urządzenia Direct3D 12 i uruchamia je na docelowym GPU wybranym przez aplikację. Działa tylko na GPU, bez awaryjnego przełączenia na CPU. Znalezienie procesora GPU nie oznacza, że CGC obsługuje jego sterownik lub dany model: model, którego CGC nie może uruchomić, nie załaduje się i wyświetli błąd.
Benefits
- Przyspieszanie specyficzne dla sprzętu z wbudowanymi współdzielonymi mechanizmami awaryjnymi. CGC kompiluje model dla docelowego krzemu przy użyciu zapleczy kompilatora od firm AMD, Intel, NVIDIA i Qualcomm. Wspólne mechanizmy awaryjne DirectX utrzymują działanie modeli i sprawiają, że działanie jest bardziej spójne na różnych platformach sprzętowych. Głęboka integracja directX dodaje planowanie na poziomie systemu operacyjnego, zarządzanie zasobami oraz debugowanie i profilowanie z użyciem narzędzia PIX.
- Użyj własnego modelu, przekonwertuj raz, uruchom w dowolnym miejscu. Przekonwertuj model raz na pojedynczą reprezentację, ujednoliconą reprezentację pośrednią WinML IR, która działa dobrze na różnych obsługiwanych platformach sprzętowych. Przygotuj go przed czasem (AOT) przy użyciu interfejsu wiersza polecenia usługi Windows ML lub na urządzeniu , AOT lub just in time (JIT), bez obsługi oddzielnego modelu dla każdego dostawcy. W przypadku typowych scenariuszy, takich jak generowanie tekstu i rozpoznawanie mowy, interfejsy API zadań wyższego poziomu bazują na interfejsach API środowiska uruchomieniowego i protokole CGC, dzięki czemu można uruchomić model w zaledwie kilku wierszach kodu. Modele GGUF i SafeTensors docierają do CGC za pośrednictwem Task APIs.
Zalecane modele
CGC jest eksperymentalna. Dokładnie sprawdziliśmy następujące modele. Inne modele mogą się ładować, ale prawdopodobnie nie będą działać z HRESULT_FROM_WIN32(ERROR_NOT_SUPPORTED), będą działać powoli lub dadzą różne wyniki.
| Rodzaj | Modele |
|---|---|
| Nie-LLM | YOLO11 (yolov8n, yolov8s, yolov8m, yolov8l, yolov8x), YOLOv8 (whisper-encoder, whisper-decoder, yolo11x, yolo11l, yolo11m), CLIP text, CLIP vision, ResNet-50, yolo11s, yolo11n, whisper-decoder-with-past |
| LLM (GGUF lub SafeTensors, za pośrednictwem interfejsów API zadań) | Llama-3.2-1B-Instruct, Qwen 3.0 0.6B, Gemma 3 1B It, Phi-3.5-mini-instruct, Phi4-14B-instruct, Qwen2.5-0.5B-Instruct, Qwen3.5-0.8B, Qwen3.5-9B i Qwen3.8-27B (tylko GPU NVIDIA) |
| Rozpoznawanie mowy (SafeTensors za pośrednictwem interfejsów API zadań lub ONNX) | Whisper Medium, Whisper tiny, Nemotron 3.5 ASR Streaming 0.6B |
| Decyzja (SafeTensors, za pośrednictwem interfejsów API zadań) | Laya |
Important
Modele GGUF i SafeTensors działają tylko na platformie CGC za pośrednictwem Task APIs: przekazujesz załadowany model do zadania za pomocą SetModel (lub CreateDecisionTaskFromModel). Nie można ich bezpośrednio przekazywać do interfejsów Runtime API, a potok Runtime działa w CGC tylko z artefaktami CGC. Zobacz Wybieranie sposobu uruchamiania modelu przez zadanie.
Modele używane przez przykłady Windows ML są częścią tej listy, więc przykłady są uruchamiane na obsługiwanych modelach. Lista zawiera modele Qwen2.5-0.5B-Instruct, Whisper tiny i Laya z przykładów task oraz modele Qwen3.5 z aplikacji Task Studio.
Zalecany sprzęt
CGC jest obecnie eksperymentalna i obsługuje obecnie tylko GPU. Zweryfikowaliśmy CGC u różnych producentów IHV dla systemu Windows, ale w celu uzyskania najlepszej wydajności i obsługi zalecamy testowanie na układach GPU NVIDIA z najnowszymi sterownikami na początku eksperymentalnej wersji.
Sposoby korzystania z backendu CGC
| Format danych wejściowych | Sposób użycia |
|---|---|
| Opublikowane wagi (folder punktu kontrolnego SafeTensors lub plik GGUF) określone dla zadania | Tylko interfejsy API dla zadań. Wywołaj SetModel lub LoadModelFromPath przy użyciu modelu załadowanego przez LoadModelFromFile lub CreateDecisionTaskFromModel. Windows ML odczytuje model, a pierwsza sesja kompiluje programy modelu. Nie można przekazać tych modeli do potoku Runtime i pobrać pakietu CGC. |
| Artefakt CGC w potoku lub kompozycji | Interfejsy API czasu wykonywania.
LoadModelFromFile lub LoadModelFromBuffer ładuje artefakt .oir, AddModelStage lub SetComposition, a .mlirbc lub .mlir uruchamiają go jako etap CGC. |
| Model ONNX uruchamiany za pomocą ONNX Runtime | Interfejsy API ONNX Runtime. Użyj Windows ML CG EP, WinMLCGExecutionProviderz interfejsem API środowiska uruchomieniowego ONNX. Zobacz Windows ML CG EP (eksperymentalne). |
Interfejsy API środowiska uruchomieniowego z CGC lub CG EP
Zalecamy interfejsy API środowiska uruchomieniowego (i interfejsy API zadań utworzone na nich) z CGC zamiast CG EP. Interfejsy API środowiska uruchomieniowego zapewniają CGC cały model i kontrolę nad umieszczaniem, tensorami i kompilacją, dzięki czemu na ogół są one bardziej wydajną ścieżką w czasie.
W krótkim okresie CG EP może być szybszy w przypadku niektórych obciążeń, szczególnie na ścieżce rezerwowej, ponieważ środowisko uruchomieniowe ONNX stosuje optymalizacje wstępne grafu przed odebraniem modelu przez CG EP. Te optymalizacje mogą pomóc lub zaszkodzić wydajności w zależności od obciążenia, więc zmierz obie ścieżki w modelu, jeśli wydajność ma znaczenie. CG EP jest również łatwiejszym sposobem na wypróbowanie CGC, gdy masz już kod ONNX Runtime.
Kompilowanie modelu dla CGC
Użyj IWinMLModelCompiler na obiekcie docelowym GPU, który nie jest przypięty do dostawcy wykonywania. Kompilator importuje model ONNX i zapisuje jedną z dwóch skompilowanych postaci. Lowering kompilacji jest automatyczny, więc nie pytasz o opcje loweringu.
| Form | Rozszerzenie pliku | Behavior |
|---|---|---|
| Docelowe urządzenie (domyślne) | .oir |
Kończy kompilację dla urządzenia, sterownika i wersji Windows ML, w której ją skompilowano. Ładuje się najszybciej, a inne urządzenie lub wersja oprogramowania go odrzuca. |
| Trwały | .mlirbc |
Zatrzymuje się przed pracą specyficzną dla sprzętu i kończy ją po załadowaniu artefaktu, dzięki czemu artefakt nadal się ładuje na różnych urządzeniach i po aktualizacjach. |
Nadaj artefaktowi nazwę z pasującym rozszerzeniem, aby LoadModelFromFile go rozpoznał. Różni się to od kompilowania modelu ONNX dla execution provider, który tworzy model kontekstu EP.
Buforowanie skompilowanych programów
Pierwsza sesja zadania korzystającego z zaplecza CGC kompiluje swoje programy, co może potrwać kilka sekund. Katalog pamięci podręcznej programu przechowuje je dla kolejnych uruchomień. Aby uzyskać informacje o opcjach i kompromisach dotyczących miejsca na dysku, zobacz Cache compiled programs.
Diagnozowanie fazy
IWinMLStageExecutionDiagnostics raportuje pracę etapu CGC jako skompilowane podgrafy, pogrupowane według technologii wykonywania, takich jak D3D12_DRIVER i DIRECTML. Aby uzyskać dokładniejsze debugowanie i profilowanie, użyj narzędzia PIX.
Wdróż zaplecze CGC
- Pakiet
Microsoft.Windows.AI.MachineLearningzależy odMicrosoft.Direct3D.D3D12w wersji 1.620.1, którą NuGet przywraca wraz z nim, i umieszczaD3D12\D3D12Core.dllobok aplikacji, w tym w danych wyjściowych publikowania .NET. - Moduły CGC i
DirectML.dllsą wdrażane obok aplikacji dla architektur x64 i Arm64. Pakiety z zapleczem CGC wdrażają składnik DirectML nawet wtedy, gdyWinMLCopyDirectMLjestfalse, ponieważ zaplecze wymaga go. - Biblioteka CG EP,
WinMLCGEp.dll, jest wdrażana obok aplikacji wraz z ONNX Runtime. Zobacz Windows ML CG EP (eksperymentalne). - Aplikacje ARM64EC nie otrzymują pakietu CGC.
- Moduły CGC i moduły Task bezpośredniego ładowania sprawiają, że natywny ładunek wynosi około 110 MB na architekturę, czyli jest nieco ponad dwukrotnie większy niż w Windows ML 2.7.