Freigeben über

Was ist Windows ML?

mit Windows Machine Learning (ML) können C#-, C++/WinRT-, C/C++- und Python Entwickler ONNX AI-Modelle lokal auf Windows PCs über die ONNX Runtime mit der automatischen Ausführungsanbieterverwaltung für verschiedene Hardware (CPUs, GPUs, NPUs) ausführen. Sie können Modelle von PyTorch, Tensorflow/Keras, TFLite, scikit-learn und anderen Frameworks mit ONNX-Runtime verwenden.

Ein Diagramm, das veranschaulicht, wie ein ONNX-Modell Windows ML durchläuft, um anschließend NPUs, GPUs und CPUs zu erreichen.

Wenn Sie mit der ONNX-Runtime noch nicht vertraut sind, empfehlen wir, die Dokumente ONNX-Runtime zu lesen. Kurz gesagt, Windows ML bietet eine freigegebene Windows-breite Kopie der ONNX-Runtime sowie die Möglichkeit, Ausführungsanbieter (EPs) dynamisch herunterzuladen.

Hauptvorteile

  • Freigegebene ONNX-Runtime – Optionale systemweite Laufzeit anstatt eine eigene zu bündeln, um die App-Größe zu verringern
  • Dynamisches Abrufen der neuesten EPs – Laden Sie die neuesten hardwarespezifischen Ausführungsanbieter mit einem API-Aufruf herunter.
  • Kleinere App-Downloads/Installationen – Sie müssen keine großen EPs und die ONNX-Runtime in Ihrer App tragen.
  • Umfassende Hardwareunterstützung – Läuft auf Windows-PCs (x64 und ARM64) und Windows Server mit jeder Hardwarekonfiguration

Systemanforderungen

  • OS: Version von Windows, die Windows App SDK unterstützt
  • Architektur: x64 oder ARM64
  • Hardware: Jede PC-Konfiguration (CPUs, integrierte/diskrete GPUs, NPUs)

Hinweis

Die Unterstützung für CPU und GPU (über DirectML) ist für alle unterstützten Windows-Versionen verfügbar. Anbieteroptimierte Ausführungsanbieter für NPUs und bestimmte GPU-Hardware erfordern Windows 11 Version 24H2 (Build 26100) oder höher. Ausführliche Informationen finden Sie unter "Unterstützte Ausführungsanbieter".

Was ist ein Ausführungsanbieter?

Ein Ausführungsanbieter (EP) ist eine Komponente, die hardwarespezifische Optimierungen für Machine Learning(ML)-Vorgänge ermöglicht. Ausführungsanbieter abstrahieren verschiedene Recheneinheiten (CPU, GPU, spezialisierte Beschleuniger) und stellen eine einheitliche Schnittstelle für die Grafikpartitionierung, die Kernelregistrierung und die Operatorausführung bereit. Weitere Informationen finden Sie in den ONNX-Runtime-Dokumenten.

Sie können die Liste der EPs sehen, die Windows ML hier unterstützt.

Funktionsweise

Windows ML enthält eine Kopie der ONNX Runtime und ermöglicht es Ihnen, anbieterspezifische Ausführungsanbieter (EPs) dynamisch herunterzuladen, sodass Ihre Modellinferenz auf die Vielfalt von CPUs, GPUs und NPUs im Windows-Ökosystem optimiert werden kann.

Übernahme des Ausführungsanbieters:

  1. Hardware-Erkennung – Windows ML identifiziert kompatible EPs
  2. EP-Download – Aufrufen von APIs zum Herunterladen kompatibler EPs
  3. Bereit zur Ausführung – Ihre App kann KI-Modelle mit EPs beschleunigen

Dadurch wird die Notwendigkeit beseitigt:

  • Bündelung von Ausführungsdienstleistern für spezifische Hardwarehersteller
  • Erstellen separater App-Builds für unterschiedliche Ausführungsanbieter
  • Manuelles Verarbeiten von Aktualisierungen des Ausführungsdienstleisters

Hinweis

Sie sind weiterhin für die Optimierung Ihrer Modelle für unterschiedliche Hardware verantwortlich. Windows ML verarbeitet die Verteilung des Ausführungsanbieters, nicht die Modelloptimierung. Weitere Informationen zur Optimierung finden Sie im Foundry Toolkit und in den ONNX-Runtime-Lernprogrammen .

Leistungsoptimierung

Die neueste Version von Windows ML arbeitet direkt mit dedizierten Ausführungsanbietern für GPUs und NPUs zusammen und liefert eine direkte Hardware-Leistung, die mit ehemaligen dedizierten SDKs wie TensorRT für RTX, AI Engine Direct und die Extension von Intel für PyTorch vergleichbar ist. Wir haben Windows ML entwickelt, um eine bestmögliche GPU- und NPU-Leistung zu bieten, während die Vorteile einer einmalig zu erstellenden und überall lauffähigen Lösung erhalten bleiben, wie sie die vorherige DirectML-basierte Lösung bot.

Verwenden von Ausführungsanbietern mit Windows ML

Die Windows ML-Runtime bietet eine flexible Möglichkeit für den Zugriff auf Machine Learning(ML)-Ausführungsanbieter (EPs), die die ML-Modellausleitung auf verschiedene Hardwarekonfigurationen optimieren können. Diese EPs werden als separate Pakete verteilt, die unabhängig vom Betriebssystem aktualisiert werden können. Weitere Informationen zum dynamischen Herunterladen und Installieren von EPs finden Sie in den Dokumentationen zu Installationsausführungsanbietern .

Konvertieren von Modellen in ONNX

Sie können Modelle aus anderen Formaten in ONNX konvertieren, sodass Sie sie mit Windows ML verwenden können. Weitere Informationen zum Konvertieren von Modellen zum ONNX-Format finden Sie im Foundry Visual Studio Code Toolkit. Weitere Informationen zum Konvertieren von PyTorch-, TensorFlow- und Hugging Face-Modellen in ONNX finden Sie in den ONNX-Runtime-Lernprogrammen .

Modellverwaltung

Windows ML bietet flexible Optionen für die Verwaltung von KI-Modellen:

  • Modellkatalog – Dynamisches Herunterladen von Modellen aus Onlinekatalogen ohne Bündelung großer Dateien
  • Lokale Modelle – Modelldateien direkt in Ihr Anwendungspaket einschließen

Integration in Windows KI-Ökosystem

Windows ML dient als Grundlage für die breitere Windows KI-Plattform:

  • Windows AI-APIs – Integrierte Modelle für allgemeine Aufgaben
  • Foundry Local - Einsatzbereite AI-Modelle
  • Custom-Modelle – Direkter Windows ML-API-Zugriff für erweiterte Szenarien

Bereitstellen von Feedback

Haben Sie ein Problem gefunden oder Vorschläge? Suchen oder Erstellen von Problemen im Windows App SDK GitHub.

Nächste Schritte

  • Last updated on