Was ist Windows ML?

Windows ML ist das einheitliche und leistungsstarke lokale KI-Inferencing-Framework für Windows, das von ONNX-Runtime unterstützt wird. Mit Windows ML können Sie KI-Modelle lokal ausführen und die Ableitung von NPUs, GPUs und CPUs über optionale Ausführungsanbieter beschleunigen, die Windows verwaltet und auf dem neuesten Stand hält. Sie können Modelle von PyTorch, TensorFlow/Keras, TFLite, scikit-learn und anderen Frameworks mit Windows ML verwenden.

Ein Diagramm, das veranschaulicht, wie ein ONNX-Modell Windows ML durchläuft, um anschließend NPUs, GPUs und CPUs zu erreichen.

Hauptvorteile

Windows ML erleichtert die Einführung von KI in jede Windows-App:

  • Ausführen von KI auf dem Gerät – Modelle werden lokal auf der Hardware des Benutzers ausgeführt, Daten privat gehalten, Cloudkosten eliminiert und ohne Internetverbindung funktionieren.
  • Verwenden Sie bereits verwendete Modelle – bringen Sie Modelle von PyTorch, TensorFlow, scikit-learn, Hugging Face und mehr.
  • Hardwarebeschleunigung, die von Windows erleichtert wird – Windows ML ermöglicht ihnen den Zugriff auf IHV-spezifische NPUs, GPUs und CPUs über Ausführungsanbieter, die Windows über Windows Update installiert und auf dem neuesten Stand hält – es ist nicht erforderlich, die Ausführungsanbieter in Ihrer App zu bündeln.
  • Eine Laufzeit, viele Apps – optional Windows ML als gemeinsame Systemkomponente verwenden, sodass Ihre App klein bleibt und alle Apps auf dem Gerät dieselbe up-to-Datumslaufzeit nutzen, anstatt jede App ihre eigene Kopie zu bündeln.
  • Optimale Leistung in der Klasse – Windows ML liefert to-the-Metal-Leistung auf NPUs und GPUs, gleich mit dedizierten SDKs wie TensorRT für RTX oder Qualcomms AI Engine Direct. Die Leistungsergebnisse variieren je nach Hardwarekonfiguration und -modell . Weitere Informationen finden Sie unter Beschleunigung von KI-Modellen für hardwarespezifische Anleitungen.

Warum verwenden Sie Windows ML anstelle von Microsoft ORT?

Windows ML ist die von Windows unterstützte und verwaltete Kopie von ONNX Runtime (ORT), die als systemweite Kopie oder eigenständig verfügbar ist:

  • Gleiche ONNX-APIs – keine Änderungen am vorhandenen ONNX-Runtime-Code
  • Windows-unterstützt – vom Windows-Team unterstützt und verwaltet
  • Umfassende Hardwareunterstützung – wird auf Windows-PCs (x64 und ARM64) und Windows Server mit jeder Hardwarekonfiguration ausgeführt
  • Optionale kleinere App-Größe – wählen Sie frameworkabhängige Bereitstellung aus, und geben Sie die Laufzeit für alle Apps frei, anstatt Ihre eigene Kopie zu bündeln.
  • Optionale evergreen Updates – wählen Sie frameworkabhängige Bereitstellung aus, und Ihre Benutzer erhalten immer die neueste Laufzeit über Windows Update.

Darüber hinaus ermöglicht Windows ML Ihrer App, die neuesten Ausführungsanbieter dynamisch zu beziehen und damit Ihre KI-Modelle zu beschleunigen, ohne die EPs in Ihre App zu integrieren und separate Builds für verschiedene Hardwarekonfigurationen erstellen zu müssen.

Sehen Sie sich die ersten Schritte mit Windows ML an, um es selbst auszuprobieren!

Hardwarebeschleunigung auf NPU, GPU und CPU

Mit Windows ML können Sie auf Ausführungsanbieter zugreifen, die die Ableitung über die drei Siliziumklassen hinweg beschleunigen können, die in modernen Windows-PCs vorhanden sind:

  • NPU – batterieeffiziente, nachhaltige On-Device-Ableitung, mit den leistungsstärksten NPUs, die auf Copilot+ PCs verfügbar sind
  • GPU – Workloads mit hohem Durchsatz wie Bild-, Video- und generative KI, die in der Regel maximale Leistung für diskrete GPUs bieten
  • CPU – universelles Fallback und IHV-optimierte CPU-Beschleunigungen

Informationen zu den vollständigen Silicon-to-EP Mapping-, Treiberanforderungen und EP-Sourcing-Optionen finden Sie unter "Beschleunigen von KI-Modellen".

Systemanforderungen

  • OS: Version von Windows, die Windows App SDK unterstützt
  • Architektur: x64 oder ARM64
  • Hardware: Jede PC-Konfiguration (CPUs, integrierte/diskrete GPUs, NPUs)

Hinweis

Die Unterstützung für CPU und GPU (über DirectML) ist für alle unterstützten Windows-Versionen verfügbar. Hardwareoptimierte Ausführungsanbieter für NPUs und bestimmte GPU-Hardware erfordern Windows 11 Version 24H2 (Build 26100) oder höher. Ausführliche Informationen finden Sie unter Windows ML-Ausführungsanbieter.

Leistungsoptimierung

Die neueste Version von Windows ML arbeitet direkt mit dedizierten Ausführungsanbietern für GPUs und NPUs zusammen und liefert eine direkte Hardware-Leistung, die mit ehemaligen dedizierten SDKs wie TensorRT für RTX, AI Engine Direct und die Extension von Intel für PyTorch vergleichbar ist. Wir haben Windows ML entwickelt, um eine optimale GPU- und NPU-Leistung zu erzielen, ohne dass Ihre App IHV-spezifische SDKs verteilen muss. Die Leistungsergebnisse variieren je nach Hardwarekonfiguration und -modell . Weitere Informationen finden Sie unter Beschleunigung von KI-Modellen für hardwarespezifische Anleitungen.

Konvertieren von Modellen in ONNX

Sie können Modelle aus anderen Formaten in ONNX konvertieren, sodass Sie sie mit Windows ML verwenden können. Weitere Informationen zum Konvertieren von Modellen zum ONNX-Format finden Sie im Foundry Visual Studio Code Toolkit. Weitere Informationen zum Konvertieren von PyTorch-, TensorFlow- und Hugging Face-Modellen in ONNX finden Sie in den ONNX-Runtime-Lernprogrammen .

Modellverteilung

Windows ML bietet flexible Optionen für die Verteilung von KI-Modellen:

  • Freigeben von Modellen in allen Apps – Dynamisches Herunterladen und Freigeben von Modellen über alle Apps von jedem CDN ohne Bündelung großer Dateien
  • Lokale Modelle – Modelldateien direkt in Ihr Anwendungspaket einschließen

Integration in Windows KI-Ökosystem

Windows ML dient als Grundlage für die breitere Windows KI-Plattform:

  • Windows AI-APIs – Integrierte Modelle für allgemeine Aufgaben
  • Foundry Local - Einsatzbereite AI-Modelle
  • Custom-Modelle – Direkter Windows ML-API-Zugriff für erweiterte Szenarien

Bereitstellen von Feedback

Haben Sie ein Problem gefunden oder Vorschläge? Suchen oder Erstellen von Problemen im Windows App SDK GitHub.

Nächste Schritte

  • Last updated on