Freigeben über

Was ist Windows ML?

Windows Machine Learning (ML) ermöglicht C#-, C++- und Python-Entwicklern die lokale Ausführung von ONNX-KI-Modellen auf Windows-PCs über die ONNX-Runtime mit der automatischen Ausführungsanbieterverwaltung für unterschiedliche Hardware (CPUs, GPUs, NPUs). ONNX Runtime kann mit Modellen von PyTorch, Tensorflow/Keras, TFLite, scikit-learn und anderen Frameworks verwendet werden.

Ein Diagramm, das ein ONNX-Modell veranschaulicht, das Windows ML durchläuft, um dann NPUs, GPUs und CPUs zu erreichen.

Wenn Sie mit der ONNX-Runtime noch nicht vertraut sind, empfehlen wir, die ONNX-Runtime-Dokumente zu lesen. Kurz gesagt, Windows ML bietet eine freigegebene windowsweite Kopie der ONNX-Runtime sowie die Möglichkeit, Ausführungsanbieter (EPs) dynamisch herunterzuladen.

Hauptvorteile

  • Dynamisches Abrufen der neuesten EPs – Automatisches Herunterladen und Verwalten der neuesten hardwarespezifischen Ausführungsanbieter
  • Freigegebene ONNX-Runtime – Verwendet systemweite Laufzeit, anstatt ihre eigene zu bündeln, wodurch die App-Größe reduziert wird.
  • Kleinere Downloads/Installationen – Sie müssen keine großen EPs und die ONNX-Runtime in Ihrer App tragen.
  • Umfassende Hardwareunterstützung – Wird auf allen Windows 11-PCs (x64 und ARM64) mit jeder Hardwarekonfiguration ausgeführt

Systemanforderungen

  • Betriebssystem: Windows 11, Version 24H2 (Build 26100) oder höher
  • Architektur: x64 oder ARM64
  • Hardware: Jede PC-Konfiguration (CPUs, integrierte/diskrete GPUs, NPUs)

Was ist ein Ausführungsanbieter?

Ein Ausführungsanbieter (EP) ist eine Komponente, die hardwarespezifische Optimierungen für Machine Learning(ML)-Vorgänge ermöglicht. Ausführungsanbieter abstrahieren verschiedene Recheneinheiten (CPU, GPU, spezialisierte Beschleuniger) und stellen eine einheitliche Schnittstelle für die Grafikpartitionierung, die Kernelregistrierung und die Operatorausführung bereit. Weitere Informationen finden Sie in den ONNX-Runtime-Dokumenten.

Sie können die Liste der EPs sehen, die Windows ML hier unterstützt.

Funktionsweise

Windows ML enthält eine Kopie der ONNX-Runtime und ermöglicht es Ihnen, anbieterspezifische Ausführungsanbieter (EPs) dynamisch herunterzuladen, sodass Ihre Modellausschlussfolge für die vielzahl von CPUs, GPUs und NPUs im Windows-Ökosystem optimiert werden kann.

Automatische Bereitstellung

  1. App-Installation – Windows App SDK-Bootstrapper initialisiert Windows ML
  2. Hardwareerkennung – Runtime identifiziert verfügbare Prozessoren
  3. EP-Download – Automatisches Herunterladen optimaler Ausführungsanbieter
  4. Einsatzbereit – Ihre App kann KI-Modelle sofort einsetzen

Dadurch wird die Notwendigkeit beseitigt:

  • Bündelung von Ausführungsdienstleistern für spezifische Hardwarehersteller
  • Erstellen separater App-Builds für unterschiedliche Ausführungsanbieter
  • Manuelles Verarbeiten von Aktualisierungen des Ausführungsdienstleisters

Hinweis

Sie sind weiterhin für die Optimierung Ihrer Modelle für unterschiedliche Hardware verantwortlich. Windows ML behandelt die Verteilung des Ausführungsanbieters, nicht die Modelloptimierung. Weitere Informationen zur Optimierung finden Sie im AI Toolkit und in den ONNX-Runtime-Lernprogrammen .

Leistungsoptimierung

Die neueste Version von Windows ML arbeitet direkt mit dedizierten Ausführungsanbietern für GPUs und NPUs zusammen und bietet eine Leistung direkt auf der Hardwareebene, die gleichwertig mit den dedizierten SDKs der Vergangenheit ist, wie TensorRT für RTX, AI Engine Direct und Intels Extension für PyTorch. Wir haben Windows ML so entwickelt, dass es eine erstklassige GPU- und NPU-Leistung bietet, während die Vorteile des „Write-Once-Run-Anywhere“-Prinzips beibehalten werden, die die vorherige DirectML-basierte Lösung geboten hat.

Verwenden von Ausführungsanbietern mit Windows ML

Die Windows ML-Runtime bietet eine flexible Möglichkeit für den Zugriff auf Machine Learning (ML)-Ausführungsanbieter (EPs), die die ML-Modelleinleitung für verschiedene Hardwarekonfigurationen optimieren können. Diese EPs werden als separate Pakete verteilt, die unabhängig vom Betriebssystem aktualisiert werden können. Weitere Informationen zum dynamischen Herunterladen und Registrieren von EPs finden Sie in der Dokumentation Ausführungsanbieter initialisieren mit Windows ML.

Konvertieren von Modellen in ONNX

Sie können Modelle aus anderen Formaten in ONNX konvertieren, damit Sie sie mit Windows ML verwenden können. Weitere Informationen zum Konvertieren von Modellen in das ONNX-Format finden Sie in den Dokumenten des Visual Studio Code AI Toolkits. Weitere Informationen zum Konvertieren von PyTorch-, TensorFlow- und Hugging Face-Modellen in ONNX finden Sie in den ONNX-Runtime-Lernprogrammen .

Modellverwaltung

Windows ML bietet flexible Optionen zum Verwalten von KI-Modellen:

  • Modellkatalog – Dynamisches Herunterladen von Modellen aus Onlinekatalogen ohne Bündelung großer Dateien
  • Lokale Modelle – Modelldateien direkt in Ihr Anwendungspaket einschließen

Integration in das Windows AI-Ökosystem

Windows ML dient als Grundlage für die breitere Windows AI-Plattform:

  • Windows AI-APIs – Integrierte Modelle für allgemeine Aufgaben
  • Foundry Local - Einsatzbereite AI-Modelle
  • Benutzerdefinierte Modelle – Direkter Windows ML-API-Zugriff für erweiterte Szenarien

Bereitstellen von Feedback

Haben Sie ein Problem gefunden oder Vorschläge? Suchen oder Erstellen von Problemen im Windows App SDK GitHub.

Nächste Schritte

  • Last updated on