Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Windows ML arbeitet mit Modellen im ONNX-Format, da Windows ML die von Windows unterstützte Distribution des ONNX Runtime und der hardwarespezifischen Ausführungsanbieter ist. Dies bedeutet, dass Sie Millionen von bereits trainierten Modellen aus verschiedenen Quellen verwenden oder Eigene Modelle trainieren können. In diesem Leitfaden wird erläutert, wo Sie ONNX-Modelle finden, konvertieren oder trainieren können.
Weitere Informationen zu Windows ML finden Sie unter "Was ist Windows ML".
| Options | Einzelheiten |
|---|---|
| 1. Verwenden von Modellen aus dem Foundry Toolkit | Wählen Sie aus über 20 OSS-Modellen (einschließlich LLMs und anderen Modellen), die bereit sind, für die Verwendung mit Windows ML mithilfe des Konvertierungstools des Foundry Toolkit optimiert zu werden. |
| 2. Verwenden anderer vorhandener ONNX-Modelle | Durchsuchen Sie über 30.000+ vortrainierte ONNX-Modelle von Hugging Face oder anderen Quellen |
| 3. Konvertieren vorhandener Modelle in das ONNX-Format | Durchsuchen Sie mehr als 2.400.000 + vortrainierte PyTorch / TensorFlow / etc Modelle von Hugging Face oder anderen Quellen und konvertieren Sie sie in ONNX |
| 4. Optimieren vorhandener Modelle | Feinabstimmung über 2.400.000+ vortrainierte PyTorch / TensorFlow / etc Modelle von Hugging Face oder anderen Quellen, um für Ihr Szenario besser zu arbeiten (und sie in das ONNX-Format zu konvertieren) |
| 5. Zugmodelle | Schulen Sie Ihre eigenen Modelle in PyTorch, TensorFlow oder anderen Frameworks, und konvertieren Sie sie in ONNX |
Sie können auch aus Dutzenden einsatzbereiter KI-Modelle und APIs in Microsoft Foundry auf Windows wählen, die über Windows ML ausgeführt werden. Weitere Informationen finden Sie unter Use local AI with Microsoft Foundry on Windows.
Option 1: Verwenden von Modellen aus dem Foundry Toolkit
Mit dem Konvertierungstool des Foundry Toolkits gibt es Dutzende von LLMs und anderen Modelltypen, die für die Optimierung zur Verwendung mit Windows ML bereit sind. Durch das Abrufen eines Modells über das Foundry Toolkit erhalten Sie ein konvertiertes ONNX-Modell, das für die Vielzahl von Hardware optimiert ist, auf der Windows ML ausgeführt wird.
Informationen zum Durchsuchen der verfügbaren Modelle finden Sie in der Modellliste des Foundry Toolkits.
Option 2: Verwenden anderer vorhandener ONNX-Modelle
Hugging Face hostet Tausende von ONNX-Modellen, die Sie mit Windows ML verwenden können. OnNX-Modelle finden Sie unter:
- Das Hugging Face Model Hub durchsuchen
- Filtern nach "ONNX" im Bibliotheksfilter
Sie müssen ein Modell finden, das mit der ONNX-Runtime-Version kompatibel ist, die in der Version von Windows ML enthalten ist, die Sie verwenden. Lesen Sie ONNX-Runtime-Versionen, die in Windows ML ausgeliefert wurden, um herauszufinden, welche Version von ONNX Runtime Sie mit Windows ML verwenden.
Option 3: Konvertieren vorhandener Modelle in das ONNX-Format
Modelle von PyTorch, TensorFlow oder anderen Frameworks können in das ONNX-Format konvertiert und mit Windows ML verwendet werden.
Hugging Face hosten Millionen von Modellen, die Sie mit Windows ML konvertieren und verwenden können.
Sie müssen das Modell konvertieren, um es mit der ONNX-Runtime-Version auszuführen, die in der Version von Windows ML enthalten ist, die Sie verwenden. Lesen Sie ONNX-Runtime-Versionen, die in Windows ML ausgeliefert wurden, um herauszufinden, welche Version von ONNX Runtime Sie mit Windows ML verwenden.
Informationen zum Konvertieren eines Modells in das ONNX-Format finden Sie in der frameworkspezifischen Dokumentation, z. B.:
- Lernprogramm zum Konvertieren von PyTorch-Modellen
- Lernprogramm zum Konvertieren von TensorFlow-Modellen
Option 4: Optimieren vorhandener Modelle
Viele Modelle auf Hugging Face oder aus anderen Quellen können anhand der Anweisungen auf den Modellkarten bei Hugging Face feinabgestimmt werden. Anschließend können Sie das fein abgestimmte Modell nach den Anweisungen in Option 3 oben in ONNX konvertieren.
Eine beliebte Möglichkeit zum Optimieren von Modellen ist die Verwendung des Oliv-Finetune-Befehls. Weitere Informationen zur Verwendung von Olive finden Sie in der Olive-Dokumentation .
Option 5: Zugmodelle
Wenn Sie ein Modell für eine bestimmte Aufgabe benötigen und kein vorhandenes Modell finden können, können Sie Eigenes in PyTorch, TensorFlow oder anderen Frameworks trainieren.
Nachdem Sie Ihr Modell trainiert haben, folgen Sie den Anweisungen in Option 3 oben, um Ihr Modell in das ONNX-Format zu konvertieren.
Nächste Schritte
Sobald Sie über ein ONNX-Modell verfügen, können Sie es mit Windows ML auf Ihren Zielgeräten ausführen.
- Installieren von Windows ML EPs – Herunterladen und Installieren von Ausführungsanbietern in Windows ML
- Run ONNX-Modelle – Erfahren Sie, wie Sie mit Windows ML Rückschlüsse ausführen
Andere Lösungen
Als Teil der Microsoft Foundry on Windows können Sie auch aus Dutzenden von einsatzbereiten AI-Modellen und APIs wählen, die über Windows ML ausgeführt werden. Weitere Informationen finden Sie unter Use local AI with Microsoft Foundry on Windows.