Was ist Windows AI Foundry?

Die Fähigkeit, intelligente KI-Erfahrungen auf und mit Windows aufzubauen, entwickelt sich schnell. Windows AI Foundry bietet KI-unterstützte Features und APIs auf Windows 11-PCs. Diese Features befinden sich in der aktiven Entwicklung und werden jederzeit lokal im Hintergrund ausgeführt.

Windows AI Foundry umfasst mehrere Komponenten, die einzigartige KI-Erfahrungen ermöglichen können:

1. Windows AI APIs: Sie können integrierte Windows AI APIs verwenden, um KI-Dienste für Benutzer auf Copilot+ PCs zu integrieren. Einige dieser einsatzbereiten KI-Features, die Sie aus Ihrer Windows-App nutzen können, umfassen:

   • Phi Silika: ein lokales, einsatzbereites Sprachmodell (Textgenerierung)
   • AI Imaging: Verwenden Sie KI zum Skalieren und Schärfen eines Bilds (Bild-Superauflösung), generieren Sie Text, der ein Bild (Bildbeschreibung) beschreibt, Objekte innerhalb eines Bilds (Bildsegmentierung) identifizieren und Objekte aus einem Bild entfernen (Objektlöschung).
   • Text Recognition: Verwenden von KI zum Erkennen und Extrahieren von Text in Bildern und Konvertieren in maschinenlesbare Zeichenströme

2. Foundry Local: beliebte OSS-Modelle, die Sie nutzen und in Ihre App ziehen können

3. Windows ML: Ermöglicht die Verarbeitung künstlicher Intelligenz mit Ihrem eigenen ONNX-Modell

4. Entwicklungstools: Tools wie Visual Studio AI Toolkit und AI Dev Gallery , die Ihnen helfen, KI-Funktionen erfolgreich zu erstellen

Wie können Sie KI in Ihrer Windows-App verwenden?

Einige Möglichkeiten, wie Windows-Apps Machine Learning (ML)-Modelle nutzen können, um ihre Funktionalität und Benutzererfahrung mit KI zu verbessern, umfassen:

• Apps können generative KI-Modelle verwenden, um komplexe Themen zu verstehen, um komplexe Themen zusammenzufassen, neu zu schreiben, zu berichten oder zu erweitern.
• Apps können Modelle verwenden, die Freiforminhalte in ein strukturiertes Format umwandeln, das Ihre App verstehen kann.
• Apps können semantische Suchmodelle verwenden, die es Benutzern ermöglichen, Inhalte anhand ihrer Bedeutung zu durchsuchen und schnell verwandte Inhalte zu finden.
• Apps können Modelle zur Verarbeitung natürlicher Sprache verwenden, um über komplexe Anforderungen in natürlicher Sprache nachzudenken und Handlungen zu planen und auszuführen, um die Wünsche des Benutzers zu erfüllen.
• Apps können Bildbearbeitungsmodelle verwenden, um Bilder intelligent zu ändern, Bilder zu löschen oder Themen hinzuzufügen, hochskalieren oder neue Inhalte zu generieren.
• Apps können vorausschauende Diagnostikmodelle verwenden, um Probleme zu identifizieren und vorherzusagen und den Benutzer zu leiten oder die Aufgabe für ihn zu übernehmen.

Verwenden von Windows AI APIs im Vergleich zur Nutzung eigener Modelle

Verwenden von Windows AI APIs

Wenn ein lokales KI-Modell die richtige Lösung ist, können Sie mit Windows KI APIs KI-Dienste für Benutzer auf Copilot+ PCs integrieren. Diese APIs sind auf Ihrem PC integriert und ermöglichen einzigartige KI-gestützte Features mit relativ geringem Mehraufwand.

Trainieren eines eigenen Modells

Wenn Sie die Möglichkeit haben, Ihr eigenes Modell mithilfe Ihrer eigenen privaten Daten mit Plattformen wie TensorFlow oder PyTorchzu trainieren. Sie können dieses benutzerdefinierte Modell in Ihre Windows-Anwendung integrieren, indem Sie es lokal auf der Gerätehardware mit ONNX Runtime und AI Toolkit für Visual Studio Code ausführen.

AI Toolkit für Visual Studio Code ist eine VS-Codeerweiterung, mit der Sie KI-Modelle lokal herunterladen und ausführen können, einschließlich des Zugriffs auf die Hardwarebeschleunigung für eine bessere Leistung und Skalierung über DirectML-. Das AI-Toolkit kann Ihnen auch bei Folgendem helfen:

• Testen von Modellen in einem intuitiven Playground oder in Ihrer Anwendung mit einer REST-API.
• Optimieren Sie Ihr KI-Modell sowohl lokal als auch in der Cloud (auf einem virtuellen Computer), um neue Fähigkeiten zu erstellen, die Zuverlässigkeit der Antworten zu verbessern, den Ton und das Format der Antwort festzulegen.
• Feinabstimmung beliebter kleinsprachiger Modelle (SLMs), wie Phi-3 und Mistral.
• Stellen Sie Ihr KI-Feature entweder in der Cloud oder mit einer Anwendung bereit, die auf einem Gerät ausgeführt wird.
• Nutzen Sie Hardwarebeschleunigung, um die Leistung von KI-Funktionen mit DirectML zu verbessern. DirectML ist eine API auf niedriger Ebene, mit der Ihre Windows-Gerätehardware die Leistung von ML-Modellen mithilfe der Geräte-GPU oder NPU beschleunigen kann. Das Koppeln von DirectML mit dem ONNX Runtime ist normalerweise die einfachste Vorgehensweise für Entwickler, hardwarebeschleunigte KI ihren Benutzern im großen Maßstab zur Verfügung zu stellen. Weitere Informationen: DirectML Overview.
• Quantisieren und Überprüfen eines Modells für die Verwendung auf NPU mithilfe der Modellkonvertierungsfunktionen

Sie können sich auch mit diesen Modellfeinabstimmungskonzepten beschäftigen, um ein vortrainiertes Modell besser an Ihre Daten anzupassen.

Verwenden von Cloud AI-Modellen

Wenn die Verwendung lokaler KI-Features nicht der richtige Weg für Sie ist, können Cloud AI-Modelle und -Ressourcen eine Lösung sein.

Andere KI-Features

1. App-Aktionen unter Windows: Erstellen von Aktionen für Ihre App, die neue und eindeutige KI-Funktionen für Verbraucher ermöglichen

2. Recall nutzt KI, um Ihnen zu helfen, alles zu finden, was Sie auf Ihrem PC gesehen haben. Click to Do ist eine KI-unterstützte Funktion, die Aktionen mit dem von Recall gefundenen Inhalt (Text oder Bilder) verbindet.

3. Windows Studio Effects nutzt KI, um Spezialeffekte auf die Gerätekamera anzuwenden.

Verwenden von verantwortungsvollen KI-Praktiken

Wenn Sie KI-Features in Ihre Windows-App integrieren, wird dringend empfohlen, den Leitfaden Entwickeln verantwortungsvoller generativer KI-Anwendungen und -Features unter Windows zu befolgen.