Windows Copilot Runtime Übersicht

Der Microsoft Copilot-Stack unter Windows demokratisiert die Fähigkeit, zu experimentieren, zu entwickeln und Menschen mit bahnbrechenden KI-Erfahrungen zu erreichen, wodurch der Entwickler die Kontrolle erhält. Copilot in Windows wird als Randleiste angezeigt, die auf dem Windows-Desktop angedockt ist und den Benutzern dabei hilft, Dinge im Betriebssystem zu erledigen (z. B. das Ändern von Windows-Einstellungen). Weitere Informationen zum Konfigurieren von Copilot in Windows für kommerzielle Umgebungen finden Sie unter Verwalten von Copilot in Windows.

Windows Copilot Runtime führt neue Möglichkeiten zur Interaktion mit dem Betriebssystem ein, die KI nutzen, z. B. Phi Silica, das von Microsoft Research erstellte SLM (Small Language Model), das viele der gleichen Funktionen in Large Language Models (LLMs) bietet, aber kompakter und effizienter, damit es lokal unter Windows ausgeführt werden kann.

Als Entwickler können Sie Ihre Apps in KI-gestützte Windows-Umgebungen wie Recall und Studio Effects integrieren, neue APIs nutzen, die von Gerätemodellen über die Windows Copilot Library unterstützt werden, Machine Learning (ML)-Modelle entdecken, um ihre eigenen angepassten Daten mithilfe des AI Toolkit in Visual Studio Code zu optimieren, eigene ML-Modelle mithilfe von Frameworks wie ONNX Runtime, PyTorch oder WebNN integrieren, und auf Hardwarebeschleunigung zugreifen, um eine bessere Leistung und Skalierung über DirectML zu erzielen.

Windows Copilot Runtime und Windows Copilot Library

Es gibt neue Innovationen, die KI verwenden, um die Windows-Erfahrung zu verbessern und neu zu definieren. Hierbei gibt es einige KI-Innovationen, die direkt in die Verwendung von Windows und anderen Verfügbaren für App-Entwickler zur Integration in ihre App-Features integriert werden. Diese neuen Möglichkeiten zum Integrieren von KI in eine Windows-App bilden die Windows Copilot Library, eine Liste der einsatzbereiten KI-gesicherten Features und APIs, einschließlich:

• Studio Effects: Verbessert die Kamera- und Audiofunktionen von Windows-Geräten mit KI-gestützten Hintergrundeffekten, Blickkontaktkorrektur, automatisches Framing, Sprachfokus, Weichzeichner und Beleuchtung. Kreative Filter werden auf der Gerät-NPU ausgeführt, um schnelle Leistungsgeschwindigkeiten aufrechtzuerhalten.
• Recall: Macht vergangene Aktivitäten auf Ihrem Windows-Gerät durchsuchbar, sodass Sie an der Stelle, an der Sie aufgehört haben, fortfahren können, ganz gleich, ob sie eine App verwendet, ein Dokument bearbeitet oder auf eine E-Mail geantwortet haben.
• Phi Silica: Ermöglicht, dass Ihre App mithilfe des Windows App SDK eine Verbindung mit dem Phi-Modell für Aufgaben bezüglich der Verarbeitung natürlicher Sprache herstellen kann (Chat, Berechnungen, Code, Schlussfolgerungen).
• Text Recognition: Optische Zeichenerkennung oder OCR ermöglicht das Extrahieren von Text aus Bildern und Dokumenten. Stellen Sie sich Aufgaben wie das Konvertieren einer PDF-Datei, eines Papierdokuments oder eines Bilds eines Whiteboards in einem Klassenzimmer in bearbeitbaren digitalen Text vor.
• Liveuntertitelübersetzungen: Hilft allen Benutzern unter Windows, einschließlich gehörlosen oder schwerhörigen Personen, Audio besser zu verstehen, indem Untertitel für gesprochene Inhalte angezeigt werden, auch wenn sich der Audioinhalt in einer anderen Sprache als die bevorzugte Sprache des Systems befindet.

Entwickler können im Rahmen des Windows App SDK diese APIs aufrufen.

Zusätzlich zu den einsatzbereiten KI-gesicherten APIs in der Windows Copilot Library haben wir Anleitungen zur Verbesserung Ihrer App mithilfe von Machine Learning (ML)-Modellen. Darin werden Themen wie die Folgenden behandelt:

• Wie können Windows-Anwendungen ML-Modelle nutzen?
• Wo finde ich Open-Source-ML-Modelle im Web?
• Wie kann ich ein ML-Modell für die Verwendung in meiner Windows-App optimieren?
• Wie kann ich ein ML-Modell mit meinen eigenen benutzerdefinierten Daten optimieren?
• Wie nutze ich die Hardwarebeschleunigung für eine bessere Leistung mit KI-Features?

Führen mit Verantwortung und Beispielen

Wir haben auch Ressourcen erstellt, um unsere Entwickler zu unterstützen, die KI in Ihre Windows-Anwendungen integrieren möchten, indem wir einen Beispielkatalog, einen Leitfaden für die Verwendung verantwortungsbewusste KI und einige allgemeine Häufig gestellte Fragen bereitstellen, die beim Verständnis der Terminologie und Konzepte helfen können.

• Beispielkatalog für KI unter Windows: Beispiele zur Integration von KI in Windows-Apps.

• Entwickeln von verantwortungsbewussten generativen KI-Anwendungen und -Features unter Windows: Ressourcen und Anleitungen, die Sie bei der Arbeit mit KI unter Windows unterstützen, damit Sie KI verantwortungsbewusst in Ihre Windows-Apps integrieren können.

• Häufig gestellte Fragen zur Verwendung von KI mit Windows: Häufig gestellte Fragen zu Terminologie und Konzepten im Zusammenhang mit der Verwendung von KI in einem Windows-Kontext, die folgende Fragen behandeln: „Was ist DirectML?“, „Was ist ONNX?“, „Was ist ORT?“, „Was ist eine NPU?“, „Was ist ein SLM?“, „Was ist ein Rückschluss?“, „Was ist Feinabstimmung?“ usw.

Erste Schritte beim Hinzufügen von Modellen zu Ihrer Windows-App

• Erste Schritte mit Phi3 und anderen Sprachmodellen in Ihrer Windows-App mit der generativen KI-Bibliothek von ONNX-Runtime
• Erste Schritte mit ONNX-Modellen in Ihrer WinUI-App mit ONNX Runtime