Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Eine Sammlung von Beispielen, die eine Vielzahl von Möglichkeiten zur Verbesserung Ihrer Windows-Apps mithilfe lokaler APIs und Machine Learning (ML)-Modelle, lokaler Hardwarebeschleunigung mithilfe von DirectML und cloudbasierten APIs veranschaulichen.
Wenn Sie Ihrer Windows-App Unterstützung für neue KI-Features hinzufügen, empfehlen wir, zuerst nach der Modellverfügbarkeit zu suchen.
Wenn Sie KI-Features verwenden, empfehlen wir Ihnen, folgendes zu überprüfen: Entwickeln von verantwortlichen generativen KI-Anwendungen und -Features unter Windows. Die Textinhaltsmoderation wird standardmäßig für alle Windows AI-APIs implementiert, um potenziell schädliche Inhalte zu reduzieren. Weitere Informationen: Moderation der Inhaltssicherheit mit Windows AI Foundry.
Verbessern Sie Ihre Windows-Apps mit KI durch lokale APIs und ML-Modelle
In diesen Beispielen wird gezeigt, wie Sie Ihre Windows-Apps mit KI mithilfe lokaler APIs und Machine Learning-Modelle verbessern.
KI Entwicklungs-Galerie
GitHub Repo: AI Dev Gallery
Beschreibung: AI Dev Gallery ist eine Open-Source-App, die für Windows-Entwickler entwickelt wurde, die KI-Funktionen in ihre eigenen Apps und Projekte integrieren möchten. Es bietet über 25 interaktive Beispiele, die von lokalen KI-Modellen unterstützt werden, einschließlich Beispiele für alle Windows AI-APIs. Die App verfügt über eine einfache Schnittstelle zum Erkunden, Herunterladen und Ausführen von Modellen von Hugging Face und GitHub, die die NPU, CPU oder GPU Ihres PCs basierend auf den Funktionen Ihres Geräts nutzen. Darüber hinaus bietet es die Möglichkeit, den C#-Quellcode anzuzeigen und jedes Beispiel in ein eigenständiges Visual Studio-Projekt zu exportieren.
Features: Interaktive Beispiele mit einfach zu kopierendem Code, Lokale Modellinferenz, Präsentation der Windows AI APIs
KI-gestützter Audio-Editor
GitHub-Repository: AI-Audio-Editor-Beispiel
Beschreibung: Der KI-gestützte Audio-Editor zeigt das Erstellen einer WinUI 3-Audiobearbeitungs-App, die KI verwendet, um Audioausschnitte einer relevanten Abfrage zuzuordnen. Ein Beispiel für einen Anwendungsfall könnte ein Podcast-Ersteller sein, der kurze Audioclips ihrer Inhalte erstellen möchte, um auf social Media zu bewerben. Im Beispiel wird die lokale ML-Modellreferenz verwendet, um transkription und semantische Suche zu verarbeiten.
Features: Lokale Modellinferenzierung mit ONNX-Runtime, Flüstermodell, Einbettungsmodell
KI-gestützte Notizen-App
GitHub-Repository: KI-gestützte Beispiel-App für Notizen
Beschreibung: Diese KI-gestützte Anwendung zur Notizerfassung veranschaulicht die Verwendung von APIs wie OCR-Texterkennung, Audiotranskription über das lokale ML-Modell, die semantische Suche über ein lokales Einbettungsmodell, die Verwendung des lokalen Phi-3-Sprachmodells für Zusammenfassungen, die automatische Vervollständigung und Textargumentation sowie Retrieval Augmented Generation (RAG) für das Grounding von Sprachmodellen für reale Daten.
Features: Semantische Suche mithilfe lokaler Modelle, Audiotranskription mithilfe lokaler Modelle, lokale Retrieval Augmented Generation (RAG) mithilfe von Phi3, lokale Textzusammenfassung und -begründung mithilfe von Phi3, Extraktion von Text aus Bildern mithilfe der OCR-API
Abrufen von Augmented Generation (RAG) mit PDFs und Phi3
GitHub-Repository: WPF-Beispielanwendung für RAG PDF Analyzer
Beschreibung: Diese WPF-Beispiel-App veranschaulicht, wie Sie mithilfe eines lokalen Sprachmodells (z. B. Phi3) ein Feature erstellen, um Fragen zu Inhalten in einem PDF-Dokument zu beantworten. Das Beispiel findet Antworten, indem es auf eine Wissensbasis außerhalb der Schulungsdaten des Modells verweist, bevor eine Antwort generiert wird. Dieses Muster, genannt Retrieval Augmented Generation (RAG), ist ein Beispiel dafür, wie ein Sprachmodell auf reale, autoritative Daten gestützt wird.
Features: Abrufen von Augmented Generation (Retrieval Augmented Generation, RAG), ONNX-Runtime Generative KI, DirectML
Phi3 Generative KI-Chat
GitHub-Repository: Beispiel für Phi3-Chat-WinUI-3
Beschreibung: In diesem WinUI 3-App-Beispiel wird veranschaulicht, wie Sie die Generative KI-Bibliothek von ONNX Runtime verwenden, um mit einem lokalen Sprachmodell, insbesondere mit dem Phi3 Small Language Model (SLM), eine Chaterfahrung zu erstellen.
Features: Phi3, ONNX-Runtime Generative KI, DirectML
Windows Studio-Effekte
GitHub-Repository: Windows Studio Effects-Beispiel-App
Beschreibung: Dieses Codebeispiel veranschaulicht, wie Sie Kamera-Studio-Effekte über Ihre Windows-Anwendung steuern. Überprüfen Sie, ob eine unterstützte Kamera auf dem System verfügbar ist (erfordert ein Gerät mit einer NPU und einer integrierten Kamera), und ruft dann erweiterte Kamerasteuerelemente ab und legt sie fest, die Windows Studio-Effekten zugeordnet sind, z. B. Hintergrundunschärfe, Augenanzeigekorrektur und automatische Framing.
Features: Windows Studio-Effekte
Lokale Hardwarebeschleunigung über DirectML
Hardwarebeschleunigte Stable Diffusion im Web
GitHub-Repository: WebNN Stable Diffusion Turbo
Beschreibung: Dieses Beispiel veranschaulicht, wie Sie WebNN mit ONNX-Runtime-Web verwenden, um Stable Diffusion lokal auf der GPU mithilfe von DirectML auszuführen. SD-Turbo ist ein schnelles generatives Text-zu-Bild-Modell, das fotorealistische Bilder aus einer Textaufforderung in einer einzigen Netzwerkauswertung synthetisieren kann. In der Demo können Sie ein Bild in 2s auf KI-PC-Geräten generieren, indem Sie die WebNN-API nutzen, eine dedizierte API auf niedriger Ebene für die Hardwarebeschleunigung des neuralen Netzwerks.
Features: Lokale Bildgenerierung, WebNN, DirectML
App-Typ: JavaScript, Web-Apps
Hardwarebeschleunigtes Segment "Alles im Web"
GitHub-Repository: WebNN Segment Anything
Beschreibung: In diesem Beispiel wird veranschaulicht, wie Sie WebNN mit ONNX-Runtime-Web verwenden, um Segment Anything lokal auf der GPU mithilfe von DirectML auszuführen. Segment Anything ist ein neues KI-Modell von Meta AI, das alle beliebigen Objekte „ausschneiden“ kann. In der Demo können Sie jedes Objekt aus ihren hochgeladenen Bildern segmentieren.
Features: Lokale Bildsegmentierung, WebNN, DirectML
App-Typ: JavaScript, Web-Apps
Hardwarebeschleunigtes Flüstern im Web
GitHub-Repository: WebNN Whisper Base
Beschreibung: In diesem Beispiel wird veranschaulicht, wie WebNN mit ONNX-Runtime-Web verwendet wird, um die Sprach-zu-Text-Funktionen des Flüstermodells lokal auf der GPU oder NPU mit DirectML auszuführen. Whisper Base ist ein vortrainiertes Modell für die automatische Spracherkennung (ASR) und Sprachübersetzung. In der Demo können Sie die Spracherkennungs-zu-Text-Funktion mithilfe von On-Device-Inference, unterstützt von der WebNN-API und DirectML, insbesondere der NPU-Beschleunigung, erleben.
Features: Lokale Spracherkennung, WebNN, DirectML
App-Typ: JavaScript, Web-Apps
Hardwarebeschleunigte und voroptimierte ONNX-Runtime-Sprachmodelle (Phi3, Llama3 usw.) mit DirectML
GitHub-Repository: DirectML-Beispiele im Olive-Repository
Beschreibung: In diesem Beispiel wird veranschaulicht, wie ein voroptimiertes ORT-Sprachmodell (ONNX Runtime) mit DirectML lokal auf der GPU ausgeführt wird. Das Beispiel enthält Anweisungen zum Einrichten Ihrer Umgebung, das Herunterladen der neuesten vortrainierten Sprachmodelle mithilfe der ORT Generate-API und das Ausführen des Modells in einer Gradio-App.
Features: Hardwarebeschleunigung, GenAI, ONNX, ONNX-Runtime, DirectML
App-Typ: Python, Gradio
Hardwarebeschleunigte PyTorch-Modelle (Phi3, Llama3 usw.) mit DirectML
GitHub-Repository: Beispiele für PyTorch mit DirectML
Beschreibung: In diesem Beispiel wird veranschaulicht, wie ein PyTorch Sprachmodell lokal auf der GPU mit DirectML ausgeführt wird. Das Beispiel enthält Anweisungen zum Einrichten Ihrer Umgebung, das Herunterladen der neuesten vortrainierten Sprachmodelle und das Ausführen des Modells in einer Gradio-App. Dieses Beispiel unterstützt verschiedene Open-Source-Sprachmodelle wie Llama-Modelle, Phi3-mini, Phi2 und Mistral-7B.
Features: Hardwarebeschleunigung, PyTorch, DirectML
App-Typ: Python, Gradio
Verbessern Ihrer Windows-Apps mit KI über Cloud-APIs
Weitere cloudbasierte API-Beispiele finden Sie in der Dokumentation zu Azure AI-Diensten.
Hinzufügen von OpenAI-Chatabschlüssen zu Ihrer WinUI 3/Windows App SDK-App
Tutorial: Hinzufügen von OpenAI-Chatvervollständigungen zu Ihrer WinUI 3/Windows App SDK-App
Beschreibung: Integrieren der OpenAI-Chatvervollständigungsfunktionen in eine WinUI 3-/Windows App SDK-Desktop-App.
Features: OpenAI-Chatvervollständigungen
Fügen Sie DALL-E zu Ihrer WinUI 3/Windows App SDK-Desktop-App hinzu
Lernprogramm: So fügen Sie DALL-E zu Ihrer WinUI 3/Windows App SDK-Desktop-App hinzu
Beschreibung: Integrieren der OpenAI-DALL-E-Bildgenerierungsfunktionen in eine WinUI 3-/Windows App SDK-Desktop-App.
Features: Bildgenerierung
Erstellen Sie eine Empfehlungs-App mit .NET MAUI und ChatGPT.
Lernprogramm: Eine Empfehlungs-App mit .NET MAUI und ChatGPT erstellen
Beschreibung: Integrieren von OpenAI-Chatabschlussfunktionen in eine .NET MAUI-Desktop-App.
Features: Bildgenerierung
DALL-E zu Ihrer .NET MAUI Windows-Desktop-App hinzufügen
Lernprogramm: Fügen Sie DALL-E zu Ihrer .NET MAUI Windows-Desktop-App hinzu
Beschreibung: Integrieren der OpenAI-DALL-E-Bildgenerierungsfunktionen in eine .NET MAUI-Desktop-App.
Features: Bildgenerierung
Legacy-WinML-Beispiele
GitHub-Repository: WinML-Beispiele auf GitHub
Beschreibung: WinML wird weiterhin unterstützt, diese Beispiele wurden jedoch nicht aktualisiert und spiegeln nicht die Nutzung moderner KI wider.