KI im Windows-Beispielkatalog
Eine Sammlung von Beispielen, die eine Vielzahl von Möglichkeiten veranschaulichen, um Ihre Windows-Apps mit lokalen APIs und Machine Learning (ML)-Modellen zu verbessern, lokale Hardwarebeschleunigung mit DirectML und die Verwendung von cloudbasierten APIs.
Verbessern Sie Ihre Windows-Apps mit KI durch lokale APIs und ML-Modelle
Diese Beispiele helfen Ihnen, Ihre Windows-Apps mit KI mithilfe lokaler APIs und Machine Learning-Modelle zu verbessern.
KI-gestützter Audio-Editor
GitHub-Repository: AI-Audio-Editor-Beispiel
Beschreibung: Der KI-gestützte Audio-Editor veranschaulicht das Erstellen einer WinUI 3-Audiobearbeitungs-App, die KI verwendet, um Nips von Audio mit einer relevanten Abfrage abzugleichen. Ein Beispiel für einen Anwendungsfall könnte ein Podcast-Ersteller sein, der kurze Audioclips ihrer Inhalte erstellen möchte, um auf social Media zu bewerben. Im Beispiel wird die lokale ML-Modellreferenz verwendet, um transkription und semantische Suche zu verarbeiten.
Features: Lokale Modellferencing mit ONNX-Runtime, Flüstermodell, Embeddings-Modell
KI-gestützte Notizen-App
GitHub-Repository: KI-gestützte Beispiel-App für Notizen
Beschreibung: Diese KI-gestützte Anwendung zum Erstellen von Notizen veranschaulicht die Verwendung von APIs, einschließlich OCR-Texterkennung, Audiotranskription über das lokale ML-Modell, die semantische Suche über ein lokales Einbettungsmodellmodell, die Verwendung des lokalen Sprachmodells mit Phi3 für Zusammenfassungen, AutoVervollständigen und Textgrundsätze sowie die Abruferweiterungsgenerierung (RAG), um Sprachmodelle in reale Daten zu geerbt.
Features: Semantische Suche mit lokalem Modell, Audiotranskription mit lokalem Modell, Local Retreval Augmented Generation (RAG) mit Phi3, Lokale Textzusammenfassung und -begründung mit Phi3, Textextraktion von Bildern mit OCR-API
Abrufen von Augmented Generation (RAG) mit PDFs und Phi3
GitHub Repo: RAG PDF Analyzer WPF-Beispiel-App
Beschreibung: Diese WPF-Beispiel-App veranschaulicht, wie Sie eine Erfahrung mit einem lokalen Sprachmodell (z. B. Phi3) erstellen, um Fragen zu Inhalten in einem PDF-Dokument zu beantworten. Das Beispiel findet Antworten, indem auf eine Wissensdatenbank außerhalb der eigenen Schulungsdaten des Modells verwiesen wird, bevor eine Antwort generiert wird. Dieses Muster namens Retrieval Augmented Generation (RAG) ist ein Beispiel dafür, wie ein Sprachmodell auf autoritative Daten in der realen Welt geerbt wird.
Features: Retrieval Augmented Generation (RAG), ONNX Runtime Generative AI, DirectML
Phi3 Generative KI-Chat
GitHub Repo: Phi3 Chat WinUI 3-Beispiel
Beschreibung: In diesem WinUI 3-App-Beispiel wird veranschaulicht, wie sie die ONNX-Runtime Generative AI-Bibliothek verwenden, um eine Chaterfahrung mit einem lokalen Sprachmodell zu erstellen, insbesondere mit dem Phi3 Small Language Model (SLM).
Features: Phi3, ONNX Runtime Generative AI, DirectML
Windows Studio-Effekte
GitHub Repo: Beispiel-App für Windows Studio Effects
Beschreibung: In diesem Codebeispiel erfahren Sie, wie Sie Kamera Studio Effects aus Ihrer Windows-Anwendung steuern. Überprüfen Sie, ob eine unterstützte Kamera auf dem System verfügbar ist (erfordert ein Gerät mit einer NPU und einer integrierten Kamera), und ruft dann erweiterte Kamerasteuerelemente ab und legt sie fest, die Windows Studio-Effekten zugeordnet sind, z. B. Hintergrundunschärfe, Augenanzeigekorrektur und automatische Framing.
Features: Windows Studio Effects
Lokale Hardwarebeschleunigung über DirectML
Hardwarebeschleunigte stabile Diffusion im Web
GitHub Repo: WebNN Stable Diffusion Turbo
Beschreibung: In diesem Beispiel wird veranschaulicht, wie Sie WebNN mit ONNX-Runtime-Web verwenden, um stable Diffusion lokal auf der GPU mit DirectML auszuführen. SD-Turbo ist ein schnelles generatives Text-zu-Bild-Modell, das photorealistische Bilder aus einer Textaufforderung in einer einzigen Netzwerkauswertung synthetisieren kann. In der Demo können Sie ein Bild in 2s auf KI-PC-Geräten generieren, indem Sie die WebNN-API nutzen, eine dedizierte API auf niedriger Ebene für die Hardwarebeschleunigung des neuralen Netzwerks.
Features: Lokale Bildgenerierung, WebNN, DirectML
App-Typ: JavaScript, Web-Apps
Hardwarebeschleunigtes Segment "Alles im Web"
GitHub-Repository: WebNN segmentieren alles
Beschreibung: In diesem Beispiel wird veranschaulicht, wie Sie WebNN mit ONNX-Runtime-Web verwenden, um Segment anything lokal auf der GPU mit DirectML auszuführen. Segment Anything ist ein neues KI-Modell von Meta AI, das jedes Objekt "ausschneiden" kann. In der Demo können Sie jedes Objekt aus ihren hochgeladenen Bildern segmentieren.
Features: Lokale Bildsegmentierung, WebNN, DirectML
App-Typ: JavaScript, Web-Apps
Hardwarebeschleunigtes Flüstern im Web
GitHub-Repo: WebNN Whisper Base
Beschreibung: In diesem Beispiel wird veranschaulicht, wie Sie WebNN mit ONNX-Runtime-Web verwenden, um die Sprach-zu-Text-Funktionen des Flüstermodells lokal auf der GPU oder NPU mit DirectML auszuführen. Flüsterbasis ist ein vortrainiertes Modell für die automatische Spracherkennung (ASR) und die Sprachübersetzung. In der Demo können Sie die Spracherkennungs-zu-Text-Funktion mithilfe von On-Device-Inference, unterstützt von der WebNN-API und DirectML, insbesondere der NPU-Beschleunigung, erleben.
Features: Lokale Sprache zu Text, WebNN, DirectML
App-Typ: JavaScript, Web-Apps
Hardwarebeschleunigte und voroptimierte ONNX-Runtime-Sprachmodelle (Phi3, Llama3 usw.) mit DirectML
GitHub Repo: DirectML-Beispiele im Olive-Repository
Beschreibung: In diesem Beispiel wird veranschaulicht, wie ein voroptimiertes ONNX Runtime (ORT) Sprachmodell mit DirectML lokal auf dem Grafikprozessor ausgeführt wird. Das Beispiel enthält Anweisungen zum Einrichten Ihrer Umgebung, das Herunterladen der neuesten vortrainierten Sprachmodelle mithilfe der ORT Generate-API und das Ausführen des Modells in einer Gradio-App.
Features: Hardwarebeschleunigung, GenAI, ONNX, ONNX Runtime, DirectML
App-Typ: Python, Gradio
Hardwarebeschleunigte PyTorch-Modelle (Phi3, Llama3 usw.) mit DirectML
GitHub Repo: DirectML PyTorch-Beispiele
Beschreibung: In diesem Beispiel wird veranschaulicht, wie ein Pytorch Sprachmodell lokal auf der GPU mit DirectML ausgeführt wird. Das Beispiel enthält Anweisungen zum Einrichten Ihrer Umgebung, das Herunterladen der neuesten vortrainierten Sprachmodelle und das Ausführen des Modells in einer Gradio-App. Dieses Beispiel unterstützt verschiedene Open-Source-Sprachmodelle wie Llama-Modelle, Phi3-mini, Phi2 und Mistral-7B.
Features: Hardwarebeschleunigung, PyTorch, DirectML
App-Typ: Python, Gradio
Verbessern Ihrer Windows-Apps mit KI über Cloud-APIs
Weitere cloudbasierte API-Beispiele finden Sie in der Dokumentation zu Azure AI-Diensten.
Hinzufügen von OpenAI-Chatabschlüssen zu Ihrer WinUI 3/Windows App SDK-App
Hinzufügen von OpenAI-Chatabschlüssen zu Ihrer WinUI 3/Windows App SDK-App
Beschreibung: Integrieren Sie die OpenAI-Chatabschlussfunktionen in eine WinUI 3 /Windows App SDK-Desktop-App.
Features: Abschluss des OpenAI-Chats
Hinzufügen von DALL-E zu Ihrer WinUI 3-/Windows-App-SDK-Desktop-App
Hinzufügen von DALL-E zu Ihrer WinUI 3-/Windows-App-SDK-Desktop-App
Beschreibung: Integrieren Sie die OpenAI DALL-E-Bildgenerierungsfunktionen in eine WinUI 3 /Windows App SDK-Desktop-App.
Features: Bildgenerierung
Erstellen einer Empfehlungs-App mit .NET MAUI und ChatGPT
Tutorial: Erstellen einer Empfehlungs-App mit .NET MAUI und ChatGPT
Beschreibung: Integrieren Sie die OpenAI-Chatabschlussfunktionen in eine .NET MAUI-Desktop-App.
Features: Bildgenerierung
DALL-E zu Ihrer .NET MAUI Windows-Desktop-App hinzufügen
DALL-E zu Ihrer .NET MAUI Windows-Desktop-App hinzufügen
Beschreibung: Integrieren Sie die OpenAI DALL-E-Bildgenerierungsfunktionen in eine .NET MAUI-Desktop-App.
Features: Bildgenerierung
Legacy-WinML-Beispiele
GitHub Repo: WinML-Beispiele auf GitHub
Beschreibung: WinML wird weiterhin unterstützt, aber diese Beispiele wurden nicht aktualisiert, um die moderne KI-Verwendung widerzuspiegeln.