Auf Englisch lesen

Freigeben über


KI im Windows-Beispielkatalog

Eine Sammlung von Beispielen, die eine Vielzahl von Möglichkeiten veranschaulichen, um Ihre Windows-Apps mit lokalen APIs und Machine Learning (ML)-Modellen zu verbessern, lokale Hardwarebeschleunigung mit DirectML und die Verwendung von cloudbasierten APIs.

Verbessern Sie Ihre Windows-Apps mit KI durch lokale APIs und ML-Modelle

Diese Beispiele helfen Ihnen, Ihre Windows-Apps mit KI mithilfe lokaler APIs und Machine Learning-Modelle zu verbessern.

KI-gestützter Audio-Editor

Screenshot der Audio-Editor-Beispiel-App mit einem AI Audio Trimmer-Plug-In-Test.

GitHub-Repository: AI-Audio-Editor-Beispiel

Beschreibung: Der KI-gestützte Audio-Editor veranschaulicht das Erstellen einer WinUI 3-Audiobearbeitungs-App, die KI verwendet, um Nips von Audio mit einer relevanten Abfrage abzugleichen. Ein Beispiel für einen Anwendungsfall könnte ein Podcast-Ersteller sein, der kurze Audioclips ihrer Inhalte erstellen möchte, um auf social Media zu bewerben. Im Beispiel wird die lokale ML-Modellreferenz verwendet, um transkription und semantische Suche zu verarbeiten.

Features: Lokale Modellferencing mit ONNX-Runtime, Flüstermodell, Embeddings-Modell

App-Typ: C#, WinUI 3

KI-gestützte Notizen-App

Screenshot der KI-unterstützten Notizenbeispiel-App mit einer KI-erstellten Zusammenfassung.

GitHub-Repository: KI-gestützte Beispiel-App für Notizen

Beschreibung: Diese KI-gestützte Anwendung zum Erstellen von Notizen veranschaulicht die Verwendung von APIs, einschließlich OCR-Texterkennung, Audiotranskription über das lokale ML-Modell, die semantische Suche über ein lokales Einbettungsmodellmodell, die Verwendung des lokalen Sprachmodells mit Phi3 für Zusammenfassungen, AutoVervollständigen und Textgrundsätze sowie die Abruferweiterungsgenerierung (RAG), um Sprachmodelle in reale Daten zu geerbt.

Features: Semantische Suche mit lokalem Modell, Audiotranskription mit lokalem Modell, Local Retreval Augmented Generation (RAG) mit Phi3, Lokale Textzusammenfassung und -begründung mit Phi3, Textextraktion von Bildern mit OCR-API

App-Typ: C#, WinUI 3

Abrufen von Augmented Generation (RAG) mit PDFs und Phi3

Screenshot des RAG PDF Analyzer-Beispiels in einer WPF-App.

GitHub Repo: RAG PDF Analyzer WPF-Beispiel-App

Beschreibung: Diese WPF-Beispiel-App veranschaulicht, wie Sie eine Erfahrung mit einem lokalen Sprachmodell (z. B. Phi3) erstellen, um Fragen zu Inhalten in einem PDF-Dokument zu beantworten. Das Beispiel findet Antworten, indem auf eine Wissensdatenbank außerhalb der eigenen Schulungsdaten des Modells verwiesen wird, bevor eine Antwort generiert wird. Dieses Muster namens Retrieval Augmented Generation (RAG) ist ein Beispiel dafür, wie ein Sprachmodell auf autoritative Daten in der realen Welt geerbt wird.

Features: Retrieval Augmented Generation (RAG), ONNX Runtime Generative AI, DirectML

App-Typ: C#, WPF

Phi3 Generative KI-Chat

Screenshot des GenAI-Chatbeispiels mit Phi3 in einer WinUI 3-App.

GitHub Repo: Phi3 Chat WinUI 3-Beispiel

Beschreibung: In diesem WinUI 3-App-Beispiel wird veranschaulicht, wie sie die ONNX-Runtime Generative AI-Bibliothek verwenden, um eine Chaterfahrung mit einem lokalen Sprachmodell zu erstellen, insbesondere mit dem Phi3 Small Language Model (SLM).

Features: Phi3, ONNX Runtime Generative AI, DirectML

App-Typ: C#, WinUI 3

Windows Studio-Effekte

GitHub Repo: Beispiel-App für Windows Studio Effects

Beschreibung: In diesem Codebeispiel erfahren Sie, wie Sie Kamera Studio Effects aus Ihrer Windows-Anwendung steuern. Überprüfen Sie, ob eine unterstützte Kamera auf dem System verfügbar ist (erfordert ein Gerät mit einer NPU und einer integrierten Kamera), und ruft dann erweiterte Kamerasteuerelemente ab und legt sie fest, die Windows Studio-Effekten zugeordnet sind, z. B. Hintergrundunschärfe, Augenanzeigekorrektur und automatische Framing.

Features: Windows Studio Effects

App-Typ: C#, WPF

Lokale Hardwarebeschleunigung über DirectML

Hardwarebeschleunigte stabile Diffusion im Web

Screenshot eines Beispiels für eine Stable Diffusion Web App.

GitHub Repo: WebNN Stable Diffusion Turbo

Beschreibung: In diesem Beispiel wird veranschaulicht, wie Sie WebNN mit ONNX-Runtime-Web verwenden, um stable Diffusion lokal auf der GPU mit DirectML auszuführen. SD-Turbo ist ein schnelles generatives Text-zu-Bild-Modell, das photorealistische Bilder aus einer Textaufforderung in einer einzigen Netzwerkauswertung synthetisieren kann. In der Demo können Sie ein Bild in 2s auf KI-PC-Geräten generieren, indem Sie die WebNN-API nutzen, eine dedizierte API auf niedriger Ebene für die Hardwarebeschleunigung des neuralen Netzwerks.

Features: Lokale Bildgenerierung, WebNN, DirectML

App-Typ: JavaScript, Web-Apps

Hardwarebeschleunigtes Segment "Alles im Web"

GitHub-Repository: WebNN segmentieren alles

Beschreibung: In diesem Beispiel wird veranschaulicht, wie Sie WebNN mit ONNX-Runtime-Web verwenden, um Segment anything lokal auf der GPU mit DirectML auszuführen. Segment Anything ist ein neues KI-Modell von Meta AI, das jedes Objekt "ausschneiden" kann. In der Demo können Sie jedes Objekt aus ihren hochgeladenen Bildern segmentieren.

Features: Lokale Bildsegmentierung, WebNN, DirectML

App-Typ: JavaScript, Web-Apps

Hardwarebeschleunigtes Flüstern im Web

GitHub-Repo: WebNN Whisper Base

Beschreibung: In diesem Beispiel wird veranschaulicht, wie Sie WebNN mit ONNX-Runtime-Web verwenden, um die Sprach-zu-Text-Funktionen des Flüstermodells lokal auf der GPU oder NPU mit DirectML auszuführen. Flüsterbasis ist ein vortrainiertes Modell für die automatische Spracherkennung (ASR) und die Sprachübersetzung. In der Demo können Sie die Spracherkennungs-zu-Text-Funktion mithilfe von On-Device-Inference, unterstützt von der WebNN-API und DirectML, insbesondere der NPU-Beschleunigung, erleben.

Features: Lokale Sprache zu Text, WebNN, DirectML

App-Typ: JavaScript, Web-Apps

Hardwarebeschleunigte und voroptimierte ONNX-Runtime-Sprachmodelle (Phi3, Llama3 usw.) mit DirectML

Screenshot des DirectML LLM Chat UI ONNX-Modellbeispiels.

GitHub Repo: DirectML-Beispiele im Olive-Repository

Beschreibung: In diesem Beispiel wird veranschaulicht, wie ein voroptimiertes ONNX Runtime (ORT) Sprachmodell mit DirectML lokal auf dem Grafikprozessor ausgeführt wird. Das Beispiel enthält Anweisungen zum Einrichten Ihrer Umgebung, das Herunterladen der neuesten vortrainierten Sprachmodelle mithilfe der ORT Generate-API und das Ausführen des Modells in einer Gradio-App.

Features: Hardwarebeschleunigung, GenAI, ONNX, ONNX Runtime, DirectML

App-Typ: Python, Gradio

Hardwarebeschleunigte PyTorch-Modelle (Phi3, Llama3 usw.) mit DirectML

Screenshot des DirectML PyTorch-Beispiels.

GitHub Repo: DirectML PyTorch-Beispiele

Beschreibung: In diesem Beispiel wird veranschaulicht, wie ein Pytorch Sprachmodell lokal auf der GPU mit DirectML ausgeführt wird. Das Beispiel enthält Anweisungen zum Einrichten Ihrer Umgebung, das Herunterladen der neuesten vortrainierten Sprachmodelle und das Ausführen des Modells in einer Gradio-App. Dieses Beispiel unterstützt verschiedene Open-Source-Sprachmodelle wie Llama-Modelle, Phi3-mini, Phi2 und Mistral-7B.

Features: Hardwarebeschleunigung, PyTorch, DirectML

App-Typ: Python, Gradio

Verbessern Ihrer Windows-Apps mit KI über Cloud-APIs

Weitere cloudbasierte API-Beispiele finden Sie in der Dokumentation zu Azure AI-Diensten.

Hinzufügen von OpenAI-Chatabschlüssen zu Ihrer WinUI 3/Windows App SDK-App

Hinzufügen von OpenAI-Chatabschlüssen zu Ihrer WinUI 3/Windows App SDK-App

Beschreibung: Integrieren Sie die OpenAI-Chatabschlussfunktionen in eine WinUI 3 /Windows App SDK-Desktop-App.

Features: Abschluss des OpenAI-Chats

App-Typ: C#, WinUI 3

Hinzufügen von DALL-E zu Ihrer WinUI 3-/Windows-App-SDK-Desktop-App

Hinzufügen von DALL-E zu Ihrer WinUI 3-/Windows-App-SDK-Desktop-App

Beschreibung: Integrieren Sie die OpenAI DALL-E-Bildgenerierungsfunktionen in eine WinUI 3 /Windows App SDK-Desktop-App.

Features: Bildgenerierung

App-Typ: C#, WinUI 3

Erstellen einer Empfehlungs-App mit .NET MAUI und ChatGPT

Tutorial: Erstellen einer Empfehlungs-App mit .NET MAUI und ChatGPT

Beschreibung: Integrieren Sie die OpenAI-Chatabschlussfunktionen in eine .NET MAUI-Desktop-App.

Features: Bildgenerierung

App-Typ: C#, .NET MAUI

DALL-E zu Ihrer .NET MAUI Windows-Desktop-App hinzufügen

DALL-E zu Ihrer .NET MAUI Windows-Desktop-App hinzufügen

Beschreibung: Integrieren Sie die OpenAI DALL-E-Bildgenerierungsfunktionen in eine .NET MAUI-Desktop-App.

Features: Bildgenerierung

App-Typ: C#, .NET MAUI

Legacy-WinML-Beispiele

GitHub Repo: WinML-Beispiele auf GitHub

Beschreibung: WinML wird weiterhin unterstützt, aber diese Beispiele wurden nicht aktualisiert, um die moderne KI-Verwendung widerzuspiegeln.