Ukázky kódu a kurzy a ukázky kódu AI ve Windows

Kolekce ukázek, které demonstrují různé způsoby, jak vylepšit aplikace pro Windows pomocí místních rozhraní API a modelů strojového učení (ML), místní hardwarovou akceleraci pomocí DirectML a cloudových rozhraní API.

Při přidávání podpory nových funkcí umělé inteligence do aplikace pro Windows doporučujeme nejprve zkontrolovat dostupnost modelu.

Při používání funkcí umělé inteligence doporučujeme zkontrolovat: Vývoj zodpovědného generování aplikací a funkcí umělé inteligence ve Windows. Moderování textového obsahu je povolené ve všech rozhraních API pro AI systému Windows, aby se minimalizoval potenciálně škodlivý obsah. Další informace: Moderování bezpečnosti obsahu pomocí microsoft Foundry ve Windows.

Vylepšení aplikací pro Windows pomocí AI pomocí místních rozhraní API a modelů ML

Tyto ukázky ukazují, jak vylepšit aplikace pro Windows pomocí AI pomocí místních rozhraní API a modelů strojového učení.

Galerie vývojářů AI

Úložiště GitHub: Galerie vývojářů AI

Popis: AI Dev Gallery je opensourcová aplikace navržená pro vývojáře windows, kteří chtějí integrovat funkce AI do svých vlastních aplikací a projektů. Nabízí více než 25 interaktivních ukázek využívajících místní modely AI, včetně ukázek pro všechna rozhraní API pro Windows AI. Aplikace nabízí jednoduché rozhraní pro zkoumání, stahování a spouštění modelů z Hugging Face a GitHubu, využití NPU, procesoru nebo GPU počítače na základě možností vašeho zařízení. Kromě toho umožňuje zobrazit zdrojový kód jazyka C# a exportovat každou ukázku do samostatného projektu sady Visual Studio.

Funkce: Interaktivní ukázky s snadno kopírovatelným kódem, odvozováním místních modelů, prezentace rozhraní API pro Windows AI

Typ aplikace: C#, WinUI 3

Instalace galerie AI pro vývojáře

Editor zvuku s technologií AI

GitHub repo: ukázka editoru zvuku AI

Popis: Editor zvuku využívající AI ukazuje vytvoření aplikace pro úpravy zvuku WinUI 3, která využívá AI ke spárování výsuvů zvuku s relevantním dotazem. Příkladem použití může být autor podcastu, který chce vytvořit krátké zvukové klipy svého obsahu pro propagaci na sociálních médiích. Ukázka používá k zpracování přepisu a sémantického vyhledávání odvozování místního modelu ML.

funkce : Odvozování místního modelu pomocí modulu runtime ONNX, šeptacího modelu, modelu vkládání

Typ aplikace: C#, WinUI 3

Aplikace poznámek využívající AI

úložiště GitHub: ukázková aplikace poznámky poháněné AI

Popis: Tato aplikace pro pořizování poznámek využívající AI ukazuje použití rozhraní API, včetně rozpoznávání textu OCR, přepisu zvuku prostřednictvím místního modelu ML, sémantického vyhledávání prostřednictvím místního modelu vkládání vektorů, použití místního jazykového modelu s Phi3 pro shrnutí, automatické dokončování a odůvodnění textu a rozšířené generace vyhledávání (RAG) pro ukotvení jazykových modelů k reálným datům.

Funkce: Sémantické vyhledávání s místním modelem, přepis zvuku s místním modelem, lokální rozšíření generace (RAG) s Phi3, lokální shrnutí textu a odůvodnění s Phi3, extrakce textu z obrázků s rozhraní OCR API

Typ aplikace: C#, WinUI 3

Retrieval Augmented Generation (RAG) s PDF soubory a Phi3

úložiště GitHub: RAG ANALYZÁTOR PDF UKÁZKOVÁ aplikace WPF

Popis: Tato ukázková aplikace WPF ukazuje, jak vytvořit prostředí s místním jazykovým modelem (například Phi3) a odpovídat na otázky týkající se obsahu v dokumentu PDF. Ukázka najde odpovědi tak, že před generováním odpovědi odkazuje na znalostní bázi mimo vlastní trénovací data modelu. Tento vzorec, nazývaný Retrieval Augmented Generation (RAG), je příkladem toho, jak zapojit jazykový model do reálných autoritativních dat.

Funkce: Generace rozšířená načítáním (RAG), Generativní AI ONNX Runtime, DirectML

Typ aplikace: C#, WPF

Phi3 Generative AI Chat

Repozitář GitHub: Phi3 Chat WinUI 3 Ukázka

Popis: Tato ukázka aplikace WinUI 3 ukazuje, jak používat knihovnu ONNX Runtime Generative AI k vytvoření chatovacího prostředí s místním jazykovým modelem, konkrétně s Modelem malého jazyka Phi3 (SLM).

funkce : Phi3, ONNX Runtime Generative AI, DirectML

Typ aplikace: C#, WinUI 3

Typ aplikace: C#, WPF

Akcelerace místního hardwaru prostřednictvím DirectML

Hardwarově akcelerovaný Stable Diffusion na webu

repozitář GitHub: WebNN Stable Diffusion Turbo

Popis: Tato ukázka ukazuje, jak používat WebNN pro web s ONNX Runtime ke spuštění Stable Diffusion lokálně na GPU s DirectML. SD-Turbo je rychlý generativní model text-obrázek, který dokáže vytvářet fotorealistické obrázky z textového podnětu v rámci jednoho vyhodnocení sítě. V ukázce můžete vygenerovat obraz za 2 sekundy na AI počítačích pomocí rozhraní WebNN API, vyhrazeného rozhraní API nízké úrovně pro hardwarovou akceleraci inferencí neuronových sítí.

Funkce: Místní generování imagí, WebNN, DirectML

Typ aplikace: JavaScript, webové aplikace

Hardwarově akcelerované "Segment Anything" na webu

úložiště GitHub: WebNN Segment Anything

Popis: Tato ukázka ukazuje, jak pomocí WebNN a webového modulu ONNX Runtime lokálně spustit Segment Anything na GPU s DirectML. Segment Anything je nový model AI z Meta AI, který může "vyříznout" libovolný objekt. V ukázce můžete segmentovat libovolný objekt z nahraných obrázků.

Funkce: Místní segmentace obrázků, WebNN, DirectML

Typ aplikace: JavaScript, webové aplikace

S hardwarovou akcelerací Whisper na internetu

GitHub úložiště: WebNN Whisper Base

Popis: Tato ukázka demonstruje, jak používat WebNN s ONNX Runtime na webu ke spuštění schopností modelu Whisper pro převod řeči na text místně na GPU nebo NPU s DirectML. Whisper Base je předem natrénovaný model pro automatické rozpoznávání řeči (ASR) a překlad řeči. V ukázce můžete vyzkoušet funkci převodu řeči na text pomocí inference prováděné na zařízení, využívající rozhraní WebNN API a DirectML, zejména akceleraci NPU.

Funkce: Místní převod řeči na text, WebNN, DirectML

Typ aplikace: JavaScript, webové aplikace

Hardwarové akcelerované a předem optimalizované jazykové modely ONNX Runtime (Phi3, Llama3 atd.) s DirectML

Úložiště GitHub: příklady DirectML ve repozitáři Olive

Popis: Tato ukázka ukazuje, jak spustit předem optimalizovaný jazykový model ONNX Runtime (ORT) místně na GPU s DirectML. Ukázka obsahuje pokyny k nastavení prostředí, stažení nejnovějších předem natrénovaných jazykových modelů pomocí rozhraní ORT Generate API a spuštění modelu v aplikaci Gradio.

Funkce: Hardwarová akcelerace, Genai, ONNX, ONNX Runtime, DirectML

Typ aplikace: Python, Gradio

Hardwarové akcelerované modely PyTorch (Phi3, Llama3 atd.) s DirectML

Úložiště GitHub: PyTorch ukázky DirectML

Popis: Tato ukázka ukazuje, jak spustit jazykový model PyTorch místně na GPU s DirectML. Ukázka obsahuje pokyny k nastavení prostředí, stažení nejnovějších předem natrénovaných jazykových modelů a spuštění modelu v aplikaci Gradio. Tato ukázka podporuje různé opensourcové jazykové modely, jako jsou Llama models, Phi3-mini, Phi2 a Mistral-7B.

Funkce: Hardwarová akcelerace, PyTorch, DirectML

Typ aplikace: Python, Gradio

Vylepšení aplikací pro Windows pomocí AI pomocí cloudových rozhraní API

Další cloudové ukázky rozhraní API najdete v dokumentaci ke službám Azure AI.

Přidání dokončování chatu OpenAI do aplikace WinUI 3 / Windows App SDK

Kurz: Přidání dokončování chatu OpenAI do aplikace WinUI 3 / aplikace sady Windows App SDK

Popis: Integrujte možnosti dokončování chatu OpenAI do desktopové aplikace WinUI 3 / Windows App SDK.

Vlastnosti: Dokončení chatu OpenAI

Typ aplikace: C#, WinUI 3

Přidání DALL-E do desktopové aplikace WinUI 3 / Windows App SDK

Návod: Přidejte DALL-E do desktopové aplikace WinUI 3 / Windows App SDK

Popis: Integrujte možnosti generování image OpenAI DALL-E do desktopové aplikace WinUI 3 / Windows App SDK.

Funkce: Generování obrázků

Typ aplikace: C#, WinUI 3

Vytvoření aplikace pro doporučení s využitím .NET MAUI a ChatGPT

Tutorial: Vytvoření aplikace pro doporučení pomocí .NET MAUI a ChatGPT

Popis: Integrujte možnosti dokončování chatu OpenAI do desktopové aplikace .NET MAUI.

Funkce: Generování obrázků

Typ aplikace: C#, .NET MAUI

Přidání DALL-E do desktopové aplikace .NET MAUI pro Windows

Návod: Přidejte DALL-E do .NET MAUI aplikace pro Windows

Popis: Integrujte funkce generování obrázků OpenAI DALL-E do desktopové aplikace .NET MAUI.

Funkce: Generování obrázků

Typ aplikace: C#, .NET MAUI

Starší ukázky WinML

Repozitář GitHub: Ukázky WinML na GitHubu

Popis: WinML se nadále podporuje, ale tyto ukázky se neaktualizovaly tak, aby odrážely moderní použití umělé inteligence.