AI Windows-kódmintákon és oktatóanyagokon

Mintagyűjtemény, amely bemutatja, hogyan fejlesztheti Windows-alkalmazásait helyi API-k és Machine Learning-modellek, helyi hardveres gyorsítás DirectML használatával és felhőalapú API-k használatával.

Amikor új AI-funkciók támogatását adja a Windows-alkalmazáshoz, javasoljuk, hogy először ellenőrizze a modell elérhetőségét.

Az AI-funkciók használatakor javasoljuk, hogy tekintse át a következőt: Felelős Generatív AI-alkalmazások és -szolgáltatások fejlesztése Windows rendszeren. A szöveges tartalommoderálás minden Windows AI API-ban engedélyezve van a potenciálisan káros tartalmak minimalizálása érdekében. További információ: Tartalombiztonsági moderálás a Microsoft Foundryvel Windows rendszeren.

Windows-alkalmazások fejlesztése AI-vel helyi API-k és ML-modellek használatával

Ezek a minták bemutatják, hogyan fejlesztheti a Windows-alkalmazásokat AI-vel helyi API-k és Machine Learning-modellek használatával.

AI fejlesztői galéria

GitHub-adattár: AI fejlesztői galéria

Leírás: Az AI Dev Gallery egy nyílt forráskódú alkalmazás, amelyet windowsos fejlesztőknek terveztek, akik a saját alkalmazásaikban és projektjeikben szeretnék integrálni az AI-képességeket. Több mint 25 interaktív mintát kínál helyi AI-modellek alapján, beleértve az összes Windows AI API-hoz tartozó mintákat is. Az alkalmazás egy egyszerű felülettel rendelkezik, amely lehetővé teszi modellek felfedezését, letöltését és futtatását a Hugging Face és GitHub platformokról, kihasználva a számítógép NPU-ját, CPU-ját vagy GPU-ját, az eszköz képességeitől függően. Emellett lehetővé teszi a C#-forráskód megtekintését és az egyes minták exportálását egy különálló Visual Studio-projektbe.

Funkciók: Interaktív minták könnyen másolható kóddal, Helyi modell következtetése, A Windows AI API-k bemutatása

Alkalmazás típusa: C#, WinUI 3

Az AI Dev Gallery telepítése

AI-alapú hangszerkesztő

GitHub-repozitórium: AI audioszerkesztő minta

Leírás: Az AI-alapú hangszerkesztő bemutatja egy WinUI 3 hangszerkesztő alkalmazás létrehozását, amely mesterséges intelligenciát használ a hangrészletek megfelelő lekérdezéshez való egyeztetéséhez. Ilyen eset lehet például a podcast létrehozója, aki rövid hangklipeket szeretne létrehozni a tartalmakról a közösségi médiában való előléptetéshez. A minta a helyi ML-modell következtetésével kezeli az átírást és a szemantikai keresést.

Funkciók: Helyi modellkövetkezés az ONNX-futtatókörnyezettel, a Whisper-modellel, a Beágyazások modellel

Alkalmazás típusa: C#, WinUI 3

AI-alapú jegyzetalkalmazás

GitHub-adattár: AI-alapú jegyzet mintaalkalmazás

Leírás: Ez az AI-alapú jegyzetelési alkalmazás bemutatja az API-k használatát, beleértve az OCR-szövegfelismerést, a hangátírást a helyi ML-modellen keresztül, a szemantikai keresést egy helyi beágyazási modellen keresztül, a helyi nyelvi modell használatát a Phi3-nal az összegzéshez, az automatikus kiegészítést és a szövegértelmezést, valamint a kiterjesztett generációs (RAG) lekérését a nyelvi modellek valós adatokra való alapozásához.

Jellemzők: Szemantikai keresés helyi modellel, Hangátírás helyi modellel, Helyi Visszakeresésen Alapuló Generálás (RAG) a Phi3 használatával, Helyi szövegösszegzés és érvelés Phi3-mal, Szövegkivonás képekből az OCR API-val

Alkalmazás típusa: C#, WinUI 3

Bővített generáció (RAG) lekérése PDF-fájlokkal és Phi3-nal

GitHub-repo: RAG PDF Analyzer WPF mintaalkalmazás

Leírás: Ez a WPF-mintaalkalmazás bemutatja, hogyan hozhat létre felhasználói élményt egy helyi nyelvi modellel (például Phi3) a PDF-dokumentumok tartalmával kapcsolatos kérdések megválaszolásához. A minta úgy talál válaszokat, hogy a válasz létrehozása előtt hivatkozik egy tudásbázisra a modell saját betanítási adatain kívül. Ez a Visszakeresés-kibővített Generáció (RAG) nevű minta egy példa arra, hogyan lehet egy nyelvi modellt valós, megbízható adatokra alapozni.

Funkciók: Retrieval Augmented Generation (RAG), ONNX Runtime Generative AI, DirectML

Alkalmazás típusa: C#, WPF

Phi3 Generáló MI-csevegés

GitHub-adattár: Phi3 Chat WinUI 3 minta

Leírás: Ez a WinUI 3-alkalmazásminta bemutatja, hogyan használható az ONNX Runtime Generative AI-kódtár egy helyi nyelvi modellel, különösen a Phi3 kis nyelvi modellel (SLM) való csevegéshez.

Funkciók: Phi3, ONNX Runtime Generative AI, DirectML

Alkalmazás típusa: C#, WinUI 3

Alkalmazás típusa: C#, WPF

Helyi hardvergyorsítás DirectML-lel

Hardveres gyorsított stabil diffúzió a weben

GitHub-adattár: WebNN Stable Diffusion Turbo

Leírás: Ez a minta bemutatja, hogyan használható a WebNN és az ONNX runtime web a Stable Diffusion helyi futtatására a GPU-n a DirectML-lel. Az SD-Turbo egy gyors generatív szöveg-kép modell, amely képes fotorealisztikus képeket szintetizálni egy szöveges parancssorból egyetlen hálózati értékelésben. A bemutatóban a WebNN API,a neurális hálózati következtetési hardvergyorsítás dedikált alacsony szintű API-jának használatával 2s-ben hozhat létre képet AI-pc-eszközökön.

Szolgáltatások: Helyi rendszerkép létrehozása, WebNN, DirectML

Alkalmazás típusa: JavaScript, webalkalmazások

Hardveres gyorsított szegmentálás – Bármi a weben

GitHub-adattár: WebNN-szegmens bármi

Leírás: Ez a minta bemutatja, hogyan használható a WebNN és az ONNX futtatókörnyezeti web a Segment Anything helyi futtatására a GPU-n a DirectML-lel. A Szegment Bármi egy új AI-modell a Meta AI-ből, amely bármilyen objektumot "kivághat". A bemutatóban bármilyen objektumot szegmentelhet a feltöltött képekből.

Szolgáltatások: Helyi kép szegmentálása, WebNN, DirectML

Alkalmazás típusa: JavaScript, webalkalmazások

Hardveres gyorsított "Whisper" a weben

GitHub-tároló: WebNN Whisper Base

Leírás: Ez a minta bemutatja, hogyan használható a WebNN és az ONNX runtime web a Whisper-modell beszéd-szöveg képességeinek helyi futtatására a GPU-n vagy az NPU-n a DirectML-lel. A Whisper Base egy előre betanított modell az automatikus beszédfelismeréshez (ASR) és a beszédfordításhoz. A bemutató során megtapasztalhatja a beszéd szöveggé alakításának funkcióját az eszközön futó, a WebNN API és a DirectML által működtetett következtetéssel, különösen az NPU gyorsításával.

Szolgáltatások: Helyi beszédfelismerés, WebNN, DirectML

Alkalmazás típusa: JavaScript, webalkalmazások

Hardveres gyorsított és előre optimalizált ONNX futtatókörnyezeti nyelvi modellek (Phi3, Llama3 stb.) DirectML-lel

GitHub-adattár: DirectML-példák az Olive-adattárban

Leírás: Ez a minta bemutatja, hogyan futtathat egy előre optimalizált ONNX Runtime (ORT) nyelvi modellt helyileg a GPU-n a DirectML-lel. A minta útmutatást tartalmaz a környezet beállításához, a legújabb előre betanított nyelvi modellek letöltéséhez az ORT Generate API használatával, valamint a modell Gradio-alkalmazásban való futtatásához.

Funkciók: Hardveres gyorsítás, GenAI, ONNX, ONNX Futtatókörnyezet, DirectML

Alkalmazás típusa: Python, Gradio

Hardveres gyorsított PyTorch-modellek (Phi3, Llama3 stb.) DirectML-lel

GitHub-adattár: DirectML PyTorch-minták

Leírás: Ez a minta bemutatja, hogyan futtathat helyileg PyTorch-nyelvi modellt a GPU-n a DirectML-lel. A minta útmutatást tartalmaz a környezet beállításához, a legújabb előre betanított nyelvi modellek letöltéséhez és a modell Gradio-alkalmazásban való futtatásához. Ez a minta különböző nyílt forráskódú nyelvi modelleket támogat, például a Láma modelleket, a Phi3-minit, a Phi2-t és a Mistral-7B-t.

Jellemzők: Hardveres gyorsítás, PyTorch, DirectML

Alkalmazás típusa: Python, Gradio

Windows-alkalmazások fejlesztése AI-vel felhőalapú API-k használatával

További felhőalapú API-minták találhatók az Azure AI-szolgáltatások dokumentációjában.

OpenAI-csevegés befejezéseinek hozzáadása a WinUI 3/Windows App SDK-alkalmazáshoz

Oktatóanyag: OpenAI-csevegés befejezések hozzáadása a WinUI 3/Windows App SDK-alkalmazáshoz

Leírás: Integrálja az OpenAI-csevegések befejezésének képességeit egy WinUI 3/Windows App SDK asztali alkalmazásba.

Szolgáltatások: OpenAI-csevegés befejezése

Alkalmazás típusa: C#, WinUI 3

DALL-E hozzáadása a WinUI 3/Windows App SDK asztali alkalmazáshoz

Oktatóanyag: DALL-E hozzáadása a WinUI 3/Windows App SDK asztali alkalmazáshoz

Leírás: Integrálja az OpenAI DALL-E képgenerálási képességeit egy WinUI 3/Windows App SDK asztali alkalmazásba.

Funkciók: Képgenerálás

Alkalmazás típusa: C#, WinUI 3

Javaslati alkalmazás létrehozása a .NET MAUI és a ChatGPT használatával

Oktatóanyag: Javaslati alkalmazás létrehozása a .NET MAUI és a ChatGPT használatával

Leírás: Integrálja az OpenAI csevegés-befejezési képességeit egy .NET MAUI asztali alkalmazásba.

Funkciók: Képgenerálás

Alkalmazás típusa: C#, .NET MAUI

DALL-E hozzáadása az asztali .NET MAUI-alkalmazáshoz

Oktatóanyag: DALL-E hozzáadása az asztali .NET MAUI-alkalmazáshoz

Leírás: Integrálja az OpenAI DALL-E képgenerálási képességeit egy asztali .NET MAUI-alkalmazásba.

Funkciók: Képgenerálás

Alkalmazás típusa: C#, .NET MAUI

Régi WinML minták

GitHub-adattár: WinML-minták a GitHubon

Leírás: A WinML továbbra is támogatott, de ezek a minták nem lettek frissítve a modern AI-használatnak megfelelően.