Raccolta di esempi di intelligenza artificiale in Windows
Raccolta di esempi che illustrano diversi modi per migliorare le app di Windows usando le API locali e i modelli di Machine Learning (ML), l'accelerazione hardware locale tramite DirectML e l'uso di API basate sul cloud.
Quando si usano le funzionalità di intelligenza artificiale, è consigliabile esaminare: Sviluppo di applicazioni e funzionalità di intelligenza artificiale responsabile in Windows.
Migliorare le app di Windows con l'intelligenza artificiale usando le API locali e i modelli di Machine Learning
Questi esempi consentono di migliorare le app di Windows con l'intelligenza artificiale usando le API locali e i modelli di Machine Learning.
repository GitHub: esempio di editor audio di intelligenza artificiale
Descrizione: L'editor audio alimentato dall'intelligenza artificiale mostra la creazione di un'app WinUI 3 per l'editing audio che utilizza l'AI per associare frammenti audio a una query pertinente. Un caso d'uso di esempio potrebbe essere un creatore di podcast che vuole creare brevi clip audio del loro contenuto per promuovere sui social media. L'esempio usa l'inferenza del modello di Machine Learning locale per gestire la trascrizione e la ricerca semantica.
funzionalità: inferenza del modello locale con ONNX Runtime, modello Whisper, modello embeddings
repository GitHub: applicazione di esempio note alimentate dall'intelligenza artificiale
Descrizione: questa nota basata sull'intelligenza artificiale che accetta l'applicazione illustra l'uso di API, tra cui riconoscimento del testo OCR, trascrizione audio tramite modello di Machine Learning locale, ricerca semantica tramite un modello di incorporamento locale, utilizzo del modello linguistico locale con Phi3 per riepilogo, completamento automatico e ragionamento del testo e Recupero della generazione aumentata (RAG) per i modelli linguistici a dati reali.
Funzionalità: ricerca semantica con modello locale, trascrizione audio con modello locale, generazione RAG (Local Retreval Augmented Generation) con Phi3, riepilogo del testo locale e ragionamento con Phi3, estrazione di testo da immagini con API OCR
Repository GitHub: RAG PDF Analyzer WPF Sample App
Descrizione: questa app di esempio WPF illustra come creare un'esperienza con un modello linguistico locale (ad esempio Phi3) per rispondere alle domande sul contenuto in un documento PDF. L'esempio trova le risposte facendo riferimento a una base di conoscenza esterna ai dati di addestramento del modello prima di generare una risposta. Questo modello, denominato Retrieval Augmented Generation (RAG), è un esempio di come basare un modello linguistico su dati autorevoli reali.
Funzionalità: Generazione aumentata con recupero (RAG), AI Generativa del Runtime ONNX, DirectML
GitHub repository: Phi3 Chat WinUI 3 Sample
Descrizione: questo esempio di app WinUI 3 illustra come usare la libreria di intelligenza artificiale generativa del runtime ONNX per creare un'esperienza di chat con un modello linguistico locale, in particolare il modello SLM (Phi3 Small Language Model).
Caratteristiche: Phi3, ONNX Runtime Generative AI, DirectML
repository GitHub: app di esempio Windows Studio Effects
Descrizione: Impara come controllare gli effetti di Camera Studio dalla tua applicazione Windows in questo esempio di codice. Controllare se nel sistema è disponibile una fotocamera supportata (richiede un dispositivo con una NPU e una fotocamera integrata), quindi ottiene e imposta i controlli della fotocamera estesi associati agli effetti di Windows Studio, come sfocatura dello sfondo, correzione dello sguardo e inquadratura automatica.
Funzionalità: Effetti di Windows Studio
repository GitHub: WebNN Stable Diffusion Turbo
Descrizione: Questo esempio illustra come usare WebNN con ONNX Runtime web per eseguire Diffusione stabile localmente sulla GPU con DirectML. SD-Turbo è un modello generativo rapido da testo a immagine che può sintetizzare immagini fotorealistiche da un prompt testuale in una singola valutazione di rete. Nella demo è possibile generare un'immagine in 2 secondi su dispositivi PC con intelligenza artificiale sfruttando l'API WebNN, un'API di livello basso dedicata per l'accelerazione hardware dell'inferenza delle reti neurali.
funzionalità: generazione di immagini locali, WebNN, DirectML
tipo di app: JavaScript, app Web
repo GitHub: WebNN Segment Anything
Description: questo esempio illustra come usare WebNN con ONNX Runtime web per eseguire Segment Anything localmente sulla GPU con DirectML. Segment Anything è un nuovo modello di intelligenza artificiale di Meta AI in grado di "tagliare" qualsiasi oggetto. Nella demo è possibile segmentare qualsiasi oggetto dalle immagini caricate.
funzionalità: segmentazione delle immagini locali, WebNN, DirectML
tipo di app: JavaScript, app Web
repository GitHub: WebNN Whisper Base
Descrizione: Questo esempio illustra come usare WebNN con ONNX Runtime web per eseguire le funzionalità di conversione da voce a testo del modello Whisper localmente sulla GPU o sulla NPU con DirectML. Whisper Base è un modello pre-addestrato per il riconoscimento vocale automatico (ASR) e la traduzione vocale. Nella demo è possibile sperimentare la funzionalità di trascrizione vocale usando l'inferenza effettuata sul dispositivo basata sull'API WebNN e su DirectML, in particolare l'accelerazione NPU.
Funzionalità: riconoscimento vocale locale, WebNN, DirectML
tipo di app: JavaScript, app Web
Modelli di linguaggio ONNX Runtime accelerati e pre-ottimizzati (Phi3, Llama3 e così via) con DirectML
repository GitHub: esempi DirectML nel repository Olive
Descrizione: questo esempio illustra come eseguire un modello di linguaggio ORT (ONNX Runtime) pre-ottimizzato localmente nella GPU con DirectML. Il campione include istruzioni su come configurare l'ambiente, scaricare i modelli linguistici pre-addestrati più recenti usando l'API di generazione ORT e utilizzare i modelli in un'app Gradio.
Funzionalità: Accelerazione hardware, GenAI, ONNX, ONNX Runtime, DirectML
Tipo di App: Python, Gradio
repository GitHub: esempi di PyTorch DirectML
Descrizione: questo esempio illustra come eseguire un modello di linguaggio PyTorch in locale nella GPU con DirectML. L'esempio include istruzioni su come configurare il tuo ambiente, scaricare i modelli di linguaggio pre-addestrati più recenti ed eseguire il modello in un'applicazione Gradio. Questo esempio supporta vari modelli linguistici open source, ad esempio modelli Llama, Phi3-mini, Phi2 e Mistral-7B.
Funzionalità: accelerazione hardware, PyTorch, DirectML
Tipo di App: Python, Gradio
Altri esempi di API basati sul cloud sono disponibili nella documentazione dei servizi di intelligenza artificiale di Azure .
Tutorial: Come aggiungere i completamenti chat di OpenAI alla tua app WinUI 3/Windows App SDK
Descrizione: integrare le funzionalità di completamento della chat OpenAI in un'app desktop WinUI 3/Windows App SDK.
funzionalità: completamento della chat OpenAI
Tutorial: Aggiungi DALL-E alla tua app desktop con WinUI 3/Windows App SDK
Descrizione: integrare le funzionalità di generazione di immagini DALL-E OpenAI in un'app desktop WinUI 3/Windows App SDK.
funzionalità: generazione di immagini
Esercitazione: Creare un'applicazione di suggerimenti con .NET MAUI e ChatGPT
Descrizione: Integrare le funzionalità di completamento della chat OpenAI in un'applicazione desktop .NET MAUI.
funzionalità: generazione di immagini
Tutorial: Aggiungere DALL-E all'app desktop Windows .NET MAUI
Descrizione: Integrare le funzionalità di generazione di immagini DALL-E OpenAI in un'app desktop MAUI .NET.
funzionalità: generazione di immagini
repository GitHub: esempi winML in GitHub
Descrizione: WinML continua a essere supportato, ma questi esempi non sono stati aggiornati per riflettere l'uso moderno dell'intelligenza artificiale.