Leggere in inglese

Condividi tramite


Raccolta di esempi di intelligenza artificiale in Windows

Raccolta di esempi che illustrano diversi modi per migliorare le app di Windows usando le API locali e i modelli di Machine Learning (ML), l'accelerazione hardware locale tramite DirectML e l'uso di API basate sul cloud.

Quando si usano le funzionalità di intelligenza artificiale, è consigliabile esaminare: Sviluppo di applicazioni e funzionalità di intelligenza artificiale responsabile in Windows.

Migliorare le app di Windows con l'intelligenza artificiale usando le API locali e i modelli di Machine Learning

Questi esempi consentono di migliorare le app di Windows con l'intelligenza artificiale usando le API locali e i modelli di Machine Learning.

Editor audio basato su intelligenza artificiale

screenshot dell'app di esempio dell'editor audio che mostra un test del plug-in di ritaglio audio per intelligenza artificiale.

repository GitHub: esempio di editor audio di intelligenza artificiale

Descrizione: L'editor audio alimentato dall'intelligenza artificiale mostra la creazione di un'app WinUI 3 per l'editing audio che utilizza l'AI per associare frammenti audio a una query pertinente. Un caso d'uso di esempio potrebbe essere un creatore di podcast che vuole creare brevi clip audio del loro contenuto per promuovere sui social media. L'esempio usa l'inferenza del modello di Machine Learning locale per gestire la trascrizione e la ricerca semantica.

funzionalità: inferenza del modello locale con ONNX Runtime, modello Whisper, modello embeddings

tipo di app: C#, WinUI 3

App Note basata sull'intelligenza artificiale

screenshot dell'app di esempio di note assistita dall'intelligenza artificiale che mostra un riepilogo creato dall'intelligenza artificiale.

repository GitHub: applicazione di esempio note alimentate dall'intelligenza artificiale

Descrizione: questa nota basata sull'intelligenza artificiale che accetta l'applicazione illustra l'uso di API, tra cui riconoscimento del testo OCR, trascrizione audio tramite modello di Machine Learning locale, ricerca semantica tramite un modello di incorporamento locale, utilizzo del modello linguistico locale con Phi3 per riepilogo, completamento automatico e ragionamento del testo e Recupero della generazione aumentata (RAG) per i modelli linguistici a dati reali.

Funzionalità: ricerca semantica con modello locale, trascrizione audio con modello locale, generazione RAG (Local Retreval Augmented Generation) con Phi3, riepilogo del testo locale e ragionamento con Phi3, estrazione di testo da immagini con API OCR

tipo di app: C#, WinUI 3

Generazione aumentata di recupero (RAG) con PDF e Phi3

screenshot dell'esempio dell'analizzatore PDF RAG in un'app WPF.

Repository GitHub: RAG PDF Analyzer WPF Sample App

Descrizione: questa app di esempio WPF illustra come creare un'esperienza con un modello linguistico locale (ad esempio Phi3) per rispondere alle domande sul contenuto in un documento PDF. L'esempio trova le risposte facendo riferimento a una base di conoscenza esterna ai dati di addestramento del modello prima di generare una risposta. Questo modello, denominato Retrieval Augmented Generation (RAG), è un esempio di come basare un modello linguistico su dati autorevoli reali.

Funzionalità: Generazione aumentata con recupero (RAG), AI Generativa del Runtime ONNX, DirectML

tipo di app: C#, WPF

Phi3 Chat di Intelligenza Artificiale Generativa

screenshot dell'esempio di chat GenAI con Phi3 in un'app WinUI 3.

GitHub repository: Phi3 Chat WinUI 3 Sample

Descrizione: questo esempio di app WinUI 3 illustra come usare la libreria di intelligenza artificiale generativa del runtime ONNX per creare un'esperienza di chat con un modello linguistico locale, in particolare il modello SLM (Phi3 Small Language Model).

Caratteristiche: Phi3, ONNX Runtime Generative AI, DirectML

tipo di app: C#, WinUI 3

Esempio di effetti di Windows Studio

repository GitHub: app di esempio Windows Studio Effects

Descrizione: Impara come controllare gli effetti di Camera Studio dalla tua applicazione Windows in questo esempio di codice. Controllare se nel sistema è disponibile una fotocamera supportata (richiede un dispositivo con una NPU e una fotocamera integrata), quindi ottiene e imposta i controlli della fotocamera estesi associati agli effetti di Windows Studio, come sfocatura dello sfondo, correzione dello sguardo e inquadratura automatica.

Funzionalità: Effetti di Windows Studio

tipo di app: C#, WPF

Accelerazione hardware locale tramite DirectML

Esecuzione accelerata hardware di Stable Diffusion sul web

Screenshot di un esempio di applicazione web Stable Diffusion.

repository GitHub: WebNN Stable Diffusion Turbo

Descrizione: Questo esempio illustra come usare WebNN con ONNX Runtime web per eseguire Diffusione stabile localmente sulla GPU con DirectML. SD-Turbo è un modello generativo rapido da testo a immagine che può sintetizzare immagini fotorealistiche da un prompt testuale in una singola valutazione di rete. Nella demo è possibile generare un'immagine in 2 secondi su dispositivi PC con intelligenza artificiale sfruttando l'API WebNN, un'API di livello basso dedicata per l'accelerazione hardware dell'inferenza delle reti neurali.

funzionalità: generazione di immagini locali, WebNN, DirectML

tipo di app: JavaScript, app Web

Segmento accelerato hardware Qualsiasi elemento sul Web

repo GitHub: WebNN Segment Anything

Description: questo esempio illustra come usare WebNN con ONNX Runtime web per eseguire Segment Anything localmente sulla GPU con DirectML. Segment Anything è un nuovo modello di intelligenza artificiale di Meta AI in grado di "tagliare" qualsiasi oggetto. Nella demo è possibile segmentare qualsiasi oggetto dalle immagini caricate.

funzionalità: segmentazione delle immagini locali, WebNN, DirectML

tipo di app: JavaScript, app Web

Whisper con accelerazione hardware sul Web

repository GitHub: WebNN Whisper Base

Descrizione: Questo esempio illustra come usare WebNN con ONNX Runtime web per eseguire le funzionalità di conversione da voce a testo del modello Whisper localmente sulla GPU o sulla NPU con DirectML. Whisper Base è un modello pre-addestrato per il riconoscimento vocale automatico (ASR) e la traduzione vocale. Nella demo è possibile sperimentare la funzionalità di trascrizione vocale usando l'inferenza effettuata sul dispositivo basata sull'API WebNN e su DirectML, in particolare l'accelerazione NPU.

Funzionalità: riconoscimento vocale locale, WebNN, DirectML

tipo di app: JavaScript, app Web

Modelli di linguaggio ONNX Runtime accelerati e pre-ottimizzati (Phi3, Llama3 e così via) con DirectML

Screenshot dell'esempio di modello ONNX DirectML Chat UI.

repository GitHub: esempi DirectML nel repository Olive

Descrizione: questo esempio illustra come eseguire un modello di linguaggio ORT (ONNX Runtime) pre-ottimizzato localmente nella GPU con DirectML. Il campione include istruzioni su come configurare l'ambiente, scaricare i modelli linguistici pre-addestrati più recenti usando l'API di generazione ORT e utilizzare i modelli in un'app Gradio.

Funzionalità: Accelerazione hardware, GenAI, ONNX, ONNX Runtime, DirectML

Tipo di App: Python, Gradio

Modelli PyTorch con accelerazione hardware (Phi3, Llama3 e così via) con DirectML

Screenshot dell'esempio DirectML PyTorch.

repository GitHub: esempi di PyTorch DirectML

Descrizione: questo esempio illustra come eseguire un modello di linguaggio PyTorch in locale nella GPU con DirectML. L'esempio include istruzioni su come configurare il tuo ambiente, scaricare i modelli di linguaggio pre-addestrati più recenti ed eseguire il modello in un'applicazione Gradio. Questo esempio supporta vari modelli linguistici open source, ad esempio modelli Llama, Phi3-mini, Phi2 e Mistral-7B.

Funzionalità: accelerazione hardware, PyTorch, DirectML

Tipo di App: Python, Gradio

Migliorare le app di Windows con l'intelligenza artificiale usando le API cloud

Altri esempi di API basati sul cloud sono disponibili nella documentazione dei servizi di intelligenza artificiale di Azure .

Integra le funzioni di chat di OpenAI nella tua app WinUI 3/Windows App SDK

Tutorial: Come aggiungere i completamenti chat di OpenAI alla tua app WinUI 3/Windows App SDK

Descrizione: integrare le funzionalità di completamento della chat OpenAI in un'app desktop WinUI 3/Windows App SDK.

funzionalità: completamento della chat OpenAI

tipo di app: C#, WinUI 3

Aggiungi DALL-E alla tua app desktop WinUI 3/Windows App SDK

Tutorial: Aggiungi DALL-E alla tua app desktop con WinUI 3/Windows App SDK

Descrizione: integrare le funzionalità di generazione di immagini DALL-E OpenAI in un'app desktop WinUI 3/Windows App SDK.

funzionalità: generazione di immagini

tipo di app: C#, WinUI 3

Creare un'app di raccomandazione con .NET MAUI e ChatGPT

Esercitazione: Creare un'applicazione di suggerimenti con .NET MAUI e ChatGPT

Descrizione: Integrare le funzionalità di completamento della chat OpenAI in un'applicazione desktop .NET MAUI.

funzionalità: generazione di immagini

Tipo di app: C#, .NET MAUI

Aggiungi DALL-E alla tua app desktop Windows .NET MAUI

Tutorial: Aggiungere DALL-E all'app desktop Windows .NET MAUI

Descrizione: Integrare le funzionalità di generazione di immagini DALL-E OpenAI in un'app desktop MAUI .NET.

funzionalità: generazione di immagini

Tipo di app: C#, .NET MAUI

Esempi WinML storici

repository GitHub: esempi winML in GitHub

Descrizione: WinML continua a essere supportato, ma questi esempi non sono stati aggiornati per riflettere l'uso moderno dell'intelligenza artificiale.