Raccolta di esempi di intelligenza artificiale in Windows
Raccolta di esempi che illustrano diversi modi per migliorare le app di Windows usando le API locali e i modelli di Machine Learning (ML), l'accelerazione hardware locale tramite DirectML e l'uso di API basate sul cloud.
Migliorare le app di Windows con l'intelligenza artificiale usando le API locali e i modelli di Machine Learning
Questi esempi consentono di migliorare le app di Windows con l'intelligenza artificiale usando le API locali e i modelli di Machine Learning.
Editor audio basato su intelligenza artificiale
Repository GitHub: Esempio di editor audio per intelligenza artificiale
Descrizione: l'editor audio basato sull'intelligenza artificiale dimostra la creazione di un'app di modifica audio WinUI 3 che usa l'intelligenza artificiale per trovare le corrispondenze tra snips di audio e una query pertinente. Un caso d'uso di esempio potrebbe essere un creatore di podcast che vuole creare brevi clip audio del loro contenuto per promuovere sui social media. L'esempio usa l'inferenza del modello di Machine Learning locale per gestire la trascrizione e la ricerca semantica.
Funzionalità: Inferenza del modello locale con ONNX Runtime, modello Whisper, modello embeddings
App Note basate sull'intelligenza artificiale
Repository GitHub: app di esempio note basate su intelligenza artificiale
Descrizione: questa applicazione basata su intelligenza artificiale illustra l'uso delle API, tra cui riconoscimento del testo OCR, trascrizione audio tramite modello di Machine Learning locale, ricerca semantica tramite un modello di incorporamento locale, utilizzo del modello linguistico locale con Phi3 per riepilogo, completamento automatico e ragionamento del testo e Recupero della generazione aumentata (RAG) per i modelli linguistici di base in dati reali.
Funzionalità: ricerca semantica con modello locale, trascrizione audio con modello locale, generazione di retreval aumentata locale (RAG) con Phi3, riepilogo del testo locale e ragionamento con Phi3, estrazione di testo dalle immagini con API OCR
Generazione aumentata di recupero (RAG) con PDF e Phi3
Repository GitHub: App di esempio WPF dell'analizzatore PDF RAG
Descrizione: questa app di esempio WPF illustra come creare un'esperienza con un modello linguistico locale (ad esempio Phi3) per rispondere alle domande sul contenuto in un documento PDF. L'esempio trova risposte facendo riferimento a una knowledge base all'esterno dei propri dati di training del modello prima di generare una risposta. Questo modello, denominato Retrieval Augmented Generation (RAG), è un esempio di come basare un modello linguistico su dati autorevoli reali.
Funzionalità: Recupero della generazione aumentata (RAG), ONNX Runtime Generative AI, DirectML
Phi3 Generative AI Chat
Repository GitHub: Esempio di WinUI 3 di Phi3 Chat
Descrizione: questo esempio di app WinUI 3 illustra come usare la libreria di intelligenza artificiale generativa del runtime ONNX per creare un'esperienza di chat con un modello linguistico locale, in particolare il modello SLM (Phi3 Small Language Model).
Funzionalità: Phi3, ONNX Runtime Generative AI, DirectML
Esempio di effetti di Windows Studio
Repository GitHub: app di esempio effetti di Windows Studio
Descrizione: informazioni su come controllare Fotocamera Studio Effects dall'applicazione Windows in questo esempio di codice. Controllare se nel sistema è disponibile una fotocamera supportata (richiede un dispositivo con una NPU e una fotocamera predefinita), ottiene e imposta i controlli della fotocamera estesi associati agli effetti di Windows Studio, ad esempio sfocatura dello sfondo, correzione dello sguardo oculare e inquadratura automatica.
Funzionalità: Effetti di Windows Studio
Accelerazione hardware locale tramite DirectML
Diffusione stabile accelerata hardware sul Web
Repository GitHub: WebNN Stable Diffusion Turbo
Descrizione: questo esempio illustra come usare WebNN con il Web ONNX Runtime per eseguire Stable Diffusion localmente nella GPU con DirectML. SD-Turbo è un modello rapido da testo a immagine che può sintetizzare immagini fotorealistiche da una richiesta di testo in una singola valutazione di rete. Nella demo è possibile generare un'immagine in 2 nei dispositivi PC di intelligenza artificiale sfruttando l'API WebNN, un'API di basso livello dedicata per l'accelerazione hardware dell'inferenza della rete neurale.
Funzionalità: Generazione di immagini locali, WebNN, DirectML
Tipo di app: JavaScript, app Web
Segmento accelerato hardware Qualsiasi elemento sul Web
Repository GitHub: WebNN Segment Anything
Descrizione: questo esempio illustra come usare WebNN con il Web ONNX Runtime per eseguire Segment Anything localmente nella GPU con DirectML. Segment Anything è un nuovo modello di intelligenza artificiale di Meta AI in grado di "tagliare" qualsiasi oggetto. Nella demo è possibile segmentare qualsiasi oggetto dalle immagini caricate.
Funzionalità: Segmentazione di immagini locali, WebNN, DirectML
Tipo di app: JavaScript, app Web
Sussurro accelerato hardware sul Web
Repository GitHub: WebNN Whisper Base
Descrizione: questo esempio illustra come usare WebNN con il Web ONNX Runtime per eseguire le funzionalità di riconoscimento vocale del modello Whisper in locale nella GPU o nella NPU con DirectML. Whisper Base è un modello con training preliminare per il riconoscimento vocale automatico (ASR) e la traduzione vocale. Nella demo è possibile sperimentare la funzionalità di riconoscimento vocale usando l'inferenza sul dispositivo basata sull'API WebNN e DirectML, in particolare l'accelerazione NPU.
Funzionalità: Riconoscimento vocale locale, WebNN, DirectML
Tipo di app: JavaScript, app Web
Modelli di linguaggio ONNX Runtime accelerati e pre-ottimizzati (Phi3, Llama3 e così via) con DirectML
Repository GitHub: esempi directML nel repository Olive
Descrizione: questo esempio illustra come eseguire un modello linguistico ONNX Runtime (ORT) pre-ottimizzato in locale nella GPU con DirectML. L'esempio include istruzioni su come configurare l'ambiente, scaricare i modelli linguistici con training preliminare più recenti usando l'API Di generazione ORT ed eseguire il modello in un'app Gradio.
Funzionalità: Accelerazione hardware, GenAI, ONNX, ONNX Runtime, DirectML
Tipo di app: Python, Gradio
Modelli PyTorch con accelerazione hardware (Phi3, Llama3 e così via) con DirectML
Repository GitHub: esempi di PyTorch directML
Descrizione: questo esempio illustra come eseguire un modello di linguaggio PyTorch in locale nella GPU con DirectML. L'esempio include istruzioni su come configurare l'ambiente, scaricare i modelli linguistici con training preliminare più recenti ed eseguire il modello in un'app Gradio. Questo esempio supporta vari modelli linguistici open source, ad esempio modelli Llama, Phi3-mini, Phi2 e Mistral-7B.
Funzionalità: Accelerazione hardware, PyTorch, DirectML
Tipo di app: Python, Gradio
Migliorare le app di Windows con l'intelligenza artificiale usando le API cloud
Altri esempi di API basati sul cloud sono disponibili nella documentazione dei servizi di intelligenza artificiale di Azure.
Aggiungere completamenti della chat OpenAI all'app WinUI 3/SDK per app di Windows
Esercitazione: Aggiungere completamenti della chat OpenAI all'app WinUI 3/SDK per app di Windows
Descrizione: integrare le funzionalità di completamento della chat OpenAI in un'app desktop WinUI 3/SDK per app di Windows.
Funzionalità: completamento della chat OpenAI
Aggiungere DALL-E all'app desktop WinUI 3/SDK per app di Windows
Esercitazione: Aggiungere DALL-E all'app desktop WinUI 3/SDK per app di Windows
Descrizione: integrare le funzionalità di generazione di immagini DALL-E OpenAI in un'app desktop WinUI 3/SDK per app di Windows.
Funzionalità: generazione di immagini
Creazione di un'app di raccomandazione con .NET MAUI e ChatGPT
Esercitazione: Creare un'app di raccomandazione con .NET MAUI e ChatGPT
Descrizione: integrare le funzionalità di completamento della chat OpenAI in un'app desktop MAUI .NET.
Funzionalità: generazione di immagini
Aggiungere DALL-E all'app desktop windows .NET MAUI
Esercitazione: Aggiungere DALL-E all'app desktop windows .NET MAUI
Descrizione: integrare le funzionalità di generazione di immagini DALL-E OpenAI in un'app desktop MAUI .NET.
Funzionalità: generazione di immagini
Esempi WinML legacy
Repository GitHub: esempi WinML in GitHub
Descrizione: WinML continua a essere supportato, ma questi esempi non sono stati aggiornati per riflettere l'uso moderno dell'intelligenza artificiale.
Commenti e suggerimenti
Presto disponibile: Nel corso del 2024 verranno gradualmente disattivati i problemi di GitHub come meccanismo di feedback per il contenuto e ciò verrà sostituito con un nuovo sistema di feedback. Per altre informazioni, vedere https://aka.ms/ContentUserFeedback.
Invia e visualizza il feedback per