Che cos'è Windows AI Foundry?

La possibilità di creare esperienze di intelligenza artificiale intelligenti su e con Windows sta sviluppando rapidamente. Windows AI Foundry offre funzionalità supportate dall'intelligenza artificiale e APIs nei PC Windows 11. Queste funzionalità sono in fase di sviluppo attivo e vengono eseguite in locale in background in qualsiasi momento.

Windows AI Foundry include diversi componenti che possono abilitare esperienze di intelligenza artificiale univoca:

1. Windows AI APIs: È possibile utilizzare Windows AI integrata per integrare i servizi di intelligenza artificiale per gli utenti sui PC Copilot+. Alcune di queste funzionalità di intelligenza artificiale pronte all'uso che è possibile usare dall'app di Windows includono:

   • Phi Silica: modello linguistico locale pronto all'uso (generazione di testo)
   • Imaging con intelligenza artificiale: usare l'intelligenza artificiale per ridimensionare e affinare un'immagine (super risoluzione dell'immagine), generare testo che descrive un'immagine (Descrizione dell'immagine), identificare gli oggetti all'interno di un'immagine (segmentazione dell'immagine) e rimuovere oggetti da un'immagine (cancellazione degli oggetti).
   • Text Recognition: usare l'intelligenza artificiale per rilevare ed estrarre testo all'interno delle immagini e convertirlo in flussi di caratteri leggibili dal computer

2. Foundry Local: modelli OSS popolari che puoi utilizzare e integrare nella tua app

3. Windows ML: abilita l'inferenza AI con il tuo modello ONNX

4. Strumenti di sviluppo: strumenti come Visual Studio AI Toolkit e AI Dev Gallery che consentono di creare correttamente le funzionalità di intelligenza artificiale

Come è possibile usare l'intelligenza artificiale nell'app di Windows?

Ecco alcuni modi in cui le app di Windows possono sfruttare i modelli di Machine Learning (ML) per migliorare le funzionalità e l'esperienza utente con l'intelligenza artificiale, tra cui:

• Le app possono usare modelli di intelligenza artificiale generativa per comprendere argomenti complessi per riepilogare, riscrivere, creare report o espandere.
• Le app possono usare modelli che trasformano contenuto in formato libero in un formato strutturato che l'app può comprendere.
• Le app possono usare modelli di ricerca semantica che consentono agli utenti di cercare contenuto in modo significativo e di trovare rapidamente contenuto correlato.
• Le app possono usare modelli di elaborazione del linguaggio naturale per ragionare sui requisiti complessi del linguaggio naturale e pianificare ed eseguire azioni per eseguire la richiesta dell'utente.
• Le applicazioni possono usare modelli di manipolazione delle immagini per modificare le immagini in modo intelligente, cancellare o aggiungere i soggetti, migliorare la qualità o generare nuovi contenuti.
• Le app possono usare modelli di diagnostica predittiva per identificare e stimare i problemi e guidare l'utente o farlo per loro.

Uso dell'intelligenza artificiale APIs di Windows rispetto all'uso di modelli personalizzati

Usare Windows per intelligenza artificiale APIs

Quando un modello di intelligenza artificiale locale è la soluzione giusta, è possibile usare l'intelligenza artificiale di Windows per integrare i servizi di intelligenza APIs artificiale per gli utenti in PC Copilot+. Questi APIs sono incorporati nel PC e abilitano funzionalità esclusive basate sull'intelligenza artificiale con un sovraccarico relativamente ridotto.

Addestra il tuo modello

Se è possibile eseguire il training del proprio modello usando dati privati con piattaforme come TensorFlow o PyTorch. È possibile integrare il modello personalizzato nell'applicazione Windows eseguendolo localmente nell'hardware del dispositivo usando ONNX Runtime e AI Toolkit per Visual Studio Code.

AI Toolkit per Visual Studio Code è un'estensione di VS Code che consente di scaricare ed eseguire modelli di intelligenza artificiale in locale, incluso l'accesso all'accelerazione hardware per migliorare le prestazioni e la scalabilità tramite DirectML. L'intelligenza artificiale Tookit può essere utile anche per:

• Test dei modelli in un playground intuitivo o nell'applicazione con un'API REST.
• Ottimizzare il modello di intelligenza artificiale, sia in locale che nel cloud (in una macchina virtuale) per creare nuove competenze, migliorare l'affidabilità delle risposte, impostare il tono e il formato della risposta.
• Ottimizzazione dei modelli di piccole lingue più diffusi, ad esempio Phi-3 e Mistral.
• Distribuire la funzionalità di intelligenza artificiale nel cloud o con un'applicazione in esecuzione in un dispositivo.
• Sfruttare l'accelerazione hardware per migliorare le prestazioni con le funzionalità di intelligenza artificiale usando DirectML. DirectML è un'API di basso livello che consente all'hardware del dispositivo Windows di accelerare le prestazioni dei modelli di Machine Learning usando la GPU del dispositivo o la NPU. L'associazione di DirectML ai ONNX Runtime è in genere il modo più semplice per gli sviluppatori di implementare l'intelligenza artificiale accelerata dall'hardware agli utenti su larga scala. Per ulteriori informazioni: Panoramica di DirectML.
• Quantizzare e convalidare un modello per l'uso in NPU usando le funzionalità di conversione del modello

Potresti anche voler esaminare questi concetti di fine-tuning del modello per modificare un modello pre-addestrato affinché si adatti meglio ai tuoi dati.

Uso dei modelli di intelligenza artificiale cloud

Se l'utilizzo delle funzionalità di intelligenza artificiale locale non è il percorso corretto per te, l'uso di modelli e risorse di intelligenza artificiale cloud può essere una soluzione.

Altre funzionalità di intelligenza artificiale

1. Azioni dell'app su Windows: crea azioni per la tua app per abilitare nuove e uniche funzionalità di intelligenza artificiale per i consumatori

2. Recall usa l'intelligenza artificiale per aiutarti a trovare tutto ciò che hai visto sul PC. Fare clic su Esegui è una funzionalità supportata dall'intelligenza artificiale per connettere le azioni al contenuto (testo o immagini) trovato da Recall.

3. WindowsStudio Effects utilizza l'intelligenza artificiale per applicare effetti speciali alla fotocamera del dispositivo.

Usare le procedure di IA responsabile

Ogni volta che si incorporano le funzionalità di intelligenza artificiale nell'app Di Windows, è consigliabile altamente seguire le linee guida per lo sviluppo di applicazioni e funzionalità di intelligenza artificiale responsabile in Windows.