Che cos'è Microsoft Foundry on Windows?

Microsoft Foundry on Windows offre una serie di funzionalità supportate dall'IA e APIs per i PC Copilot+ che vengono eseguiti in locale e in background costantemente.

Microsoft Foundry on Windows include diversi componenti che supportano esperienze di intelligenza artificiale univoca:

1. Intelligenza artificiale APIsdi Windows: usare l'intelligenza artificiale windows predefinita per integrare i servizi di intelligenza APIs artificiale nelle app di Windows. Di seguito APIs sono riportati i seguenti:

   • Phi Silica: modello linguistico locale pronto all'uso.
   • Personalizzazione del modello linguistico: ottimizzare il modello Phi Silica con Low Rank Adaptation (LoRA).
   • Imaging: ridimensionare e migliorare un'immagine (super risoluzione immagine), generare testo che descrive un'immagine (Descrizione dell'immagine), identificare gli oggetti all'interno di un'immagine (segmentazione dell'immagine), rimuovere oggetti da un'immagine (eliminazione degli oggetti) e generare immagini dal testo del prompt (generazione di immagini).
   • Video Super Resolution (VSR): Ridimensiona verso l'alto i flussi video a bassa risoluzione.
   • Intelligence per il testo: rilevare ed estrarre testo all'interno delle immagini e convertirlo in flussi di caratteri leggibili dal computer (Text Recognition), formattare la risposta della richiesta in un formato di tabella strutturata, riepilogare il testo della richiesta e le conversazioni e riscrivere il testo della richiesta per ottimizzare chiarezza, leggibilità e tono (o stile).
   • Ricerca contenuto app: indicizzare il contenuto in-app per renderlo ricercabile in base a una parola chiave o un significato semantico e creare una pipeline di generazione aumentata (RAG) locale e una knowledge base sul dispositivo per un modello LLM (Large Language Model) locale o basato sul cloud.

2. Foundry Local: modelli OSS popolari che puoi utilizzare e integrare nella tua app

3. Windows ML: abilita l'inferenza AI con il tuo modello ONNX

4. Strumenti di sviluppo: strumenti come Visual Studio AI Toolkit e AI Dev Gallery che consentono di creare correttamente le funzionalità di intelligenza artificiale

Come è possibile usare l'intelligenza artificiale nell'app di Windows?

Ecco alcuni modi in cui le app di Windows possono sfruttare i modelli di Machine Learning (ML) per migliorare le funzionalità e l'esperienza utente con l'intelligenza artificiale, tra cui:

• Le app possono usare modelli di intelligenza artificiale generativa per comprendere argomenti complessi per riepilogare, riscrivere, creare report o espandere.
• Le app possono usare modelli che trasformano contenuto in formato libero in un formato strutturato che l'app può comprendere.
• Le app possono usare modelli di ricerca semantica che consentono agli utenti di cercare contenuto in modo significativo e di trovare rapidamente contenuto correlato.
• Le app possono usare modelli di elaborazione del linguaggio naturale per ragionare sui requisiti complessi del linguaggio naturale e pianificare ed eseguire azioni per eseguire la richiesta dell'utente.
• Le applicazioni possono usare modelli di manipolazione delle immagini per modificare le immagini in modo intelligente, cancellare o aggiungere i soggetti, migliorare la qualità o generare nuovi contenuti.
• Le app possono usare modelli di diagnostica predittiva per identificare e stimare i problemi e guidare l'utente o farlo per loro.

Uso dell'intelligenza artificiale APIs di Windows rispetto all'uso di modelli personalizzati

Usare Windows per intelligenza artificiale APIs

Quando un modello di intelligenza artificiale locale è la soluzione giusta, è possibile usare l'intelligenza artificiale di Windows per integrare i servizi di intelligenza APIs artificiale per gli utenti in PC Copilot+. Questi APIs sono incorporati nel PC e abilitano funzionalità esclusive basate sull'intelligenza artificiale con un sovraccarico relativamente ridotto.

Addestra il tuo modello

Se è possibile eseguire il training del proprio modello usando dati privati con piattaforme come TensorFlow o PyTorch. È possibile integrare il modello personalizzato nell'applicazione Windows eseguendolo localmente nell'hardware del dispositivo usando ONNX Runtime e AI Toolkit per Visual Studio Code.

AI Toolkit per Visual Studio Code è un'estensione di VS Code che consente di scaricare ed eseguire modelli di intelligenza artificiale in locale, incluso l'accesso all'accelerazione hardware per migliorare le prestazioni e la scalabilità tramite DirectML. L'intelligenza artificiale Tookit può essere utile anche per:

• Test dei modelli in un playground intuitivo o nell'applicazione con un'API REST.
• Ottimizzare il modello di intelligenza artificiale, sia in locale che nel cloud (in una macchina virtuale) per creare nuove competenze, migliorare l'affidabilità delle risposte, impostare il tono e il formato della risposta.
• Ottimizzazione dei modelli di piccole lingue più diffusi, ad esempio Phi-3 e Mistral.
• Distribuire la funzionalità di intelligenza artificiale nel cloud o con un'applicazione in esecuzione in un dispositivo.
• Sfruttare l'accelerazione hardware per migliorare le prestazioni con le funzionalità di intelligenza artificiale usando DirectML. DirectML è un'API di basso livello che consente all'hardware del dispositivo Windows di accelerare le prestazioni dei modelli di Machine Learning usando la GPU del dispositivo o la NPU. L'associazione di DirectML ai ONNX Runtime è in genere il modo più semplice per gli sviluppatori di implementare l'intelligenza artificiale accelerata dall'hardware agli utenti su larga scala. Per ulteriori informazioni: Panoramica di DirectML.
• Quantizzare e convalidare un modello per l'uso in NPU usando le funzionalità di conversione del modello

Potresti anche voler esaminare questi concetti di fine-tuning del modello per modificare un modello pre-addestrato affinché si adatti meglio ai tuoi dati.

Uso dei modelli di intelligenza artificiale cloud

Se l'utilizzo delle funzionalità di intelligenza artificiale locale non è il percorso corretto per te, l'uso di modelli e risorse di intelligenza artificiale cloud può essere una soluzione.

Altre funzionalità di intelligenza artificiale

1. Azioni dell'app su Windows: crea azioni per la tua app per abilitare nuove e uniche funzionalità di intelligenza artificiale per i consumatori

Usare le procedure di IA responsabile

Ogni volta che si incorporano le funzionalità di intelligenza artificiale nell'app Di Windows, è consigliabile altamente seguire le linee guida per lo sviluppo di applicazioni e funzionalità di intelligenza artificiale responsabile in Windows.