Riassunto
In questo modulo è stato esaminato il flusso di lavoro completo per la selezione, la distribuzione e la valutazione dei modelli foundry. Si è appreso come prendere decisioni informate sulla selezione del modello usando i benchmark, come distribuire modelli agli endpoint e come valutare le prestazioni usando diversi approcci di valutazione.
Punti chiave
Il catalogo model del portale di Microsoft Foundry fornisce access a oltre 1.900 modelli di provider tra cui Microsoft, OpenAI, Meta, Mistral e Hugging Face. Un filtro efficace in base a raccolte, funzionalità, opzioni di distribuzione e altri attributi consente di restringere il catalogo ai modelli che corrispondono ai requisiti.
I benchmark dei modelli offrono confronti obiettivi tra qualità, sicurezza, costi e dimensioni delle prestazioni. Le metriche di qualità, ad esempio accuratezza, coerenza e influenza, valutano il modo in cui i modelli generano risposte appropriate. Le metriche di sicurezza identificano i rischi relativi al contenuto dannoso. I benchmark dei costi consentono di bilanciare la qualità con i vincoli di budget. Le metriche delle prestazioni, ad esempio la latenza e la velocità effettiva, indicano la velocità di risposta per le applicazioni in tempo reale.
Le opzioni di distribuzione includono l'API serverless per la flessibilità con pagamento per chiamata, le distribuzioni con provisioning per carichi di lavoro coerenti con volumi elevati, il calcolo gestito per l'hosting basato su macchine virtuali e l'elaborazione batch per processi non interattivi ottimizzati per i costi. Ogni opzione offre caratteristiche diverse per il ridimensionamento, la fatturazione e il controllo.
Il test nel playground fornisce feedback immediato sul comportamento del modello senza scrivere codice. È possibile sperimentare richieste, modificare i parametri e osservare le risposte per comprendere le funzionalità del modello prima dell'integrazione nelle applicazioni.
Gli approcci di valutazione vanno dai test manuali alle metriche automatizzate. La valutazione manuale acquisisce aspetti di qualità soggettivi come soddisfazione dell'utente e appropriatezza contestuale. Le metriche assistita dall'intelligenza artificiale valutano automaticamente i rischi di qualità e sicurezza della generazione. Le metriche NLP come F1-score e ROUGE forniscono un confronto matematico con i dati di verità sul terreno.
I flussi di valutazione completi nel portale di Microsoft Foundry consentono di eseguire valutazioni sistematiche usando set di dati di test e più metriche. I risultati identificano punti di forza, debolezza e aree che richiedono miglioramenti, guidando lo sviluppo iterativo delle applicazioni di intelligenza artificiale generative.
Passaggi successivi
Con i modelli distribuiti e valutati, considerare i passaggi successivi seguenti:
Integrare i modelli nelle applicazioni usando gli SDK, le API REST e gli esempi di codice forniti nel portale di Microsoft Foundry. Le applicazioni possono ora usare modelli distribuiti tramite chiamate API autenticate.
Implementare il Retrieval Augmented Generation (RAG) per ancorare le risposte del modello ai dati della vostra organizzazione. Rag combina modelli con funzionalità di ricerca per fornire risposte accurate e contestualmente pertinenti in base ai documenti e alle knowledge base.
Apply Azure AI Content Safety servizi per aggiungere un ulteriore livello di protezione da contenuti dannosi. I filtri contenuto possono bloccare input e output inappropriati, completando le funzionalità di sicurezza a livello di modello.
Ottimizzare i modelli (se supportati) nel dominio specifico o nel caso d'uso per migliorare le prestazioni per scenari specializzati. La messa a punto adatta i modelli a uso generico ai tuoi requisiti specifici.
Monitorare le prestazioni di produzione usando monitoraggio di Azure e Application Insights per tenere traccia dell'utilizzo, della latenza, dei costi e degli errori. Il monitoraggio continuo garantisce che le applicazioni rimangano integre e efficienti.
Eseguire l'iterazione in base al feedback degli utenti raccogliendo dati di utilizzo reali e eseguendo valutazioni periodiche. Il miglioramento continuo mantiene le applicazioni di intelligenza artificiale generative allineate alle esigenze degli utenti.
Le competenze sviluppate in questo modulo, selezionando modelli appropriati, distribuendoli in modo efficace e valutando le prestazioni, costituiscono la base per la creazione di applicazioni di intelligenza artificiale affidabili e di alta qualità che usano Microsoft Foundry.