Sammanfattning
I den här modulen utforskade du det fullständiga arbetsflödet för att välja, distribuera och utvärdera foundry-modeller. Du har lärt dig hur du fattar välgrundade beslut om val av modell med hjälp av benchmarks, hur du distribuerar modeller till slutpunkter och hur du utvärderar deras prestanda med hjälp av olika utvärderingsmetoder.
Viktiga lärdomar
Microsoft Foundry-portalens model-katalog tillhandahåller access till över 1 900 modeller från leverantörer som Microsoft, OpenAI, Meta, Mistral och Hugging Face. Effektiv filtrering efter samling, funktioner, distributionsalternativ och andra attribut hjälper dig att begränsa katalogen till modeller som matchar dina krav.
Modellmått erbjuder objektiva jämförelser mellan kvalitets-, säkerhets-, kostnads- och prestandadimensioner. Kvalitetsmått som noggrannhet, konsekvens och flyt utvärderar hur väl modeller genererar lämpliga svar. Säkerhetsmått identifierar risker kring skadligt innehåll. Kostnadsmått hjälper till att balansera kvalitet med budgetbegränsningar. Prestandamått som svarstid och dataflöde indikerar svarstider för realtidsprogram.
Distributionsalternativen omfattar serverlöst API för flexibilitet med betalning per anrop, etablerade distributioner för konsekventa arbetsbelastningar med stora volymer, hanterad beräkning för VM-baserad värd och batchbearbetning för kostnadsoptimerade icke-interaktiva jobb. Varje alternativ har olika egenskaper för skalning, fakturering och kontroll.
Testning på lekplatsen ger omedelbar feedback om modellbeteende utan att skriva kod. Du kan experimentera med frågor, justera parametrar och observera svar för att förstå modellfunktioner innan du integrerar i program.
Utvärderingsmetoderna sträcker sig från manuell testning till automatiserade mått. Manuell utvärdering samlar in subjektiva kvalitetsaspekter som användarnöjdhet och sammanhangsberoende lämplighet. AI-stödda mått bedömer automatiskt produktionskvalitets- och säkerhetsrisker. NLP-mått som F1-värde och ROUGE ger matematiska jämförelser med sanningsdata i underlaget.
Med omfattande utvärderingsflöden i Microsoft Foundry-portalen kan du köra systematiska utvärderingar med hjälp av testdatauppsättningar och flera mått. Resultaten identifierar styrkor, svagheter och områden som kräver förbättringar och vägleder iterativ utveckling av dina generativa AI-program.
Nästa steg
När modeller har distribuerats och utvärderats bör du överväga följande nästa steg:
Integrera modeller i program med hjälp av SDK:er, REST-API:er och kodexempel som finns i Microsoft Foundry-portalen. Dina program kan nu använda distribuerade modeller via autentiserade API-anrop.
Implementera Retrieval Augmented Generation (RAG) för att grunda modellens svar i din organisations data. RAG kombinerar modeller med sökfunktioner för att ge korrekta, sammanhangsmässigt relevanta svar baserat på dina dokument och kunskapsbaser.
Apply Azure AI Content Safety tjänster för att lägga till ytterligare ett skydd mot skadligt innehåll. Innehållsfilter kan blockera olämpliga indata och utdata som kompletterar säkerhetsfunktioner på modellnivå.
Finjustera modeller (när de stöds) på din specifika domän eller användningsfall för att förbättra prestanda för specialiserade scenarier. Finjustering anpassar allmänna modeller efter dina unika krav.
Övervaka produktionsprestanda med hjälp av Azure Monitor och Application Insights för att spåra användning, svarstid, kostnader och fel. Löpande övervakning säkerställer att dina program förblir felfria och högpresterande.
Iterera baserat på användarfeedback genom att samla in verkliga användningsdata och utföra regelbundna omutvärderingar. Kontinuerlig förbättring håller dina generativa AI-program i linje med användarnas behov.
De kunskaper som du utvecklade i den här modulen – att välja lämpliga modeller, distribuera dem effektivt och utvärdera deras prestanda – utgör grunden för att skapa robusta generativa AI-program av hög kvalitet med hjälp av Microsoft Foundry.