Samenvatting
In deze module hebt u de volledige werkstroom verkend voor het selecteren, implementeren en evalueren van Foundry-modellen. U hebt geleerd hoe u weloverwogen beslissingen kunt nemen over modelselectie met behulp van benchmarks, hoe u modellen implementeert op eindpunten en hoe u hun prestaties kunt beoordelen met behulp van verschillende evaluatiemethoden.
Belangrijke punten
De modelcatalogus van de Microsoft Foundry-portal biedt access tot meer dan 1900 modellen van providers zoals Microsoft, OpenAI, Meta, Mistral en Hugging Face. Door effectief te filteren op verzameling, mogelijkheden, implementatieopties en andere kenmerken, kunt u de catalogus beperken tot modellen die voldoen aan uw vereisten.
Modelbenchmarks bieden objectieve vergelijkingen voor kwaliteit, veiligheid, kosten en prestatiedimensies. Metrische gegevens over kwaliteit, zoals nauwkeurigheid, coherentie en fluency, beoordelen hoe goed modellen geschikte antwoorden genereren. Metrische veiligheidsgegevens identificeren risico's voor schadelijke inhoud. Kostenbenchmarks helpen de kwaliteit in evenwicht te brengen met budgetbeperkingen. Metrische prestatiegegevens, zoals latentie en doorvoer, geven de reactiesnelheid voor realtime toepassingen aan.
Implementatieopties omvatten serverloze API voor flexibiliteit met betalen per aanroep, ingerichte implementaties voor consistente workloads met grote volumes, beheerde rekenkracht voor hosting op basis van vm's en batchverwerking voor niet-interactieve taken die zijn geoptimaliseerd voor kosten. Elke optie biedt verschillende kenmerken voor schalen, facturering en beheer.
Testen in de speeltuin biedt onmiddellijke feedback over modelgedrag zonder code te schrijven. U kunt experimenteren met prompts, parameters aanpassen en antwoorden bekijken om inzicht te krijgen in modelmogelijkheden voordat u in toepassingen integreert.
Evaluatiemethoden variëren van handmatig testen tot geautomatiseerde metrische gegevens. Handmatige evaluatie legt subjectieve kwaliteitsaspecten vast, zoals tevredenheid van gebruikers en contextuele geschiktheid. Ai-ondersteunde metrische gegevens beoordelen automatisch de kwaliteit en veiligheidsrisico's van de generatie. NLP-metrische gegevens, zoals F1-score en ROUGE, bieden wiskundige vergelijkingen met grondwaargegevens.
Met uitgebreide evaluatiestromen in de Microsoft Foundry-portal kunt u systematische evaluaties uitvoeren met behulp van testgegevenssets en meerdere metrische gegevens. Resultaten identificeren sterke, zwakke punten en gebieden waarvoor verbetering is vereist, waardoor iteratieve ontwikkeling van uw generatieve AI-toepassingen wordt geleid.
Volgende stappen
Houd rekening met de volgende stappen bij het implementeren en evalueren van modellen:
Integreer modellen in toepassingen met behulp van de SDK's, REST API's en codevoorbeelden in de Microsoft Foundry-portal. Uw toepassingen kunnen nu geïmplementeerde modellen gebruiken via geverifieerde API-aanroepen.
Implementeer Rag (Retrieval Augmented Generation) om modelreacties in de gegevens van uw organisatie vast te leggen. RAG combineert modellen met zoekmogelijkheden om nauwkeurige, contextafhankelijke relevante antwoorden te bieden op basis van uw documenten en knowledge bases.
Apply Azure AI Content Safety services om een extra beveiligingslaag toe te voegen tegen schadelijke inhoud. Inhoudsfilters kunnen ongepaste invoer en uitvoer blokkeren, wat een aanvulling vormt op de veiligheidsfuncties op modelniveau.
Verfijn modellen (indien ondersteund) op uw specifieke domein of use-case om de prestaties voor gespecialiseerde scenario's te verbeteren. Het fijn-tunen van algemene modellen om ze aan uw unieke vereisten aan te passen.
Productieprestaties bewaken met behulp van Azure Monitor en Application Insights voor het bijhouden van gebruik, latentie, kosten en fouten. Doorlopende bewaking zorgt ervoor dat uw toepassingen in orde en presterend blijven.
Itereren op basis van gebruikersfeedback door het verzamelen van gegevens over het daadwerkelijke gebruik en het uitvoeren van periodieke herevaluaties. Continue verbetering zorgt ervoor dat uw generatieve AI-toepassingen zijn afgestemd op de behoeften van gebruikers.
De vaardigheden die u in deze module hebt ontwikkeld, waarbij u geschikte modellen selecteert, ze effectief implementeert en hun prestaties evalueert, vormt de basis voor het bouwen van robuuste, hoogwaardige generatieve AI-toepassingen met Behulp van Microsoft Foundry.