Kommentar
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
Utvärdering hjälper dig att mäta kvalitet, säkerhet och tillförlitlighet för modeller och agenter under utveckling och produktion. I Microsoft Foundry kan du utvärdera befintliga utdata i en testdatauppsättning, generera svar från en modell eller agent med hjälp av testindata eller utvärdera produktionsspårningar.
En utvärdering använder en eller flera utvärderare för dina data eller din applikation. Utvärderare skapar mått och, när de stöds, förklaringar som hjälper dig att jämföra versioner, hitta kvalitetsproblem och avgöra om ett program är redo att distribueras.
Skapa ett utvärderingsarbetsflöde
De flesta utvärderingsarbetsflöden följer dessa steg:
- Välj vad du vill utvärdera. Välj en enskild tur eller en fullständig konversation och använd en befintlig datauppsättning, genererade svar, simulerade konversationer eller produktionsspår.
- Välj utvärderare. Välj de kvalitets- och säkerhetsmått som är viktiga för din applikation, till exempel slutförande av uppgifter, relevans, förankring, likhet eller innehållssäkerhet.
- Kör utvärderingen. Kör den en gång under utvecklingen, lägg till den i CI/CD eller konfigurera återkommande utvärdering för produktion.
- Granska och förbättra. Analysera aggregerade mått och enskilda resultat, jämför versioner och åtgärda återkommande felmönster.
Välj var du vill börja
Note
Innan du börjar bör du granska behörigheterna för utvärderingsarbetsflöden, regioner som stöds och hastighetsbegränsningar samt krav för virtuella nätverk.
Välj en utvärderingsmetod
Välj utvärderingsenheten innan du väljer utvärderare. Utvärdering på turnivå poängsätter enskilda svar. Utvärdering på konversationsnivå bedömer en fullständig interaktion med flera turer och kan mäta resultat, till exempel slutförande av uppgifter i flera steg. Utvärderare stöder specifika utvärderingsnivåer.
| Jag vill | Börja här |
|---|---|
| Utvärdera en värdbaserad agent för första gången | Snabbstart: Utvärdera din värdbaserade agent |
| Utvärdera befintliga testdata för fråga-svar | Utvärdera datauppsättningar för frågesvar |
| Generera och utvärdera svar från testindata | Utvärdera modell- och agentsvar |
| Utvärdera enskilda interaktioner som samlas in från en driftsatt modell eller agent | Utvärdera driftsatta interaktioner |
| Utvärdera en datauppsättning med fullständiga konversationer | Utvärdera konversationsdatauppsättningar |
| Utvärdera fullständiga konversationer som samlats in i produktionsspår | Utvärdera driftsatta konversationer |
| Simulera agentbeteende för flera interaktioner före distribution | Simulera agentkonversationer |
| Generera scenarier och konversationer utan att manuellt skapa testdata | Generera och utvärdera syntetiska konversationer |
| Kör adversariell säkerhets- och skyddstestning | Lär dig mer om AI red teaming |
Välj hur utvärderingar ska köras
| Jag vill | Börja här |
|---|---|
| Kör en utvärdering i Foundry-portalen | Kör utvärderingar från Microsoft Foundry-portalen |
| Kör utvärderingar via kod | Introduktion till molnutvärdering med Microsoft Foundry SDK |
| Kör agentutvärderingar från kommandoraden | Köra agentutvärderingar med azd CLI |
| Utvärdera trafik i produktionsmiljön regelbundet | Övervaka agenter och konfigurera kontinuerlig utvärdering |
| Lägg till utvärderingar i ett distributionsflöde | Kör utvärderingar i GitHub Actions eller Azure DevOps |
Hitta de komponenter du behöver
- Utvärderare: Börja med de inbyggda utvärderarna eller skapa en anpassad utvärderare för dina egna kriterier.
- Utvärderingsdata: Lär dig när du ska använda en utvärderingsdatauppsättning, hur du genererar syntetiska data eller hur du skapar en datauppsättning från produktionsspårningar.
- Resultat:Granska resultaten i Foundry-portalen, hämta molnutvärderingsresultat med SDK eller använd klusteranalys för att hitta vanliga felmönster.